谷歌聲稱Gemini超越GPT-4，你有何看法呢？

誰(shuí)能想到，一夜之間，人們對(duì)于谷歌 Gemini 的看法竟發(fā)生了 180° 轉(zhuǎn)變。

昨天，谷歌在 X 上展示 Gemini 原生多模態(tài)能力的 6 分半鐘視頻下，幾乎是清一色的贊揚(yáng)：

而到了今天，Gemini 還是那個(gè) Gemini，但網(wǎng)友已經(jīng)不買賬了：

發(fā)生了什么，才會(huì)讓人們的態(tài)度一夜轉(zhuǎn)變？原因在于那個(gè) 6 分半的 Gemini 演示視頻：它是假的，是經(jīng)過(guò)剪輯的，甚至在被質(zhì)疑后，谷歌還承認(rèn)了！

1、Gemini 的視頻演示效果，是假的

相信看過(guò) Gemini 演示視頻的人，多數(shù)都對(duì)它的“多模態(tài)能力”印象深刻。例如，Gemini 看到一只鴨子從草圖到填色的整個(gè)過(guò)程，可實(shí)時(shí)給出解釋和反饋，還能在換杯游戲中追蹤紙團(tuán)、辨別各種手勢(shì)、重新排列行星草圖等——短短 6 分半的視頻，Gemini 給人的感覺(jué)是：仿佛可以實(shí)時(shí)觀察周圍世界并及時(shí)做出反應(yīng)，還能與人類進(jìn)行流暢的語(yǔ)音對(duì)話。

對(duì)于 Gemini 如此強(qiáng)大的能力，谷歌給出的解釋是：Gemini 是 AI 的新品種，即“原生多模態(tài)”。

“我們將 Gemini 設(shè)計(jì)為原生多模態(tài)，從一開始就針對(duì)不同模式進(jìn)行了預(yù)訓(xùn)練。然后我們使用額外的多模態(tài)數(shù)據(jù)對(duì)其進(jìn)行微調(diào)，以進(jìn)一步完善其有效性，這有助于 Gemini 從頭開始無(wú)縫地理解和推理各種輸入，因此遠(yuǎn)遠(yuǎn)優(yōu)于現(xiàn)有的多模式模型。此外，Gemini 的多模態(tài)功能幾乎在每個(gè)領(lǐng)域都是最先進(jìn)的。”

聽(tīng)起來(lái)似乎有理有據(jù)，于是當(dāng)一眾網(wǎng)友都沉浸于 Gemini 的強(qiáng)大、好奇它能否真正超越 GPT-4 的時(shí)候，彭博社作家 Parmy Olsen 突然發(fā)出了一個(gè)“不太和諧”的聲音：Gemini 的視頻演示效果，是假的。

一石激起千層浪！好在 Parmy Olsen 并沒(méi)有吊人胃口，很干脆地將谷歌的作假手法和證據(jù)全部公開：Gemini 并不能像視頻中那樣實(shí)時(shí)語(yǔ)音回答——它看到的只是視頻片段中的靜態(tài)圖像，其語(yǔ)音也只是在讀出人類給它的文本提示，且響應(yīng)時(shí)間比視頻中展示的要長(zhǎng)。

2、背后的人工提示過(guò)程，全部省略

舉個(gè)例子，Gemini 演示視頻中有一段識(shí)別動(dòng)態(tài)手勢(shì)的片段：通過(guò)觀察左邊不斷變化的手勢(shì)，Gemini 回答道，“我知道你在干嘛！你在玩石頭剪刀布！”

這段視頻乍看之下，你是不是以為可以實(shí)時(shí)向 Gemini 展示不同的東西，并與它交流？但事實(shí)并非如此：Gemini 僅支持文本交流，并不能進(jìn)行語(yǔ)音對(duì)話。

根據(jù)谷歌公布的文檔內(nèi)容顯示，這段視頻顯然是經(jīng)過(guò)“加工”的：

（1）先給 Gemini 陸續(xù)展示三張單個(gè)手勢(shì)的圖片，問(wèn)它分別看到了什么；

（2）再把三張手勢(shì)圖片一起發(fā)給 Gemini，問(wèn)它這是在干什么，并提示是一個(gè)“游戲”；

（3）通過(guò)以上一步步的提示和引導(dǎo)，Gemini 最終給出了答案：你在玩石頭剪刀布。

針對(duì)以上步驟，一位谷歌發(fā)言人解釋道：“為了測(cè)試 Gemini 在各種挑戰(zhàn)中的能力，我們通過(guò)捕捉錄像來(lái)制作演示。然后我們使用錄像中的靜態(tài)圖像幀提示 Gemini，并通過(guò)文本進(jìn)行提示?！?/p>

Parmy Olsen 將其簡(jiǎn)單翻譯了一下：“谷歌拍下了那雙手做很多事情的畫面，然后一張一張地向 Gemini 展示了這些鏡頭的照片。所以根本沒(méi)有語(yǔ)音對(duì)話，而是跟 ChatGPT 和 Bard 一樣的文本交流?！?/p>

此外，谷歌發(fā)言人還補(bǔ)充稱，用戶的配音都是從實(shí)際提示中摘錄的真實(shí)內(nèi)容，用于生成隨后的Gemini輸出結(jié)果——對(duì)此，Parmy Olsen 的翻譯是：“你在視頻中聽(tīng)到的聲音，只是在朗讀文字提示?！?/p>

也就是說(shuō)，谷歌所展示的 Gemini 演示視頻，是省略了所有引導(dǎo)提示、跳過(guò)了等待響應(yīng)的時(shí)間、并用配音合成的最終結(jié)果。

3、都是真實(shí)的，只是“為了簡(jiǎn)潔”剪輯視頻

當(dāng)然，Gemini 可能也真的做到了在視頻中展示的所有事情，但這兩種表現(xiàn)形式完全不同：

以文字形式，通過(guò)人工提示分步驟直接展示其多模態(tài)效果，對(duì)于 Gemini 的能力沒(méi)有過(guò)多修飾；

以視頻形式，經(jīng)過(guò)剪輯、省略其背后大量引導(dǎo)過(guò)程的視頻來(lái)呈現(xiàn)，極大暗示了 Gemini 的實(shí)時(shí)高效。

由于 Parmy Olsen 的曝光，網(wǎng)友對(duì)于 Gemini 的態(tài)度瞬間改變，并發(fā)出了無(wú)數(shù)質(zhì)疑。而對(duì)于被質(zhì)疑造假的這個(gè)視頻，谷歌 DeepMind 研究副總裁 Oriol Vinyals 今天給出了回應(yīng)：

“視頻中的所有用戶提示和輸出都是真實(shí)的，只是為了簡(jiǎn)潔起見(jiàn)進(jìn)行了縮短。該視頻展示了使用 Gemini 構(gòu)建的多模態(tài)用戶體驗(yàn)可能是什么樣子，我們制作該視頻是為了激發(fā)開發(fā)人員的靈感。”

換句話說(shuō)，Oriol Vinyals 承認(rèn) Gemini 演示視頻經(jīng)過(guò)了剪輯，原因是“為了簡(jiǎn)潔”。不論其剪輯初衷是否真的只是為了“簡(jiǎn)潔”，但不得不說(shuō)：在谷歌沒(méi)明確說(shuō)明視頻經(jīng)過(guò)剪輯之前，多數(shù)人對(duì)于 Gemini 的速度、準(zhǔn)確性以及與交互的基本模式，都產(chǎn)生了誤解。

如果在這個(gè)視頻開頭，谷歌就說(shuō)“這是我們研究人員測(cè)試過(guò)的 Gemini 交互的理想化表現(xiàn)”，那網(wǎng)友就會(huì)有心理預(yù)期：哦，那這個(gè)視頻一半是現(xiàn)實(shí)，一半是理想化——但事實(shí)上，該視頻的開頭是，“本視頻重點(diǎn)介紹了我們與 Gemini 的一些有趣互動(dòng)”，因此人們很難意識(shí)到這個(gè)視頻中 Gemini 的表現(xiàn)是經(jīng)過(guò)“加工”的。

4、網(wǎng)友：“這就是虛假和誤導(dǎo)”

于是意料之中，Oriol Vinyals 的回應(yīng)并沒(méi)有受到網(wǎng)友的理解，其 X 帖子下多是譴責(zé)谷歌虛假、夸大營(yíng)銷：

“如果你想激勵(lì)開發(fā)者，那為什么不發(fā)布真實(shí)的內(nèi)容呢？提示不可能既‘真實(shí)’又‘縮短’，這就是虛假和誤導(dǎo)?！?/p>

如今的 AI 初創(chuàng)公司，不就是像你們這樣夸張的演示來(lái)騙取資金的嗎？

“‘真實(shí)，縮短’，真的嗎？只是營(yíng)銷罷了。”

另外值得一提的是，還有網(wǎng)友指出，谷歌Gemini 對(duì)比GPT-4 的測(cè)試基準(zhǔn)也并不相同：“在MMLU測(cè)試中，Gemini下面有個(gè)灰色小字標(biāo)CoT@32，即使用了思維鏈提示技巧、選取了32次中的最好結(jié)果，GSM8K 的性能也是用 Maj1@32 與 GPT-4 的 5-Shot CoT 進(jìn)行對(duì)比的。”

那么對(duì)于谷歌聲稱Gemini 超越GPT-4 的說(shuō)法，你又有何看法呢？

本文轉(zhuǎn)自公眾號(hào)“CSDN”，ID：CSDNnews

審核編輯：劉清