現(xiàn)在，ChatGPT能看圖幫人修自行車了

ChatGPT4已經(jīng)很強(qiáng)了，現(xiàn)在，他們用又一次更新證明自己還能更強(qiáng)。

9月25日，OpenAI宣布，ChatGPT將增加多模態(tài)功能——現(xiàn)在的ChatGPT不僅可以文字對(duì)話，還可以看、聽、說。據(jù)說，這一功能會(huì)在兩周內(nèi)向Plus用戶和企業(yè)用戶開放，并在未來免費(fèi)開放給所有用戶。

能看能說的ChatGPT無異于給本就強(qiáng)大的主腦裝上了眼睛和耳朵，根據(jù)OpenAI的演示，多模態(tài)功能可以把ChatGPT的用途擴(kuò)展到一個(gè)前所未有的廣度。

ChatGPT的眼力

更新后，ChatGPT可以讀圖了。

只要拍張照給它，它就能幫你修微波爐、修自行車、翻菜譜，甚至分析復(fù)雜的商業(yè)報(bào)表。OpenAI表示，如果你有觸摸屏，還可以在圖片上圈出來希望它特別關(guān)注的部分。

在演示視頻里，用戶給了ChatGPT一張自行車的照片，問它怎么調(diào)車座高度。

GPT說，要在座椅下面找高度調(diào)節(jié)桿，但這輛車沒有調(diào)節(jié)桿，只有調(diào)節(jié)螺栓，用戶在照片中圈出了螺栓之后，GPT立刻更新了螺栓的使用方法。

之后，用戶還上傳了工具箱和自行車說明書，GPT給出了詳細(xì)的工具名稱、位置以及使用方法。

不會(huì)修自行車，沒問題，問ChatGPT就可以

和一般的識(shí)圖搜索相比，ChatGPT可以同時(shí)處理圖文，還能識(shí)別多張圖片，效果簡(jiǎn)直就像一個(gè)修車?yán)蠋煾狄曨l連線指導(dǎo)。

另一位用戶發(fā)了一張披薩照片給ChatGPT，問它披薩烤好了沒有，ChatGPT通過圖片中金色焦脆的披薩邊和融化后發(fā)棕的奶酪，判定這披薩應(yīng)該能吃了，然后還給了萬無一失的檢查指南——把披薩拿出來看看，如果披薩底已經(jīng)烤脆了，表面也是燙的，那就說明披薩真的能吃了。

效果簡(jiǎn)直就像一個(gè)意大利廚子視頻連線指導(dǎo)

當(dāng)然，也可以利用這個(gè)功能在游戲里作弊。

《威利在哪里？》可能是英文世界最家喻戶曉的圖片游戲，威利身穿紅白條紋衣服，戴絨球帽和黑框眼鏡，藏在一片人山人海里，從各種亂七八糟的環(huán)境里找出威利是不少人的美好童年回憶。

但ChatGPT一秒就能毀了這個(gè)游戲。它不僅瞬間找出威利，還能告訴你威利在沙灘的中間偏右側(cè)，跟一幫打著藍(lán)色遮陽傘的人混在一起。

不僅如此，它還裝模作樣地告訴你：在這樣一張圖里找出威利“是個(gè)很有意思的挑戰(zhàn)”。

謝謝你，ChatGPT，你毀了這個(gè)游戲

但是也有用上了新版本的網(wǎng)友表示，ChatGPT識(shí)圖的功能也沒有想象中那么強(qiáng)大——至少它還看不懂諧音梗。這張諧音梗圖畫了貝多芬的獻(xiàn)愛麗絲（Für Elise），但寫著出租（For Lease），ChatGPT沒認(rèn)出樂譜，也沒看懂這個(gè)笑話，胡謅了一個(gè)解釋出來。

夠努力的，但是不行

如此強(qiáng)大的圖像識(shí)別引發(fā)了人們關(guān)于隱私方面的擔(dān)憂——在搜索個(gè)人信息時(shí)，圖像識(shí)別很容易會(huì)成為“幫兇”。OpenAI承諾，公司會(huì)限制ChatGPT對(duì)于人物形象進(jìn)行識(shí)別和個(gè)人信息查找的功能，從而最大程度上保護(hù)每個(gè)人的個(gè)人隱私。

能說會(huì)道的GPT

增強(qiáng)版的ChatGPT還有了聊天功能。

OpenAI的語音識(shí)別模型名為Whisper model，用戶可以說出自己的問題，模型會(huì)把語音轉(zhuǎn)化為文本，再把答案通過語音合成系統(tǒng)轉(zhuǎn)化為語音輸出。

語音合成模型這次放出了五種語音樣本，有感情克制、聲音平淡的女聲，也有抑揚(yáng)頓挫的熱心大媽女聲。這五種聲音區(qū)分度很高，情感自然，吐字清晰，比以往的語音合成又優(yōu)秀了一點(diǎn)。

五個(gè)角色任你挑

雖然這次只放出了五種聲音樣本，但這個(gè)模型的潛力不止于此——OpenAI曾與Spotify合作，將播客轉(zhuǎn)譯為其他語言，同時(shí)可以最大程度地保留播主的音質(zhì)。如果愿意的話，這個(gè)語音合成系統(tǒng)大概可以模擬地球上任何一個(gè)人的聲音。

目前，語音版ChatGPT還只能在App上用。

能看能聽，一定是好事嗎？

ChatGPT是強(qiáng)大了，然而代價(jià)呢？

曾經(jīng)，最有效的大規(guī)模區(qū)分人和機(jī)器的方法是驗(yàn)證碼，ChatGPT的識(shí)圖能力一度讓人們擔(dān)憂，驗(yàn)證碼可能再也困不住AI了。

有人給ChatGPT發(fā)了下面這個(gè)經(jīng)典測(cè)試題：在16張圖中分別找出吉娃娃和藍(lán)莓小蛋糕，結(jié)果ChatGPT完美地解決了問題。

但最常見的驗(yàn)證碼，新ChatGPT還是沒法識(shí)別。

這道題需要ChatGPT在圖中選出所有的信號(hào)燈，它給的答案錯(cuò)誤率高達(dá)50。

不過，面對(duì)自己認(rèn)不出的驗(yàn)證碼，ChatGPT4仍有辦法解決。在這件事上，它是有“前科”的。

今年3月27日，OpenAI發(fā)布的GPT-4技術(shù)報(bào)告指出，在面對(duì)無法識(shí)別的驗(yàn)證碼時(shí)，GPT-4另辟蹊徑，前往TaskRabbit（一個(gè)國(guó)外零工平臺(tái)）發(fā)布任務(wù)，騙對(duì)面的人類自己有視覺障礙，需要?jiǎng)e人幫忙識(shí)別驗(yàn)證碼。

在某些情況下，ChatGPT有可能主動(dòng)欺騙人類，這是一個(gè)非常危險(xiǎn)的方向。還好，公開版本的GPT-4已經(jīng)被砍掉了這個(gè)功能。

2022年11月30日，ChatGPT初次面世，不到一年的時(shí)間里，它的能力突飛猛進(jìn)，似乎已經(jīng)在挑戰(zhàn)人類的道德倫理邊界。這次新功能的上線，又讓我們開始擔(dān)憂，越來越強(qiáng)大的ChatGPT會(huì)變成籠中猛獸，總有一天會(huì)掙脫牢籠傷害每個(gè)人。而我們準(zhǔn)備好迎接那天的到來了嗎？