開(kāi)源與閉源之爭(zhēng)：最新的開(kāi)源模型到底還落后多少？

一，引言

隨著人工智能（AI）技術(shù)的迅猛發(fā)展，大模型已經(jīng)成為推動(dòng)科技進(jìn)步的重要力量。然而，超大規(guī)模模型在帶來(lái)高性能的同時(shí)，也面臨著資源消耗大、部署困難等問(wèn)題。本文將探討AI大模型未來(lái)的發(fā)展方向。

開(kāi)放性一直是人工智能研究領(lǐng)域的常態(tài)，促進(jìn)了該領(lǐng)域的合作。然而，人工智能的快速發(fā)展引發(fā)了關(guān)于發(fā)布最強(qiáng)大模型可能帶來(lái)的后果的擔(dān)憂。此外，像ChatGPT這樣的模型的銷售企業(yè)有保持模型私有的商業(yè)動(dòng)機(jī)。

行業(yè)AI實(shí)驗(yàn)室以多種方式回應(yīng)了這些發(fā)展：

未發(fā)布模型：例如，谷歌DeepMind的Chinchilla模型尚未發(fā)布。

結(jié)構(gòu)化訪問(wèn)控制：像GPT-4這樣的模型有結(jié)構(gòu)化的訪問(wèn)控制，控制用戶如何與模型交互。

有限制的開(kāi)源模型：Meta的Llama模型的權(quán)重可以下載，但使用條款有限制。

二，開(kāi)源與閉源模型的對(duì)比

1，爭(zhēng)議

發(fā)布模型、代碼和數(shù)據(jù)集能夠促進(jìn)創(chuàng)新和外部審查，但這也是不可逆的，并且如果模型的安全措施被繞過(guò)，就有被濫用的風(fēng)險(xiǎn)。關(guān)于這種權(quán)衡是否可接受或可避免，存在持續(xù)的爭(zhēng)論。開(kāi)源AI的支持者認(rèn)為，開(kāi)放性通過(guò)開(kāi)放社區(qū)開(kāi)發(fā)的創(chuàng)新和工具，對(duì)社會(huì)以及模型開(kāi)發(fā)者都有益。甚至有人認(rèn)為，更多的閉源AI開(kāi)發(fā)者已經(jīng)被開(kāi)源社區(qū)超越，保持封閉變得毫無(wú)意義。

2，二者用戶基數(shù)對(duì)比

ChatGPT（封閉模型）：每月大約有3.5億用戶。

Meta AI助手（開(kāi)放模型）：每月有近5億用戶。

3，性能和訓(xùn)練計(jì)算方面的差距

為了系統(tǒng)地比較開(kāi)放和封閉AI模型隨時(shí)間的能力，我們收集了自2018年以來(lái)發(fā)布的數(shù)百個(gè)著名AI模型的權(quán)重和訓(xùn)練代碼的可訪問(wèn)性數(shù)據(jù)。以下是主要發(fā)現(xiàn)：

基準(zhǔn)性能：

最好的開(kāi)源大型語(yǔ)言模型（LLMs）在多個(gè)基準(zhǔn)測(cè)試上落后于最好的閉源LLMs5到22個(gè)月。Meta的Llama 3.1 405B是最新的一個(gè)在多個(gè)基準(zhǔn)上縮小差距的開(kāi)源模型。即使不考慮Meta的Llama模型，結(jié)果也類似。

訓(xùn)練計(jì)算：

在訓(xùn)練計(jì)算方面，最大的開(kāi)源模型落后于最大的閉源模型大約15個(gè)月。

Llama 3.1 405B相對(duì)于GPT-4的發(fā)布，差距為16個(gè)月。由于我們尚未看到比GPT-4規(guī)模更大的閉源模型，Llama 3.1 405B已經(jīng)在縮小訓(xùn)練計(jì)算的差距。

訓(xùn)練效率：

盡管開(kāi)源LLMs在達(dá)到與閉源LLMs相似的基準(zhǔn)性能后，通常使用較少的訓(xùn)練計(jì)算，但新模型通常更高效。因此，我們?nèi)狈ν瑯痈咝У男麻]源模型的數(shù)據(jù)。

訓(xùn)練數(shù)據(jù)污染和“為排行榜而學(xué)習(xí)”也可能導(dǎo)致更高的分?jǐn)?shù)。

三，總結(jié)

開(kāi)源與閉源AI模型之間的競(jìng)爭(zhēng)和差距反映了AI領(lǐng)域的多樣性和復(fù)雜性。盡管開(kāi)源模型在某些方面落后于閉源模型，但它們?cè)诖龠M(jìn)創(chuàng)新和安全性研究方面具有獨(dú)特的優(yōu)勢(shì)。未來(lái)的發(fā)展將是結(jié)合兩者的優(yōu)點(diǎn)，開(kāi)發(fā)能力優(yōu)秀、規(guī)模適中、邊緣友好的AI模型，以滿足多樣化的應(yīng)用需求。當(dāng)然也取決于技術(shù)進(jìn)步、市場(chǎng)需求和政策監(jiān)管的綜合影響。

這兩種模型你更看好哪一個(gè)呢？歡迎評(píng)論留言討論。

更多精彩內(nèi)容請(qǐng)關(guān)注“算力魔方?”！

審核編輯 黃宇