谷歌大型模型終于開(kāi)放源代碼，遲到但重要的開(kāi)源戰(zhàn)略

妙手、本手還是俗手？

昨夜，谷歌罕見(jiàn)地改變了去年堅(jiān)持的“大模型閉源”策略，推出了“開(kāi)源”大模型 Gemma。

Gemma 采用了與 Gemini 相同的技術(shù)，由谷歌 DeepMind 與谷歌其他團(tuán)隊(duì)共同合作開(kāi)發(fā)，在拉丁文中意為 “寶石”。

Gemma 包括兩種權(quán)重規(guī)模的模型：Gemma 2B 與 Gemma 7B，每種規(guī)模都有預(yù)訓(xùn)練與指令微調(diào)版本。同時(shí)，谷歌還推出了一系列工具，旨在支持開(kāi)發(fā)者創(chuàng)新，促進(jìn)合作，并指導(dǎo)如何負(fù)責(zé)任地使用 Gemma 模型。

這樣一來(lái)，谷歌在大模型領(lǐng)域形成了雙線作戰(zhàn)——閉源領(lǐng)域?qū)?OpenAI，開(kāi)源領(lǐng)域?qū)?Meta。

在人工智能領(lǐng)域，谷歌可以算是開(kāi)源的鼻祖。今天幾乎所有的大語(yǔ)言模型，都基于谷歌在 2017 年發(fā)布的 Transformer 論文；谷歌的發(fā)布的 BERT、T5，都是最早的一批開(kāi)源 AI 模型。

然而，自從 OpenAI 在 2022 年底發(fā)布閉源的 ChatGPT，谷歌也開(kāi)始轉(zhuǎn)向閉源策略。此后，開(kāi)源大模型被 Meta 的Llama 主導(dǎo)，后來(lái)被稱(chēng)為“歐洲版 OpenAI”的法國(guó)開(kāi)源大模型公司 Mistral AI 走紅，其 MoE 模型也被眾多 AI 公司追捧。

無(wú)論在閉源還是開(kāi)源領(lǐng)域，有世界上最前沿技術(shù)儲(chǔ)備與人才儲(chǔ)備的谷歌，都沒(méi)能確立絕對(duì)的領(lǐng)先地位。

如今，閉源與開(kāi)源雙線作戰(zhàn)，這是谷歌的妙手、本手還是俗手？

1.谷歌被迫開(kāi)源？

?

谷歌開(kāi)源大模型的發(fā)布時(shí)間，比 Meta 的 Llama 晚了整整一年。

對(duì)此，出門(mén)問(wèn)問(wèn)創(chuàng)始人李志飛表示：“相比于去年上半年就開(kāi)源，現(xiàn)在可能要花數(shù)倍的努力進(jìn)行模型的差異化以及推廣的投入、才有可能在眾多開(kāi)源模型中脫穎而出?！?/p>

同時(shí)，李志飛認(rèn)為谷歌的開(kāi)源力度也不夠，還是被動(dòng)防御和扭扭捏捏的應(yīng)對(duì)之策，不是進(jìn)攻?！氨热缯f(shuō)，開(kāi)個(gè)7B的模型實(shí)在是太小兒科了，一點(diǎn)殺傷力都沒(méi)有。應(yīng)該直接開(kāi)源一個(gè)超越市場(chǎng)上所有開(kāi)源的至少 100B 的模型、1M 的超長(zhǎng)上下文、完善的推理 infra 方案、外加送一定的 cloud credit。是的，再不歇斯底里 Google 真的就晚了。面對(duì) OpenAI 的強(qiáng)力競(jìng)爭(zhēng)，只有殺敵一千、自損一千五?！?/p>

李志飛感覺(jué)，谷歌覺(jué)得自己還是 AI 王者，放不下高貴的頭顱，很多發(fā)布都有點(diǎn)不痛不癢，還是沿著過(guò)去研發(fā)驅(qū)動(dòng)的老路而不是產(chǎn)品和競(jìng)爭(zhēng)驅(qū)動(dòng)，比如說(shuō)不停發(fā)論文、取新名字（多模態(tài)相關(guān)模型過(guò)去半年就發(fā)了 Palme、rt-2、Gemini、VideoPoet、W.A.L.T 等等）、發(fā)布的模型又完整度不夠，感覺(jué)就沒(méi)有一個(gè)絕對(duì)能打的產(chǎn)品。谷歌可能要意識(shí)到在公眾眼中，他在 AI 領(lǐng)域已經(jīng)是廉頗老矣潰不成軍，經(jīng)常起大早趕晚集（比如說(shuō)這次 Sora 借鑒的 ViT、ViViT、NaVit、MAGVit 等核心組件技術(shù)都是它家寫(xiě)的論文）。

但作為前谷歌總部科學(xué)家，李志飛也希望谷歌希望亡羊補(bǔ)牢未為晚。他表示：“Google 作為一個(gè)僵化的大公司，動(dòng)作慢一點(diǎn)可以理解，但是如果再不努力是不是就是 PC 互聯(lián)網(wǎng)的 IBM、移動(dòng)互聯(lián)網(wǎng)的 Microsoft ？ 作為 Google 的鐵粉，還是希望他能打起精神一戰(zhàn)，AI 產(chǎn)業(yè)需要強(qiáng)力的競(jìng)爭(zhēng)才能不停往前發(fā)展，也需要他在前沿研究和系統(tǒng)的開(kāi)源才能幫助一大眾貧窮的 AI 創(chuàng)業(yè)公司?！?/p>

另一位 AI 專(zhuān)家——微博新技術(shù)研發(fā)負(fù)責(zé)人張俊林認(rèn)為，谷歌重返開(kāi)源賽場(chǎng)，這是個(gè)大好事，但很明顯是被迫的。

張俊林表示：“去年 Google 貌似已經(jīng)下定決心要閉源了，這可能源于低估了追趕 OpenAI 的技術(shù)難度，Bard 推出令人大失所望使得谷歌不得不面對(duì)現(xiàn)實(shí)，去年下半年進(jìn)入很尷尬的局面，閉源要追上 OpenAI 估計(jì)還要不少時(shí)間，而開(kāi)源方面 Meta 已下決心，還有 Mistral 這種新秀冒頭，逐漸主導(dǎo)了開(kāi)源市場(chǎng)。這導(dǎo)致無(wú)論開(kāi)源閉源，谷歌都處于被兩面夾擊，進(jìn)退為難的境地?！?/p>

很明顯，Gemma 代表谷歌大模型策略的轉(zhuǎn)變：兼顧開(kāi)源和閉源，開(kāi)源主打性能最強(qiáng)大的小規(guī)模模型，希望腳踢 Meta 和 Mistral；閉源主打規(guī)模大的效果最好的大模型，希望盡快追上 OpenAI。

大模型到底要做開(kāi)源還是閉源？

張俊林的判斷是，如果是做當(dāng)前最強(qiáng)大的大模型，目前看還是要拼模型規(guī)模，這方面開(kāi)源模型相對(duì)閉源模型處于明顯劣勢(shì)，短期內(nèi)難以追上 GPT-4 或 GPT-4V。而且這種類(lèi)型的大模型，即使是開(kāi)源，也只能仰仗谷歌或者 Meta 這種財(cái)大氣粗的大公司，主要是太消耗資源了，一般人玩不起。國(guó)內(nèi)這方面阿里千問(wèn)系列做得比較好，肯把比較大規(guī)模的模型開(kāi)源出來(lái)，當(dāng)然肯定不是最好的，不過(guò)這也很難得了。

而在開(kāi)源領(lǐng)域，張俊林的判斷是應(yīng)該把主要精力放在開(kāi)發(fā)并開(kāi)源出性能足夠強(qiáng)的“小規(guī)模大模型”上（SLLM，Small Large Language Model），因此谷歌的開(kāi)源策略是非常合理的。

目前看，作出強(qiáng)大的 SLLM 并沒(méi)有太多技巧，主要是把模型壓小的基礎(chǔ)上，大量增加訓(xùn)練數(shù)據(jù)的規(guī)模，數(shù)據(jù)質(zhì)量方面則是增加數(shù)學(xué)、代碼等數(shù)據(jù)來(lái)提升模型的推理能力。比如 Gemma 7B 用 6 萬(wàn)億 Token 數(shù)據(jù)，外界猜測(cè) Mistral 7B 使用了 7 萬(wàn)億 Token 數(shù)據(jù)，兩者也應(yīng)該大量采用了增強(qiáng)推理能力的訓(xùn)練數(shù)據(jù)。

所以 SLLM 模型的性能天花板目前也沒(méi)有到頭，只要有更多更高質(zhì)量的數(shù)據(jù)，就能持續(xù)提升 SLLM 模型的效果，仍然有很大空間。

而且 SLLM 相對(duì) GPT-4 這種追求最強(qiáng)效果的模型比，訓(xùn)練成本低得多，而因?yàn)槟Ｐ鸵?guī)模小，推理成本也極低，只要持續(xù)優(yōu)化效果，從應(yīng)用層面，大家肯定會(huì)比較積極地部署 SLLM 用來(lái)實(shí)戰(zhàn)的，市場(chǎng)潛力巨大。也就是說(shuō)，SLLM 應(yīng)該是沒(méi)有太多資源，但是還是有一些資源的大模型公司必爭(zhēng)之地。

張俊林相信，2024 年開(kāi)源 SLLM 會(huì)有黑馬出現(xiàn)。

2.大模型打壓鏈

?

從今天起，Gemma 在全球范圍內(nèi)開(kāi)放使用。該模型的關(guān)鍵細(xì)節(jié)如下：

發(fā)布了兩種權(quán)重規(guī)模的模型：Gemma 2B 和 Gemma 7B。每種規(guī)模都有預(yù)訓(xùn)練和指令微調(diào)版本。

新的 Responsible Generative AI Toolkit 為使用 Gemma 創(chuàng)建更安全的 AI 應(yīng)用程序提供指導(dǎo)和必備工具。

通過(guò)原生 Keras 3.0 為所有主要框架（JAX、PyTorch 和 TensorFlow）提供推理和監(jiān)督微調(diào)（SFT）的工具鏈。 ?

上手即用 Colab 和 Kaggle notebooks，以及與 Hugging Face、MaxText 和 NVIDIA NeMo 等受歡迎的工具集成，讓開(kāi)始使用 Gemma 變得簡(jiǎn)單容易。

經(jīng)過(guò)預(yù)訓(xùn)練和指令微調(diào)的 Gemma 模型可以在筆記本電腦、工作站或 Google Cloud 上運(yùn)行，并可輕松部署在 Vertex AI 和 Google Kubernetes Engine（GKE）上。

基于多個(gè) AI 硬件平臺(tái)進(jìn)行優(yōu)化，其中包括 NVIDIA GPUs 和 Google Cloud TPUs。

使用條款允許所有組織（無(wú)論規(guī)模大?。┴?fù)責(zé)任地進(jìn)行商用和分發(fā)。

Gemma 是開(kāi)源領(lǐng)域一股不可忽視的力量。根據(jù)谷歌給出的數(shù)據(jù)，性能超越 Llama 2。 ?

圖片來(lái)自谷歌

至此，大模型開(kāi)源形成三巨頭局面：谷歌 Gemma、Meta LLama 和歐洲的 Mistral。 ? 張俊林認(rèn)為，大模型巨頭混戰(zhàn)形成了打壓鏈局面：OpenAI 處于鏈條頂端，主要打壓對(duì)手是有潛力追上它的競(jìng)爭(zhēng)對(duì)手：谷歌和 Anthropic，Mistral 估計(jì)也正在被列入 OpenAI 的打壓列表中。打壓鏈條為：OpenAI→Google &Anthropic & Mistral→ Meta→其它大模型公司。 ? 比如，谷歌上周發(fā)布的 Gemini 1.5 Pro 就是一個(gè)有代表性的案例，本身模型實(shí)例很強(qiáng)大，但在宣發(fā)策略上被 Sora 打到啞火；前年年底發(fā)布的 ChatGPT 也是臨時(shí)趕工出來(lái)打壓 Anthropic 的 Claude 模型的。 ?

張俊林對(duì)此判斷：“OpenAI 應(yīng)該儲(chǔ)備了一個(gè)用于打壓對(duì)手的技術(shù)儲(chǔ)備庫(kù)，即使做得差不多了也隱而不發(fā)，專(zhuān)等競(jìng)爭(zhēng)對(duì)手發(fā)布新產(chǎn)品的時(shí)候扔出來(lái)，以形成宣傳優(yōu)勢(shì)。如果 OpenAI 判斷對(duì)手的產(chǎn)品對(duì)自己的威脅越強(qiáng)，就越可能把技術(shù)儲(chǔ)備庫(kù)里最強(qiáng)的扔出來(lái)，比如 ChatGPT 和 Sora，都是大殺器級(jí)別的，這也側(cè)面說(shuō)明 OpenAI 比較認(rèn)可 Gemini 1.5 和 Claude 的實(shí)力。而這種打壓策略很明顯還會(huì)繼續(xù)下去，以后我們?nèi)匀粫?huì)經(jīng)?？吹筋?lèi)似的情景，不巧的是，可能其它公司比如谷歌也學(xué)會(huì)這招了，估計(jì)也很快會(huì)傳導(dǎo)到國(guó)內(nèi)大模型公司范圍里。所以 2024 年會(huì)比較熱鬧，估計(jì)會(huì)有不少大戲上演?！?? 谷歌開(kāi)源 Gemma 很明顯是針對(duì) Meta 和 Mistral 而來(lái)。張俊林據(jù)此推測(cè)，Meta 的 LLama 3 很快就要發(fā)布了，或者M(jìn)istral 最近會(huì)有新品發(fā)布。

審核編輯：黃飛

?