從AI遠(yuǎn)見到中國速度：Scaling Law發(fā)現(xiàn)者為何引全球熱議？

從20世紀(jì)50年代起，AI技術(shù)經(jīng)歷了70多年的發(fā)展。其間多種技術(shù)曾占據(jù)不同時(shí)代的高位，而當(dāng)時(shí)間來到21世紀(jì)20年代，抵達(dá)我們今天正在經(jīng)歷的新一輪AI崛起，預(yù)訓(xùn)練大模型毫無疑問就是這個(gè)時(shí)代的主角。

那么，究竟是誰點(diǎn)燃了這次AI爆發(fā)的星星之火，推開了大模型的大門？相信你把這個(gè)問題拋給不那么了解AI的朋友，他也會(huì)脫口而出：是OpenAI啊。但就像大模型會(huì)出現(xiàn)幻覺一樣，最近外網(wǎng)全面熱議的一件事告訴我們，這個(gè)答案也可能摻雜了一些幻覺成分。

Scaling Law規(guī)?；▌t，也被稱為大模型的尺度定律。這一定律揭示了大語言模型的模型性能與其規(guī)模、訓(xùn)練數(shù)據(jù)集大小，以及訓(xùn)練資源之間存在著一種可預(yù)測(cè)的關(guān)系。也就是說投入資源越多，模型規(guī)模越大，最終的模型效果也就可能越好。從AI模型走向AI大模型，以及采取預(yù)訓(xùn)練機(jī)制的必要性都是由此而產(chǎn)生。因此Scaling Law也被業(yè)界廣泛認(rèn)為是模型預(yù)訓(xùn)練的第一性原理。

但就這項(xiàng)核心理論的起源，最近卻有一項(xiàng)討論火爆外網(wǎng)。根據(jù)AI大佬爆料，以及《南華早報(bào)》等權(quán)威媒體的報(bào)道，中國科技巨頭百度比OpenAI更早發(fā)現(xiàn)了這一原理。這也意味著中國AI在大模型時(shí)代的前瞻性探索上可能更為超前。

而“AI突破總來自百度”這一現(xiàn)象的背后，更展示了體系化AI創(chuàng)新的核心價(jià)值。如何在全球AI競(jìng)賽的大背景下，全面釋放出百度的體系化AI創(chuàng)新價(jià)值，將是未來中國AI發(fā)展的核心課題。

事情的起源是這樣的。11月12日，在Lex Fridman的播客節(jié)目中，Anthropic聯(lián)合創(chuàng)始人&CEO Dario Amodei探討了Claude、AI模型的擴(kuò)展規(guī)律、AGI、AI未來等多個(gè)話題。其中，作為AI領(lǐng)軍人物的Dario Amodei也談到了Scaling Law這個(gè)關(guān)鍵規(guī)律的發(fā)現(xiàn)。他提到了他最早發(fā)現(xiàn)這個(gè)規(guī)律，始于此前在百度工作時(shí)的相關(guān)研究。根據(jù)資料顯示，Dario Amodei于2014 年 11 月到2015 年 10 月期間在百度工作，當(dāng)時(shí)他在百度硅谷人工智能實(shí)驗(yàn)室（SVAIL）工作，致力于將深度學(xué)習(xí)模型擴(kuò)展到大規(guī)模高性能計(jì)算系統(tǒng)。

Dario Amodei提到，2014年與吳恩達(dá)在百度研究AI的時(shí)候，他就已經(jīng)發(fā)現(xiàn)了模型發(fā)展的規(guī)律Scaling Law，“隨著你給它們提供更多數(shù)據(jù)，隨著你讓模型變大，隨著你訓(xùn)練它們的時(shí)間越來越長，模型的表現(xiàn)開始越來越好。當(dāng)時(shí)我并沒有精確地衡量，但我和同事們都非常非正式的感覺到，給這些模型的數(shù)據(jù)越多、計(jì)算越多、訓(xùn)練越多，它們的表現(xiàn)就越好”。

這個(gè)說法很快也得到了其他途徑的權(quán)威證明。11月27日，Meta研究員、康奈爾大學(xué)博士候選人Jack Morris在X上表示，“大多數(shù)人不知道，關(guān)于Scaling Law的原始研究來自2017年的百度，而不是2020年的OpenAI”。

這個(gè)說法的來源是，在百度于2017年發(fā)表的論文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》論文當(dāng)中，已經(jīng)對(duì)Scaling Law做出了詳細(xì)研究，并探討了機(jī)器翻譯、語言建模等領(lǐng)域的Scaling現(xiàn)象。業(yè)內(nèi)人士認(rèn)為，這篇論文的重要性被嚴(yán)重忽視了。

而透過這次全球AI界的正本清源，我們真正能夠看到的是百度在AI領(lǐng)域的前瞻性與系統(tǒng)化創(chuàng)新能力。很多AI的答案總是由百度來找到，已經(jīng)成為業(yè)界的全新共識(shí)。

十年之前，互聯(lián)網(wǎng)技術(shù)正在持續(xù)發(fā)展，移動(dòng)時(shí)代正處在高位。當(dāng)時(shí)幾乎沒有哪家科技公司愿意從眼前的利益中抽身，去看看更遙遠(yuǎn)的未來。

但如果每家科技企業(yè)都固守短期利益，那么當(dāng)科技拐點(diǎn)到來，下一輪技術(shù)突破開啟，整個(gè)社會(huì)的科技競(jìng)爭(zhēng)力不足就會(huì)暴露出來。我們只能重復(fù)一次又一次科技模仿者的角色。

好在百度決定打破這個(gè)循環(huán)，用預(yù)判能力提前點(diǎn)燃AI的星星之火。這種預(yù)判性，已經(jīng)為百度，乃至為整個(gè)中國AI領(lǐng)域帶來了極大效益。比如盡管外部剛剛爆料出百度更早發(fā)現(xiàn)Scaling Law的信息。但百度早已經(jīng)基于對(duì)Scaling Law的研究和理解，很早就投入到預(yù)訓(xùn)練大模型的工作當(dāng)中。于是可以在全球第一梯隊(duì)發(fā)布大模型技術(shù)，率先打造投入應(yīng)用的AIGC產(chǎn)品。

早在2013年1月的百度年會(huì)上，李彥宏宣布成立了深度學(xué)習(xí)研究院，并親自任院長。李彥宏認(rèn)為，“這應(yīng)該是全球企業(yè)界第一家用深度學(xué)習(xí)來命名的研究院”。這意味著，在全球大多數(shù)科技企業(yè)對(duì)AI的認(rèn)知停留在科幻電影的階段，百度已經(jīng)率先將AI技術(shù)作為學(xué)術(shù)研究與業(yè)務(wù)落地的發(fā)展方向，繼而開始體系化、系統(tǒng)化進(jìn)行AI創(chuàng)新。

多年以來，百度在硬件、基礎(chǔ)軟件、模型算法、業(yè)務(wù)落地等維度進(jìn)行了AI探索。后來的事實(shí)也證明，對(duì)單項(xiàng)AI技術(shù)的投入只能是模仿，只有從源頭上進(jìn)行體系化研發(fā)投入，才能提供源源不斷的AI創(chuàng)新成果。由李彥宏的前瞻性出發(fā)，啟動(dòng)搭建的百度AI系統(tǒng)，讓百度十年來成為AI人才、AI技術(shù)與AI基礎(chǔ)設(shè)施的策源地。

從人才角度看，全球AI人才看到了百度AI的未來，爭(zhēng)相加入到這個(gè)體系中來。比如說2014年，吳恩達(dá)加入百度并在研究院首席科學(xué)家，擔(dān)任百度公司首席科學(xué)家，負(fù)責(zé)百度研究院的領(lǐng)導(dǎo)工作。2014年5月19日，百度宣布任命吳恩達(dá)博士為百度首席科學(xué)家，全面負(fù)責(zé)百度研究院。同樣在2014年，Dario Amodei斯坦福博士后畢業(yè)后加入百度硅谷AI實(shí)驗(yàn)室。之后，Dario amodei又招募了Jim fan來百度實(shí)習(xí)。這些人后來都成為AI爆發(fā)的全球領(lǐng)軍人物，將百度的AI積淀帶向世界。

從業(yè)務(wù)發(fā)展的角度看，百度在自然語言處理、機(jī)器視覺、知識(shí)圖譜等領(lǐng)域打下了堅(jiān)實(shí)的技術(shù)底座，并率先將AI技術(shù)帶到搜索、信息流、地圖、自動(dòng)駕駛等核心業(yè)務(wù)，全面迭代了科技行業(yè)與AI技術(shù)的關(guān)系，為未來千行百業(yè)的智能化指定了航標(biāo)。

從基礎(chǔ)設(shè)施的角度看，百度打造的飛槳+文心大模型體系已經(jīng)成為AI開發(fā)者與產(chǎn)業(yè)智能化共同依托的技術(shù)底座。目前，飛槳文心開發(fā)者數(shù)量已達(dá)1808萬，服務(wù)了43萬家企業(yè)，創(chuàng)建了101萬個(gè)模型。百度已經(jīng)成為AI模型與AI開發(fā)者的搖籃。

不至Scaling Law，百度在AI領(lǐng)域點(diǎn)燃了無數(shù)星星之火。它們?nèi)紵⒎牛蔀橹袊鳤I在全球賽場(chǎng)上的動(dòng)力引擎。

時(shí)間來到今天，預(yù)訓(xùn)練大模型驅(qū)動(dòng)全球新一輪科技革命。在這個(gè)階段當(dāng)中，百度憑借跨越十年的AI洞見，以及由此打造的體系化AI創(chuàng)新，全面提升了中國AI的發(fā)展加速度。

比如說，百度在2019年發(fā)布了第一代文心大模型，幾乎與OpenAI處于同一時(shí)期；2023年，百度是全球第一家推出生成式AI產(chǎn)品的科技大廠，讓中國用戶有了與無時(shí)間差的AI革命體驗(yàn)。

今天，百度文心大模型日調(diào)用量已經(jīng)超過15億。對(duì)比今年5月2億的日調(diào)用量，半年時(shí)間達(dá)到了原來的7.5倍，對(duì)比一年前5000萬的日調(diào)用量，達(dá)到了30倍。文心已經(jīng)真正成為中國預(yù)訓(xùn)練大模型的底牌與王炸。

而把百度的前瞻能力與體系化AI創(chuàng)新，放在更大的全球科技競(jìng)賽背景中看，會(huì)發(fā)現(xiàn)其有著極其深遠(yuǎn)的意義。

日前，外媒Axios援引知情人士消息，美國候選總統(tǒng)特朗普計(jì)劃任命一位人工智能部長（AI czar），以協(xié)調(diào)聯(lián)邦政策和政府對(duì)新興技術(shù)的使用?！癆I部長”將在集中公共和私人資源方面發(fā)揮作用，確保美國在全球范圍內(nèi)占有人工智能發(fā)展的領(lǐng)先地位。這預(yù)示著特朗普下一個(gè)任期內(nèi)AI技術(shù)發(fā)展將加速迎來變局。AI對(duì)于社會(huì)經(jīng)濟(jì)、國家戰(zhàn)略的意義正被推升到史無前例的高度。

在全球AI競(jìng)賽的必然趨勢(shì)下，百度的深入積累的AI技術(shù)路徑、研究方法與工程化實(shí)踐、應(yīng)用探索，都將成為未來中國AI加速度的來源。

如何透過Scaling Law的全球熱議，看清百度AI基座的不可替代性，并將這種價(jià)值應(yīng)用在未來必將發(fā)生的AI競(jìng)賽中，將是中國AI接下來一個(gè)深刻且富有想象力的命題。

審核編輯 黃宇