大模型智能的革命：如何打破算力瓶頸

我們已經(jīng)進(jìn)入大模型時(shí)代，據(jù)不完全統(tǒng)計(jì)，僅是國(guó)內(nèi)正式發(fā)布的大模型就超過了 200 個(gè)，而且這些模型在不斷的升級(jí)中，新的模型還不斷發(fā)布出來，過去的一周多，中國(guó)農(nóng)業(yè)大學(xué)發(fā)布了“神農(nóng)大模型”，網(wǎng)易發(fā)布了“子曰”大模型 2.0 版本。

模型的智能涌現(xiàn)水平同參數(shù)量有著直接關(guān)系，“大”仍是大模型升級(jí)的主流選擇。以 GPT 為例，GPT-2 參數(shù)量為 15 億，GPT-3 參數(shù)量為 1750 億，提高了 100 倍，最新的 GPT-4 有消息稱參數(shù)量為 1.8 萬億，提高了 10 倍。

模型參數(shù)量越大，需要的訓(xùn)練量也就越大，消耗的算力也就越多。任何一個(gè)大模型的開發(fā)和升級(jí)都需要考慮算力約束。那么模型的規(guī)模同所需算力之間到底是什么關(guān)系，我們需要解決這個(gè)問題，以便在模型升級(jí)過程中做好算力預(yù)算。

模型所需算力正比于參數(shù)量的平方

Transformer 是當(dāng)前應(yīng)用最廣的 AI 架構(gòu)。我們以 Transformer 為核心的大模型為例來估算計(jì)算量。

大模型的參數(shù)量主要取決于隱藏層的維度和構(gòu)成模型的Block的數(shù)量，我們假定隱藏層的維度為 h，Block 的數(shù)量為 i，那么，大模型的參數(shù)量為 。我們以 b 代指訓(xùn)練輸入數(shù)據(jù)的 batch size 和每個(gè)輸入序列（sequence）的長(zhǎng)度，那么整個(gè)模型訓(xùn)練一次的計(jì)算量為 ，上述關(guān)系已經(jīng)得到嚴(yán)格的數(shù)學(xué)證明，在此不展開。 我們用 C 來指代模型所需算力當(dāng)量，用 N 來指代模型參數(shù)量，來看兩者的關(guān)系，得到如下結(jié)果： ?

? 由于在百億、千億參數(shù)的大模型中，隱含層的維度 h 遠(yuǎn)大于輸入序列的長(zhǎng)度 s，可以將 S 忽略不計(jì)。所以，上述等式的結(jié)果可以近似為 6b*s。b*s 是一次訓(xùn)練輸入的總 token 數(shù)，我們用 D 來指代。

由此可以得出訓(xùn)練大模型的所需的算力當(dāng)量評(píng)估公式：

D 同 N 相關(guān)性非常大，也就是模型越大訓(xùn)練的總 token 數(shù)也越大，我們把這個(gè)關(guān)系總結(jié)為一個(gè)線性函數(shù) N=kD，k 是一個(gè)固定的常數(shù)。

這樣上述公式就變?yōu)椋??

也就是說，大模型規(guī)模增大一倍，所需要的算力會(huì)增大 4 倍，如果增大 10 倍，所需算力就會(huì)增大 100 倍。大模型的算力需求增長(zhǎng)速度超越了當(dāng)前的計(jì)算技術(shù)極限，讓大模型競(jìng)賽成為算力競(jìng)賽。 ? 在實(shí)際的大模型前沿探索中，算力已經(jīng)成為最大的制約因素。單從資金的角度看，訓(xùn)練千億、萬億大模型的算力成本已經(jīng)超出了大多數(shù)企業(yè)的承受能力，即使有錢如?OpenAI 也負(fù)擔(dān)不起，據(jù)透露，GPT-4?每次訓(xùn)練成本高達(dá)?6300?萬美元。

算力分配的變化——氪算力可直接提高智能涌現(xiàn)

增大參數(shù)量，降低訓(xùn)練量，或者保持參數(shù)量不變，直接加大訓(xùn)練量，兩個(gè)方法都可以提高模型的智能涌現(xiàn)水平。好鋼要用在刀刃上，在有限的算力約束下，該如何分配？此前的研究結(jié)論一直傾向于前者。2020 年 OpenAI 提出一個(gè)結(jié)論，給定 10 倍的計(jì)算預(yù)算，他們建議模型的大小應(yīng)該增加 5.5 倍，而訓(xùn)練 token 數(shù)量只增加 1.8 倍。

但是 2023 年 DeepMind 提出了新的觀點(diǎn)，模型大小和訓(xùn)練 token 數(shù)量應(yīng)該等比例縮放，模型增大 1 倍，token 數(shù)量也應(yīng)該增加 1 倍。而且 DeepMind 還認(rèn)為目前的大模型普遍存在訓(xùn)練不足的情況，一個(gè)大模型訓(xùn)練充分需要把每個(gè)參數(shù)訓(xùn)練 20 個(gè) token，但是業(yè)界主要的大模型普遍的訓(xùn)練水平不高于每個(gè)參數(shù) 10 個(gè) token。

這個(gè)結(jié)論來源于嚴(yán)格的技術(shù)實(shí)驗(yàn)，DeepMind 用 1.4 萬億 token 訓(xùn)練了參數(shù)量為 700 億的大模型 Chinchilla，該模型的表現(xiàn)超過了參數(shù)量 2800 億的 Gopher、1750 億 的 GPT-3 和 5300 億的 Megatron-Turing。

因此，我們可以把前文提到的公式進(jìn)一步量化為 ，也就是一個(gè)大模型要訓(xùn)練的較為徹底，所需要的算力當(dāng)量是模型規(guī)模平方的 120 倍。

在 DeepMind 的研究結(jié)果發(fā)布以后，大模型“大”競(jìng)爭(zhēng)開始放緩。2022 年人類大模型普遍達(dá)到千億級(jí)別之后，2023 年除了 GPT-4，其他新發(fā)布的大模型并沒有突破萬億級(jí)別，甚至出現(xiàn)了很多百億級(jí)別的模型。控制模型規(guī)模，進(jìn)行更充分的訓(xùn)練，會(huì)實(shí)現(xiàn)更為理想的智能涌現(xiàn)。

以浪潮信息的“源”大模型為例，1.0 版本參數(shù)量 2450 億，零樣本和小樣本學(xué)習(xí)表現(xiàn)優(yōu)異，能夠進(jìn)行人機(jī)對(duì)話、與人玩劇本殺、寫公文，相當(dāng)于一個(gè)文科生的水平，但是 2.0 版本最大的參數(shù)量為 1026 億，卻可以進(jìn)行高水平的邏輯推理、做數(shù)學(xué)題、寫代碼，相當(dāng)于一個(gè) 985 大學(xué)的理科生，水平不可同日而語。

投入更大算力對(duì)百億、千億的模型進(jìn)行訓(xùn)練挖潛，具有非常重大的現(xiàn)實(shí)意義。中小模型，以及由這些基礎(chǔ)模型生成的技能模型，對(duì)硬件的要求、能源的消耗相對(duì)較小。如果基礎(chǔ)大模型的參數(shù)規(guī)模降低 1%，那么對(duì)應(yīng)技能模型的每次推理計(jì)算的算力消耗也會(huì)降低 1%，會(huì)產(chǎn)生巨大的社會(huì)意義和經(jīng)濟(jì)意義。

發(fā)展AI，應(yīng)該優(yōu)先發(fā)展計(jì)算力

應(yīng)該說，今天的 AI 仍處于發(fā)展的初級(jí)階段，AI 也剛開始走入社會(huì)經(jīng)濟(jì)和個(gè)人生活。未來可能不僅每個(gè)場(chǎng)景會(huì)有一個(gè)大模型，每個(gè)人也會(huì)有一個(gè)大模型，這并不是假想，而是很快就能看到的現(xiàn)實(shí)。

所以，在相當(dāng)長(zhǎng)的一個(gè)時(shí)期內(nèi)，大模型的訓(xùn)練需求將保持旺盛的增長(zhǎng)，算力瓶頸是大模型訓(xùn)練和應(yīng)用面臨的長(zhǎng)期問題。發(fā)展 AI 需要優(yōu)先發(fā)展算力，無論國(guó)家還是企業(yè)，應(yīng)該將更多的資源投入到算力產(chǎn)業(yè)中。

審核編輯：黃飛

?