AIGC加速成長(zhǎng)，算力需求變化帶來系統(tǒng)級(jí)創(chuàng)新

電子發(fā)燒友網(wǎng)報(bào)道（文/莫婷婷）隨著大模型智能水平的提升，AIGC所需要的算力也在不斷增長(zhǎng)。根據(jù)OpenAI的研究，AI訓(xùn)練所需算力指數(shù)增長(zhǎng)，且增長(zhǎng)速度超越硬件的摩爾定律。燧原科技創(chuàng)新研究院負(fù)責(zé)人、首席科學(xué)家姚建國(guó)教授認(rèn)為，算力分為需求、場(chǎng)景，還有芯片和系統(tǒng)四個(gè)層次。算力需求的變化給AI芯片以及系統(tǒng)都帶來了一定程度的挑戰(zhàn)。

多家廠商發(fā)布垂直類大模型，AIGC落地場(chǎng)景逐漸清晰

隨著各大公司對(duì)AIGC研究的不斷深入和技術(shù)投入，國(guó)內(nèi)外廠商積極推出屬于自己的類ChatGPT模型，例如華為的“盤古”，商湯的“日日新”、深蘭科技的“硅基知識(shí)”、出門問問的“序列猴子”、深信服的“安全大模型”等等大模型。這么多的大模型，若是放在兩年前，業(yè)內(nèi)人士可能會(huì)頭疼于它的落地場(chǎng)景。

得益于ChatGPT的出現(xiàn)，業(yè)內(nèi)人士看到了更多AIGC落地的可能性，并且推動(dòng)AI行業(yè)進(jìn)入AIGC時(shí)代。百度創(chuàng)始人、董事長(zhǎng)兼CEO李彥宏近期公開演講時(shí)就表示，“大模型即將改變世界”。

那么，大模型究竟會(huì)如何改變世界呢？這還得從落地場(chǎng)景看。目前，AIGC的典型應(yīng)用分為文生文、文生圖、文生視頻。近期中國(guó)市場(chǎng)開放一些文生文的應(yīng)用越來越多，具體的應(yīng)用包括對(duì)話式功能，還支持搜索和營(yíng)銷的場(chǎng)景。

盡管國(guó)內(nèi)廠商還未推出像GPT-4如此強(qiáng)大的通用模型，但是在垂直領(lǐng)域的人工智能大模型卻迎來飛躍式的發(fā)展，并且有著巨大的想象空間。正如李彥宏提到的，每一個(gè)行業(yè)都應(yīng)該有屬于自己的大模型。未來技術(shù)跟業(yè)務(wù)深度融合是AIGC發(fā)展的最終方向。


算力需求變化帶來系統(tǒng)級(jí)創(chuàng)新

談及大模型對(duì)算力的需求，姚建國(guó)教授表示，AIGC智算中心可以分為三類大模型：基礎(chǔ)大模型、場(chǎng)景大模型和應(yīng)用大模型。

基礎(chǔ)大模型通過巨大的算力生成，然后通過預(yù)訓(xùn)練算力、超大訓(xùn)練算力支撐，例如ChatGPT。場(chǎng)景大模型是在大模型基礎(chǔ)進(jìn)行調(diào)優(yōu)，通過Fine Tune算力支撐，可以適應(yīng)不同場(chǎng)景，也就能賦能到不同行業(yè)，可以引用一些普惠訓(xùn)練算力。應(yīng)用大模型主要是通過推理算力，包括云端推理和端側(cè)推理。

對(duì)于芯片的需求，基礎(chǔ)大模型和場(chǎng)景大模型分別需要大算力訓(xùn)練芯片和中算力訓(xùn)練芯片，且對(duì)機(jī)器之間的數(shù)據(jù)互聯(lián)帶寬有較高的要求，都需要高速芯片互聯(lián)。而應(yīng)用大模型只需要云端推理算力，且可以使用分布式/單機(jī)訓(xùn)練和推理，是性價(jià)比較高的大模型之一。

算力肉眼可見地不斷增長(zhǎng)，燧原科技姚建國(guó)教授在公開演講時(shí)也提到了一組數(shù)據(jù)：從2012年到2018年，訓(xùn)練AI算力增長(zhǎng)了30萬倍，摩爾定律相同時(shí)間通用算力只有7倍的增長(zhǎng)。從這里可以看出AIGC對(duì)算力需求之高。

算力需求變化帶來了三大問題，一是存/算性能失配，內(nèi)存墻導(dǎo)致訪存時(shí)延高、效率低；二是馮諾依曼架構(gòu)下，功耗墻導(dǎo)致傳輸能耗損失；三是滿足大模型需求，性能墻導(dǎo)致算力無法滿足。姚建國(guó)教授表示，未來不僅僅是單核芯片去解決算力問題，一定會(huì)是通過一個(gè)系統(tǒng)級(jí)解決方案去實(shí)現(xiàn)整個(gè)算力適應(yīng)變化。

目前，單獨(dú)的服務(wù)器、集群難以解決大模型的預(yù)訓(xùn)練，因此需要有大算力加速，比如說H100提供了Transformer引擎；此外還有機(jī)密計(jì)算、COP互聯(lián)加速、CXL協(xié)議等等各方面的創(chuàng)新。業(yè)內(nèi)人士普遍認(rèn)為，系統(tǒng)級(jí)創(chuàng)新會(huì)是未來的發(fā)展趨勢(shì)

對(duì)于大模型未來的發(fā)展趨勢(shì)，IDC中國(guó)首席分析師武連峰認(rèn)為，AI大模型應(yīng)用深化，從專屬AI到通用AI，會(huì)是趨勢(shì)之一。當(dāng)然，最終實(shí)現(xiàn)通用AI的道路還有很長(zhǎng)。