當(dāng)大模型被塞進(jìn)PC：如何提升算力利用效率？

ChatGPT 的爆火掀起了 AI 大模型熱潮，也進(jìn)一步拉動了算力需求的爆發(fā)，面對呈指數(shù)級增長的算力需求，如何用得起、用得上、用得好算力成為大家普遍關(guān)心的問題。那么，在大規(guī)模 AI 模型訓(xùn)練中，如何保證算力的高效利用？有哪些技術(shù)或方法可以提升訓(xùn)練的效率和穩(wěn)定性？AIGC 應(yīng)用如何下沉到終端？近日，InfoQ《極客有約》邀請到了英特爾中國技術(shù)部總經(jīng)理高宇，為大家分享《AIGC 時代，如何提升端側(cè)算力利用效率？》。

以下為訪談實錄，完整視頻參看：https://www.infoq.cn/video/w4UPiNImmKac6OSgpEiP

姜雨生：歡迎大家來到 InfoQ 極客有約，我是今天的特邀主持人，微軟軟件工程師姜雨生。本期直播，我們邀請到了英特爾中國技術(shù)部總經(jīng)理高宇老師來給我們做分享。今天的直播主題是《AIGC 時代，如何提升端側(cè)算力利用效率？》。先請高宇老師給大家做一個簡單的介紹。

高宇：InfoQ 的朋友們，大家晚上好。我是高宇（Gary Gao），來自英特爾中國，負(fù)責(zé)英特爾中國技術(shù)支持團(tuán)隊的工作。今天，我非常榮幸與大家分享關(guān)于在端側(cè)實現(xiàn) AIGC 的熱門話題。

生成式 AI 技術(shù)的發(fā)展與挑戰(zhàn)

姜雨生：去年推出的 ChatGPT 引起了廣泛關(guān)注，掀起了大型 AI 模型的熱潮，企業(yè)和個人對算力的需求呈現(xiàn)出爆發(fā)性增長。這輪 AI 算力需求的爆發(fā)給您帶來最大的感受是什么？行業(yè)發(fā)生了哪些變化？

高宇：這一輪生成式 AI 熱潮確實代表了技術(shù)上的一個重大突破，無論是給消費(fèi)者、商業(yè)客戶還是數(shù)據(jù)科學(xué)家，都帶來了巨大的潛力和影響。從去年 ChatGPT 3.5 正式發(fā)布以來，它展示出的智能和生成文本的能力讓整個學(xué)術(shù)界、消費(fèi)市場和最終用戶都感到震驚。在短時間內(nèi)，ChatGPT 3.5 已成為全球最受歡迎的應(yīng)用之一，這一成就令人印象深刻。我認(rèn)為，它對整個行業(yè)的影響可以從正面和挑戰(zhàn)兩個維度來分析。

從正面來看，首先，生成式 AI 極大地改善了用戶體驗。以前的搜索引擎和智能問答系統(tǒng)在知識方面相對固定，而生成式 AI 具有強(qiáng)大的學(xué)習(xí)和涌現(xiàn)能力，這是以前所沒有的。因此，用戶體驗得到了顯著改善。

其次，它激發(fā)了學(xué)術(shù)界和企業(yè)界對這項技術(shù)的研究興趣。在過去的半年里，全球企業(yè)和知名的學(xué)術(shù)機(jī)構(gòu)都大量投入到生成式 AI 的研究中。這種巨大的資金和智力投入使我們相信未來幾年生成式 AI 的發(fā)展將非常迅猛，因為許多人都在進(jìn)行相關(guān)研究和突破。

第三，我們看到生成式 AI 目前主要應(yīng)用于人機(jī)對話，但我們更看好它在各種行業(yè)中，尤其是垂直行業(yè)中的應(yīng)用潛力。例如，目前人們正在探討用于醫(yī)療領(lǐng)域的大型模型，專為銀行系統(tǒng)設(shè)計的大型模型，甚至為金融等垂直行業(yè)開發(fā)的模型。因此，我們對它在這些領(lǐng)域的應(yīng)用前景非常期待。

當(dāng)然，大型模型的出現(xiàn)和生成式 AI 的發(fā)展確實帶來了一些重要挑戰(zhàn)。在這方面，我們可以總結(jié)為以下幾點(diǎn)。

首先，幾乎所有大型科技公司都加入到了這個浪潮中。因此，這個領(lǐng)域的應(yīng)用進(jìn)展非常迅速，有時候可能會出現(xiàn)一些重復(fù)性工作，甚至資源浪費(fèi)。

第二，數(shù)據(jù)隱私和可靠性是一個重大問題。個人數(shù)據(jù)的保護(hù)以及互聯(lián)網(wǎng)上的開源內(nèi)容如何得到保護(hù)都是重要考慮因素。此外，還涉及到更深層次的問題，例如對問題的解釋、價值觀的取向和正確判斷等，這些都是全新的挑戰(zhàn)。

英特爾倡導(dǎo)的 AI 不僅關(guān)注性能和能力，還強(qiáng)調(diào)負(fù)責(zé)任的 AI。這也是領(lǐng)先廠商共同的理念，即人工智能的發(fā)展應(yīng)該以對社會負(fù)責(zé)任的態(tài)度為基礎(chǔ)。總之，生成式 AI 對我們行業(yè)帶來了重要沖擊，后續(xù)我們可以深入探討這些挑戰(zhàn)的細(xì)節(jié)。

算力成本居高不下，如何找到破解之法？

姜雨生：無論是模型訓(xùn)練還是模型調(diào)用，計算資源的需求都在不斷增加。這背后伴隨著高昂的成本，對許多企業(yè)而言，這成為了業(yè)務(wù)擴(kuò)展的一道巨大障礙。您怎么看算力貴這一現(xiàn)象？隨著技術(shù)的發(fā)展，算力貴的現(xiàn)狀會有所改善嗎？

高宇：目前，大家都不得不承認(rèn)算力成本有待解決。因此，大家都對這個行業(yè)的情況非常關(guān)注。我們可以分析一下導(dǎo)致算力成本上升的原因。

首先，運(yùn)行生成實驗，特別是訓(xùn)練模型所需的 GPU 性能相對較高，因此整個 GPU 以及 GPU 卡的成本較高，它需要更大的 GPU 芯片來提供更高的算力。此外，它還需要更快的內(nèi)存，通常采用 HBM（High Bandwidth Memory，高帶寬內(nèi)存）內(nèi)存架構(gòu)，這也增加了成本。再加上需要用 8 卡互聯(lián)的訓(xùn)練機(jī)，整機(jī)的物料成本非常昂貴，這是導(dǎo)致成本高昂的原因之一。

第二，與之前提到的問題相關(guān)，現(xiàn)在幾乎所有人都涌入了這個行業(yè)，導(dǎo)致了短期內(nèi)供大于求的情況。一度出現(xiàn)了 GPU 卡供不應(yīng)求的情況，這已經(jīng)從去年年底開始，需求量大但供應(yīng)相對不足。

第三，整個大型 GPU 服務(wù)器或智算中心的運(yùn)營成本極高，包括場地和能源消耗。一個標(biāo)準(zhǔn)的 GPU 服務(wù)器機(jī)柜功耗至少為 30 千瓦，而大多數(shù)數(shù)據(jù)中心機(jī)柜通常只能達(dá)到 10 千瓦到 20 千瓦之間，無法滿足 30 千瓦的要求，這也增加了成本因素。

當(dāng)然，我們還需要考慮一點(diǎn)，因為生成式 AI 仍處于早期階段，所以在許多算法優(yōu)化和資源利用方面還有改進(jìn)的空間。因此，有望在未來降低算力成本。

姜雨生：在目前算力貴這個方向，英特爾目前有哪些相關(guān)的解決方案，這面方便給我們大概介紹一下嗎？

高宇：我們需要思考一個根本性問題，即如何應(yīng)對昂貴的算力這一行業(yè)性的難題。我們有幾個想法，雖然稍后我們還會談及產(chǎn)品方面的問題，但現(xiàn)在我們首先想從行業(yè)角度提出一些大的思路。

首先，我們認(rèn)為當(dāng)前的推理部分應(yīng)該更加分布式和層次化，充分利用云、邊緣和終端的不同層次來部署推理算力，以充分發(fā)揮算力性能。具體來說，我們的建議是在云端進(jìn)行大規(guī)模的訓(xùn)練，這是云側(cè)的任務(wù)。此外，云側(cè)適合大集群訓(xùn)練，部署超大型模型，例如 ChatGPT 等超過 100 億的模型。第三，云側(cè)適合部署高并發(fā)的場景，即當(dāng)用戶數(shù)量龐大時，需要同時滿足所有客戶的需求，這也需要云端來實現(xiàn)。

對于不屬于以上幾種情況的 AI 推理算力，我們建議將其下沉到邊緣側(cè)。如今，運(yùn)營商和企業(yè)都擁有許多邊緣側(cè)數(shù)據(jù)中心，雖然這些數(shù)據(jù)中心規(guī)模較小，機(jī)器配置的算力相對較低，但足以支持多種類型的大型模型的推理。根據(jù)我們的判斷，大約在 10 億到 30 億之間的模型可以考慮部署在邊緣側(cè)，因為邊緣側(cè)可以使用性能稍微較低端的 GPU 卡或 CPU 進(jìn)行推理，性能足夠。此外，在邊緣側(cè)部署可以提供更好的低延遲體驗，成本也較低。

下沉的第二步就是把它部署在端側(cè)。我們認(rèn)為一些規(guī)模較小的模型，比如小于 10 億參數(shù)的模型，經(jīng)過一定的優(yōu)化和量化，以及低精度的比特量化后，完全可以部署到個人計算機(jī)（PC）或虛擬私有云（VPC）等設(shè)備上。將其部署到端側(cè)帶來兩個明顯的好處。首先，它的性能延遲是最低的，因為不需要經(jīng)過網(wǎng)絡(luò)傳輸，減少了任何網(wǎng)絡(luò)延遲。此外，邊緣側(cè)部署還有一個重要的優(yōu)勢，即對個人隱私的最大程度保護(hù)，因此數(shù)據(jù)泄露的風(fēng)險幾乎不存在。因此，從大的原則上講，我們希望將大型模型轉(zhuǎn)化為云、邊緣和終端三層協(xié)同的架構(gòu)，這應(yīng)該是未來發(fā)展的趨勢之一。

姜雨生：有觀眾提問，在算力優(yōu)化方面，我們業(yè)界還有沒有一些通用的方案？

高宇：我們了解到，在當(dāng)前的研究領(lǐng)域中，一個備受關(guān)注的通用方案是針對低比特量化的優(yōu)化。目前，大多數(shù)部署在云端的模型采用的是 FP16（16 位浮點(diǎn)數(shù)）的精度。然而，如果要將模型部署在邊緣側(cè)或終端側(cè)，通常的做法是首先將其量化為 INT8（8 位整數(shù)），然后可以進(jìn)一步將其量化為更低比特位，如 INT5、INT4 或 INT3，這都是可能的，而且我們看到在這方面行業(yè)已經(jīng)取得了一些顯著的進(jìn)展。

AIGC 應(yīng)用如何下沉到終端？

姜雨生：我認(rèn)為開發(fā)者會積極采用 AIGC 的大型模型，因為這是未來的趨勢。在過去，我們主要在云服務(wù)器上運(yùn)行 AIGC 應(yīng)用，包括我自己目前使用的一些 Azure 云上的產(chǎn)品。但云端 AI 也存在延遲和各種限制等方面的一些短板。那么，AIGC 應(yīng)用有下沉到終端的可行性嗎？

高宇：根據(jù)我們目前的研究成果，我可以告訴大家，針對英特爾的最新平臺，也就是第 13 代（以及后續(xù)推出的第 14 代，采訪時第 14 代酷睿尚未發(fā)布）酷睿處理器家族，我們已經(jīng)取得了非常不錯的優(yōu)化結(jié)果。這個平臺不僅適用于筆記本電腦，還包括臺式機(jī)。我相信許多開發(fā)者和用戶在購買電腦時都會選擇最新的酷睿平臺。

以第 13 代酷睿平臺為例，我們的優(yōu)化結(jié)果可以使模型從 7 億參數(shù)到 18 億參數(shù)都能夠流暢運(yùn)行。特別是在 7 億到 13 億參數(shù)范圍內(nèi)，性能效果非常出色，即使超過 13 億參數(shù)，模型也可以運(yùn)行，盡管速度稍慢，但我們認(rèn)為基本上也可以滿足用戶的需求。當(dāng)然，我們目前的優(yōu)化主要是在 CPU 上進(jìn)行的，但下一步我們將充分發(fā)揮平臺內(nèi)的集成顯卡（IGPU）能力，以進(jìn)一步提升速度。

此外，對于未來，我想提到最近引起廣泛關(guān)注的一項重要消息，那就是我們披露了英特爾即將發(fā)布的下一代平臺，內(nèi)部代號為 Meteor Lake，正式品牌叫做 Core Ultra。這個平臺不僅具有強(qiáng)大的 CPU 算力，還將 GPU 算力提高了一倍，因此 GPU 算力非常強(qiáng)大。另外，它還內(nèi)置了專用的 AI 加速器（NPU），可以提供超過 11 tops 的峰值算力。因此，在下一代平臺上，我們將能夠充分利用三種計算資源，包括 CPU、GPU 和 NPU 的算力，以實現(xiàn)更出色的性能。這是我們下一代平臺的亮點(diǎn)，敬請期待。

姜雨生：英特爾之前提出在 PC 端側(cè)跑 AIGC 應(yīng)用，具體是如何實現(xiàn)的？在軟硬件層面是如何提升算力利用效率，實現(xiàn)算力優(yōu)化的？

高宇：我來簡要介紹一下我們目前正在發(fā)布的開源框架，它叫做 BigDL，是專門為英特爾的處理器和 GPU 開發(fā)的一個低比特量化框架。感興趣的觀眾可以進(jìn)入在 GitHub(https://github.com/intel-analytics/BigDL) 上查看，下載我們的 BigDL 開源代碼，進(jìn)行實驗。

BigDL 有一些顯著特點(diǎn)。首先，它支持低比特量化，從 INT8 到 INT5、INT4、INT3 等各種低比特的數(shù)據(jù)精度，從而提供更好的性能，并減少內(nèi)存占用。這一點(diǎn)尤其重要，因為在邊緣計算領(lǐng)域，除了性能挑戰(zhàn)之外，內(nèi)存也相對較低，所以低比特量化是解決這個問題的一種方法。

此外，BigDL 支持多種平臺，包括英特爾的各種 CPU 系列，從 Xeon 處理器到酷睿處理器等。它還支持英特爾的各種 GPU 系列，包括英特爾 Flex 系列用于數(shù)據(jù)中心的專用顯卡以及英特爾銳炫（ Arc） 系列面向消費(fèi)者的顯卡。

姜雨生：我也確實感受到了在個人電腦上運(yùn)行大型模型以及進(jìn)行內(nèi)容生成的可能性，特別是在我的個人電腦上裝備了這些硬件的情況下。實際上，我也想了解一下一些相關(guān)的技術(shù)，如果要大規(guī)模普及，關(guān)鍵的主要指標(biāo)可能是顛覆，即用戶在他們的實際工作和生活中所體驗到的變革。那么 AI 能夠在端側(cè)帶給用戶哪些具體的體驗提升？

高宇：從我們現(xiàn)在的觀察來看，大型模型在端側(cè)用戶領(lǐng)域可能有幾個可能的應(yīng)用場景。首先，大型模型可以成為每個用戶的個人超級助手。這種大型模型可以在云端運(yùn)行，同時也可以通過我們剛剛提到的低比特量化技術(shù)在個人電腦上運(yùn)行，從而提供更好的用戶體驗。這是第一個應(yīng)用場景。

第二，它可以用于文檔處理，包括提取文檔的核心思想和糾正文檔中的語法錯誤等任務(wù)。對于這種應(yīng)用場景，更適合將模型部署在端側(cè)，因為許多文檔包含一些個人屬性，用戶可能不愿意將其上傳到云端。

第三，我們觀察到大型模型，特別是 Diffusion 模型，在圖像生成方面具有出色的能力，這對于許多設(shè)計師來說是一個強(qiáng)大的工具。許多圖形、圖像和三維設(shè)計公司積極采用 Stable Diffusion 以及相關(guān)衍生模型，以幫助設(shè)計師生成各種圖片和畫面，從而實現(xiàn)事半功倍的效果。

姜雨生：將 AIGC 相關(guān)應(yīng)用以預(yù)裝軟件的方式適配到未來的電腦中，是否是 PC 創(chuàng)新的一個新方向？它對于 PC 應(yīng)用效率的提升是否有著大幅超越以往的預(yù)期？

高宇：當(dāng)然，答案是肯定的。在未來的個人電腦上，無論是筆記本還是臺式機(jī)，它們的算力已經(jīng)足以支持像 7 到 13 億級別的大型語言模型在本地運(yùn)行。這種潛力已經(jīng)存在，接下來我們可以期待不同的商業(yè)模式的出現(xiàn)。

首先，我們可能會看到一些商業(yè)軟件集成了中小型大語言模型，將其變成了生成式人工智能的專業(yè)商業(yè)軟件。這些軟件還有可能集成了 Stable Diffusion 等功能，從而成為一種可用于文本生成和其他工作流程的商業(yè)軟件。因此，可以期待在桌面平臺上出現(xiàn)集成生成式人工智能能力的商業(yè)軟件，這是一個可能的落地方式。

另外一種方式是鼓勵更多的 OEM 制造商，也就是個人電腦的品牌制造商，為自己的產(chǎn)品開發(fā)專門針對硬件優(yōu)化的生成式人工智能軟件，并將其預(yù)裝在他們的電腦上，以提高最終用戶的體驗，使電腦更易于使用和更具趣味性。這種輔助性軟件可以提升用戶的使用體驗，增加趣味性，我認(rèn)為這也是一個非常有潛力的方向。

端側(cè)運(yùn)行大模型存在哪些挑戰(zhàn)？

姜雨生：有觀眾提問，端側(cè)跑這些大模型有沒有一些難點(diǎn)我也比較關(guān)注這個問題，端側(cè)跑大模型有沒有一些相對不適用的場景或內(nèi)容？

高宇：端側(cè)與云側(cè)相比，目前存在兩大限制。首先，端側(cè)的計算能力明顯不如云端強(qiáng)大。這是顯而易見的。第二，端側(cè)的內(nèi)存相對有限。當(dāng)前，筆記本電腦和 PC 的主流配置通常為 16GB 內(nèi)存。明年我們可能會看到更多配置為 32GB 內(nèi)存的 PC，但即使是 32GB 內(nèi)存，相對于云端來說，內(nèi)存仍然有限。因此，端側(cè)需要應(yīng)對以下兩個主要挑戰(zhàn)。

首先，模型的參數(shù)量需要受限，通常在 130 億以下。其次，必須進(jìn)行低比特量化，這是一種必不可少的手段。經(jīng)常有人問一個常見的問題，即將一個 FP16 模型量化為 INT4 后，精度損失似乎很大，這對大型模型的性能會產(chǎn)生什么影響？我們目前的基本結(jié)論是，在大型語言模型的情況下，從 FP16 到 INT4 后，回答問題的質(zhì)量會略微下降，但下降幅度并不是很大。如果我們使用評分機(jī)制，原來的模型可能是 85 分的模型，經(jīng)過量化后，可能會下降到 82 分左右，所以大致是一個個位數(shù)的質(zhì)量下降。但是在內(nèi)存方面，收益是非常大的，這是一個權(quán)衡。

然而，對于 Stable Diffusion 模型而言，如果將 FP16 量化為 INT8，整個圖像生成的質(zhì)量下降會比較大。因此，對于運(yùn)行穩(wěn)定擴(kuò)散模型的端側(cè)，我們?nèi)匀粓猿质褂?FP16。幸運(yùn)的是， Stable Diffusion 模型的參數(shù)量不是很大，因此即使在端側(cè)，F(xiàn)P16 的性能也完全可以勝任。

姜雨生：在端側(cè)執(zhí)行一些生成式內(nèi)容和場景時，精確度并不是特別重要，尤其是對于一些模型復(fù)雜度不太高的情況來說，這種方式會更加合適。下一步，英特爾有哪些技術(shù)探索和產(chǎn)品規(guī)劃呢？有哪些技術(shù)難題是我們在未來需要解決的？

高宇：對于英特爾未來的產(chǎn)品規(guī)劃，目前英特爾在生成式 AI 領(lǐng)域有幾個主要的產(chǎn)品家族，可以從云端、邊緣和端側(cè)三個維度來介紹。

在云端，英特爾的關(guān)鍵產(chǎn)品是 Gaudi2，這是 英特爾 Habana 最新推出的產(chǎn)品。Gaudi2 具有非常高的算力性能，它還具有大容量的顯存，目前 Gaudi2 的配置為 96GB 的 HBM2 顯存，因此可以容納更多的模型。此外，英特爾還推出了專門針對中國市場定制的 Gaudi2 中國版本。云端英特爾還有一款產(chǎn)品叫做 Xeon HBM，它是一款針對大模型推理而設(shè)計的 CPU，內(nèi)置了 64GB 的 HBM2 高速內(nèi)存，這對于大型語言模型的推理性能提升非常有幫助。

邊緣側(cè)，英特爾推出了兩款顯卡產(chǎn)品，一款是英特爾 Flex 系列，另一款是銳炫（ Arc） 系列。Flex 系列是為數(shù)據(jù)中心和服務(wù)器設(shè)計的無風(fēng)扇 GPU 產(chǎn)品，而 Arc 系列則是面向消費(fèi)者市場的顯卡，在算力方面也非常強(qiáng)大，可以滿足邊緣側(cè)推理的要求。這些產(chǎn)品將為邊緣側(cè)大模型推理和 Stable Diffusion 提供強(qiáng)大的支持。

總的來說，英特爾在生成式 A I 領(lǐng)域有一系列強(qiáng)大的產(chǎn)品，覆蓋了云端、邊緣和端側(cè)，為不同應(yīng)用場景提供了多樣化的解決方案。

姜雨生：有觀眾提問，端側(cè)模型跟云端模型有可以配合的方式嗎？

高宇：端側(cè)模型和云端模型可以進(jìn)行協(xié)同配合，一種可能流行的做法是由端側(cè)模型進(jìn)行問題的初步預(yù)判斷。這個端側(cè)模型可以是相對輕量級的，用于判斷用戶問題的導(dǎo)向方向。如果這個初步判斷結(jié)果顯示性能足以在端側(cè)大模型上運(yùn)行，那么模型可以在端側(cè)執(zhí)行。但如果判斷需要更強(qiáng)大的計算能力，那么就可以將任務(wù)傳遞到云端進(jìn)行更大型的模型推理。這種方式可能比較容易實現(xiàn)，因為它避免了對同一個模型進(jìn)行拆分，盡管拆分模型也是一種可能的方式，但會更加復(fù)雜。

姜雨生：如果希望在個人電腦上運(yùn)行之前所描述模型相關(guān)的內(nèi)容，最低配置要求如何？

高宇：關(guān)于個人電腦的配置，主要取決于您的耐心和使用場景，當(dāng)然這是個半開玩笑，但基本上，為了達(dá)到基本的用戶體驗要求，我們建議以下配置：

處理器（CPU）：最好選擇第 13/14 代酷睿處理器，尤其是選擇 I7 或更高級別的型號。如果有預(yù)算，并且想要更出色的性能，選擇 I9 處理器會更好，正如我在之前的演示視頻中展示的那樣。

內(nèi)存（RAM）：至少 16GB RAM 是起點(diǎn)，但更好的選擇是 32GB RAM。此外，要注意內(nèi)存的速度，因為現(xiàn)在的內(nèi)存，尤其是 DDR5 內(nèi)存，速度范圍從入門級的 5677 MHz，一直提升到高達(dá) 7233 MHz。內(nèi)存速度越快，性能表現(xiàn)通常越好。再次強(qiáng)調(diào)，大型模型通常對內(nèi)存帶寬要求較高，因此提高內(nèi)存帶寬會帶來更大的性能收益。

散熱設(shè)計：除了硬件配置，還要考慮系統(tǒng)的散熱設(shè)計。良好的散熱設(shè)計可以讓 CPU 在 Turbo 模式下更長時間地運(yùn)行，從而提高性能表現(xiàn)。

選擇適合需求的個人電腦配置是一個綜合考慮的過程。明年新發(fā)布的電腦新品通常會公布其運(yùn)行大型模型的性能指標(biāo)，用戶可以根據(jù)廠商提供的指標(biāo)來選擇適合自己需求的配置，這應(yīng)該會更準(zhǔn)確地滿足你的期望。

當(dāng)然了，我認(rèn)為目前大模型仍然存在一些挑戰(zhàn)，尤其是在處理模型的一些幻覺問題方面，這個問題在整個行業(yè)中仍然是一個難點(diǎn)，需要不斷攻克。