AI大模型引發(fā)算力變革，英特爾與百度聯(lián)合發(fā)起飛槳+文心大模型硬件生態(tài)共創(chuàng)計劃?，加速大模型開發(fā)與落地

8月16日，英特爾在Wave Summit 2023深度學(xué)習(xí)開發(fā)者大會上，攜第四代英特爾 至強(qiáng)可擴(kuò)展處理器、英特爾oneAPI 和英特爾發(fā)行版OpenVINO等人工智能全棧軟硬件解決方案，與眾多人工智能專家學(xué)者和開發(fā)者深入交流，展示了英特爾AI的端到端能力。

同時，英特爾正式宣布與百度聯(lián)合發(fā)起飛槳+文心大模型硬件生態(tài)共創(chuàng)計劃，雙方將共同推進(jìn)在英特爾硬件上與飛槳+文心大模型的適配。此項計劃將進(jìn)一步拓展雙方在大模型領(lǐng)域的合作，并構(gòu)建更加高效、完整的AI生態(tài)，助力大模型的落地應(yīng)用。

以大語言模型為代表的人工智能技術(shù)在全球掀起科技和產(chǎn)業(yè)創(chuàng)新浪潮，加速產(chǎn)業(yè)升級和經(jīng)濟(jì)增長。我們也在積極探索英特爾數(shù)據(jù)中心GPU 和HabanaGaudi2 在大語言模型領(lǐng)域的合作機(jī)會，為AI行業(yè)創(chuàng)新提供新動力。

—英特爾中國區(qū)互聯(lián)網(wǎng)行業(yè)總經(jīng)理 胡凱

飛槳（PaddlePaddle）是百度自主研發(fā)的中國首個開源開放、功能豐富的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，是百度“芯片-框架-模型-應(yīng)用”全棧技術(shù)布局的重要組成部分，與芯片層深度適配與融合優(yōu)化，并高效支撐以文心一言為代表的文心大模型的生產(chǎn)與應(yīng)用。當(dāng)前飛槳已凝聚800萬開發(fā)者，廣泛服務(wù)于金融、能源、制造、交通等領(lǐng)域。而文心大模型是百度產(chǎn)業(yè)級知識增強(qiáng)大模型，以“知識增強(qiáng)”為特色，引入知識圖譜，將數(shù)據(jù)與知識融合，提升了學(xué)習(xí)效率及可解釋性。

近年來，英特爾與百度飛槳已經(jīng)進(jìn)行了長期深入的技術(shù)合作，并取得了豐碩成果。從2017年開始，不斷拓展雙方合作的深度和廣度，雙方成立了聯(lián)合技術(shù)團(tuán)隊實現(xiàn)英特爾AI加速軟件棧與飛槳的持續(xù)集成，從硬件上積極適配全系列英特爾至強(qiáng)可擴(kuò)展處理器AI產(chǎn)品。在軟件層面，通過英特爾oneAPI 深度神經(jīng)網(wǎng)絡(luò)庫 (英特爾oneDNN )調(diào)用英特爾AVX-512、英特爾深度學(xué)習(xí)加速（英特爾DL Boost ）、英特爾高級矩陣擴(kuò)展AMX（英特爾Advanced Matrix Extensions）等底層加速技術(shù)，對百度飛槳中 NLP，CV 等各類別模型和框架進(jìn)行了深度優(yōu)化。例如百度ERNIE 3.0輕量化版本ERNIE-Tiny 模型，基于英特爾軟硬件的聯(lián)合優(yōu)化，性能獲得了顯著的提升。

在大模型方面，英特爾計劃推出針對至強(qiáng)可擴(kuò)展處理器平臺高度優(yōu)化的大語言模型（LLM）推理加速引擎。該加速引擎兼容 Huggingface 等主流的模型格式，支持OPT，LLAMA，ChatGLM，F(xiàn)alcon 等多種主流大語言模型在FP16/BF16/INT8數(shù)據(jù)格式上的推理加速，可以充分利用至強(qiáng)可擴(kuò)展處理器平臺上的底層硬件加速進(jìn)行加速，同時具有良好的跨節(jié)點擴(kuò)展性，加速英特爾至強(qiáng)可擴(kuò)展處理器與飛槳+文心大模型的適配，助力AI算力+大模型算法融合發(fā)展。

從 2022.1 版本發(fā)布開始，英特爾AI推理工具套件英特爾OpenVINO也正式直接支持飛槳模型，大大提升了模型在英特爾異構(gòu)硬件上的推理性能和可用性。英特爾OpenVINO與百度飛槳圍繞模型構(gòu)建、優(yōu)化及部署三個方面的合作不斷深入，不僅幫助開發(fā)者減少中間環(huán)節(jié)，還能夠讓一些大模型在邊緣部署成為可能，優(yōu)化了整個的邊緣推理和操作流程。目前，英特爾OpenVINO不僅能夠支持飛槳模型在英特爾 CPU 和集成顯卡上部署、在英特爾獨立顯卡上部署，還可以通過一行代碼支持飛槳模型在多張獨立顯卡上部署。英特爾OpenVINO的最新版本也引入對PaddleSlim 量化后模型以及ERNIETiny 模型的直接支持，以實現(xiàn)在英特爾平臺上更優(yōu)異的性能表現(xiàn)。同時，英特爾OpenVINO與百度飛槳持續(xù)在社區(qū)生態(tài)發(fā)力，連續(xù)三年參與飛槳黑客馬拉松，眾多PR被合入OpenVINO主代碼，并多次開展各類線上線下研討會、訓(xùn)練營，與百度飛槳共建AI繁榮生態(tài)，為 AI 開發(fā)者提供全方位支持。

如今生成式人工智能浪潮迭起，大模型逐漸成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量，而超級AI算力+大模型算法是此次變革進(jìn)程中的基礎(chǔ)和核心。英特爾與飛槳+文心大模型將持續(xù)攜手，聚生態(tài)之力，共同打造軟硬一體的人工智能大模型平臺，為人工智能尤其是大模型的快速發(fā)展和應(yīng)用落地提供堅實的基礎(chǔ)。

參考資料：

1 測試配置如下：測試配置 1：處理器：雙路英特爾 至強(qiáng) 鉑金 8358P 處理器，主頻 2.6GHz，32 核心 64 線程，睿頻開啟；內(nèi)存：512GB DRAM（16x32GB DDR4 3200 MT/s [2933 MT/s])；存儲：INTEL_ SSDSC2KG960G8, INTEL_SSDSCKKB480G8；網(wǎng)絡(luò)適配器：2x Ethernet Controller 10G X550T；BIOS 版本：06.00.01；操作系統(tǒng)版本：Ubuntu 20.04.4 LTS (Kernel：5.8.0-43-generic)；GCC 版本：8.4；英特爾 oneDNN 版本：2.6；工作負(fù)載：PaddlePaddle 2.3，Ernie-3.0 optimization for INT8；