英特爾公布1萬億參數(shù)AI模型，比ChatGPT大570%

在 ChatGPT 的推動下，如今有越來越多的公司開始參與生成式 AI 的開發(fā)了，大模型領(lǐng)域也 “越來越卷”。英特爾是最新參與進(jìn)來的玩家，并在近日公布了一個名為 Aurora genAI 的產(chǎn)品，它是一個主要用于科學(xué)領(lǐng)域的生成式 AI 模型。

英特爾 Aurora genAI 模型以 Megatron 和 DeepSpeed 為基礎(chǔ)，其規(guī)模達(dá)到了 1 萬億個參數(shù)（1 Trillion Parameters，上圖中有對應(yīng)描述），相比之下 ChatGPT 的規(guī)模僅為 1750 億參數(shù)，Aurora genAI 在參數(shù)規(guī)模上增長了約 570%。 Aurora genAI 模型將在通用文本、科學(xué)文本、科學(xué)數(shù)據(jù)和與該領(lǐng)域相關(guān)的代碼上進(jìn)行訓(xùn)練。這將是一個純粹以科學(xué)為重點(diǎn)的生成式 AI 模型，其潛在的應(yīng)用范圍是：

推動清潔能源聚變研究

催化劑研究

癌癥研究

航空航天研究

神經(jīng)科學(xué)研究

宇宙學(xué)研究

擁有這么大的規(guī)模，那么驅(qū)動 Aurora genAI 模型背后的算力肯定也不容小覷。英特爾透露，他們使用的是名為 Aurora（歐若拉）的超級計(jì)算機(jī)，這是英特爾與阿貢國家實(shí)驗(yàn)室和 HPE 合作開發(fā)的百萬兆級超級計(jì)算機(jī)。

Aurora 超級計(jì)算機(jī)采用了 21248 個 Sapphire Rapids 至強(qiáng) CPU、63744 個 Xe 架構(gòu)的 Ponte Vecchio GPU（英特爾表示 Ponte Vecchio GPU 的性能要優(yōu)于英偉達(dá)的 H100）。Aurora 超級計(jì)算機(jī)還使用了 1024 個 DAOS 節(jié)點(diǎn)和 10.9 PB 的 DDR5 傲騰持久內(nèi)存，所有這些組件通過 oneAPI 互相鏈接，實(shí)現(xiàn)了百萬兆級性能。 Aurora 超級計(jì)算機(jī)的浮點(diǎn)運(yùn)算能力達(dá)到了 2 exaFLOPS，而目前 TOP 500 排名第一的超級計(jì)算機(jī) Frontier 其浮點(diǎn)運(yùn)算能力也才 1 exaFLOPS，Aurora 實(shí)現(xiàn)了性能翻倍，未來 Aurora 將存放于美國阿貢國家實(shí)驗(yàn)室。

審核編輯 ：李倩