Llama 3 王者歸來，Airbox 率先支持部署

前天，智算領(lǐng)域迎來一則令人振奮的消息：Meta 正式發(fā)布了備受期待的開源大模型——Llama 3。

Llama 3 的卓越性能

Meta 表示，Llama 3 在多個關(guān)鍵基準測試中展現(xiàn)出卓越性能，超越了業(yè)內(nèi)先進的同類模型。無論是在代碼生成、復(fù)雜推理，還是在遵循指令和可視化想法方面，Llama 3 都實現(xiàn)了全面領(lǐng)先。該模型在以下五個基準測試中均表現(xiàn)出色：

MMLU（學(xué)科知識理解）

GPQA（一般問題解答）

HumanEval（代碼能力）

GSM-8K（數(shù)學(xué)能力）

MATH（高難度數(shù)學(xué)問題）

無論是 8B 規(guī)格的 Llama3 還是 70B 規(guī)格，它們都較市場上其他優(yōu)秀大模型表現(xiàn)更佳。

縱向?qū)Ρ蕊@示，Llama 3 的性能大幅領(lǐng)先于前代產(chǎn)品 Llama 2，尤其是在 8B 規(guī)格上，遠超過 Llama 2 時代的 13B 和 70B 規(guī)格；新的 70B 規(guī)格更是展現(xiàn)出與 GPT-4 早期版本相媲美的能力。

指令調(diào)優(yōu)模型

瑞莎 Airbox 快速支持 Llama 3

面對 Llama 3 如此激動人心的性能，Airbox 團隊積極響應(yīng)，快速將 Llama 8B 移植并成功在 Airbox 上運行。以下視頻展示了 Llama 8B 在 Airbox 上的運行情況：

(注：Llama 3 8B 知識更新到 2023 年 3 月)

可以看到，Llama 3 8B 在 Airbox 上的運行表現(xiàn)極為流暢，達到了 9.6 token/s 的處理速度，已充分展現(xiàn)出其實用價值。與其他應(yīng)用結(jié)合使用時，更開辟了廣闊的應(yīng)用前景和創(chuàng)新可能性。Airbox 團隊后續(xù)會對 Llama 3 8B 做更多測試并公布結(jié)果。

關(guān)于瑞莎 Fogwise Airbox

瑞莎智算盒子 Fogwise Airbox 是一款面向側(cè)端生成式智算的邊緣計算微型服務(wù)器，基于算能最新專為生成式智算打造的 SG2300X 處理器設(shè)計，具有開箱即用，本地離線部署，注重數(shù)據(jù)隱私，多精度支持，高能效比，高性價比，系統(tǒng)/文檔/工具鏈開源等特點，是當前為數(shù)不多甚至是唯一的低成本在邊緣側(cè)部署生成式智算的方案。

瑞莎 Fogwise Airbox 現(xiàn)已準備就緒，即將在近期發(fā)售，敬請期待。