Arm成功將Arm KleidiAI軟件庫集成到騰訊自研的Angel 機器學習框架

Arm 與騰訊攜手合作，成功將 Arm KleidiAI 軟件庫集成到騰訊自研的 Angel 機器學習框架。

借助 KleidiAI 解鎖卓越性能、能效和可移植性，騰訊混元大模型能夠?qū)崿F(xiàn)更快、更高效的 AI 性能，顯著提升應用功能和用戶體驗，并加速未來 CPU 架構(gòu)的創(chuàng)新與集成。

在 Arm Tech Symposia 深圳年度技術(shù)盛會上，Arm 宣布與騰訊合作，成功將 Arm KleidiAI 技術(shù)融入騰訊混元自研的 Angel 機器學習框架。這一合作旨在提高移動端人工智能 (AI) 服務的推理性能和效率，為用戶提供卓越的端側(cè) AI 體驗。此項技術(shù)成果首先落地騰訊旗下的多款應用，預計將惠及騰訊的龐大的用戶群體，為他們帶來更優(yōu)質(zhì)的使用體驗。

Angel 機器學習框架的作用

Angel 機器學習框架支持騰訊混元大模型 (LLM)，該通用 AI 模型擁有萬億參數(shù)，并在超過 7 萬億個詞元 (token) 的語料庫中進行訓練?；煸竽Ｐ鸵云鋸姶蟮闹形膭?chuàng)作能力，復雜語境下的邏輯推理能力，以及可靠的任務執(zhí)行能力，而廣受贊譽。該模型已部署于騰訊旗下包括企業(yè)微信、QQ 瀏覽器和和搜狗輸入法在內(nèi)的 700 款應用中。

與此同時，為了滿足不斷增長的市場需求，并順應行業(yè)發(fā)展趨勢，騰訊混元大模型推出了更小的參數(shù)規(guī)模版本，包括 7B、3B、2B 和 1B 版本，并已部署在智能手機、Windows on Arm PC 等消費類設(shè)備上。騰訊混元大模型所具備的靈活性使其 AI 功能可以在各種設(shè)備上取得，同時提供了一致的性能和用戶體驗。

AI 性能的顯著提升

Arm Kleidi 集成了最新的開發(fā)者賦能技術(shù)和軟件庫，如 Arm KleidiAI。Arm 致力于將 KleidiAI 直接集成到主流的框架中，讓開發(fā)者能夠自動獲取最佳性能，以加速運行于 Arm Cortex-A 和 Neoverse CPU 上的 AI 工作負載。KleidiAI 的集成可幫助開發(fā)者加速開發(fā)進程，解鎖 AI 性能，并在廣泛應用的 Arm CPU 提供對未來功能的前向兼容，從而在端側(cè)實現(xiàn)出色的 AI 體驗。

KleidiAI 軟件庫的另一個優(yōu)勢是它們直接嵌入到框架中，而非僅限于特定硬件。這意味著它們帶來的性能加速優(yōu)勢可以無縫遷移至不同的生態(tài)系統(tǒng)。這種可移植性使騰訊團隊能夠在包括 Android 和 Windows 在內(nèi)的所有主流操作系統(tǒng)上測試 KleidiAI。因此，將 KleidiAI 集成至混元 Angel AI 框架中將能為跨操作系統(tǒng)的不同基于 Arm 的設(shè)備帶來顯著的性能提升。

具體來說，混元大模型的預填充部分加速了 100%，而解碼器的速度提高了 10%。這些性能改善有助于實現(xiàn)更快、更高效的 AI 操作。

Arm 終端事業(yè)部產(chǎn)品管理副總裁 James McNiven 表示：在 AI 時代，為了最大化把握并拓展 AI 機遇，開發(fā)者需要最迅捷的 AI 部署方法及最適配其特定工作負載的最優(yōu)性能。Arm KleidiAI 與騰訊 Angel 機器學習框架的集成彰顯了賦能 AI 性能向前邁出了重要一步，與此同時提供優(yōu)秀的能效表現(xiàn)，雙方將發(fā)揮各自的優(yōu)勢，為騰訊眾多應用場景提供卓越的 AI 體驗。

騰訊機器學習平臺部總經(jīng)理，騰訊混元大模型負責人王迪表示：Angel 機器學習框架是我們大模型的技術(shù)基礎(chǔ)之一，騰訊混元已經(jīng)構(gòu)建起了全鏈路的大模型矩陣和應用平臺。同時，騰訊混元不斷完善部署生態(tài)。我們期待通過集成 Arm KleidiAI 來加速 AI 大模型的創(chuàng)新，支持更多的混元產(chǎn)品矩陣，包括 FP16 加速和稀疏加速，為用戶帶來更加豐富和高效的端側(cè) AI 服務。