英特爾助力安恒信息加速恒腦大模型推理

如今，安全大模型正在為網(wǎng)絡(luò)安全行業(yè)帶來深度變革，在網(wǎng)絡(luò)安全分析、威脅檢測、智能策略制定等方面扮演著重要角色。推動(dòng)大模型在安全場景落地，不僅需要基于安全領(lǐng)域知識(shí)，訓(xùn)練和微調(diào)出高質(zhì)量的安全大模型，還需要面臨在用戶側(cè)部署所需的性能、成本和靈活性挑戰(zhàn)。然而，安全大模型有著巨大的參數(shù)規(guī)模以及復(fù)雜的事務(wù)處理邏輯，這對算力也提出了新的需求。

01恒腦 ? 安全垂域大模型系統(tǒng)

杭州安恒信息技術(shù)股份有限公司（簡稱：安恒信息）推出了基于英特爾 至強(qiáng) 可擴(kuò)展處理器的恒腦 ? 安全垂域大模型系統(tǒng)（簡稱：恒腦），依托底層多源異構(gòu)模型、算法調(diào)度引擎及海量安全知識(shí)，能夠根據(jù)業(yè)務(wù)場景需求切換多種安全角色。

◆ 架構(gòu)設(shè)計(jì)：

- 引入模型適配器，使恒腦可平滑接入多種基礎(chǔ)模型； - 專項(xiàng)優(yōu)化的算法調(diào)度引擎，使推理任務(wù)可跨硬件、跨平臺(tái)執(zhí)行；

- 融入海量安全知識(shí)，使恒腦具備多業(yè)務(wù)場景資深安全專家技能。

◆功能開發(fā)：

- 研發(fā)智能問答、增強(qiáng)檢索、研判駕駛艙、智能體等功能，實(shí)現(xiàn)安全運(yùn)營智能化和客戶本地知識(shí)融合，提升網(wǎng)絡(luò)安全運(yùn)營效率，更易于部署在客戶私網(wǎng)環(huán)境。

◆ 賦能應(yīng)用：

- 開放接口、插件、原子能力等方式與現(xiàn)有安全產(chǎn)品或系統(tǒng)深度融合，賦能安全運(yùn)營人員探索更多場景可能性。

恒腦充分秉承“讓安全更智能，讓智能更安全”的使命，為用戶提供了高效、高性價(jià)比、靈活的安全大模型部署選項(xiàng)。

02英特爾 至強(qiáng) 可擴(kuò)展處理器，

加速恒腦大模型推理

為了兼顧性能、成本等方面的考量，恒腦使用第四代英特爾 至強(qiáng) 可擴(kuò)展處理器，應(yīng)對中小規(guī)模場景的模型推理需求。

第四代英特爾 至強(qiáng) 可擴(kuò)展處理器內(nèi)置了創(chuàng)新的英特爾 AMX加速引擎，在AI性能上更進(jìn)一步，為恒腦-7b、恒腦-14b模型的推理提供卓越支持。英特爾 AMX針對廣泛的硬件和軟件優(yōu)化，通過提供矩陣類型的運(yùn)算，顯著增加了人工智能應(yīng)用程序的每時(shí)鐘指令數(shù) (IPC)，可為AI工作負(fù)載中的訓(xùn)練和推理上提供顯著的性能提升。

恒腦推理生成速度測試

恒腦利用英特爾 至強(qiáng) 可擴(kuò)展處理器進(jìn)行推理加速，讓用戶能夠獲得以下價(jià)值：

高效處理百億級別的安全知識(shí)條目，滿足智能問答、事件總結(jié)報(bào)告生成等應(yīng)用對于性能的需求；

高效利用現(xiàn)有的CPU服務(wù)器資源進(jìn)行推理，降低AI加速器部署與運(yùn)維帶來的成本壓力，實(shí)現(xiàn)更高的投資收益；

獲得由AI扮演的安全運(yùn)營專家等安全角色，提升安全運(yùn)營能力，護(hù)航網(wǎng)絡(luò)安全。

目前，采用第四代英特爾 至強(qiáng) 可擴(kuò)展處理器的恒腦在智能問答、事件總結(jié)報(bào)告生成、報(bào)文研判等實(shí)際場景中得到了廣泛應(yīng)用。

通過與英特爾 至強(qiáng) 可擴(kuò)展處理器進(jìn)行深度適配和性能優(yōu)化，可有效加速恒腦推理，助力用戶構(gòu)建起高效能、高性價(jià)比的安全垂域大模型系統(tǒng)，有力驅(qū)動(dòng)了網(wǎng)絡(luò)安全效能的整體躍升與效率改善。

一王欣

安恒信息研究院院長、高級副總裁

未來，安恒信息將與英特爾在安全大模型方面進(jìn)行進(jìn)一步合作，進(jìn)一步釋放安全大模型的巨大價(jià)值。