安霸推出基于CV72芯片的多模態(tài)大模型推理解決方案—Cooper Mini

生成式人工智能（Generative AI）的技術進步正在迅速改變許多行業(yè)的面貌。特別是大模型技術如 GPT 系列，已展現(xiàn)出改變游戲規(guī)則的能力，其全方位的強悍性能即將實現(xiàn)在多種產(chǎn)品中的廣泛應用。輕量化是大模型發(fā)展重要方向，生成式 AI 硬件“新物種”的誕生，標志著大模型技術向更加個性化和即時反應的前端解決方案的轉變，也預示著裝載大模型的產(chǎn)品即將全面普及于廣大人民群眾的生活中。

從云到邊緣：一場必要的轉變

盡管云端的 AI 解決方案提供了強大的計算能力，但它們在數(shù)據(jù)傳輸帶寬、網(wǎng)絡延遲、數(shù)據(jù)安全，以及最重要的用戶隱私方面存在著一些問題。比如傳統(tǒng)基于云的多模態(tài)大模型需要將用戶數(shù)據(jù)上傳到遠程服務器，這不僅可能引起隱私泄露的風險，還常常因為網(wǎng)絡帶寬和網(wǎng)絡通信延遲帶來的影響而減低產(chǎn)品的體驗質(zhì)量。在這種背景下，邊緣計算提供了一種更為合理的替代方案。相比于云端大模型，大模型端側部署具備綜合成本低、隱私保護好、響應速度快，服務可靠性高，和個性化以及根據(jù)用戶需求定制化開發(fā)等差異化優(yōu)勢，大模型正向前端設備遷移，從而重構千行百業(yè)，實現(xiàn)降本增效。

安霸 CV72芯片和Cooper Mini 的創(chuàng)新

在這一大背景下，安霸推出了基于 CV72 芯片的多模態(tài)大模型推理解決方案——Cooper Mini。這一解決方案是為邊緣計算環(huán)境量身定制的，特別適用于需要在設備上直接進行高級數(shù)據(jù)處理的應用。CV72 本是一顆可以單芯片支持完整 AI 攝像機的 SoC。使用 CV72 的 Cooper Mini 不僅硬件性能卓越，更搭載了全新的 Cooper 開發(fā)平臺，提供高度靈活、模塊化的軟硬件開發(fā)工具，極大地降低了開發(fā)者的門檻。它支持高達 30 億參數(shù)的視覺大模型推理，能夠處理多模態(tài)圖文匹配、文字驅動的圖像搜索及圖像驅動的圖像搜索，文字驅動的無類別檢測追蹤等復雜任務，為用戶提供豐富而精準的交互體驗。

5nm 制程的 CV72 芯片的設計采用了安霸第三代 CVflow 架構，全面支持 Transformer 和 LLM 的單芯片本地高速推理，并且兼顧了低功耗，大大減低了系統(tǒng)成本。除了具備強大的大模型本地推理能力，CV72 還擁有功能完備的圖像處理和視頻編碼能力。其內(nèi)建 ISP 具備卓越圖像處理能力，以及 AI ISP 的強悍圖像處理能力，即使在極低光照下也能提供出色的高清圖像。其內(nèi)建的高效率 H.265 視頻編碼器，可支持最高 8MP90 視頻編碼，適合各種攝像機搭配邊緣 AI 計算的場景，包括視頻會議、直播、機器人和安防監(jiān)控等應用。

結論

安霸在 2024 年 CES 期間推出了基于 N1 的多模態(tài)大模型解決方案 Cooper Max，通過單顆 N1 芯片支持高達 340 億參數(shù)的多模態(tài)大模型推理。新推出的基于 CV72 的 Cooper Mini，則可實現(xiàn)低功耗系統(tǒng)單芯片高達 30 億參數(shù)的多模態(tài)大模型推理。

安霸正在逐漸豐富端側推理的路線圖，提供給市場更多更好的選擇。隨著生成式 AI 的不斷進步和邊緣計算技術的成熟，像 Cooper Mini 這樣的解決方案預示著未來智能設備的發(fā)展新方向之一。這些設備不僅能夠提供更個性化、更安全的用戶體驗，還將在各個行業(yè)中推動 AI 應用的廣泛落地。