通用Tensilica軟件堆棧提供最佳邊緣AI性能

開(kāi)發(fā)敏捷的軟件堆棧對(duì) AI 在邊緣側(cè)的成功部署非常重要?；诙喾N AI 框架創(chuàng)建的新機(jī)器學(xué)習(xí)模型已經(jīng)不再罕見(jiàn)，這些框架采用了最新的算子和最先進(jìn)的機(jī)器學(xué)習(xí)模型拓?fù)?。就?a href="http://www.wenjunhu.com/tags/寒武紀(jì)/" target="_blank">寒武紀(jì)生命大爆發(fā)一樣，其快速發(fā)展源于富有創(chuàng)造性的開(kāi)源社區(qū)對(duì) AI 技術(shù)的廣泛采納，并在邊緣側(cè)不斷推動(dòng)機(jī)器學(xué)習(xí)模型的應(yīng)用。

這些模型由學(xué)術(shù)界和工業(yè)界共同創(chuàng)建，使用了最尖端工具和概念；因此，在高性能、最新的 AI 軟件堆棧上高效運(yùn)行這些模型對(duì)任何組織而言都很復(fù)雜。

得益于多年的專業(yè)領(lǐng)域積累，Cadence 擁有業(yè)界領(lǐng)先的基礎(chǔ)設(shè)計(jì) IP，為全球的計(jì)算平臺(tái)提供支持。Cadence 在 IP 市場(chǎng)的領(lǐng)先地位推動(dòng)了現(xiàn)有客戶和合作伙伴對(duì)人工智能計(jì)算需求的不斷增長(zhǎng)。過(guò)去二十年來(lái)，Tensilica 成功提供了可擴(kuò)展、可配置的處理器 IP，被大量客戶用于邊緣側(cè)的 SoC 設(shè)計(jì)。Tensilica IP 被廣泛應(yīng)用于音頻、視覺(jué)、雷達(dá)、汽車和基于微控制器的子系統(tǒng)。

考慮到 Cadence 處理器 IP 被廣泛使用，以及 AI 推理在各個(gè)細(xì)分市場(chǎng)的應(yīng)用，我們致力于推出通用的“一站式”解決方案，為客戶提供統(tǒng)一的、可擴(kuò)展、可配置的 ML 軟件堆棧。一站式工具理念是我們整體 AI 軟件產(chǎn)品的核心。

一款通用的軟件接口和工具將大幅縮短客戶產(chǎn)品的上市時(shí)間，助其更好地為不斷發(fā)展的 AI 市場(chǎng)做好準(zhǔn)備。

從超低功耗、永遠(yuǎn)在線的使用場(chǎng)景到 ADAS 和自動(dòng)駕駛等高端車載應(yīng)用，在邊緣側(cè)可以看到各類用例。這些用例對(duì) AI 的計(jì)算需求從每秒幾千兆次運(yùn)算（GOPS）到每秒數(shù)萬(wàn)億次運(yùn)算（TOPS）不等。

? ? ? ? ?

圖1：適用于所有垂直市場(chǎng)的通用 AI 軟件工具

我們的目標(biāo)是在高性能機(jī)器學(xué)習(xí)編譯器堆棧的各個(gè)方面改進(jìn)我們的產(chǎn)品，包括統(tǒng)一的前端設(shè)計(jì)、通用的中間表示法、對(duì)混合精度量化格式的支持、無(wú)損壓縮技術(shù)、圖和張量?jī)?yōu)化等。

這些技術(shù)將在各類 AI 部署的場(chǎng)景中幫助客戶，例如使用基于委派模式的框架進(jìn)行提前編譯、即時(shí)編譯和/或運(yùn)行時(shí)解釋器框架。

? ? ? ? ?

圖2：AI 軟件堆棧支柱

客戶可以在流片前進(jìn)行 ML 工作負(fù)載的軟件仿真并提取關(guān)鍵 KPI。在軟硬件協(xié)同設(shè)計(jì)階段，擁有這些準(zhǔn)確的指標(biāo)是非常有價(jià)值的。迭代各類 ML 模型，微調(diào)可配置參數(shù)以從硬件 IP 中獲得最大性能是每個(gè) SoC 架構(gòu)師的基本目標(biāo)。

? ? ? ? ?

圖3：實(shí)現(xiàn)軟硬件協(xié)同設(shè)計(jì)

利用開(kāi)源工具實(shí)現(xiàn) Cadence AI 軟件堆棧的同時(shí)，我們也積極參與開(kāi)放論壇，為開(kāi)源社區(qū)做出貢獻(xiàn)。作為嵌入式 IP 領(lǐng)域的市場(chǎng)領(lǐng)先者，Cadence 與全球各地的合作伙伴協(xié)作，致力于為細(xì)分市場(chǎng)提供領(lǐng)先的 AI 解決方案。

審核編輯：劉清