算法框架是AI芯片與商業(yè)應用的橋梁

電子發(fā)燒友網(wǎng)報道（文/李彎彎）近些年AI模型的應用場景飛速擴展，包括自動駕駛、智慧城市、教育、醫(yī)療、金融等等，行業(yè)的多樣性和應用場景的分散，使得AI模型爆炸式增長。

在日前某論壇上，商湯科技聯(lián)合創(chuàng)始人兼大裝置首席科學家林大華談到，商湯科技每年要生產(chǎn)幾萬個AI模型，然而模型豐富，算子的長尾效應也很明顯，10% 經(jīng)典算子雖然占據(jù)90% AI芯片算力，而90%長尾算子卻占據(jù)大量計算時間。

多元化的應用催生了多樣的算法框架，算法支持應用，而算法框架是將算法用于解決實際問題，助力AI芯片算力價值體現(xiàn)，充當AI芯片與應用的橋梁。

比如說算法就是諸如LR、GBDT、DNN、DeepFM這樣的實際解決某個數(shù)學問題的公式實現(xiàn)。算法框架可以讓算法執(zhí)行更高效，比如最早玩深度學習的人都用Theano，基于Theano去開發(fā)算法很困難，后來有了PyTorch和TensorFlow，讓基于深度學習的算法開發(fā)更方便。

目前算法框架已經(jīng)非常豐富，包括PyTorch、TensorFlow，還有商湯科技開源的Sense Parrots，華為開源的昇思MindSpore，百度飛槳PaddlePaddle等等。

算法工程師其實是基于算法框架開發(fā)AI算法的，也就是說深度學習框架銜接起了硬件芯片算力和上面AI算法應用，然而AI訓練框架逐漸豐富，但未形成統(tǒng)一的芯片接口，這使得AI訓練芯片對框架逐一適配的成本高昂，這也阻礙了AI芯片在市場應用上的快速迭代。

為此，商湯科技希望基于已經(jīng)開源開放的算法體系，構(gòu)建統(tǒng)一的接口，把大家協(xié)同在一起，在軟件層面，在算法的結(jié)構(gòu)分解出一些標準算子，表明哪些算子在哪些應用場景中最為重要，這樣可以讓大家能夠把有限的適配資源，投放到更有用的地方。

商湯給出的軟件解決方案包括了算法分級體系和標準算子接口體系。據(jù)林大華介紹，算法分級體系首先是從影響力、性能、部署特性三個維度，即算法模型在學術(shù)界和工業(yè)界的影響力，算法模型的精度和速度，以及算法模型的部署友好性，將AI算法進行分級，這樣可以給出方向性的應用參考。

接著是卷積輸入配置頻率統(tǒng)計，每個算法模型在實際訓練中存在不同的卷積輸入參數(shù)配置，不同參數(shù)配置的卷積算子使用頻率存在較大的差異。

再得出高優(yōu)Spec優(yōu)化清單，從算法模型優(yōu)先級評估+模型卷積輸入配置頻率，得到模型重要性和卷積輸入配置頻率加權(quán)評分，再得到高優(yōu)Spec優(yōu)化清單，芯片廠商可參考優(yōu)化的清單進行針對性優(yōu)化。

總之，基于算法分級體系的算子優(yōu)化方法可以助力挖掘高優(yōu)Spec，確認常用卷積輸入配置優(yōu)化優(yōu)先級，提高芯片廠商適配能效。

長尾算子在實際應用中占比非常高，但卻不在標準算法庫里面，因此需要建立標準算子接口來提升芯片和框架的適配。

標準算子接口體系，包括統(tǒng)一算子接口及函數(shù)簽名和一致性測試套件。主要特點是，不依賴具體的框架和芯片，邏輯簡單、易閱讀、易擴展，與標準接口定義保持一致，具有可移植性和強適用性，提供一致性的錯誤處理機制，支持主流開發(fā)框架和應用模型。

傳統(tǒng)芯片和框架適配流程，存在這樣的問題：1、廠商合作前溝通成本高；2、適配工作量難度高，風險難以控制；3、適配案例和經(jīng)驗難以復用到其它芯片和框架適配場景中。而接入標準算子接口體系的芯片和框架適配流程，有幾個優(yōu)點：1、廠商合作前沒有額外溝通成本；2、工作量小、難度低，風險可控；3、一次接入即可完成對主流芯片、框架適配場景的支持。

整體而言，近些年AI產(chǎn)業(yè)在芯片算力、算法、框架，以及應用方面都有很大的進步，然而如果AI產(chǎn)業(yè)要長期健康的發(fā)展，還需要上下游機構(gòu)、廠商一起，攜手合作構(gòu)建出一個繁榮的生態(tài)，這中間的算法框架在連接起底層芯片和上層業(yè)務方面，承擔著重要責任。