HUAWEI HiAI Foundation端云協(xié)同助力開發(fā)者快速上線新業(yè)務(wù)

隨著新技術(shù)的不斷演進(jìn)，人工智能已經(jīng)廣泛地應(yīng)用到教育、金融、物流、零售、交通、醫(yī)療等各個(gè)領(lǐng)域。而在AI高速發(fā)展的當(dāng)下，高效開發(fā)變得更為重要，如何將創(chuàng)意想法與AI技術(shù)深度融合，迅速轉(zhuǎn)化為可落地的AI應(yīng)用，是開發(fā)者在激勵(lì)競(jìng)爭(zhēng)中制勝的關(guān)鍵。

當(dāng)前，AI業(yè)務(wù)和算法模型都在持續(xù)快速演進(jìn)，AI計(jì)算平臺(tái)適配新業(yè)務(wù)和新算法快速升級(jí)成為難題。

為了助力開發(fā)者快速上線新業(yè)務(wù)，為消費(fèi)者提供新體驗(yàn)，HUAWEI HiAI Foundation在華為開發(fā)者大會(huì)2021（HDC.Together）上發(fā)布了全新的技術(shù)特性——端云協(xié)同。端云協(xié)同是針對(duì)新業(yè)務(wù)場(chǎng)景算子以及已有典型業(yè)務(wù)場(chǎng)景算子，提供性能優(yōu)化、快速升級(jí)平臺(tái)能力的解決方案。它具備可變的計(jì)算框架、廣適的模型結(jié)構(gòu)，助力開發(fā)者快速支持新模型、上線新業(yè)務(wù)，讓消費(fèi)者快速獲得端側(cè)AI帶來(lái)的體驗(yàn)提升。

把算子庫(kù)放到云端，老手機(jī)“煥發(fā)新春“

首先，端云協(xié)同解決了舊手機(jī)的“新服務(wù)”難題。

以往，消費(fèi)者想要體驗(yàn)到最新的AI功能與服務(wù)，需要等算子庫(kù)更新，而算子庫(kù)內(nèi)置在手機(jī)ROM中，手機(jī)新版本更新，算子庫(kù)才能隨之更新。但舊手機(jī)的版本更新次數(shù)會(huì)隨著時(shí)間遞減，甚至停止服務(wù)不再更新。如果手機(jī)版本不更新，算子庫(kù)升級(jí)則成為一道難題，消費(fèi)者的體驗(yàn)也會(huì)被延遲滿足。另外，新功能從開發(fā)到ROM升級(jí)的周期也是以數(shù)月計(jì)，極大影響新業(yè)務(wù)上線的周期。

端云協(xié)同能夠讓老手機(jī)用戶不受終端版本的限制，更靈活地享受更新、更優(yōu)質(zhì)的服務(wù)?；谌A為端芯云三端打通的優(yōu)勢(shì)——底層是計(jì)算芯片及HiAI Foundation，端側(cè)有預(yù)置的HiAI Engine，云側(cè)有自己的計(jì)算庫(kù)插件更新云，HiAI Foundation可以將算子庫(kù)放到云端。當(dāng)有新支持的算子或性能優(yōu)化發(fā)布后，HUAWEI HiAI Foundation會(huì)在閑時(shí)靜默自動(dòng)更新新的算子庫(kù)，開發(fā)者只需在APP開發(fā)時(shí)正常調(diào)用，無(wú)感使用升級(jí)后的計(jì)算能力，讓老手機(jī)煥發(fā)新生機(jī)。

（HiAI Foundation端云協(xié)同示意圖）

把模型放到云端，開發(fā)者按需取用

其次，端云協(xié)同可以快速匹配開發(fā)者的需求，幫助其降低開發(fā)成本。

通常情況下，應(yīng)用開發(fā)的理想狀態(tài)是，一個(gè)模型可以適用于所有類型的手機(jī)終端。雖然在CPU上運(yùn)行模型可以達(dá)到這一目的，但以CPU為核心的傳統(tǒng)計(jì)算架構(gòu)已經(jīng)不能適應(yīng)當(dāng)前應(yīng)用對(duì)計(jì)算性能的強(qiáng)勁需求，很多應(yīng)用在NPU的強(qiáng)大算力下才能將功能發(fā)揮到極致。這個(gè)時(shí)候，就需要開發(fā)者針對(duì)NPU進(jìn)行模型定制，但問(wèn)題隨之而來(lái)，一方面，所有模型不可能打包在一個(gè)SDK里讓大家去下載；另一方面，API的大小會(huì)受到限制，開發(fā)困擾不減反增。

HiAI Foundation端云協(xié)同的解決方案支持開發(fā)者將模型放到云端，這樣既可以節(jié)省APP大小，又可以獨(dú)立針對(duì)芯片部署最佳模型，最大限度提升用戶體驗(yàn)。而端云協(xié)同技術(shù)不會(huì)干擾到開發(fā)者的任何模型數(shù)據(jù)，真正建立起一個(gè)完整生態(tài)壁壘，助力各行業(yè)開發(fā)者加速業(yè)務(wù)應(yīng)用落地。

（HiAI Foundation端云協(xié)同示意圖）

未來(lái)是智能主宰的時(shí)代。HiAI Foundation將利用這條端云協(xié)同的通路進(jìn)一步放大端側(cè)AI能力，通過(guò)端云協(xié)同的算子搜索、融合策略、異構(gòu)分段策略、FFTL等技術(shù)賦能NPU機(jī)型，快速且低成本解決開發(fā)者的技術(shù)難題，激發(fā)全球開發(fā)者的想象力和創(chuàng)造性，開發(fā)出更多新奇酷炫的全新玩法。

編輯：jq