HUAWEI HiAI Foundation 開放架構(gòu)助力開發(fā)者高效靈活開發(fā)

上月，華為開發(fā)者大會(huì)2021《HDC.Together》在美麗的松山湖畔召開，華為專家、行業(yè)大咖和全球開發(fā)者齊聚一堂，攜手碰撞全場(chǎng)景萬物智慧互聯(lián)新時(shí)代的火花。作為芯片使能的基礎(chǔ)平臺(tái)，HUAWEI HiAI Foundation帶來以《端云協(xié)同，HUAWEI HiAI Foundation打造更易用的AI計(jì)算平臺(tái)》為主題的技術(shù)交流，與開發(fā)者共同探討AI應(yīng)用開發(fā)的創(chuàng)新技術(shù)與未來趨勢(shì)。

自2017年麒麟970發(fā)布至今，端側(cè)AI經(jīng)歷了開創(chuàng)先河到產(chǎn)業(yè)快速發(fā)展的巨變。一方面，麒麟芯片的AI性能不斷突破，為一代又一代終端設(shè)備提供更強(qiáng)大的算力加持；另一方面， HUAWEI HiAI基于“芯、端、云”三層開放架構(gòu)，讓開發(fā)者更簡(jiǎn)單快捷地應(yīng)用華為的AI能力，構(gòu)筑全面開放的智慧生態(tài)。

作為麒麟芯片計(jì)算能力的開放平臺(tái)，HUAWEI HiAI Foundation提供300+算子支持，具備業(yè)界最佳的模型兼容性，將芯片AI算力更好更直接地開放給開發(fā)者。此外，HUAWEI HiAI Foundation還推出端云協(xié)同、模型可視化、Model Zoo、自主調(diào)優(yōu)工具包、多IP深度協(xié)同等多種解決方案和能力，為眾多業(yè)務(wù)場(chǎng)景打造更高性能更低功耗的計(jì)算環(huán)境，助力開發(fā)者快速開發(fā)和部署AI應(yīng)用。

從平臺(tái)架構(gòu)來看，HUAWEI HiAI Foundation銜接智慧業(yè)務(wù)和計(jì)算芯片，上層支持MNN、TNN、華為MindSpore Lite、Paddle Lite、KwaiNN等合作伙伴的框架對(duì)接，利用推理加速平臺(tái)（Foundation DDK）和異構(gòu)計(jì)算平臺(tái)（Foundation HCL）將AI任務(wù)調(diào)入NPU/CPU/GPU/DSP等IP中進(jìn)行計(jì)算，賦能手機(jī)、平板、智慧屏、車機(jī)、手表等終端設(shè)備，將更多好玩酷炫的AI應(yīng)用帶到消費(fèi)者面前。

（HUAWEI HiAI Foundation 開放架構(gòu)）

五大性能優(yōu)勢(shì)，助力開發(fā)者高效靈活開發(fā)

? 端云協(xié)同：針對(duì)新業(yè)務(wù)場(chǎng)景算子以及已有典型業(yè)務(wù)場(chǎng)景算子，提供性能優(yōu)化、快速升級(jí)平臺(tái)能力的解決方案

當(dāng)前，AI業(yè)務(wù)和算法模型都在持續(xù)快速演進(jìn)，AI計(jì)算平臺(tái)適配新業(yè)務(wù)和新算法快速升級(jí)成為難題。端云協(xié)同具備可變的計(jì)算框架、廣適的模型結(jié)構(gòu)，助力開發(fā)者快速支持新模型、上線新業(yè)務(wù)，讓消費(fèi)者快速獲得端側(cè)AI帶來的體驗(yàn)提升。

以往，消費(fèi)者想要體驗(yàn)到最新的AI功能與服務(wù)，需要等算子庫(kù)更新，而算子庫(kù)內(nèi)置在手機(jī)ROM中，手機(jī)新版本更新，算子庫(kù)才能隨之更新。當(dāng)舊手機(jī)的ROM不再更新，算子庫(kù)的更新便成為難題。端云協(xié)同能夠讓老手機(jī)用戶不受終端版本的限制，更靈活地享受更新、更優(yōu)質(zhì)的服務(wù)?；谌A為端芯云三端打通的優(yōu)勢(shì)——底層是計(jì)算芯片及HUAWEI HiAI Foundation，端側(cè)有預(yù)置的HiAI Engine，云側(cè)有自己的計(jì)算庫(kù)插件更新云，HUAWEI HiAI Foundation可以將算子庫(kù)放到云端。當(dāng)有新支持的算子或性能優(yōu)化發(fā)布后，HUAWEI HiAI Foundation會(huì)在閑時(shí)靜默自動(dòng)更新新的算子庫(kù)，開發(fā)者只需在APP開發(fā)時(shí)正常調(diào)用，無感使用升級(jí)后的計(jì)算能力，讓老手機(jī)煥發(fā)新生機(jī)。

（HUAWEI HiAI Foundation端云協(xié)同）

未來，HUAWEI HiAI Foundation將利用這條端云協(xié)同的通路進(jìn)一步放大端側(cè)AI能力，通過端云協(xié)同的算子搜索、融合策略、異構(gòu)分段策略等技術(shù)賦能NPU機(jī)型，快速且低成本解決開發(fā)者的技術(shù)難題，支撐更多視頻、文本、語義等業(yè)務(wù)的上線。

? Model Zoo：輔助開發(fā)者優(yōu)化模型結(jié)構(gòu)，更好地利用麒麟芯片NPU加速優(yōu)勢(shì)

開發(fā)者在業(yè)務(wù)開發(fā)過程中，為了最大程度利用芯片算力，不可避免地需要針對(duì)麒麟芯片的硬件結(jié)構(gòu)做一些模型調(diào)整，這個(gè)過程可能會(huì)出現(xiàn)效率低，資源利用不足的情況。HUAWEI HiAI Foundation打造Model Zoo，將麒麟芯片NPU友好的模型結(jié)構(gòu)、Backbone、算子放進(jìn)去，供開發(fā)者自行挑選，輔助其優(yōu)化模型結(jié)構(gòu)，更好的發(fā)揮麒麟芯片NPU的加速優(yōu)勢(shì)。HUAWEI HiAI Foundation的底層模型結(jié)構(gòu)可視化已經(jīng)在Netron工具適配上線，方便開發(fā)者開發(fā)調(diào)試。

? 模型量化工具包：讓開發(fā)者的APP更快、更小

正常情況下，開發(fā)者訓(xùn)練的模型是32bit，這樣的模型計(jì)算精度固然高，但對(duì)手機(jī)功耗和內(nèi)存的要求也比較高。HUAWEI HiAI Foundation為開發(fā)者提供模型量化工具包，在滿足計(jì)算精度的前提下，可以把原始模型直接量化為更小、更輕便且最適合NPU結(jié)構(gòu)的低比特模型，無需開發(fā)者做二次調(diào)整，從而節(jié)省手機(jī)空間，降低計(jì)算資源的消耗。

模型量化工具包支持無數(shù)據(jù)量化和訓(xùn)練感知量化，以達(dá)到性能與精度的平衡；支持8bit/4bit+2bit模型量化，支持自適應(yīng)混合量化，實(shí)現(xiàn)模型性能與大小的平衡。譬如，開發(fā)者基于ResNet50、InceptionV3等典型網(wǎng)絡(luò)模型進(jìn)行量化，量化后的int8模型在精度幾乎不損失的情況下，模型大小僅為原來FP32模型大小的四分之一。

（HUAWEI HiAI Foundation模型量化工具包）

? 網(wǎng)絡(luò)結(jié)構(gòu)搜索工具包：讓網(wǎng)絡(luò)設(shè)計(jì)更簡(jiǎn)單、更有效

網(wǎng)絡(luò)結(jié)構(gòu)搜索工具包支持多種類型的網(wǎng)絡(luò)結(jié)構(gòu)搜索任務(wù)，包含分類，檢測(cè)和分割。通過精度，性能目標(biāo)牽引，協(xié)同硬件信息通過最優(yōu)化搜索算法獲得最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，得到最佳的性能提升。網(wǎng)絡(luò)結(jié)構(gòu)搜索工具包支持多種主流訓(xùn)練框架使能，包含：caffe，tensorflow，pytorch。同時(shí)針對(duì)多種主流硬件平臺(tái)具有算力和時(shí)延建模的能力。

（HUAWEI HiAI Foundation網(wǎng)絡(luò)結(jié)構(gòu)搜索工具包）

? 多IP深度協(xié)同：各計(jì)算單元共用DDR內(nèi)存，提升性能降低功耗

HUAWEI HiAI Foundation在芯片裸算力開放的同時(shí)，還具備芯片底層多IP深度協(xié)同的優(yōu)勢(shì)。多IP深度協(xié)同的好處在于，CPU、NPU等各計(jì)算IP共用DDR內(nèi)存，在ISP、CPU、NPU、GPU等IP之間最大程度減少拷貝數(shù)據(jù)流轉(zhuǎn)的開銷，既可提升性能又能降低功耗。

日調(diào)用量突破600億，引領(lǐng)端側(cè)AI行業(yè)標(biāo)準(zhǔn)構(gòu)筑

如今，AI技術(shù)在端側(cè)的應(yīng)用越來越廣泛，語音識(shí)別、圖像識(shí)別、圖像分割、圖像超分、人臉識(shí)別、文字識(shí)別等已經(jīng)成為全民通用的技術(shù)，消費(fèi)者期待更好玩的AI應(yīng)用出現(xiàn)，希望獲得更優(yōu)質(zhì)的AI應(yīng)用體驗(yàn)。HUAWEI HiAI Foundation為AI應(yīng)用開發(fā)提供了基礎(chǔ)保障，讓開發(fā)者能夠突破性能瓶頸，提高開發(fā)效率，節(jié)省計(jì)算資源，更好地投入到AI玩法的研究與落地中，滿足消費(fèi)者對(duì)智慧生活的美好期待。

具體而言，接入HUAWEI HiAI Foundation開放生態(tài)的價(jià)值體現(xiàn)在高效實(shí)時(shí)運(yùn)算、保護(hù)隱私和節(jié)省成本三個(gè)方面。

其一，從隱私保護(hù)的角度來看，應(yīng)用中涉及的用戶隱私數(shù)據(jù)，譬如人臉數(shù)據(jù)、指紋數(shù)據(jù)等更應(yīng)該留在本地，避免上傳云端帶來不必要的麻煩。HUAWEI HiAI Foundation助力開發(fā)者在端側(cè)實(shí)現(xiàn)AI計(jì)算，能夠更好地保障用戶隱私安全。

其二，相較于云端計(jì)算，端側(cè)計(jì)算具有低時(shí)延的優(yōu)勢(shì)，HUAWEI HiAI Foundation支持更多AI模型在移動(dòng)端高效運(yùn)算，避免端云交互所帶來的延時(shí)和流量開銷，提升用戶體驗(yàn)。

其三，基于HUAWEI HiAI Foundation直接開放的芯片算力，開發(fā)者可以將更多的AI模型部署在端側(cè)，節(jié)省開發(fā)成本。以視頻超分為例，當(dāng)用戶在手機(jī)上觀看1080P的視頻時(shí)，如果開發(fā)者不使用超分技術(shù)，就需要從服務(wù)器上刷1080P的高清碼流到手機(jī)上；反之，如果開發(fā)者使用視頻超分，則只需要在服務(wù)器上刷低分辨率的碼流過來，在手機(jī)端做超分處理。如此，開發(fā)者既可以節(jié)省帶寬，同時(shí)幫用戶節(jié)省了下載高清碼流的流量。

據(jù)統(tǒng)計(jì)，HUAWEI HiAI Foundation自2018年開放以來，以高性能、低功耗、高易用性收獲越來越多的開發(fā)者青睞，短短3年間日調(diào)用量從100萬+增長(zhǎng)到600億+。抖音、剪映、支付寶、淘寶、愛奇藝、美顏相機(jī)、輕顏相機(jī)、快手、百度地圖等頭部應(yīng)用已先后接入HUAWEI HiAI Foundation，利用端側(cè)AI強(qiáng)大的計(jì)算能力，為用戶打造智能新體驗(yàn)。

（HiAI Foundation日調(diào)用量突破600億+）

以愛奇藝為例，HUAWEI HiAI Foundation芯片開放能力，助推愛奇藝快速實(shí)現(xiàn)視頻超分AI功能在端側(cè)部署的突破。在愛奇藝V12.1.5版本中，愛奇藝與HUAWEI HiAI Foundation合作在手機(jī)端新增了增強(qiáng)畫質(zhì)功能?；趷燮嫠嘮oomAI 智能超分算法突出視頻畫面中的細(xì)節(jié)紋理，抑制鋸齒和底噪，搭配色彩增強(qiáng)算法效果，在完全不影響幀率的情況下完成了視頻的實(shí)時(shí)畫質(zhì)增強(qiáng)處理，讓畫質(zhì)變清晰，視頻整體畫面更顯精細(xì)。

在雙方的合作中，愛奇藝工程師通過與HUAWEI HiAI Foundation進(jìn)行框架對(duì)接，快速將原始模型轉(zhuǎn)換成華為Davinci Model，并通過Davinci Model的調(diào)優(yōu)技術(shù)，優(yōu)化模型結(jié)構(gòu)，充分發(fā)揮硬件單元的算力，令模型算子以更低功耗在手機(jī)端側(cè)高效運(yùn)轉(zhuǎn)。在此次部署中，HUAWEI HiAI Foundation還使用圖融合調(diào)優(yōu)技術(shù)，減少模型算法對(duì)DDR的依賴，以提升模型性能降低系統(tǒng)功耗。HUAWEI HiAI Foundation還配備了豐富的調(diào)試工具鏈和模型可視化工具，幫助愛奇藝工程師快速解決對(duì)接過程中遇到的功能和性能相關(guān)問題。

如果說2017年端側(cè)AI還只是一顆種子，如今隨著AI算力不斷突破，AI開放平臺(tái)持續(xù)賦能，AI開發(fā)者想象力不斷迸發(fā)，端側(cè)AI已經(jīng)逐漸生根發(fā)芽、茁長(zhǎng)成長(zhǎng)。為了助力端側(cè)AI行業(yè)繁榮發(fā)展，HiAI Foundation在優(yōu)化平臺(tái)性能的同時(shí)，已加入AI標(biāo)準(zhǔn)化組織AITISA（人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟），并參與端側(cè)AI標(biāo)準(zhǔn)草案撰寫，共同構(gòu)筑AI行業(yè)標(biāo)準(zhǔn)。據(jù)悉，該草案將于2022年正式發(fā)布。

原文標(biāo)題：深度解析：HUAWEI HiAI Foundation如何助力AI應(yīng)用高效開發(fā)？

文章出處：【微信公眾號(hào)：華為麒麟】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:pj