智能手機(jī)的AI處理器能做些什么

三年前，AI成為了智能手機(jī)的新賣點(diǎn)。一時(shí)間，支持AI特性的智能手機(jī)快速普及，AI性能表現(xiàn)成為了繼CPU、GPU之后，消費(fèi)者最為關(guān)注的手機(jī)處理器參數(shù)。如今，展示AI性能已經(jīng)成為了手機(jī)和手機(jī)處理器發(fā)布會(huì)上必不可少的環(huán)節(jié)。但你是否想過，為什么需要一款A(yù)I功能強(qiáng)大的手機(jī)？手機(jī)里的AI處理器究竟能做些什么？

手機(jī)有哪些AI功能？

提到手機(jī)上的AI功能，不少人馬上能想到的應(yīng)該是——智能語(yǔ)音助手和AI拍照。毫無(wú)疑問，AI拍照是普通消費(fèi)者使用最多的功能，功能包括AI背景虛化、AI超級(jí)夜景、AI美顏、AI降噪等。除此之外，一些常見的 AI 功能還包括人臉識(shí)別、通話降噪、翻譯等。

眼下，這些常見的手機(jī)AI功能正在變得強(qiáng)大。舉個(gè)例子，以前，手機(jī)上并不能實(shí)現(xiàn)自動(dòng)語(yǔ)音識(shí)別（ASR）、離線實(shí)時(shí)語(yǔ)音翻譯的功能，隨著AI技術(shù)的進(jìn)步以及硬件和軟件公司合作的深入，ASR和離線實(shí)時(shí)語(yǔ)音翻譯都可以在手機(jī)上實(shí)現(xiàn)，甚至還能在嘈雜的環(huán)境做出反應(yīng)。

另外，在拍照方面，手機(jī)攝像頭已經(jīng)增加到三個(gè)甚至五個(gè)，在廣角、超廣角、長(zhǎng)焦鏡頭之間切換的過程中，用戶很容易感覺到卡頓，而高通和合作伙伴共同完成的光學(xué)變焦平滑切換解決方案，能夠給用戶帶來(lái)基于AI的平滑變焦體驗(yàn)。

相比智能語(yǔ)音助手和拍照，有些手機(jī)上的AI功能并不容易發(fā)現(xiàn)。比如，全球都很流行的短視頻平臺(tái)抖音，出于網(wǎng)絡(luò)帶寬等方面的考慮，用戶手機(jī)接收到的其實(shí)是320P分辨率的視頻，但更高的分辨率意味著更好的體驗(yàn)，為此，字節(jié)跳動(dòng)與高通深入合作，基于驍龍865進(jìn)行優(yōu)化，借助手機(jī)的AI處理器運(yùn)行特殊神經(jīng)網(wǎng)絡(luò)（超分辨率卷積神經(jīng)網(wǎng)絡(luò)），將用戶所接收到的視頻從每一幀320P分辨率提升至720P，因?yàn)橥ㄟ^終端側(cè)AI實(shí)現(xiàn)這一處理，用戶也能獲得更加流暢的體驗(yàn)。

不僅如此，AI還能用來(lái)解決讓許多用戶感到焦慮的電量問題。iPhone就使用AI能力來(lái)學(xué)習(xí)用戶的使用習(xí)慣，從而優(yōu)化充電來(lái)延長(zhǎng)電池的使用壽命。高通也在其Quick Charge快速充電技術(shù)中將AI算法引入快速充電和放電的整套體系，通過學(xué)習(xí)用戶的個(gè)性化使用習(xí)慣，比如玩游戲以及游戲持續(xù)的時(shí)間，再通過訓(xùn)練，Quick Charge AI 能夠很好地調(diào)整整個(gè)系統(tǒng)的CPU包括充電效率。

這樣一來(lái)，Quick Charge AI就能夠進(jìn)一步提升手機(jī)電池剩余可運(yùn)行時(shí)間的預(yù)測(cè)準(zhǔn)確率，最高提升可達(dá)15%。而且，還能實(shí)現(xiàn)更好的充電散熱管理，延長(zhǎng)電池循環(huán)充電壽命，最高可延長(zhǎng)達(dá)200天。

當(dāng)然，AI還幫助手機(jī)游戲、購(gòu)物、學(xué)習(xí)等功能變得更加有趣且實(shí)用，詳細(xì)可以查看雷鋒網(wǎng)此前的文章。

實(shí)際上，手機(jī)AI功能的強(qiáng)大，需要強(qiáng)大的手機(jī)處理器以及AI性能來(lái)支撐。借著發(fā)布不久的驍龍865移動(dòng)平臺(tái)，我們來(lái)解析一下硬件和軟件如何配合實(shí)現(xiàn)強(qiáng)大的AI功能。

更高性能的AI處理器，更強(qiáng)大的AI功能

上月初，高通發(fā)布了最新旗艦移動(dòng)平臺(tái)驍龍865，新平臺(tái)很好地融合了5G和AI，能夠提供高達(dá)7.5 Gbps的峰值速率，搭載第五代高通人工智能引擎AI Engine和傳感器中樞（Sensing Hub）。此外，Spectra 480 ISP能夠?qū)崿F(xiàn)高達(dá)每秒20億像素的處理速度，Snapdragon Elite Gaming還能支持一系列端游級(jí)別的體驗(yàn)和極致逼真圖形性能等新特性，能夠給用戶帶來(lái)出色的拍攝和游戲體驗(yàn)。

作為驍龍865升級(jí)的重點(diǎn)，新一代Kryo 585 CPU的性能提升達(dá)25%，全新Adreno 650 GPU的整體性能較前代平臺(tái)提升25%。與AI功能最密切相關(guān)的AI Engine，驍龍865集成的第五代AI Engine，性能最高可達(dá)每秒15萬(wàn)億次運(yùn)算（15 TOPS），是上一代驍龍855 AI性能的兩倍，相比驍龍845 AI性能更是提高了5倍。

驍龍865 AI性能顯著的提升并不是依靠某一個(gè)處理器的提升。AI Engine一直采用多核異構(gòu)計(jì)算的解決方案，通過Kryo CPU、Adreno GPU、Hexagon處理器的協(xié)同處理，共同完成AI任務(wù)。第五代AI Engine核心的Hexagon處理器進(jìn)行了全新升級(jí)，TOPS性能是前代張量加速器的4倍，運(yùn)行能效同時(shí)提升35%。驍龍865的Adreno 650 GPU的AI算力相比于前代驍龍855的GPU AI算力也提升超過兩倍，成為最強(qiáng)的手機(jī)AI處理器。

當(dāng)然，AI Engine多核異構(gòu)架構(gòu)也能在性能和功耗之間取得最佳平衡。對(duì)于電池供電的智能手機(jī)而言，兼具高性能和低功耗的特性至關(guān)重要，與AI Engine性能提升的思路一樣，高通降低功耗同樣沒有局限于某一個(gè)硬件，而是從系統(tǒng)的角度進(jìn)行優(yōu)化。

深度學(xué)習(xí)算法是目前AI最常用的算法，這類算法帶來(lái)了大量的卷積運(yùn)算，但耗能最多的并非卷積計(jì)算，而是數(shù)據(jù)的搬運(yùn)。為此，高通把驍龍820上就采用的帶寬壓縮技術(shù)升級(jí)為驍龍865 AI Engine上的深度學(xué)習(xí)帶寬壓縮技術(shù)，可以實(shí)現(xiàn)高達(dá)50%壓縮比的無(wú)損壓縮，通過這種方式，大大降低了對(duì)內(nèi)存的訪問。而且，驍龍865新支持的LPDDR5可以帶來(lái)30% 的帶寬提升，共同實(shí)現(xiàn)功耗的降低。

還需一提的是，為了進(jìn)一步提升手機(jī)處理器的智能化程度，驍龍865還集成了傳感器中樞（Sensing Hub），可以用作音頻、視頻的實(shí)時(shí)感知。在功耗控制方面，這個(gè)傳感器中樞的多關(guān)鍵詞語(yǔ)言語(yǔ)音喚醒功耗小于1毫安，配合AI Engine可以在極低的功耗下讓手機(jī)能夠感知周圍的環(huán)境。

比如前面提到的ASR，高通與谷歌合作共同增強(qiáng)了Android Neural Networks API，并將Google Assistant的語(yǔ)音識(shí)別功能從CPU遷移到Hexagon，降低功耗達(dá)3倍，延遲降低30%，實(shí)現(xiàn)全天始終在線的語(yǔ)音翻譯，進(jìn)一步將情境感知AI提升至全新水平。

不過，再?gòu)?qiáng)大的硬件也需要軟件來(lái)釋放其“魔力”。

更多有趣的AI功能即將到來(lái)

抖音、Snapchat、谷歌翻譯、有道翻譯等APP輸出了手機(jī)的AI功能，這也是手機(jī)AI軟件和硬件開發(fā)者緊密合作的成果。不過，雙方的合作有一個(gè)巨大的鴻溝，一方面，軟件開發(fā)者不了解底層的硬件，調(diào)用和優(yōu)化硬件對(duì)他們而言是個(gè)巨大的難題；另一方面，硬件提供方往往對(duì)軟件開發(fā)者的多樣化需求不夠了解，很難滿足所有開發(fā)者的需求。

因此，與傳統(tǒng)芯片不同，AI芯片的提供方需要提供一套涵蓋硬件、軟件、工具的完整解決方案，才能夠保證一切協(xié)同工作。從最頂層到最底層分別是應(yīng)用程序、框架、Runtime、庫(kù)、硬件加速器。

就框架而言，AI開發(fā)者可能會(huì)使用TensorFlow、PyTorch等框架，AI芯片公司都會(huì)盡量支持主流的AI框架。為了簡(jiǎn)化AI開發(fā)者的工作，目前，驍龍865可支持超過160個(gè)算子，算子指的是框架中存在的復(fù)雜函數(shù)，可以幫助張量更好地工作。還值得一提的是，開發(fā)者還能利用Adreno支持的Open CL和Hexagon SDK打造自定義算子，這樣開發(fā)者就能在框架上實(shí)現(xiàn)差異化，也能充分利用驍龍平臺(tái)提供的強(qiáng)大AI算力。

在Runtime層，為了支持移動(dòng)終端上的AI性能，高通在全球率先推出面向移動(dòng)平臺(tái)的AI軟件工具包。高通神經(jīng)處理SDK與Android Neural Networks API的協(xié)作可為驍龍移動(dòng)平臺(tái)上第一方和第三方應(yīng)用提供非并行開發(fā)者訪問，將AI硬件和軟件更好地結(jié)合在一起。

據(jù)悉，高通的神經(jīng)處理SDK側(cè)重于改善能耗、性能、訪問等多個(gè)方面，還提供每月的版本更新，并與合作伙伴尤其是OEM緊密合作，提供頂級(jí)的AI解決方案，支持更多的網(wǎng)絡(luò)和更高的性能。高通AI研發(fā)團(tuán)隊(duì)還與谷歌緊密合作，共同優(yōu)化Android Neural Networks API，實(shí)現(xiàn)了3-5倍的性能提升，讓接入也更加簡(jiǎn)單。

需要補(bǔ)充的是，高通還推出了Hexagon NN Direct，例如，通過與谷歌合作能讓TensorFlow Lite的開發(fā)者越過Runtime直接訪問終端，直接運(yùn)行在Hexagon內(nèi)核上的庫(kù)，也能為其他解決方案商提供相同的訪問權(quán)限。

這一功能能夠帶來(lái)顯著提升，Snapchat可以通過利用Hexagon NN Direct，可以將視頻從每秒10幀提升到了每秒超過40幀。

除此之外，高通還推出了全新的AI模型效率工具包，這套工具包能夠通過去除網(wǎng)絡(luò)中的冗余層，以低于1%的準(zhǔn)確度損失實(shí)現(xiàn)3倍的模型壓縮，這對(duì)大多數(shù)用例綽綽有余。另外，這個(gè)工具包還能將32位的AI模型壓縮到8位，將每瓦特性能提升超過4倍。

基于高性能硬件和易于使用的軟件，驍龍的AI技術(shù)已賦能全球超過10億部終端。隨著硬件性能進(jìn)一步的提升和軟件的迭代和創(chuàng)新，更多XR、工作、社交等領(lǐng)域的AI應(yīng)用也會(huì)越來(lái)越多。

雷鋒網(wǎng)小結(jié)

手機(jī)是AI技術(shù)最先普及的智能設(shè)備，但在兩年前，消費(fèi)者能夠使用到的AI功能非常有限。隨著手機(jī)AI性能的不斷提升以及AI算法和軟件的不斷迭代，2019年AI拍照已經(jīng)成為了最受消費(fèi)者喜歡的AI功能，并且，得益于手機(jī)端AI性能的強(qiáng)大，之前只能靠云端實(shí)現(xiàn)的AI任務(wù)在終端也可以實(shí)現(xiàn)很好的效果。手機(jī)AI功能更實(shí)用的同時(shí)，也催生了許多更加有趣和新奇的AI功能。

這一市場(chǎng)的領(lǐng)導(dǎo)者高通，其最新旗艦移動(dòng)平臺(tái)驍龍865能有優(yōu)秀的AI性能表現(xiàn)，也是得益于長(zhǎng)期的積累。早在2007年，Qualcomm Research就啟動(dòng)了首個(gè)人工智能項(xiàng)目，此后不斷加強(qiáng)在AI領(lǐng)域的研發(fā)，并在2018年成立了Qualcomm AI Research。

當(dāng)然，芯片的成功，特別是AI芯片的成功，軟硬件更好地融合以及生態(tài)的繁榮更加重要，憑借強(qiáng)大的技術(shù)實(shí)力以及號(hào)召力，高通在全球已經(jīng)擁有了眾多的AI合作伙伴，其在AI領(lǐng)域的表現(xiàn)也因此值得期待。特別是在5G領(lǐng)域同樣領(lǐng)先的高通，5G和AI的融合，將碰撞出讓人意想不到的驚喜。