高通在AI領(lǐng)域的布局，驍龍 8 Gen 2支持Transformer大模型！

電子發(fā)燒友網(wǎng)報道（文/李彎彎）前不久，在2022驍龍技術(shù)峰會上，高通正式發(fā)布了全新一代旗艦移動平臺驍龍 8 Gen 2。驍龍 8 Gen 2搭載一顆專門面向AI計算的Hexagon處理器，在手機AI加速計算、計算式攝影、手游光線追蹤、5G雙卡雙通方面均較上一代有較大突破。

高通高級副總裁兼手機業(yè)務(wù)總經(jīng)理Christopher Patrick在峰會上表示，“我們把人工智能作為設(shè)計第二代驍龍8的關(guān)鍵技術(shù)?！?br />
驍龍 8 Gen 2的AI技術(shù)體現(xiàn)在哪些方面

驍龍8 Gen 2搭載的Hexagon處理器，之前是用來命名驍龍芯片內(nèi)部DSP的，它在此之前更像是協(xié)處理器。如今Hexagon已經(jīng)進化為專用的AI加速計算芯片，具有專門為其供電的系統(tǒng)，內(nèi)置Tensor、Scalar加速器、HVX矢量擴展處理器，支持Micro Tile Inferencing等技術(shù)。

據(jù)介紹，驍龍8 Gen 2這次的Hexagon處理器具備INT4精度AI計算的能力。這讓驍龍8 Gen 2成為世界上第一顆，也是目前已知的唯一一顆支持INT4精度AI計算的移動平臺處理器。

INT4是一種更新、近年來多受關(guān)注的AI計算精度模式，和之前經(jīng)常被提起的浮點計算精度模式相比起來，INT4能夠讓模型占用空間顯著縮小，從而可以在計算/能耗資源更為有限的移動平臺上，保存和運行更多和更大的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

根據(jù)高通的表述，支持了INT4之后，開發(fā)者可以讓驍龍8 Gen 2來跑超大規(guī)模的神經(jīng)網(wǎng)絡(luò)，比如Transformer。在此之前沒有已知的移動平臺具有本地運行Transformer類預(yù)訓(xùn)練模型的能力，而驍龍8 Gen 2也成為了第一顆支持Transformer大模型的移動處理器。

通過支持INT4精度計算，Hexagon處理器還可以更加有效地替代GPU和CPU，在運行各種AI計算任務(wù)時顯著降低能耗。在持續(xù)AI推理計算任務(wù)上，驍龍8 Gen 2相比8 Gen 1的性能提升最高可達(dá)4.35倍，每瓦性能提升程度高達(dá)60%。

Christopher Patrick在講解中表示，在Hexagon處理器和Qualcomm Spectra ISP之間，還增加了一個名為“Hexagon直連”的物理連接，以此打造了移動行業(yè)首創(chuàng)的“認(rèn)知ISP”。

“認(rèn)知ISP”應(yīng)用在影像處理過程中，通過實時語義分割實現(xiàn)照片和視頻的自動增強，利用AI神經(jīng)網(wǎng)絡(luò)讓攝像頭在情境中感知人臉、面部特征、頭發(fā)、衣服和天空等，進行獨立優(yōu)化，從而讓每個細(xì)節(jié)獲得定制的專業(yè)圖像調(diào)優(yōu)。而之前由于AI性能較弱，用戶在拍攝完照片之后通常需要一段處理時間，手機才會顯示成片。

在AI性能提升的情況下，驍龍8 Gen 2也帶來了實時硬件加速光線追蹤。高通技術(shù)人士表示，硬件光追可以做到每秒數(shù)百億次光線相交，對光線、反射、照明等處理會更加真實。在網(wǎng)絡(luò)連接方面，5G芯片中植入了AI功能，可以改善網(wǎng)絡(luò)中的時延、網(wǎng)速、覆蓋不到位等問題。

高通軟硬件布局，應(yīng)對終端AI落地挑戰(zhàn)

如今AI幾乎滲透進各行各業(yè)，終端應(yīng)用場景豐富，這也造成終端AI在落地上面臨挑戰(zhàn)。包括：不同終端產(chǎn)品對性能和功耗需求不同；各類終端產(chǎn)品所需的深度學(xué)習(xí)架構(gòu)和算子也差異巨大，比如智能手機需要使用生成模型、計算領(lǐng)域要用到Transformer模型，汽車ADAS則需要激光雷達(dá)模型；各類終端產(chǎn)品對AI特性的需求也不盡相同，比如汽車和XR需要支持更多的并發(fā)場景。

為了應(yīng)對這些挑戰(zhàn)，從硬件層面，高通推出的AI解決方案已經(jīng)實現(xiàn)從500毫瓦到15瓦的性能水平擴展，甚至可以滿足200瓦的性能水平。

另外為了解決不同場景對AI能力需求的差異，高通在Hexagon處理器中打造了高度可配置的硬件解決方案，使高通能夠?qū)I解決方案從智能手機擴展到更多業(yè)務(wù)線。比如面向汽車、云端等高性能場景，高通可以調(diào)整Hexagon處理器內(nèi)的加速器和內(nèi)存組件，還可以拼接多個Hexagon處理器，通過更多Hexagon處理器協(xié)同工作實現(xiàn)性能的拓展提升。

在AI軟件層面，高通也做了深入布局。今年6月，高通宣布推出AI軟件棧產(chǎn)品組合，以提升高通在AI和智能網(wǎng)聯(lián)邊緣領(lǐng)域的領(lǐng)先優(yōu)勢。高通AI軟件棧是面向OEM廠商和開發(fā)者的一套完整的AI解決方案，集合了高通各種AI軟件產(chǎn)品并進行了升級，通過豐富的AI軟件權(quán)限和兼容性能夠支持各種智能終端。

高通AI軟件棧支持包括TensorFlow、PyTorch和ONNX在內(nèi)的不同AI框架與主流runtimes，以及開發(fā)者庫與服務(wù)、系統(tǒng)軟件、工具和編譯器，從而使任何面向單一終端開發(fā)的AI特性都可在其他終端上輕松部署。高通AI軟件棧產(chǎn)品組合還支持一系列工具套件，包括高通AI模型增效工具包（AIMET）、AI開發(fā)圖形用戶界面（GUI）、用于增強量化與優(yōu)化的模型分析器以及神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）。

小結(jié)

如今AI的發(fā)展勢頭迅猛，各家芯片廠商都布局其中，包括英偉達(dá)、英特爾等。高通在該領(lǐng)域也已經(jīng)布局許久，近些年更是加大了在該領(lǐng)域的投入。因為本身應(yīng)用場景多樣的特性，終端AI在落地應(yīng)用上一直存在挑戰(zhàn)，可以看到高通正在從軟硬件各方面解決這些業(yè)界難題。