高通在2023年國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議上，展示先進(jìn)研究成果并將生成式AI引入邊緣側(cè)

6月18日至22日，IEEE/CVF國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（CVPR）在溫哥華舉行，該會(huì)議不僅是計(jì)算機(jī)視覺，也是AI領(lǐng)域最重要的年度活動(dòng)之一。會(huì)議期間，高通展示了已被業(yè)界認(rèn)可的研究論文和技術(shù)演示。本文將介紹CVPR 2023上高通的展示亮點(diǎn)。

技術(shù)演示

高通在AI、計(jì)算機(jī)視覺、XR和自動(dòng)駕駛汽車等領(lǐng)域的研究，已從核心理論創(chuàng)新擴(kuò)展到下游實(shí)際應(yīng)用，例如：

·運(yùn)行在手機(jī)上的全球最快的

ControlNet演示

幾個(gè)月前，高通展示了全球首個(gè)運(yùn)行在Android手機(jī)上的Stable Diffusion終端側(cè)演示，該演示在CVPR上再次呈現(xiàn)。此外，高通AI研究演示了ControlNet圖像生成圖像模型，該模型擁有15億參數(shù)，可以完全在手機(jī)上運(yùn)行。ControlNet是一項(xiàng)生成式AI解決方案，被稱為語言-視覺模型（LVM）。它能夠通過調(diào)整輸入圖像和輸入文本描述，更精準(zhǔn)地控制生成圖像。在這項(xiàng)演示中，只用不到12秒即可在移動(dòng)終端上生成AI圖像，無需訪問任何云端，便能提供高效、有趣、可靠且私密的交互式用戶體驗(yàn)。這項(xiàng)驚艷的技術(shù)演示通過一套跨模型架構(gòu)、AI軟件和神經(jīng)網(wǎng)絡(luò)硬件加速器的全棧式AI優(yōu)化而實(shí)現(xiàn)。在此過程中使用的高通先進(jìn)AI工具和硬件包括：高通AI模型增效工具包（AIMET）、高通AI軟件棧和高通AI引擎。

·支持基于實(shí)時(shí)視覺大語言模型的 健身教練 高通AI研究利用生成式AI打造出在準(zhǔn)確度和真實(shí)感方面超越現(xiàn)有解決方案的數(shù)字健身教練。健身教練能夠提供實(shí)時(shí)互動(dòng)，鼓勵(lì)、糾正并幫助用戶實(shí)現(xiàn)其健身目標(biāo)。我們的演示展示了基于視覺的大語言模型如何支持情境式、多模態(tài)的實(shí)時(shí)交互。用戶的運(yùn)動(dòng)視頻流先經(jīng)過動(dòng)作識(shí)別模型進(jìn)行處理。根據(jù)識(shí)別的動(dòng)作，狀態(tài)編排器（stateful orchestrator）提供提示并輸入給大語言模型。健身教練通過一個(gè)語音合成（文本生成語音）的虛擬化身，將大語言模型的答復(fù)送回給用戶。這項(xiàng)演示的實(shí)現(xiàn)主要?dú)w功于三項(xiàng)關(guān)鍵創(chuàng)新：為檢測(cè)精細(xì)化健身動(dòng)作而訓(xùn)練的視覺模型、為生成基于視覺概念的語言而訓(xùn)練的語言模型，以及能夠協(xié)調(diào)兩個(gè)模態(tài)之間流動(dòng)交互的編排器，便于實(shí)時(shí)對(duì)話式的輔導(dǎo)反饋。憑借上述創(chuàng)新，就能夠支持健身教練為用戶提供實(shí)時(shí)的沉浸式動(dòng)態(tài)交互體驗(yàn)。

·全球首個(gè)在手機(jī)上進(jìn)行的1080p

神經(jīng)網(wǎng)絡(luò)視頻編碼

終端側(cè)AI的另一項(xiàng)全球首創(chuàng)即在移動(dòng)終端上的1080p視頻編碼和解碼過程。神經(jīng)網(wǎng)絡(luò)編解碼器用途十分廣泛：可針對(duì)特定視頻需求進(jìn)行定制，通過生成式AI的優(yōu)勢(shì)對(duì)感知質(zhì)量進(jìn)行優(yōu)化，擴(kuò)展至全新模態(tài)，在通用AI硬件上運(yùn)行。但同時(shí)也將帶來難以在計(jì)算能力有限的終端上應(yīng)對(duì)的諸多挑戰(zhàn)。高通設(shè)計(jì)了全新高效的神經(jīng)網(wǎng)絡(luò)視頻幀間壓縮架構(gòu)，支持在終端上進(jìn)行1080p視頻編碼。在演示中，神經(jīng)網(wǎng)絡(luò)視頻編解碼器能夠準(zhǔn)確地保留高清視頻的豐富視覺結(jié)構(gòu)和復(fù)雜動(dòng)作。

·面向XR的3D重建

高通成功開發(fā)了先進(jìn)的實(shí)時(shí)3D重建系統(tǒng)，該系統(tǒng)在準(zhǔn)確度和高效方面表現(xiàn)出色，能夠在任何環(huán)境下賦能創(chuàng)建高精度的3D模型。該解決方案在移動(dòng)終端上運(yùn)行，從單個(gè)圖像生成深度圖，并將其組合成3D場(chǎng)景。有了準(zhǔn)確的實(shí)時(shí)3D地圖，開發(fā)者可以解鎖大量AR和VR應(yīng)用。全新設(shè)計(jì)的互動(dòng)演示展示了高通的創(chuàng)新實(shí)力，用戶可向場(chǎng)景中的真實(shí)物體（比如墻壁和家具）射擊虛擬球，見證基于精確物理計(jì)算的逼真反彈效果。該感知技術(shù)提升了沉浸式體驗(yàn)，并有望加速元宇宙的廣泛普及。

·面向智能攝像頭的計(jì)算機(jī)視覺

基于AI的計(jì)算機(jī)視覺的進(jìn)步，推動(dòng)照片和視頻拍攝能力持續(xù)演進(jìn)。高通演示了語義分割、單目深度估測(cè)和基于實(shí)例分割的虛化效果、背景替換、電影模式，以及銳度、平滑度、清晰度與對(duì)比度方面相關(guān)的圖像質(zhì)量提升。這些神經(jīng)網(wǎng)絡(luò)在搭載驍龍平臺(tái)的終端上實(shí)時(shí)運(yùn)行視頻增強(qiáng)特性。

·為增強(qiáng)安全性的駕駛員監(jiān)測(cè)技術(shù)

駕駛員監(jiān)測(cè)系統(tǒng)（DMS）演示中展示了如何利用計(jì)算機(jī)視覺判斷危險(xiǎn)駕駛狀況以提高安全性。駕駛員監(jiān)測(cè)系統(tǒng)通過座艙內(nèi)主動(dòng)紅外攝像機(jī)實(shí)時(shí)監(jiān)測(cè)駕駛員的特征，如眼睛睜開程度、凝視方向、頭部姿勢(shì)、面部表情和肢體動(dòng)作等，從而判斷駕駛員的駕駛狀態(tài)。該系統(tǒng)在檢測(cè)到類似注意力分散和瞌睡等危險(xiǎn)駕駛情況時(shí)會(huì)向司機(jī)發(fā)出警告，最終幫助挽救生命。駕駛員監(jiān)測(cè)系統(tǒng)和先進(jìn)駕駛輔助系統(tǒng)（ADAS）能夠同時(shí)在Snapdragon Ride Flex系統(tǒng)級(jí)芯片上同步運(yùn)行。

·XR虛擬頭像

無論逼真或卡通風(fēng)格，虛擬化身是賦能元宇宙中沉浸式XR體驗(yàn)的基本要素。借助一張或多張2D照片，利用終端側(cè)AI生成個(gè)性化網(wǎng)格和相應(yīng)的紋理。使用頭戴式攝像機(jī)來觀察用戶眼睛和嘴巴的移動(dòng)，實(shí)時(shí)渲染虛擬頭像。由此，可生成更接近于標(biāo)準(zhǔn)現(xiàn)實(shí)重建和動(dòng)畫后的虛擬化身，并根據(jù)環(huán)境進(jìn)行光照處理。高通的目標(biāo)是在元宇宙和人機(jī)界面中使用的驍龍XR平臺(tái)上提供數(shù)字人。

除了以上技術(shù)演示，高通還展示了公司已被業(yè)界認(rèn)可的研究論文。CVPR 2023期間，高通共有八篇論文被主會(huì)議收錄，主要從充分利用數(shù)據(jù)和打造更佳架構(gòu)兩大類別出發(fā)，對(duì)推動(dòng)計(jì)算機(jī)視覺前沿發(fā)展具有深遠(yuǎn)影響。

欲了解更多信息，請(qǐng)點(diǎn)擊【閱讀原文】。

*本文內(nèi)容來自高通技術(shù)公司工程技術(shù)副總裁Ning Bi、高通技術(shù)公司高級(jí)技術(shù)總監(jiān)Fatih Porikli的署名博客。

?