涂鴉On-App AI視頻主體突出方案全新上線！自動(dòng)追蹤+智能放大，一鍵革新視頻剪輯體驗(yàn)

隨著智能 IPC 設(shè)備（如安防攝像頭、寵物陪伴機(jī)器人、嬰兒監(jiān)視器等）日益普及，越來(lái)越多的生活場(chǎng)景被實(shí)時(shí)記錄。然而在實(shí)際使用中，由于設(shè)備安裝位置不當(dāng)、廣角鏡頭視野過(guò)大等原因，經(jīng)常會(huì)出現(xiàn)拍攝主體占比過(guò)小的問(wèn)題，導(dǎo)致"全景清晰而主體模糊"，嚴(yán)重影響用戶的觀看體驗(yàn)。

一、涂鴉AI 推理模型自動(dòng)突出主體

因此，涂鴉重磅推出 On-App AI 視頻主體突出解決方案，利用涂鴉賦能 App 的AI 能力對(duì)畫面進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)，自動(dòng)定位、識(shí)別主體后，再利用圖像算法對(duì)其進(jìn)行智能自適應(yīng)放大，使主體更突出、畫面更聚焦。最后，對(duì)處理完成的視頻進(jìn)行編碼與封裝，即可輸出經(jīng)過(guò)優(yōu)化的視頻內(nèi)容。

該方案適合拓展應(yīng)用至生活各個(gè)場(chǎng)景中，如：

在室內(nèi)監(jiān)護(hù)中，可用于嬰兒看護(hù)、寵物監(jiān)測(cè)、寵物機(jī)器人等設(shè)備；

在醫(yī)療影像或科研中，可結(jié)合內(nèi)鏡或其他醫(yī)療設(shè)備突出術(shù)野關(guān)鍵區(qū)域；

在戶外記錄時(shí)，可用于智能喂鳥(niǎo)器、狩獵攝像機(jī)、自然景觀攝像機(jī)等設(shè)備；

在安防與工業(yè)檢測(cè)中，可用于巡檢、維修等需要檢查局部細(xì)節(jié)的設(shè)備。

a.例如針對(duì)家庭場(chǎng)景里的小貓，攝像頭會(huì)自動(dòng)識(shí)別主體并進(jìn)行畫面放大：

（沒(méi)有主體突出功能的視頻畫面）

（有主體突出功能的視頻畫面）

b.在戶外復(fù)雜場(chǎng)景下，涂鴉 On-App AI 視頻主體方案依然能夠精準(zhǔn)識(shí)別目標(biāo)對(duì)象，并進(jìn)行動(dòng)作追蹤和畫面放大。戳視頻，直觀體驗(yàn)生成效果：

二、詳解涂鴉AI 視頻主體突出技術(shù)

1、整體技術(shù)架構(gòu)介紹

在涂鴉所有的 AI 產(chǎn)品/硬件解決方案中, 我們打通了端到端的 AI 能力：即設(shè)備端、云端、App 端三端協(xié)同。通過(guò)將先進(jìn)的 AI 推理模型部署到涂鴉賦能 App 上，能夠助力品牌商與開(kāi)發(fā)者將先進(jìn)的AI技術(shù)無(wú)縫集成到移動(dòng)設(shè)備中，打造更靈活的 AI 架構(gòu)、更優(yōu)的用戶體驗(yàn)、更安全的計(jì)算能力。

在移動(dòng)端模型的部署中，涂鴉采用了輕量化技術(shù)架構(gòu)（ TensorFlow Lite 等），這種技術(shù)架構(gòu)的優(yōu)勢(shì)就在于具備高效推理、低延遲、低功耗等特點(diǎn)，并且支持本地模型實(shí)現(xiàn)離線運(yùn)行、系統(tǒng)更新、部署等按需加載的機(jī)制，助力提高運(yùn)行效率，打造更靈活的 AI 架構(gòu)。

圖像處理技術(shù)涂鴉采用了 OpenGL ES，可實(shí)現(xiàn)更高效的渲染與優(yōu)化，充分利用 GPU 對(duì)圖像處理過(guò)程進(jìn)行加速；

視頻編解碼技術(shù)采用涂鴉平臺(tái)提供的硬件解碼，能夠提升視頻處理性能、降低 CPU 負(fù)載，確保視頻流暢播放與低功耗運(yùn)行。

（涂鴉AI 視頻主體突出技術(shù)架構(gòu)圖）

2、技術(shù)亮點(diǎn)

2.1 擁有更靈活的 AI 架構(gòu)：輕量化和動(dòng)態(tài)化

（輕量化與動(dòng)態(tài)化運(yùn)行流程示意圖）

2.1.1 輕量級(jí)檢測(cè)模型

涂鴉采用專門優(yōu)化移動(dòng)端的輕量級(jí)對(duì)象檢測(cè)模型 EfficientDet-D0，該模型參數(shù)少、計(jì)算量小、推理速度快，可以精準(zhǔn)檢測(cè)視頻中指定主體（如寵物、人物）的位置與類別。同時(shí)，基于智能分析能力可快速篩除無(wú)主體片段，有效降低計(jì)算負(fù)擔(dān)，提升處理效率。

?

2.1.2 模型動(dòng)態(tài)化

采用按需加載的動(dòng)態(tài)模型管理機(jī)制，支持模型在線下載、更新與部署，確保視頻應(yīng)用始終使用最優(yōu)模型版本，同時(shí)減少初始安裝包體積，提高運(yùn)行效率。

?

2.2 更優(yōu)的用戶體驗(yàn)：實(shí)時(shí)性和高效率

（AI實(shí)時(shí)數(shù)據(jù)處理流程示意圖）?

2.2.1實(shí)時(shí)交互處理

該方案支持實(shí)時(shí)響應(yīng)用戶的交互需求。依托本地計(jì)算的高效運(yùn)行，可確保流暢無(wú)延遲的用戶體驗(yàn)，無(wú)需依賴網(wǎng)絡(luò)，即可實(shí)現(xiàn)快速響應(yīng)與實(shí)時(shí)處理。

?

2.2.2 新增防抖圖像算法

在檢測(cè)視頻主體位置的過(guò)程中，檢測(cè)框可能會(huì)發(fā)生抖動(dòng)偏移，從而導(dǎo)致主體放大的畫面也會(huì)產(chǎn)生抖動(dòng)；針對(duì)這一問(wèn)題，涂鴉增加抖動(dòng)閾值，確保視頻處理畫面時(shí)的平滑流暢。

?

2.2.3 微調(diào)模型以提高準(zhǔn)確度

涂鴉積累了海量不同場(chǎng)景下的主體圖片，覆蓋不同光照條件下白天黑夜等多個(gè)場(chǎng)景，數(shù)據(jù)脫敏之后，涂鴉對(duì)這些模型進(jìn)行精心的訓(xùn)練微調(diào)，確保模型推理過(guò)程中的泛化能力。

?

2.3 更安全的計(jì)算能力：低成本和隱私保護(hù)

（涂鴉 AI 端側(cè)算力結(jié)構(gòu)圖）?

2.3.1降低處理成本

涂鴉支持開(kāi)發(fā)者動(dòng)態(tài)調(diào)整視頻幀的推理策略。在沒(méi)有檢測(cè)到視頻主體的時(shí)候，系統(tǒng)會(huì)間隔多幀識(shí)別一幀；當(dāng)檢測(cè)到主體時(shí)，就會(huì)自動(dòng)調(diào)整為間隔 3 幀檢測(cè)一幀。這樣就能充分利用移動(dòng)端的硬件加速，顯著提升視頻編解碼速度，降低 CPU 負(fù)載，提高整體性能。

而且，本地化處理相比云端處理的成本更低、更能節(jié)約云端負(fù)荷，算力消耗每萬(wàn)次減少 25 TFLOPs，節(jié)省成本約 10% 左右。

?

2.3.2 保護(hù)隱私安全

該方案的所有數(shù)據(jù)處理均在本地完成，顯著降低時(shí)延、提高響應(yīng)速度，同時(shí)避免數(shù)據(jù)外傳，增強(qiáng)用戶隱私保護(hù)，為應(yīng)用提供更安全高效的計(jì)算環(huán)境。