使用Google Cloud集成API實現(xiàn)視頻智能檢測識別

首先介紹一下脈時云。脈時云主要從事谷歌云的出海業(yè)務(wù)，協(xié)助出海用戶做視頻和游戲，為用戶提供解決方案和日常的技術(shù)支持，提供專業(yè)的咨詢服務(wù)、遷移服務(wù)和運維服務(wù)。同時，我們也根據(jù)客戶需求自研了產(chǎn)品賬單系統(tǒng)，幫助客戶使用GCP。

01 CloudVideoIntelligenceAPI介紹

首先，介紹Cloud Video Intelligence API。

在GCP上不需要過多的配置，可以通過SDK，比如Python或Go，來調(diào)用API，實現(xiàn)對視頻對象、地理位置和動作捕獲的分析。

然后，可以實現(xiàn)幀級別、鏡頭級別和視頻級別的視頻元數(shù)據(jù)采集，其中，幀級別可以達到秒級。

同時，我們也支持流式視頻和基于對象的事件觸發(fā)，這意味著我們可以基于事件的觸發(fā)方式根據(jù)云原生的服務(wù)構(gòu)建出流式的數(shù)據(jù)分析。

此外，我們可以基于內(nèi)容實現(xiàn)精彩片段、標(biāo)簽功能等，打造優(yōu)質(zhì)客戶體驗。

這個API可以實現(xiàn)的功能如圖所示。首先，它可以識別鏡頭切換，當(dāng)鏡頭從A對象轉(zhuǎn)向B對象時，其可以識別出來。

然后，可以根據(jù)內(nèi)容進行標(biāo)簽化處理、實現(xiàn)目標(biāo)跟蹤和Logo識別，目前可以識別兩萬種以上的Logo。

同時，還可以做到視頻文字內(nèi)容識別和音頻轉(zhuǎn)錄，達到字幕識別的效果。

此外，還可以做到人臉檢測與識別和人物識別，在日常生活中，這主要用于交通識別和小區(qū)出入的牌照識別。

最后，還可以做到露骨內(nèi)容檢測。

接下來具體介紹每個功能，首先是鏡頭切換識別?；阽R頭切換識別功能，可以對整個視頻、片段視頻或幀級別的視頻進行內(nèi)容摘要方面的分析。

獲得摘要后，可以基于摘要生成縮略圖，或基于摘要判斷視頻內(nèi)容情況。

其次，可以基于視頻獲取標(biāo)簽。圖中展示的demo分析了動物世界中的場景，可以看到，獲取的標(biāo)簽有動物世界、樹、葉子、動物等。

同時，可以對特定的片段進行識別和分析。此外，可以選擇不同的模式，比如整段視頻或幀級別的視頻。

接下來，介紹目標(biāo)跟蹤功能。圖中的右下角有一個螞蚱，可以使用目標(biāo)跟蹤功能識別該對象，然后打開對應(yīng)的時間段進行標(biāo)記，通過標(biāo)簽關(guān)聯(lián)和識別框?qū)σ曨l進行識別。

Logo識別功能可以識別出常見的Logo，比如Google Maps。同時，可以基于識別的數(shù)據(jù)信息實現(xiàn)視頻的標(biāo)簽化和數(shù)據(jù)的收集。

如圖所示，可以識別視頻中出現(xiàn)的文字。完成文本識別后，可以進行標(biāo)簽化處理。同時，可以進行關(guān)聯(lián)操作，實現(xiàn)真實的影像識別。

音頻轉(zhuǎn)錄功能基于谷歌的API，可以自動識別常見的語言，并將其轉(zhuǎn)錄為視頻文字，基于此完成字幕要求。

露骨內(nèi)容識別功能可以基于API對視頻的前十幀進行分析，判斷視頻是否包含敏感內(nèi)容。

同時，該功能也可對幀、視頻流和視頻片段進行分析，判斷其是否包含敏感信息。

02VideoIntelligenceAPI Beta 功能

接下來，介紹目前API預(yù)先發(fā)布的一些功能。

第一個功能是流式傳輸。首先，將預(yù)存的文件組合成一定大小的文件，以視頻流的方式傳給API，API會對其進行分析和標(biāo)簽化處理，還會檢測鏡頭變化、創(chuàng)建元數(shù)據(jù)信息和跟蹤對象。

同時，可以基于另一個API實現(xiàn)動態(tài)內(nèi)容的跟蹤與識別，比如在體育賽事中，識別運動員的進球動作等。

第二個功能是直播，可以對常見的直播的視頻流，比如RTMP，進行實時流式分析和標(biāo)簽化檢測。

同時，將內(nèi)容放在對象存儲或谷歌的BigQuery里，實現(xiàn)元數(shù)據(jù)的管理，并基于事件的方式實現(xiàn)視頻內(nèi)容的分析和識別。最后，根據(jù)標(biāo)簽和內(nèi)容向客戶推薦相關(guān)視頻。

審核編輯：劉清