東方網(wǎng)力視頻圖像解析系統(tǒng)

近年，隨著 “平安城市”系統(tǒng)的深度建設(shè)，極大地促進(jìn)了治安防控工作的發(fā)展。同時(shí)，伴隨著視頻智能安防系統(tǒng)建設(shè)的力度和規(guī)模不斷擴(kuò)大，使用領(lǐng)域不斷拓展，涉及的視頻圖像以及其他監(jiān)控資源應(yīng)用越來(lái)越多，如何才能將多種不同來(lái)源的數(shù)據(jù)有效整合、充分發(fā)掘其中的價(jià)值，是擺在行業(yè)面前的問(wèn)題。

為了解決上述問(wèn)題，除統(tǒng)一標(biāo)準(zhǔn)和科學(xué)規(guī)劃外，需要拿出切實(shí)可行的解決方案，而東方網(wǎng)力適時(shí)推出了視頻圖像解析系統(tǒng)。其以整合現(xiàn)有城市報(bào)警與監(jiān)控資源為基礎(chǔ)，密切聯(lián)系公共安全應(yīng)用需求，通過(guò)運(yùn)用高清監(jiān)控、GPS/GIS、智能分析、云計(jì)算、云存儲(chǔ)、云檢索、大數(shù)據(jù)等先進(jìn)技術(shù)，提供開(kāi)放的視頻云框架，建設(shè)統(tǒng)一開(kāi)放的視頻云服務(wù)軟件體系，最大程度地實(shí)現(xiàn)平安城市監(jiān)控系統(tǒng)的技術(shù)升級(jí)、應(yīng)用升級(jí)和功能升級(jí)。

使得用戶可以根據(jù)自身業(yè)務(wù)需求進(jìn)行合理的服務(wù)組合來(lái)滿足實(shí)戰(zhàn)需求，以建設(shè)一個(gè)先進(jìn)、穩(wěn)定、可靠、可擴(kuò)展的視頻作戰(zhàn)中心，進(jìn)行視頻圖像智能分析、人像比對(duì)、車輛分析等視頻圖像深度應(yīng)用，形成以視頻塊數(shù)據(jù)為基礎(chǔ)，長(zhǎng)期保存重要信息的應(yīng)用模式，為用戶提供視頻圖像綜合應(yīng)用服務(wù)，解決了視頻圖像信息匯聚整合力度不夠和綜合應(yīng)用深度不夠等問(wèn)題。

架構(gòu)成熟 技術(shù)先進(jìn)

東方網(wǎng)力視頻圖像解析系統(tǒng)應(yīng)用是典型的三層邏輯結(jié)構(gòu)，而實(shí)際應(yīng)用的物理部署多是雙網(wǎng)架構(gòu)。

典型三層邏輯

資源層：依托視頻專網(wǎng)以及其他網(wǎng)絡(luò)，對(duì)城市的重點(diǎn)道路、卡口、場(chǎng)所、住地等區(qū)域，以及物聯(lián)網(wǎng)感知設(shè)備，實(shí)現(xiàn)環(huán)境監(jiān)控信息采集、人員車輛視圖采集、定位信息采集等。平臺(tái)能兼容行業(yè)內(nèi)各主流品牌攝像機(jī)、車輛和人像卡口設(shè)備、RFID設(shè)備、證件感知設(shè)備、移動(dòng)終端、GPS、視頻會(huì)議、無(wú)人機(jī)等。依托東方網(wǎng)力視云聯(lián)網(wǎng)平臺(tái)，基于開(kāi)放的接口標(biāo)準(zhǔn)，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)、移動(dòng)警務(wù)網(wǎng)、視頻專網(wǎng)多種非結(jié)構(gòu)化數(shù)據(jù)，并通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一，為大數(shù)據(jù)平臺(tái)提供基礎(chǔ)的數(shù)據(jù)。

數(shù)據(jù)服務(wù)層：以視頻云存儲(chǔ)、視頻云計(jì)算、大數(shù)據(jù)基礎(chǔ)服務(wù)為支撐，通過(guò)整合車輛和人臉數(shù)據(jù)、電磁軌跡、事件信息等數(shù)據(jù)，建立視圖資源服務(wù)平臺(tái)，提供以視頻大數(shù)據(jù)存儲(chǔ)服務(wù)、視頻圖像分析服務(wù)、大數(shù)據(jù)分析服務(wù)為基礎(chǔ)，視頻大數(shù)據(jù)與其它多種數(shù)據(jù)碰撞挖掘的方式，為上層應(yīng)用平臺(tái)提供開(kāi)放、高效的多資源數(shù)據(jù)共享與分析服務(wù)。

應(yīng)用層：結(jié)合公安多警種不同的業(yè)務(wù)需求，實(shí)現(xiàn)事前防控、事中指揮、事后研判的立體化防控應(yīng)用。

八大關(guān)鍵技術(shù)支撐

東方網(wǎng)力視圖解析系統(tǒng)基于物聯(lián)網(wǎng)多維感知數(shù)據(jù)整合技術(shù)、分布式數(shù)據(jù)庫(kù)技術(shù)、視圖智能分析技術(shù)、多算法融合技術(shù)、視頻圖像聚類技術(shù)、數(shù)據(jù)挖掘技術(shù)、微服務(wù)架構(gòu)技術(shù)、地圖服務(wù)引擎技術(shù)等八大關(guān)鍵技術(shù)，實(shí)現(xiàn)解析技術(shù)重大突破。

★物聯(lián)網(wǎng)多維感知數(shù)據(jù)整合技術(shù)

平臺(tái)除了接入各類視頻、卡口、人像、RFID、GPS信息外，還充分整合了物聯(lián)網(wǎng)感知數(shù)據(jù)，實(shí)現(xiàn)與各類視圖數(shù)據(jù)資源的整合、標(biāo)準(zhǔn)化和匯聚處理，為各類業(yè)務(wù)系統(tǒng)靈活應(yīng)用提供了強(qiáng)大的大數(shù)據(jù)支撐。

★分布式數(shù)據(jù)庫(kù)技術(shù)

在海量數(shù)據(jù)匯聚后，數(shù)據(jù)庫(kù)選型和規(guī)劃具有決定性意義。通過(guò)對(duì)應(yīng)用層數(shù)據(jù)業(yè)務(wù)進(jìn)行分析，系統(tǒng)支持關(guān)系型數(shù)據(jù)庫(kù)與分布式數(shù)據(jù)庫(kù)。在圖像整合業(yè)務(wù)上，主要采用關(guān)系型數(shù)據(jù)庫(kù)；在面向視頻綜合應(yīng)用業(yè)務(wù)的云架構(gòu)上采用分析型數(shù)據(jù)庫(kù)。

★基于深度學(xué)習(xí)的視圖智能分析技術(shù)

將基于深度學(xué)習(xí)特征比對(duì)技術(shù)應(yīng)用于視圖特征比對(duì)檢索中，形成針對(duì)人臉、人體、機(jī)動(dòng)和非機(jī)動(dòng)車輛的正向以圖搜圖和反向排除技術(shù)。

★多算法融合技術(shù)

針對(duì)多種系統(tǒng)、多個(gè)廠家、多種視圖智能分析算法，提供視圖信息的匯聚、融合與數(shù)據(jù)挖掘的技術(shù)支撐。東方網(wǎng)力多算法融合技術(shù)從實(shí)戰(zhàn)應(yīng)用效果和視圖數(shù)據(jù)應(yīng)用價(jià)值最大化出發(fā)，提供面向不同廠家算法的協(xié)同調(diào)度與數(shù)據(jù)融合處理能力，為視圖檢索及分析提供強(qiáng)大的技術(shù)支撐。

★視頻圖像聚類技術(shù)

東方網(wǎng)力通過(guò)視頻圖像聚類技術(shù)，對(duì)采集、接入的各類視圖數(shù)據(jù)，進(jìn)行視圖二次結(jié)構(gòu)化處理，可為后續(xù)的查詢服務(wù)提供準(zhǔn)確快速的查詢結(jié)果，并且平臺(tái)通過(guò)先進(jìn)的大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)千億級(jí)數(shù)據(jù)快速響應(yīng)，將數(shù)據(jù)服務(wù)于實(shí)戰(zhàn)，體現(xiàn)數(shù)據(jù)潛在價(jià)值，發(fā)揮了視頻大數(shù)據(jù)平臺(tái)的作用。

★數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘技術(shù)通過(guò)對(duì)視頻圖像數(shù)據(jù)資源抽取出有意義的、潛在有用的信息和知識(shí)，并進(jìn)行提煉，可以基于綜合業(yè)務(wù)應(yīng)用，對(duì)未來(lái)做出一個(gè)較為完整、合理、準(zhǔn)確的分析和預(yù)測(cè)。

★微服務(wù)架構(gòu)技術(shù)

微服務(wù)是一種軟件架構(gòu)，由API網(wǎng)關(guān)、服務(wù)管理中心、多業(yè)務(wù)服務(wù)群三部分組成。API 網(wǎng)關(guān)封裝內(nèi)部系統(tǒng)的架構(gòu)，并且提供 API 給各個(gè)客戶端，通過(guò)API網(wǎng)關(guān)對(duì)外提供相應(yīng)的服務(wù)。

★地圖服務(wù)引擎技術(shù)

東方網(wǎng)力的NPGIS具有高度的兼容能力，支持主流地圖引擎；海量興趣點(diǎn)快速匯聚展示能力，是主流地圖的2倍以上；豐富的資源搜索能力，實(shí)現(xiàn)周邊資源、商圈、興趣點(diǎn)的搜索能力；豐富的地圖應(yīng)用能力，提供地圖縮放、截圖、路網(wǎng)分析、路徑規(guī)劃導(dǎo)航等應(yīng)用支撐。

完備的自動(dòng)化分析服務(wù)調(diào)度

東方網(wǎng)力的視頻圖像解析系統(tǒng)的自動(dòng)化分析服務(wù)調(diào)度是面對(duì)海量數(shù)據(jù)的全結(jié)構(gòu)化處理，正因?yàn)榫哂腥缦鹿δ芴攸c(diǎn)，而有別于其它平臺(tái)系統(tǒng)。

1系統(tǒng)兼容并遵循《 GA/T 1399公安視頻圖像分析系統(tǒng)》和《GA/T 1400公安視頻圖像信息應(yīng)用系統(tǒng)》等標(biāo)準(zhǔn)，提供不同廠家、不同終端、不同視圖資源類型的標(biāo)準(zhǔn)化和非標(biāo)準(zhǔn)化的接入、匯聚、整合、共享分發(fā)與應(yīng)用服務(wù)。

2公共安全視圖資源和社會(huì)公共視圖資源的整合與服務(wù)能力，系統(tǒng)構(gòu)建了以人、車、物、案事件為核心的視圖大數(shù)據(jù)服務(wù)體系，接入并整合了各類公共安全視圖資源、社會(huì)化資源和其他感知識(shí)別資源，為公共安全及社會(huì)化應(yīng)用提供全面的服務(wù)與支撐。

3基于深度學(xué)習(xí)的視頻智能識(shí)別與分析應(yīng)用，充分利用CPU+GPU協(xié)同計(jì)算能力實(shí)現(xiàn)資源動(dòng)態(tài)調(diào)配，采用先進(jìn)的智能分析技術(shù)，自動(dòng)提取實(shí)時(shí)/歷史/文件視頻圖像中有價(jià)值的人體、人臉和車輛細(xì)節(jié)特征，對(duì)目標(biāo)類型、顏色等形成結(jié)構(gòu)化描述，為事前、事中、事后的事件布防、綜合布控、研判分析提供數(shù)據(jù)基礎(chǔ)，保證信息查找檢索的高效性，提高了視頻的應(yīng)用效率。

4建立了健全的檢索體系，通過(guò)全文檢索的方式實(shí)現(xiàn)全部資源及關(guān)聯(lián)資源對(duì)象的檢索查看能力，檢索可包括車輛、人臉、人體，及以圖搜圖、資源檢索等，其車輛檢索又分可按照條件進(jìn)行多維搜車和特征搜車。特別指出，其資源檢索能提供基于設(shè)備和位置的檢索功能，實(shí)現(xiàn)對(duì)攝像機(jī)、車輛卡口、人臉卡口、出租車、GPS等設(shè)備的綜合檢索，方便設(shè)備位置查找;并可對(duì)不同類別設(shè)備進(jìn)行批量操作，通過(guò)查人、找車功能，實(shí)現(xiàn)數(shù)據(jù)檢索分析。

5系統(tǒng)還能建立數(shù)據(jù)倉(cāng)庫(kù)，可實(shí)現(xiàn)對(duì)系統(tǒng)中所有的各類資源進(jìn)行一個(gè)集中管理。可以分別查看各類資源，包括車輛、人臉、人體等。針對(duì)每種資源的每個(gè)視頻圖片，都可檢索和查看詳情。

跨網(wǎng)跨域數(shù)據(jù)共享

東方網(wǎng)力的視頻圖像解析系統(tǒng)具有強(qiáng)大的跨網(wǎng)跨域共享功能，其在網(wǎng)內(nèi)，有一點(diǎn)查詢就能實(shí)現(xiàn)全網(wǎng)響應(yīng)的多級(jí)視圖大數(shù)據(jù)級(jí)聯(lián)應(yīng)用?；诟骷?jí)視頻圖像解析系統(tǒng)，能夠提供跨區(qū)域、跨網(wǎng)段、跨系統(tǒng)的省、市、縣多級(jí)聯(lián)網(wǎng)的資源布控與資源檢索，具有一點(diǎn)查詢或布控，全網(wǎng)響應(yīng)的級(jí)聯(lián)應(yīng)用服務(wù)能力。

多數(shù)據(jù)融合應(yīng)用

多種視圖數(shù)據(jù)的融合應(yīng)用是東方網(wǎng)力視頻圖像解析系統(tǒng)最重要的功能，其實(shí)施類型很多，主要如綜合布控、連環(huán)技戰(zhàn)法和一張地圖上作戰(zhàn)等。

1

綜合布控

針對(duì)同一時(shí)空范圍同類單個(gè)或多個(gè)、同一目標(biāo)的多個(gè)維度、多類目標(biāo)多個(gè)維度的綜合化、立體化、多維度的布控檢測(cè)與預(yù)警能力。

針對(duì)車輛、人臉、RFID、移動(dòng)終端等視圖對(duì)象中某一種對(duì)象的布控，將布控指令下發(fā)至相應(yīng)對(duì)象種類的終端，對(duì)于符合布控規(guī)則的目標(biāo)給出實(shí)時(shí)報(bào)警提醒。如針對(duì)全國(guó)在逃人員，全國(guó)被盜搶車輛在本市區(qū)內(nèi)進(jìn)行布控，發(fā)現(xiàn)嫌疑對(duì)象后可立即通知相關(guān)人員。系統(tǒng)可對(duì)同一目標(biāo)的多維布控，也可對(duì)不同目標(biāo)、同一時(shí)空區(qū)域的立體化布控。

2

連環(huán)技戰(zhàn)法

單一技戰(zhàn)法在實(shí)戰(zhàn)中不能充分發(fā)揮威力，而采用多種技戰(zhàn)法組合，可以形成連環(huán)技戰(zhàn)法。連環(huán)技戰(zhàn)法有諸多優(yōu)點(diǎn)，可以無(wú)縫銜接多數(shù)據(jù)的研判技戰(zhàn)法，上一個(gè)技戰(zhàn)法的輸出即是下一個(gè)技戰(zhàn)法的輸入，可以確保偵查思路不中斷；可以保留每一步的研判結(jié)果，做到線索研判過(guò)程和結(jié)果的可追溯、可回滾、可靈活調(diào)整偵查思路；自動(dòng)記錄操作過(guò)程，通過(guò)大量數(shù)據(jù)可以形成新的研判模型，并可發(fā)揮廣大一線民警的智慧和力量，不斷豐富技戰(zhàn)法庫(kù)。

3

一張地圖上作戰(zhàn)

系統(tǒng)具有以地圖為中心的資源時(shí)空一體化指揮與作戰(zhàn)能力，其整合地圖可視化與大數(shù)據(jù)檢索分析，將各類資源時(shí)空信息與數(shù)據(jù)分析應(yīng)用融入到地圖中，提供時(shí)空一體化的指揮與作戰(zhàn)能力。從而形成以地圖為核心的可視化指揮調(diào)度應(yīng)用，實(shí)現(xiàn)警力調(diào)度、確定警衛(wèi)路線、建立防控圈、進(jìn)行全景追逃等，以實(shí)現(xiàn)綜合化、立體化、多維度的信息布控。

其它多數(shù)據(jù)融合應(yīng)用例子還很多，比如：以多維數(shù)據(jù)為核心的時(shí)空研判應(yīng)用、基于多種視圖大數(shù)據(jù)的全文檢索與以圖搜圖、跨場(chǎng)景多攝像機(jī)的人體目標(biāo)軌跡追蹤、視圖大數(shù)據(jù)碰撞分析與關(guān)系挖掘應(yīng)用、面向多種視圖數(shù)據(jù)的連環(huán)技戰(zhàn)法應(yīng)用、以人臉為核心的人像應(yīng)用、以車輛為核心的車輛大數(shù)據(jù)應(yīng)用等等。

智能檢索結(jié)果展現(xiàn)

由于將傳統(tǒng)視頻監(jiān)控應(yīng)用模式從“看視頻”向“搜視頻”轉(zhuǎn)變，所以如何展示檢索結(jié)果是非常重要的功能，其主要特點(diǎn)如下。

1

應(yīng)用更直接：

用戶查找目標(biāo)線索只需根據(jù)關(guān)心的數(shù)據(jù)類型查找即可，圖層中將支持按照具有的車輛、人臉、人體的搜索能力進(jìn)行直接搜索查找。

2

各類采集信息的集中展示：

如對(duì)攝像機(jī)、車輛卡口、人臉卡口、出租車、GPS等設(shè)備資源與信息的深度整合，提供海量數(shù)據(jù)在地圖中的展現(xiàn)及應(yīng)用。并可借助大數(shù)據(jù)分析，結(jié)合語(yǔ)音對(duì)講，GPS定位等手段實(shí)現(xiàn)面向偵查、指揮調(diào)度綜合業(yè)務(wù)的可視化時(shí)空作戰(zhàn)。

3

充分應(yīng)用地圖工具：

支持切換市、區(qū)、縣、放大、縮小、全屏、關(guān)閉、漫游等;支持在地圖中線選（如有路網(wǎng)，支持按照路網(wǎng)生成軌跡；按照多點(diǎn)連線生成軌跡）、框選、圈選資源，并對(duì)選擇的資源進(jìn)行分類展示，支持對(duì)設(shè)備自動(dòng)選擇，進(jìn)行批量查詢、下載錄像功能，批量檢索人、車信息操作。

4

數(shù)據(jù)實(shí)時(shí)展現(xiàn)：

實(shí)現(xiàn)人臉、車輛、人體等采集數(shù)據(jù)的實(shí)時(shí)動(dòng)態(tài)展現(xiàn)，展現(xiàn)信息包括圖片、采集時(shí)間、采集地點(diǎn)等。同時(shí)針對(duì)具有結(jié)構(gòu)化能力的單路攝像機(jī)，支持顯示當(dāng)前實(shí)時(shí)結(jié)構(gòu)化結(jié)果及數(shù)據(jù)。

平臺(tái)主要特色

1

精準(zhǔn)的視圖智能分析處理能力：

基于深度學(xué)習(xí)的人員、車輛、物品智能識(shí)別算法，提供高效的視圖內(nèi)容自動(dòng)化提取分析與識(shí)別解析能力。自動(dòng)提取實(shí)時(shí)/歷史/文件視頻圖像中有價(jià)值的人體、人臉和車輛的細(xì)節(jié)特征信息，對(duì)目標(biāo)類型、顏色等形成結(jié)構(gòu)化描述，為事前、事中、事后的事件布防、綜合布控、研判分析提供數(shù)據(jù)基礎(chǔ)。

2

快捷的大數(shù)據(jù)檢索與數(shù)據(jù)挖掘能力：

針對(duì)視頻大數(shù)據(jù)下的海量視圖信息，能夠進(jìn)行多種數(shù)據(jù)融合碰撞，結(jié)合案件等信息提升資源整體價(jià)值，提供千億級(jí)數(shù)據(jù)處理能力。

3

多種業(yè)務(wù)應(yīng)用的服務(wù)與共享能力：

根據(jù)業(yè)務(wù)需求，系統(tǒng)實(shí)現(xiàn)了多種技戰(zhàn)法及業(yè)務(wù)分析應(yīng)用，并提供跨區(qū)域、跨網(wǎng)段、跨系統(tǒng)的省、市、縣多級(jí)聯(lián)網(wǎng)的資源布控與資源檢索應(yīng)用，為反恐維穩(wěn)、指揮處置、治安反恐、偵查破案、公共安全、執(zhí)法監(jiān)督、服務(wù)民生等應(yīng)用服務(wù)提供快捷高效的處理能力。

4

面向業(yè)務(wù)實(shí)戰(zhàn)的應(yīng)用能力：

作為全警視頻圖像基礎(chǔ)應(yīng)用平臺(tái)，可在各個(gè)業(yè)務(wù)領(lǐng)域?yàn)槠渌麡I(yè)務(wù)軟件提供數(shù)據(jù)服務(wù)及工具支撐。

5

可應(yīng)用于各種應(yīng)用：

合成作戰(zhàn)服務(wù)于偵查辦案、合成指揮服務(wù)于指揮調(diào)度、視頻偵查服務(wù)于情報(bào)、維穩(wěn)處突服務(wù)于反恐、智能交通服務(wù)于交通、安保運(yùn)營(yíng)服務(wù)服務(wù)于民生等等。

點(diǎn)評(píng)

東方網(wǎng)力視頻圖像解析系統(tǒng)提供不同廠家、不同終端、不同視圖資源的標(biāo)準(zhǔn)化和非標(biāo)準(zhǔn)化接入，并能整合其他多維感知數(shù)據(jù)資源，實(shí)現(xiàn)匯聚、整合、共享等應(yīng)用服務(wù)。其具三大突出優(yōu)勢(shì)：基于深度學(xué)習(xí)的視圖智能分析能力，自動(dòng)提取視圖中的人體、人臉和車輛的細(xì)節(jié)特征，保證了檢索高效性和視圖應(yīng)用效率；豐富的技戰(zhàn)法模型，對(duì)各類結(jié)構(gòu)化數(shù)據(jù)進(jìn)行碰撞分析，挖掘出具有實(shí)戰(zhàn)價(jià)值的信息；實(shí)現(xiàn)多種技戰(zhàn)法應(yīng)用，并提供跨區(qū)域、跨網(wǎng)段、跨系統(tǒng)的省、市、縣多級(jí)聯(lián)網(wǎng)檢索應(yīng)用。在反恐維穩(wěn)、指揮處置、治安破案、公共安全、執(zhí)法監(jiān)督、服務(wù)民生等各方面都有非常出色的表現(xiàn)。