基于云分析的智能交通大數(shù)據(jù)架構(gòu)解決方案

什么是交通大數(shù)據(jù)

交通概念很大，所涉及的范圍很廣，如城市道路交通指數(shù)、地鐵運(yùn)行數(shù)據(jù)、一卡通乘客刷卡數(shù)據(jù)、港口集裝箱數(shù)據(jù)、機(jī)場航班數(shù)據(jù)、軌道交通運(yùn)營數(shù)據(jù)、遠(yuǎn)洋及內(nèi)河航道船舶數(shù)據(jù)、物流車輛及貨物數(shù)據(jù)、公交車實(shí)時數(shù)據(jù)、出租車行車數(shù)據(jù)、空氣質(zhì)量狀況、氣象數(shù)據(jù)、道路事故數(shù)據(jù)、高架匝道運(yùn)行數(shù)據(jù)、以及衍生的相關(guān)擁堵、事故、違法信息等都屬于交通數(shù)據(jù)。

我們通常所提的城市公安交通管理大數(shù)據(jù)是指在城市智能交通建設(shè)和運(yùn)營的過程中，從視頻監(jiān)控、卡口電警、路況信息、管控信息、營運(yùn)信息、GPS定位信息、RFID識別信息等每天產(chǎn)生的大量數(shù)據(jù)，并借助信息化手段將這些相互關(guān)聯(lián)的數(shù)據(jù)整合到一起(比如車輛信息、地圖信息、人員信息、違規(guī)違章記錄信息等等)，形成一個有價值數(shù)據(jù)鏈，從而知道城市交通信息化建設(shè)，為公安交通實(shí)戰(zhàn)應(yīng)用服務(wù)，為市民出行服務(wù)。

什么是云分析

云分析系統(tǒng)具備超高的計算性能，單機(jī)設(shè)備每天處理的信息量最大高達(dá)2000萬張圖片。云分析具備對卡口、電警以及部分監(jiān)控設(shè)備拍攝的車輛圖像信息的結(jié)構(gòu)化智能分析功能，主要包括識別圖像中車輛的品牌、型號、年款、車身顏色、類別、異常特征(如遮擋面部、遮擋號牌)、唯一性局部特征(如年檢標(biāo)志、車內(nèi)飾物)等關(guān)鍵信息。

可對提交的圖像中的車輛車牌顏色及車牌號進(jìn)行二次識別，通過大數(shù)據(jù)進(jìn)行，時間、地理、軌跡等的對比識別，以得出分析結(jié)果。

過去幾年，智能交通系統(tǒng)建設(shè)取得了長足的進(jìn)步與發(fā)展，針對道路交通違法、交通安全等，不斷在不同的時間，不同的階段建立了交通卡口、違法檢測、道路智慧監(jiān)控、交通事件監(jiān)測等信息化系統(tǒng)，但這些信息化系統(tǒng)所采用的設(shè)備、平臺均來自于不同的廠家，采用的標(biāo)準(zhǔn)，上下級不能很好的實(shí)現(xiàn)級聯(lián)，與公安系統(tǒng)融合度不高，無法進(jìn)行集中管理，資源共享，發(fā)揮統(tǒng)一的實(shí)戰(zhàn)作用。

不同時期，不同階段建設(shè)的信息化系統(tǒng)，技術(shù)路線，功能性能指標(biāo)各異，在套牌、摘牌、故意遮擋號牌等涉車案件中，不能找到行之有效的手段處理。

現(xiàn)階段，交通違法行為導(dǎo)致的交通安全、道路交通事故問題依然突出，交通違法管理的顆粒度也越來越細(xì)，道路交通安全法也不斷的修正以滿足交通管理工作的需要。其中，不系安全帶、開車打電話等違法行為納入了處罰范圍，而過去建設(shè)的卡口系統(tǒng)絕大多數(shù)不具備這些功能，不能很好的服務(wù)公安交通管理需要。

云分析系統(tǒng)的出現(xiàn)，問題將迎刃而解。云分析系統(tǒng)創(chuàng)新型引入GPU+CPU的設(shè)計理念，單臺設(shè)備每天最高處理性能達(dá)到2000萬張圖片，提取車牌號、車身顏色、車標(biāo)、子品牌、車型、車臉等交警實(shí)戰(zhàn)所需的結(jié)構(gòu)化信息，并能夠自動甄別不系安全帶、打電話等違法行為，為公安交通管理提供全新的技術(shù)手段和業(yè)務(wù)體驗(yàn)。

系統(tǒng)設(shè)計

系統(tǒng)中采用的設(shè)計方法和技術(shù)路線在實(shí)戰(zhàn)應(yīng)用技術(shù)中處于領(lǐng)先地位，軟件的設(shè)計先進(jìn)靈活，便于升級以及與其它系統(tǒng)的互聯(lián)互通。系統(tǒng)涵蓋了目前實(shí)戰(zhàn)應(yīng)用所涉及的一系列技術(shù)，如：圖像預(yù)處理、信息篩查、電子地圖軌跡分析等，在此基礎(chǔ)上融合了車型建模、車牌識別、車標(biāo)識別、運(yùn)動目標(biāo)檢測和行為分析、圖片檢索等智能視頻圖像分析技術(shù)，創(chuàng)新性的實(shí)現(xiàn)了“車臉識別”、“不系安全帶檢測”等功能，創(chuàng)造性的使用云分析實(shí)現(xiàn)超大數(shù)據(jù)量的圖片二次識別，為用戶提供超高性價比的解決方案。

系統(tǒng)設(shè)計時，對需要實(shí)現(xiàn)的功能進(jìn)行合理的配置，且配置具有良好的兼容性和擴(kuò)展性;通過提供二次開發(fā)接口，支持用戶利用本系統(tǒng)自主開發(fā)新功能，滿足業(yè)務(wù)需求。

系統(tǒng)具有開放性的標(biāo)準(zhǔn)體系，后端基于開放式的TCP/IP網(wǎng)絡(luò)系統(tǒng)進(jìn)行設(shè)計，支持多種網(wǎng)絡(luò)協(xié)議，便于和各系統(tǒng)間的互聯(lián)、互通、互控，遵循規(guī)范的通用接口標(biāo)準(zhǔn)，使系統(tǒng)對硬件環(huán)境、通信環(huán)境、軟件環(huán)境、操作系統(tǒng)之間的相互制約和影響減至最小。

具有良好的人機(jī)交互界面，盡可能避免出現(xiàn)繁瑣操作實(shí)現(xiàn)某項(xiàng)具體業(yè)務(wù)應(yīng)用的情形。系統(tǒng)在體系設(shè)計及工程實(shí)施中應(yīng)根據(jù)用戶使用需求充分考慮性能優(yōu)化，在合理時間范圍內(nèi)，盡可能縮短系統(tǒng)的操作響應(yīng)時間;系統(tǒng)維護(hù)也應(yīng)在合理范圍內(nèi)盡可能簡化，使操作人員能快速地學(xué)習(xí)和掌握系統(tǒng)操作。

系統(tǒng)涵蓋了目前交通管理業(yè)務(wù)應(yīng)用所涉及的一系列技術(shù)，如：圖像接入、通用解碼、轉(zhuǎn)碼、圖片索引、車型建模、圖像預(yù)處理、信息篩查、電子地圖軌跡分析、套牌分析等?；谠品治龅亩巫R別方案配合大數(shù)據(jù)的高效查詢、檢索、研判方案，構(gòu)筑了智能交通綜合管控平臺的數(shù)據(jù)底層支持優(yōu)秀架構(gòu)，為交警實(shí)戰(zhàn)業(yè)務(wù)應(yīng)用提供了極佳的用戶體驗(yàn)。

1.1 系統(tǒng)架構(gòu)

系統(tǒng)的使用者通常為指揮中心調(diào)度人員、指揮中心帶班領(lǐng)導(dǎo)、支/總/大隊的主管領(lǐng)導(dǎo)、交通秩序管理人員、大隊分控中心人員、路面執(zhí)勤民警等。系統(tǒng)維護(hù)的職責(zé)則由運(yùn)維工程師和系統(tǒng)管理員完成。

主要的關(guān)鍵業(yè)務(wù)應(yīng)用包括交通狀況監(jiān)測、日常組織與管控、應(yīng)急指揮與協(xié)作、信息研判分析等方面，主要是應(yīng)對城市交通管理的現(xiàn)狀實(shí)時監(jiān)視、日常業(yè)務(wù)處置、突發(fā)事件應(yīng)對、交通數(shù)據(jù)挖掘研判等業(yè)務(wù)需求。

輔助核心業(yè)務(wù)的是一系列的支撐應(yīng)用，包括基礎(chǔ)數(shù)據(jù)管理(路網(wǎng)信息、設(shè)備設(shè)施信息)、警力資源管理(警員信息、警車信息、裝備信息)、電子地圖管理、系統(tǒng)配置管理。

在應(yīng)用層下面是支持業(yè)務(wù)應(yīng)用的支撐層，在這層完成對信息的采集、匯聚、加工、存儲、交換等處理操作，同時支撐層還內(nèi)包消息服務(wù)器、GIS地圖中間件、視頻服務(wù)、誘導(dǎo)服務(wù)等信令及數(shù)據(jù)的服務(wù)或中間件。

最下端為數(shù)據(jù)感知層，包括業(yè)務(wù)子系統(tǒng)及設(shè)備，為各類交通信息的原始數(shù)據(jù)來源，如GPS車輛軌跡信息、視頻信息、通行車輛信息、交通流信息、施工占道信息、交通管制信息、氣象信息等。

視頻大數(shù)據(jù)技術(shù)平臺

視頻大數(shù)據(jù)技術(shù)平臺負(fù)責(zé)存儲和提取處理視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)，通過視頻結(jié)構(gòu)化技術(shù)，可挖掘出視頻圖像中的人、車、物、事件等結(jié)構(gòu)化信息，進(jìn)一步用于大數(shù)據(jù)的分析挖掘。同時，視頻大數(shù)據(jù)技術(shù)平臺可提供視頻摘要、視頻濃縮、視頻質(zhì)量診斷等智能分析服務(wù)，使上層應(yīng)用提高視頻處理的效率。

通用大數(shù)據(jù)技術(shù)平臺

通用大數(shù)據(jù)技術(shù)平臺提供基于Hadoop和Spark的分布式存儲、分布式計算等能力，負(fù)責(zé)整合并管理海量的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，具備高度的可擴(kuò)展性，可將數(shù)千臺的廉價服務(wù)器組建成一套龐大的云存儲系統(tǒng)、一臺超級計算機(jī)?；赟park架構(gòu)的內(nèi)存運(yùn)算，速度比傳統(tǒng)的Hadoop快10~100倍，適合交通行業(yè)對時間要求的流式計算需求。

行業(yè)大數(shù)據(jù)能力平臺

能夠針對海量數(shù)據(jù)進(jìn)行快速檢索、快速統(tǒng)計分析，同時能夠進(jìn)行深度的關(guān)聯(lián)分析，挖掘出其中有價值的信息。行業(yè)大數(shù)據(jù)能力平臺以接口的方式為上層應(yīng)用提供服務(wù)。

大數(shù)據(jù)運(yùn)維平臺

負(fù)責(zé)對整個大數(shù)據(jù)平臺進(jìn)行部署、配置、管理、監(jiān)控，通過自動化安裝的方式，方便用戶架設(shè)大數(shù)據(jù)平臺。同時，通過可視化界面，可以形象地獲知整個平臺的運(yùn)行狀況。隨著業(yè)務(wù)的發(fā)展，當(dāng)平臺需要升級或擴(kuò)容時，可方便的通過該工具進(jìn)行調(diào)整。

1.1.1 視頻大數(shù)據(jù)技術(shù)平臺

1、視頻云存儲

視頻云存儲系統(tǒng)解決百PB級視頻基礎(chǔ)數(shù)據(jù)視頻數(shù)據(jù)的低成本、高可靠存儲，支持視頻流數(shù)據(jù)的高并發(fā)I/O。

視頻云存儲系統(tǒng)架構(gòu)圖

2、視頻云分析

視頻云分析平臺則是通過整合用戶現(xiàn)有的數(shù)據(jù)中心分析設(shè)備，對過車視頻、過車圖片等數(shù)據(jù)進(jìn)行進(jìn)一步分析，其中中心分析設(shè)備采用分布式計算節(jié)點(diǎn)集群的方式，能夠提供基于任務(wù)自動負(fù)載均衡的數(shù)據(jù)處理方式，解決從海里視頻圖像數(shù)據(jù)中解析出來的視頻結(jié)構(gòu)化數(shù)據(jù)的需求。

視頻云分析方案架構(gòu)圖

具體包括以下模塊：

特征提取模塊

特征提取模塊負(fù)責(zé)對實(shí)時或歷史視頻圖像中的結(jié)構(gòu)化信息進(jìn)行提取，包括人、車、物等特征信息。提取出的信息存儲于大數(shù)據(jù)系統(tǒng)中，并作為DataEngine進(jìn)一步分析的數(shù)據(jù)基礎(chǔ)。

行為分析模塊

行為分析模塊負(fù)責(zé)對實(shí)時或歷史視頻圖像中的行為信息進(jìn)行分析，分析結(jié)果可作為上層應(yīng)用報警的依據(jù)，同時行為信息作為結(jié)構(gòu)化數(shù)據(jù)，可存儲于大數(shù)據(jù)系統(tǒng)中，并作為DataEngine進(jìn)一步分析的數(shù)據(jù)基礎(chǔ)。

音頻分析模塊

音頻分析模塊負(fù)責(zé)對音頻進(jìn)行分析，識別異常音源，分析結(jié)果可作為上層應(yīng)用報警的依據(jù)。

以圖搜圖模塊

以圖搜圖模塊負(fù)責(zé)對大數(shù)據(jù)系統(tǒng)中的圖片數(shù)據(jù)進(jìn)行分析比對，并按相似度返回圖片列表。以圖搜圖模塊支持對人臉圖片的搜索，支持對車輛圖片的搜索。

隱私保護(hù)模塊

隱私保護(hù)模塊負(fù)責(zé)對實(shí)時或歷史視頻圖像中的人體影像進(jìn)行模糊處理，保護(hù)個人隱私。

視頻摘要模塊

視頻摘要模塊負(fù)責(zé)對實(shí)時或歷史視頻進(jìn)行摘要處理，提取出視頻中有用的信息，合并到同一個背景中，以此縮短視頻播放時間。視頻摘要可有效縮短用戶觀看視頻的時間，提高工作效率。

視頻濃縮模塊

視頻濃縮模塊負(fù)責(zé)對實(shí)時或歷史視頻進(jìn)行濃縮處理，視頻中有事件出現(xiàn)時進(jìn)行慢放，無事件時進(jìn)行快放，以此縮短視頻播放時間。視頻濃縮可有效縮短用戶觀看視頻的時間，提高工作效率。

視頻質(zhì)量診斷模塊

視頻質(zhì)量診斷模塊負(fù)責(zé)對實(shí)時視頻流進(jìn)行質(zhì)量診斷，以巡檢的方式對前端接入視頻流進(jìn)行分析，實(shí)時發(fā)現(xiàn)攝像機(jī)是否在線、畫面是否正常等問題。

視頻圖像增強(qiáng)復(fù)原模塊

視頻圖像增強(qiáng)復(fù)原模塊負(fù)責(zé)對實(shí)時或歷史視頻圖像進(jìn)行增強(qiáng)復(fù)原，對效果較差的視頻、圖像進(jìn)行智能修復(fù)并增強(qiáng)處理。

1.1.2 通用大數(shù)據(jù)技術(shù)平臺

通用大數(shù)據(jù)技術(shù)平臺是大數(shù)據(jù)的存儲和計算中心，具有分布式、統(tǒng)一存儲、統(tǒng)一訪問、動態(tài)擴(kuò)容的特點(diǎn)，用于匯集視頻、圖像、報警、卡口信息、位置信息、案事件等大數(shù)據(jù)，為數(shù)據(jù)的綜合利用提供支撐。

系統(tǒng)技術(shù)架構(gòu)圖

分布式文件系統(tǒng)HDFS 2.0：運(yùn)行在通用硬件上的可擴(kuò)展高容錯的分布式文件系統(tǒng)，已經(jīng)成為海量數(shù)據(jù)存儲的事實(shí)標(biāo)準(zhǔn)。負(fù)責(zé)海量數(shù)據(jù)存儲，將數(shù)據(jù)分散存儲在多***立的設(shè)備上，系統(tǒng)采用可擴(kuò)展的體系結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，利用元數(shù)據(jù)服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。

分布式資源管理YARN：分布式資源管理框架，負(fù)責(zé)計算、存儲資源的管理，用以提高分布式集群環(huán)境下的資源利用率，這些資源包括內(nèi)存、IO、網(wǎng)絡(luò)、磁盤等。

分布式計算Map/Reduce：分布式計算框架，負(fù)責(zé)將一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機(jī)進(jìn)行處理，最后把這些計算結(jié)果綜合起來得到最終的結(jié)果。

分布式數(shù)據(jù)庫HBase：一個分布式的、按列存儲的、多維表結(jié)構(gòu)的實(shí)時分布式數(shù)據(jù)庫，用于存儲粗粒度的結(jié)構(gòu)化數(shù)據(jù)，適合構(gòu)建高并發(fā)低延時的在線數(shù)據(jù)服務(wù)系統(tǒng)。

全文檢索引擎Solr：一個基于Lucene構(gòu)建的開源，分布式，RESTful搜索引擎，設(shè)計用于云計算中，能夠達(dá)到穩(wěn)定、可靠、快速實(shí)時搜索。

內(nèi)存計算Spark：下一代基于內(nèi)存的 Map/Reduce 計算引擎，處理大數(shù)據(jù)像“光速”一樣快，比Hadoop Map/Reduce 快 10x 到 100x 倍。

流計算Stream：流計算，負(fù)責(zé)對流媒體數(shù)據(jù)的分析計算。

分布式協(xié)作Zookeeper：分布式協(xié)作系統(tǒng)，作為一個分布式鎖及共享數(shù)據(jù)管理者，提供集群節(jié)點(diǎn)間的事物協(xié)調(diào)服務(wù)，保證HDFS、HBase、Spark、Map/Reduce等分布式系統(tǒng)的安全可靠運(yùn)行。

Kafka：分布式數(shù)據(jù)總線，負(fù)責(zé)數(shù)據(jù)的采集、整合、交互。

Sqoop：SQL to Hadoop， 一個數(shù)據(jù)抽取工具，用于從關(guān)系數(shù)據(jù)導(dǎo)入數(shù)據(jù)到Hadoop。

1、分布式文件系統(tǒng)

HDFS是分布式計算中數(shù)據(jù)存儲管理的基礎(chǔ)，具有高容錯性、高可靠性、高可擴(kuò)展性、高吞吐率等特點(diǎn)，可以設(shè)計部署在低廉的硬件上，為海量數(shù)據(jù)提供了不怕故障的存儲，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。

2、分布式數(shù)據(jù)庫

HBase是一種構(gòu)建在HDFS之上的分布式、面向列的存儲系統(tǒng)，它具有高可靠、高性能、面向列和可伸縮的特性。HBase適合于存儲大表數(shù)據(jù)(表的規(guī)?？梢赃_(dá)到數(shù)百億行以及數(shù)百萬列)，并且對大表數(shù)據(jù)的讀、寫訪問可以達(dá)到實(shí)時級別。

3、分布式計算

MapReduce是一種處理海量數(shù)據(jù)的并行編程模型和計算框架，用于對大規(guī)模數(shù)據(jù)集(通常大于1TB)的并行計算。MapReduce的名字源于該模型中的兩項(xiàng)核心操作：Map和Reduce。Map將一個任務(wù)分解成為多個任務(wù)，Reduce將分解后多任務(wù)處理的結(jié)果匯總起來，得出最終的分析結(jié)果。

4、分布式協(xié)作系統(tǒng)

ZooKeeper是一個針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，主要提供兩個功能：幫助系統(tǒng)避免單點(diǎn)故障，建立可靠的應(yīng)用程序;提供分布式協(xié)作服務(wù)和維護(hù)配置信息。

1.1.3 行業(yè)大數(shù)據(jù)平臺

行業(yè)大數(shù)據(jù)平臺負(fù)責(zé)與通用大數(shù)據(jù)平臺進(jìn)行對接，負(fù)責(zé)對結(jié)構(gòu)化數(shù)據(jù)(過車數(shù)據(jù)、測速數(shù)據(jù))進(jìn)行分析計算，提供快速檢索、分析、統(tǒng)計、挖掘等功能，并提供用戶最終的操作界面。面向交通行業(yè)的大數(shù)據(jù)業(yè)務(wù)展示平臺，即為XZX-TMS-9200智能交通綜合管控平臺。

1.1.4 大數(shù)據(jù)管理平臺

大數(shù)據(jù)管理平臺負(fù)責(zé)對整個大數(shù)據(jù)平臺進(jìn)行部署和管理，結(jié)構(gòu)示意圖如下圖所示，包括集群部署、集群管理、任務(wù)管理、服務(wù)管理、狀態(tài)監(jiān)控、用戶管理、告警、日志等模塊。

大數(shù)據(jù)管理平臺架構(gòu)圖

1.2 數(shù)據(jù)流程設(shè)計

前端新建及已建能夠按照標(biāo)準(zhǔn)協(xié)議接入的設(shè)備通過智能交通綜合管控平臺交通接入服務(wù)器接入轉(zhuǎn)發(fā)至云分析平臺進(jìn)行車輛建模和二次識別。已經(jīng)部署云存儲模塊的系統(tǒng)，云分析也能夠直接從云存儲中讀取圖片信息進(jìn)行車輛建模和二次識別。

已建的第三方平臺，提供符合要求的SDK協(xié)議，智能交通綜合管控平臺進(jìn)行數(shù)據(jù)整合后再轉(zhuǎn)發(fā)至云分析平臺進(jìn)行車輛建模和二次識別。

云分析通過智能交通綜合管控平臺提供的圖片URL信息加載圖片，進(jìn)行建模和二次識別，完成建模和二次識別后，將識別結(jié)果信息如車牌、車型、車輛品牌等信息提供給大數(shù)據(jù)平臺。

大數(shù)據(jù)平臺讀取二次識別的結(jié)果信息，寫入到HDFS分布式文件存儲系統(tǒng)中;基于HDFS分布式文件系統(tǒng)部署分布式數(shù)據(jù)庫，用來承載數(shù)據(jù)的預(yù)統(tǒng)計表和二級索引表。在數(shù)據(jù)搜索層，部署基于Solr分詞的全文檢索搜索引擎，并通過MapReduce分布式計算框架提供高效數(shù)據(jù)分析速度。Zookeeper提供分布式文件系統(tǒng)之間的多進(jìn)程協(xié)調(diào)服務(wù)。

數(shù)據(jù)寫入、檢索、統(tǒng)計和研判應(yīng)用，大數(shù)據(jù)平臺提供統(tǒng)一的webservice接口，智能交通管控平臺通過調(diào)用大數(shù)據(jù)平臺接口進(jìn)行處理應(yīng)用。

1.2.1 云分析數(shù)據(jù)處理流程

云分析可以采用的工作模式主要包括主動工作模式和被動工作模式。目前采用的是被動工作模式。

主動工作模式的特點(diǎn)是中央強(qiáng)力控制，即由中心管理服務(wù)下派任務(wù)到指定的計算節(jié)點(diǎn)，計算節(jié)點(diǎn)沒有發(fā)起任務(wù)申請的權(quán)利。被動工作模式則相反，由計算節(jié)點(diǎn)主動向中心管理服務(wù)發(fā)起申請，申請獲得批準(zhǔn)后獲得執(zhí)行任務(wù)，然后開始任務(wù)執(zhí)行，任務(wù)執(zhí)行過程中與中心管理服務(wù)保持實(shí)時更新，確保任務(wù)能夠正常完成。

被動工作模式相比主動工作模式而言能夠突出計算節(jié)點(diǎn)的優(yōu)勢，管理單元越小，管理的難度也就越小。如果按照主動工作模式，由中心管理服務(wù)全部承擔(dān)任務(wù)分派、任務(wù)調(diào)度等功能，負(fù)載、責(zé)任過大，容易造成單點(diǎn)失敗。即便采用集群方式或者單點(diǎn)災(zāi)備模式，依然沒有真正解決負(fù)載過重、任務(wù)調(diào)度節(jié)點(diǎn)易失敗等情況。被動工作模式把任務(wù)申請職責(zé)交給了計算節(jié)點(diǎn)，各個計算節(jié)點(diǎn)按照自己的實(shí)際情況決定是否發(fā)起任務(wù)申請，這樣可以有效地避免計算節(jié)點(diǎn)出現(xiàn)計算資源使用率頻繁切換、異常波動，同時，降低了中心管理服務(wù)的壓力。

任務(wù)調(diào)度方面，云分析通過接入第三方應(yīng)用平臺，實(shí)時獲取執(zhí)行任務(wù)信息，然后通過中心服務(wù)管理動態(tài)調(diào)度任務(wù)的方式達(dá)到高優(yōu)先級任務(wù)優(yōu)先執(zhí)行的目的。對于計算節(jié)點(diǎn)來說，它申請獲得任務(wù)沒有優(yōu)先級之分，一旦申請成功，立即轉(zhuǎn)入工作狀態(tài)。同時，由于云分析節(jié)點(diǎn)是分布式部署，系統(tǒng)高并發(fā)執(zhí)行的效果可以有效的提高分析執(zhí)行效率、優(yōu)化網(wǎng)絡(luò)帶寬的流量壓力，使得整個監(jiān)控系統(tǒng)的性能得到更大的提升。

1.2.2 大數(shù)據(jù)數(shù)據(jù)處理流程

大數(shù)據(jù)技術(shù)平臺是大數(shù)據(jù)的存儲和計算中心，具有分布式、統(tǒng)一存儲、統(tǒng)一訪問、動態(tài)擴(kuò)容的特點(diǎn)，用于匯集視頻、圖像、報警、卡口信息、位置信息、事件等大數(shù)據(jù)，為數(shù)據(jù)的綜合利用提供支撐。

1.3 交通大數(shù)據(jù)平臺功能

1.3.1 快速檢索

針對過車記錄表及違法記錄表有針對車牌的精確查詢及模糊查詢需求，如下：

1、過車記錄精確查詢

車牌結(jié)合過車時間(開始時間+截止時間)、根據(jù)選擇卡口、車道、方向、車輛標(biāo)識、顏色深淺、車輛類型、車速、車長、號牌段、車身顏色、車牌顏色等其它篩選條件隨意組合在海量過車記錄數(shù)據(jù)中對車牌做精確查詢并且要求在秒級內(nèi)返回查詢結(jié)果。

2、過車記錄模糊查詢

車牌結(jié)合過車時間(開始時間+截止時間)、根據(jù)選擇卡口、車道、方向、車輛標(biāo)識、顏色深淺、車輛類型、車速、車長、號牌段、車身顏色、車牌顏色等其它篩選條件隨意組合在海量過車記錄數(shù)據(jù)中對車牌的前綴、中間、后綴做模糊查詢并且要求在秒級內(nèi)返回查詢結(jié)果。

3、違法記錄精確查詢

車牌結(jié)合過車時間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車記錄數(shù)據(jù)中做精確查詢并且要求在秒級內(nèi)返回查詢結(jié)果。

4、違法記錄模糊查詢

車牌結(jié)合過車時間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車記錄數(shù)據(jù)中對車牌的前綴、中間、后綴做模糊查詢并且要求在秒級內(nèi)返回查詢結(jié)果。

5、軌跡查詢

查詢車輛在特定的時間段內(nèi)的行車軌跡：即在某個時間段內(nèi)(根據(jù)場景，還可以設(shè)置車輛類型、顏色深淺、車牌類型、車牌號碼、車速、車長、號牌段、車身顏色、車牌顏色等限制條件)，同時經(jīng)過多個卡口(至少兩個以上才能確定一條軌跡)的過車信息。

6、快速統(tǒng)計

針對過車記錄表及違法記錄表有如下統(tǒng)計需求：

過車記錄表車流量統(tǒng)計

以卡口(或車輛類型、車輛歸屬)為維度結(jié)合統(tǒng)計時間、方向、車輛歸屬地、車輛類型、車牌類型等特定篩選條件對過車記錄做統(tǒng)計，生成相應(yīng)日(或周、月、年)報表：即根據(jù)設(shè)定的維度，還有根據(jù)報表類型分割的時間粒度，統(tǒng)計各個時間區(qū)間內(nèi)的車流量。

過車記錄表車流量對比

同一個卡口不同時間段(跨度在1天內(nèi))的車流量對比以及不同卡口同一時間段(跨度在1天內(nèi))的車流量對比。

通過車流量對比能夠?qū)Ω纳瞥鞘薪煌ㄕ{(diào)度提供依據(jù)。

違法記錄表車輛違法統(tǒng)計

選定一組卡口，在選定的開始時間和結(jié)束時間內(nèi)，統(tǒng)計各卡口所有的過車記錄數(shù)和違法記錄數(shù)。

過車記錄表特定時間段車流量統(tǒng)計

同車流量對比，時間顆粒度變成一天，并且可以選定一天中具體的若干個時間段。

過車記錄車輛行車軌跡統(tǒng)計

根據(jù)選定統(tǒng)計方式(即統(tǒng)計維度：包括按車牌類型統(tǒng)計、車牌顏色統(tǒng)計)，統(tǒng)計在選擇的時間段內(nèi)，經(jīng)過指定軌跡(所謂的軌跡：即由多個卡口確定的一條行車路徑，帶方向，比如，從路徑A->B->C,和路徑C->B->A是倆條不同的軌跡)的車流量次數(shù)(還包括其他的過濾條件，如：車輛歸屬地、車輛類型、車牌類型、車牌顏色，同一車牌多次經(jīng)過指定軌跡按多次計算)。

1.3.2 研判分析

1、過車記錄表頻度研判

分析出在特定卡口上(一個或多個)，在特定時間段內(nèi)，過車次數(shù)滿足一定條件的所有過車信息和過車數(shù)：所謂的滿足一定條件是指過車次數(shù)大于等于(或小于等于或等于)(頻度設(shè)置)一定數(shù)量(頻度閾值)，根據(jù)設(shè)定的頻度閾值，分析在某一段時間內(nèi)通行路口次數(shù)超過設(shè)定閾值的車輛。

對指定區(qū)域(卡口)做過車頻度分析，過濾出頻繁出入的車輛(過車次數(shù)滿足指定閾值)進(jìn)行重點(diǎn)關(guān)注，對預(yù)防犯罪及嫌犯跟蹤有重大貢獻(xiàn)。

2、過車記錄表特定時段車輛研判

實(shí)際上就是閾值為0，時間跨度在1天之內(nèi)的頻度研判。

3、過車記錄表短時過車研判

在特定的時間段內(nèi)，所選擇的卡口組合(一個或多個)中的過車時間與參考卡口中的過車時間的絕對值小于設(shè)定的某個值(passInterval)的所有過程信息：找出同一車輛同時經(jīng)過參考卡口及指定卡口組合，過濾出經(jīng)過參考卡口與指定卡口的時間差小于設(shè)定的閾值的車輛，以協(xié)助公安人員分析出套牌或超速等其它違章行為的嫌疑車輛。

4、過車記錄表車輛初次入城研判

特定時間范圍結(jié)合特定篩選條件(車輛歸屬地、車輛類型、車牌類型等特定篩選條件)，找出經(jīng)過“入城”路口的車輛，并找出這些車輛之前30是否有“入城”記錄，如果沒有將做重點(diǎn)關(guān)注以預(yù)防其犯罪。

5、過車記錄表區(qū)域碰撞研判

特定的N(2<=N<=5)個區(qū)域(1~5個卡口組成一個區(qū)域),結(jié)合各區(qū)域指定的時間范圍，找出同一輛車在指定條件下經(jīng)過其中的兩個及以上區(qū)域的車輛，并統(tǒng)計其經(jīng)過次數(shù)進(jìn)行數(shù)據(jù)碰撞。區(qū)域碰撞功能給公安查詢分析跨區(qū)反復(fù)作案的嫌疑車輛帶來極大的便利。

6、過車記錄表行車軌跡研判

特定時間范圍結(jié)合特定篩選條件(車輛歸屬地、車輛類型、車牌類型等特定篩選條件)找出制定車牌在此時間范圍內(nèi)的過車記錄。

7、過車記錄表跟車研判

特定時間段內(nèi)過車時間相差一定間隔的所有過車信息：首先根據(jù)特定時間段(還可以指定車牌或路口名稱)查出參考車輛及其過車信息，然后指定一條過車記錄，查詢出與該記錄相隔一定時間段(早或者晚)的所有過車信息。

針對嫌疑車輛可能會結(jié)隊出行的特點(diǎn)，在刑偵等業(yè)務(wù)應(yīng)用時，確定特定嫌疑車輛后，通過數(shù)據(jù)挖掘的方式分析其通過多個監(jiān)測點(diǎn)時相鄰的車輛號牌，能夠找出與嫌疑車輛有關(guān)聯(lián)的車輛，從而獲取破案線索。

8、違法記錄表違法多發(fā)時段研判

特定時間范圍給定卡口，以一小時為顆粒度統(tǒng)計出各個時段違法記錄數(shù)形成一張對比直方圖以協(xié)助城市交通改造。

違法記錄表違法多發(fā)地研判

特定時間范圍內(nèi)給定卡口，統(tǒng)計出各個卡口違法記錄數(shù)形成一張對比直方圖以協(xié)助城市交通改造。

9、駕駛?cè)藛T行為源頭管控

駕駛?cè)藛T行為源頭管控，是指對開車經(jīng)常超速在20%以下，但是又有超速習(xí)慣的駕駛?cè)藛T(不違法，但是有違法的嫌疑)，進(jìn)行專項(xiàng)的分析，然后以非現(xiàn)場執(zhí)法的形式發(fā)送通知短信，進(jìn)行源頭管控;篩選超速10%~20%車輛，然后進(jìn)行統(tǒng)計，分析其超速行為的概率，從而判斷駕駛?cè)藛T的動態(tài)評分規(guī)則;

10、特種車輛軌跡時空域分析

基于大數(shù)據(jù)的特種車輛管控，是指針對類似渣土車、校車等安全等級較高的車輛，通過設(shè)定專屬的行駛路線，一旦出現(xiàn)車輛偏離行車路線的時候，即發(fā)送報警信息給相關(guān)人員，從而確保特種車輛始終處于受控的安全狀態(tài)。

11、車輛遮陽板與案件關(guān)聯(lián)的時空域分析

大數(shù)據(jù)平臺根據(jù)卡口的過車數(shù)據(jù)對每輛過往車輛建立單獨(dú)的信息庫，與車管庫的車輛信息庫所不同的是，該信息庫是專門用于過車信息研判。例如卡口會對每輛過車時是否放下了遮陽板進(jìn)行檢測，大數(shù)據(jù)平臺則統(tǒng)計車輛的全部過車照片，放下遮陽板的次數(shù)有多少;打開遮陽板的次數(shù)有多少，隨后定義一個研判規(guī)則，例如這個比例超過50%，那么駕駛?cè)司陀幸欢ǖ倪`法嫌疑，進(jìn)入單獨(dú)的違法嫌疑車輛庫;這個信息庫往后來看，就是根據(jù)一些統(tǒng)計結(jié)果來判斷駕駛?cè)藛T的駕駛行為分析。

12、同行車輛多模型分析

基于大數(shù)據(jù)的同行車輛分析，是指針對具有跟車相關(guān)的團(tuán)伙作案時的車輛進(jìn)行進(jìn)一步研判，研判的規(guī)則包括篩選某個固定時間區(qū)間內(nèi)同行經(jīng)過N個卡口數(shù)量的車輛信息;篩選某個固定時間內(nèi)有關(guān)多車關(guān)聯(lián)性的分析，舉例而言就是通過跟車關(guān)聯(lián)性研判發(fā)現(xiàn)車輛A與車輛C有跟車關(guān)聯(lián)性，車輛B與車輛C有跟車關(guān)聯(lián)性，那么分析車輛A和B之間的跟車關(guān)聯(lián)性的嫌疑性。

13、多業(yè)務(wù)維度積分研判分析

基于大數(shù)據(jù)平臺的多業(yè)務(wù)維度車輛積分研判，是武進(jìn)技防和圖偵相關(guān)干警參考其他地市先進(jìn)的車輛信息技戰(zhàn)法以及結(jié)合自身對實(shí)際嫌疑車輛研判時所提出的一種新的研判分析方法。其根據(jù)對車輛的出沒時間屬性、出沒卡口地點(diǎn)屬性、駕駛?cè)藛T違反行為信息、牌照歸屬地信息等多種有關(guān)車輛屬性進(jìn)行綜合考慮，引入一套關(guān)于車輛積分研判的方法，因此在對車輛信息進(jìn)行有針對性地研判時帶來一種全新的體驗(yàn)。同時為了滿足研判和預(yù)警實(shí)時性的要求，大數(shù)據(jù)采用spark流計算的方式保證車輛積分能夠?qū)崟r處理并將結(jié)果分發(fā)相關(guān)人員。

14、基于車輛相關(guān)數(shù)據(jù)的車輛套牌的相關(guān)性分析

在現(xiàn)有的視頻作戰(zhàn)平臺中，已經(jīng)引入了一套根據(jù)同一時間內(nèi)出現(xiàn)在不同地點(diǎn)來判斷是否套牌車輛的相關(guān)分析手段，但是由于前端卡口設(shè)備在車輛識別率上并不能達(dá)到100%，因此有一定的誤報率;此外該種套牌分析方法在定位一些非當(dāng)前庫內(nèi)所包含的車輛信息時往往缺乏有效的分析手段;而大數(shù)據(jù)平臺則是利用本期和前三期中一些已經(jīng)對車輛進(jìn)行二次結(jié)構(gòu)化處理后的數(shù)據(jù)(例如車型、車標(biāo)、子品牌、年款等)進(jìn)行套牌車分析庫，將被盜搶車作為套牌車輛分析的重點(diǎn)，從而判斷套牌車輛的可能性;另外大數(shù)據(jù)平臺將在時空領(lǐng)域上結(jié)合GIS應(yīng)用，根據(jù)車輛不正常的出沒規(guī)律來分析套牌車輛的可能性，例如某輛車C在不同的時內(nèi)從區(qū)域A出現(xiàn)在區(qū)域B，但是邏輯上區(qū)域A和區(qū)域B必須經(jīng)過某幾個卡口，但是在該段區(qū)域和時間內(nèi)沒有任何關(guān)于車輛C的過車卡口描述，因此可以判斷車輛C是否為套牌車輛。

15、車輛時空出沒規(guī)律分析

大數(shù)據(jù)平臺的另一個重要的作用是多元多維度的統(tǒng)計分析方法，針對某一輛車輛信息，大數(shù)據(jù)平臺采用分布式計算的方法將車輛信息的過車點(diǎn)位信息、所有過車卡口的出沒頻次、出沒時間段、經(jīng)常活動的區(qū)域、經(jīng)常經(jīng)過的監(jiān)控點(diǎn)位信息以及違法信息統(tǒng)計和同行車輛信息進(jìn)行統(tǒng)一展示，可以提供包括車輛的居住地和工作地相關(guān)信息預(yù)測。同時預(yù)留這些數(shù)據(jù)分析結(jié)果，可進(jìn)一步用于車輛與相關(guān)案件關(guān)聯(lián)性的分析。

1.3.3 基于大數(shù)據(jù)平臺的以圖搜圖功能

以圖搜圖是當(dāng)前智能交通綜合管控平臺針對車輛檢索的新型的檢索方案，系統(tǒng)支持以一張原始圖片為基礎(chǔ)搜索條件，根據(jù)圖片中車輛的特征信息(例如車頭、車窗、車內(nèi)飾等)查詢目標(biāo)車輛，根據(jù)特征信息的相似度進(jìn)行從高到低的檢索方案。當(dāng)前以圖搜圖主要有云存儲和圖片服務(wù)器兩種方案，分別如下圖所示：

云存儲方案

圖片服務(wù)器方案

云存儲方案用于大型規(guī)模的智能交通平臺，一般為日均過車數(shù)據(jù)在幾百萬以上的項(xiàng)目中。其中使用云存儲設(shè)備作為數(shù)據(jù)信息的核心服務(wù)器，內(nèi)置智能建模的算法;而智能服務(wù)器在系統(tǒng)中充當(dāng)查詢對比服務(wù)器，為用戶返回最終分析結(jié)果。該方案圖片預(yù)建模和分析全都在云存儲系統(tǒng)中完成，而檢索部分則由專門的智能分析服務(wù)器完成，因此是全網(wǎng)范圍內(nèi)的以圖搜圖應(yīng)用，搜索的效率會比較高。

而圖片服務(wù)器方案則適用于中小型規(guī)模的智能交通平臺，由智能分析服務(wù)器完成過車數(shù)據(jù)的建模，并由其進(jìn)行數(shù)據(jù)對比并返回以圖搜圖的對比結(jié)果。該方案則所有的建模分析和檢索則全部依靠智能分析服務(wù)器完成，因此整個系統(tǒng)的瓶頸在于智能分析服務(wù)器的性能。

相比較這兩種方案的以圖搜圖的實(shí)現(xiàn)方式，基于大數(shù)據(jù)平臺的以圖搜圖實(shí)現(xiàn)方式則進(jìn)一步將圖片資源的二次結(jié)構(gòu)化和大數(shù)據(jù)平臺的全文檢索功能進(jìn)行融合，從而將以圖搜圖的功能從精準(zhǔn)檢索更進(jìn)一步擴(kuò)展到極速檢索。

1.4 云分析系統(tǒng)功能

1.4.1 車牌二次識別

1.4.2 車身顏色二次識別

系統(tǒng)能夠識別11種車身顏色，白色、灰色、黑色、紅色、紫色、藍(lán)色、黃色、綠色、青色、棕色、粉紅色。還可以識別車身顏色的深色和淺色。

1.4.3 車型二次識別

系統(tǒng)能夠識別7種常見車型，包括客車，大貨車，轎車，面包車，小貨車，SUV，中型客車。

1.4.4 車牌顏色二次識別

系統(tǒng)能夠?qū)嚺祁伾詣幼R別，識別的5種車牌顏色包括藍(lán)、黃、綠、白、黑。

1.4.5 車標(biāo)二次識別

系統(tǒng)可識別的車輛標(biāo)志包括：奔馳、寶馬、大眾、別克、豐田、本田、依維柯、金杯、福特、現(xiàn)代、馬自達(dá)、奇瑞、奧迪、雪鐵龍、雪弗蘭、標(biāo)致、東風(fēng)、五菱、尼桑、起亞、皇冠、東南、比亞迪等兩百多種車標(biāo)。

1.4.6 車輛子品牌二次識別

系統(tǒng)可識別的細(xì)分車型包括：奧迪A6L、奧迪Q3、奧迪Q5、阿斯頓馬丁DB9、阿斯頓馬丁DBS、保時捷911、別克GL8、君威、君越、奔騰B50、奔騰B70、本田歌詩圖、本田鋒范、標(biāo)致307、標(biāo)致308等兩千多種細(xì)分車型，其涉及范圍包括當(dāng)前已停售，或剛上市熱銷的各種細(xì)分車型。

1.4.7 遮陽板二次識別

系統(tǒng)能夠?qū)Υ蜷_遮陽板進(jìn)行檢測，為公安交通管理和刑偵案件偵破提供科技新手段。

1.4.8 黃標(biāo)車二次識別

系統(tǒng)能夠?qū)S標(biāo)車進(jìn)行檢測，為黃標(biāo)車專項(xiàng)整治、城市環(huán)保提供決策支撐。

1.4.9 未系安全帶二次識別

系統(tǒng)能夠?qū)ξ聪蛋踩珟н`法行為進(jìn)行自動檢測，為交警查處未系安全帶違法行為提供了科技新手段，從而規(guī)范駕駛?cè)税踩{駛行為。

1.4.10 異常車輛二次識別分析及報警

系統(tǒng)能夠?qū)倥?、套牌、無牌、車牌遮擋、污損、模糊、逾期未年檢、逾期未報廢車輛進(jìn)行自動檢測識別，對識別不到異常牌照，能夠進(jìn)行自動預(yù)警。

1.4.11 以圖搜圖

以圖搜圖，是通過搜索圖像文本或者視覺特征，在系統(tǒng)中通過類似信息的比對，獲取到真正實(shí)際需求的圖像信息的一種智能搜索方法，可應(yīng)用于套牌車輛分析等應(yīng)用中，根據(jù)車窗上的車輛年檢標(biāo)識、車輛內(nèi)飾等車輛特征搜索類似車輛?？蓱?yīng)用與無牌車的分析研判，根據(jù)車型搜索符合條件的無牌車，然后利用以圖搜圖根據(jù)車標(biāo)、子品牌、車身顏色等信息定位車輛真實(shí)信息，可協(xié)助公安交警部門查處套牌車輛、盜搶車輛、肇事逃逸車輛等。

以圖搜圖的工作流程包括數(shù)據(jù)建模和比對分析兩個步驟：

1)數(shù)據(jù)建模

由云分析對過車圖片進(jìn)行統(tǒng)一建模，建模數(shù)據(jù)直接存儲在大數(shù)據(jù)平臺中。

2)分析比對

大數(shù)據(jù)平臺根據(jù)用戶需要查詢的原始圖片和特征比對信息，自動與要查詢的原始圖片進(jìn)行比對，比對結(jié)果按相似度返回給大數(shù)據(jù)平臺。

1.4.12 連續(xù)違法分析

以不同卡口、不同時間為基點(diǎn)，自動檢索多次違法的車輛。分析結(jié)果支持列表展示，自動列出分析結(jié)果展示具體違法記錄。

1.4.13 通行車輛實(shí)時監(jiān)控分析

可對單個卡口，多個卡口進(jìn)行實(shí)時監(jiān)控，包括通過時間、通過地點(diǎn)、號牌種類、號牌號碼、行駛方向、行駛速度、車輛類型、車身顏色、車輛屬地、圖片詳情及行進(jìn)軌跡等。

1.4.14 特種車輛軌跡時空域分析

基于大數(shù)據(jù)的特種車輛管控，是指針對類似渣土車、校車等安全等級較高的車輛，通過設(shè)定專屬的行駛路線，一旦出現(xiàn)車輛偏離行車路線的時候，即發(fā)送報警信息給相關(guān)人員，從而確保特種車輛始終處于受控的安全狀態(tài)。

1.4.15 車輛遮陽板與案件關(guān)聯(lián)的時空域分析

大數(shù)據(jù)平臺根據(jù)卡口的過車數(shù)據(jù)對每輛過往車輛建立單獨(dú)的信息庫，與車管庫的車輛信息庫所不同的是，該信息庫是專門用于過車信息研判。例如卡口會對每輛過車時是否放下了遮陽板進(jìn)行檢測，大數(shù)據(jù)平臺則統(tǒng)計車輛的全部過車照片，放下遮陽板的次數(shù)有多少;打開遮陽板的次數(shù)有多少，隨后定義一個研判規(guī)則，例如這個比例超過50%，那么駕駛?cè)司陀幸欢ǖ南右?，進(jìn)入單獨(dú)的嫌疑車輛庫;這個信息庫往后來看，就是根據(jù)一些統(tǒng)計結(jié)果來判斷駕駛?cè)藛T的駕駛行為分析。

1.4.16 多業(yè)務(wù)維度積分研判分析

基于大數(shù)據(jù)平臺的多業(yè)務(wù)維度車輛積分研判根據(jù)對車輛的出沒時間屬性、出沒卡口地點(diǎn)屬性、駕駛?cè)藛T違反行為信息、牌照歸屬地信息等多種有關(guān)車輛屬性進(jìn)行綜合考慮，引入一套關(guān)于車輛積分研判的方法，因此在對車輛信息進(jìn)行有針對性地研判時帶來一種全新的體驗(yàn)。同時為了滿足研判和預(yù)警實(shí)時性的要求，大數(shù)據(jù)采用spark流計算的方式保證車輛積分能夠?qū)崟r處理并將結(jié)果分發(fā)相關(guān)人員。