基于深度學(xué)習(xí)的特種車輛跨模態(tài)檢索和識(shí)別方法

　　保證正在執(zhí)行任務(wù)的特種車輛的道路優(yōu)先通行權(quán)，是合理配置城市交通資源、實(shí)施和保證應(yīng)急救援的前提。特種車輛的跨模態(tài)識(shí)別是實(shí)現(xiàn)智慧交通的重要核心技術(shù)，尤其是在智能車聯(lián)網(wǎng)尚未成熟、未來(lái)長(zhǎng)期存在無(wú)人駕駛和有人駕駛混合交通的環(huán)境中，實(shí)現(xiàn)無(wú)人車對(duì)正在執(zhí)行任務(wù)的特種車輛進(jìn)行合理避讓顯得尤為重要。針對(duì)無(wú)人駕駛對(duì)特種車輛識(shí)別的需求，文中構(gòu)建了跨模態(tài)檢索與識(shí)別網(wǎng)絡(luò)（ Cross-modal retrieval and rec? ognition Net， CMR Net，提岀了一種基于深度學(xué)習(xí)的特種車輛跨模態(tài)檢索和識(shí)別方法。 CMR Net由兩個(gè)卷積子網(wǎng)絡(luò)和一個(gè)特征融合網(wǎng)絡(luò)組成，卷積子網(wǎng)絡(luò)分別用于提取特種車的圖像與音頻特征，在高層語(yǔ)義空間中利用相似性度量的方法進(jìn)行特征匹配，以達(dá)到跨模態(tài)檢索和識(shí)別的目的。在特種車跨模態(tài)數(shù)據(jù)集上進(jìn)行的跨模態(tài)識(shí)別實(shí)驗(yàn)表明，所提方法對(duì)跨模態(tài)檢索和識(shí)別仼務(wù)具有較髙的識(shí)別率，甚至在缺失一種模態(tài)的場(chǎng)景下也可準(zhǔn)確識(shí)別出特種車輛。本研究對(duì)于提升“城市大腦”的性能具有重要的理論指導(dǎo)意義，對(duì)設(shè)計(jì)、實(shí)現(xiàn)和改善未來(lái)智慧交通具有較高的工程應(yīng)用價(jià)值。