中通快遞采用英特爾數(shù)據(jù)中心GPU實(shí)現(xiàn)更高效的分撥視頻流分析

隨著電商行業(yè)的快速發(fā)展，快遞業(yè)務(wù)總量增長(zhǎng)迅猛。據(jù)統(tǒng)計(jì)，2022年上半年，全國(guó)快遞服務(wù)企業(yè)的業(yè)務(wù)量累計(jì)完成512.2億票，同比增長(zhǎng)3.7%1。

一年一度的618即將來(lái)臨，想必大家已經(jīng)加好購(gòu)物車了。這次可以放心在家等快遞，因?yàn)榭爝f巨頭中通、韻達(dá)在提高效率和智慧化上，也已經(jīng)做好了十足的準(zhǔn)備。

韻達(dá)基于英特爾 數(shù)據(jù)中心GPU Flex系列

優(yōu)化視覺(jué)AI方案

為應(yīng)對(duì)激增的業(yè)務(wù)量并提升快件攬收量與派送效率，上海韻達(dá)貨運(yùn)有限公司實(shí)施了網(wǎng)格倉(cāng)2策略，借助由視覺(jué)人工智能 （AI） 驅(qū)動(dòng)的智能共配3分揀系統(tǒng)對(duì)快件進(jìn)行自動(dòng)分揀。同時(shí)，由于快遞行業(yè)重時(shí)效的特性，推進(jìn)全鏈路時(shí)效優(yōu)化也十分必要，為此，韻達(dá)正大力推廣分撥視頻分析平臺(tái)以分析包括格口在內(nèi)的分撥視頻，進(jìn)而優(yōu)化激勵(lì)機(jī)制和業(yè)務(wù)管理能力。然而，在項(xiàng)目推進(jìn)過(guò)程中，韻達(dá)遇到了以下挑戰(zhàn)：格倉(cāng)承載快件數(shù)量龐大，例如上海某網(wǎng)點(diǎn)的網(wǎng)格倉(cāng)試點(diǎn)每日需要處理的快件數(shù)量高達(dá)3萬(wàn)票4；智能分揀線須兼顧高準(zhǔn)確度和低時(shí)延，系統(tǒng)識(shí)別的準(zhǔn)確度須達(dá)到95%以上，智能分揀線系統(tǒng)的時(shí)延必須要小于130ms；視頻流分析體量龐大，對(duì)算力要求高。

針對(duì)以上挑戰(zhàn)，韻達(dá)基于英特爾 數(shù)據(jù)中心GPU Flex系列170和英特爾 分發(fā)版OpenVINO 工具套件來(lái)優(yōu)化其三段碼OCR檢測(cè)系統(tǒng)和分撥視頻分析平臺(tái)性能。英特爾 數(shù)據(jù)中心GPU Flex 系列170是英特爾面向視覺(jué)AI和智能云計(jì)算等場(chǎng)景而打造的、基于英特爾 Xe 架構(gòu)的GPU，擁有高達(dá)512個(gè)執(zhí)行單元，能夠保證多線程處理的吞吐量，同時(shí)支持H.264、H.265 （HEVC）硬件編碼/解碼和AV1編碼/解碼5，高度契合韻達(dá)視覺(jué)AI方案對(duì)圖片與視頻處理的需求。

英特爾 OpenVINO 具套件包含模型優(yōu)化器和推理引擎兩大組件。韻達(dá)利用 OpenVINO 模型優(yōu)化器MO （Model Optimizer） 可將Caffe、TensorFlow、Pytorch和PaddlePaddle等多種常見(jiàn)框架的模型轉(zhuǎn)換為OpenVINO 中間數(shù)據(jù)格式（IR， Intermediate Representation）的離線模型，并且對(duì)這些模型的性能進(jìn)行優(yōu)化；推理引擎則可以為跨英特爾多種芯片（包括 CPU、GPU和FPGA等）的計(jì)算機(jī)視覺(jué)異構(gòu)計(jì)算提供加速支持。

為驗(yàn)證方案性能，韻達(dá)進(jìn)行了三段碼OCR測(cè)試和TSM （Temporal Shift Module）測(cè)試。在三段碼OCR測(cè)試中，共對(duì)2450張圖片進(jìn)行了識(shí)別，測(cè)試結(jié)果顯示平均運(yùn)行時(shí)間為114 ms8，優(yōu)于韻達(dá)130 ms的期望標(biāo)準(zhǔn)，可很好地滿足韻達(dá)對(duì)低時(shí)延的需求。此外，根據(jù)實(shí)驗(yàn)室測(cè)試結(jié)果，經(jīng)優(yōu)化后，三段碼OCR識(shí)別的準(zhǔn)確度能夠達(dá)到97 %-98%6，也優(yōu)于韻達(dá)95%的預(yù)期基準(zhǔn)。在TSM測(cè)試中，選用了1200個(gè)視頻并分不同實(shí)例和批量大小做了測(cè)試，測(cè)試結(jié)果如下圖所示。

基于英特爾 數(shù)據(jù)中心 GPU Flex 170 的 TSM 測(cè)試 結(jié)果6

綜合測(cè)試和網(wǎng)點(diǎn)試點(diǎn)結(jié)果，基于英特爾 數(shù)據(jù)中心GPU Flex系列170和英特爾 分發(fā)版OpenVINO 工具套件的視覺(jué)AI方案，從算力、時(shí)延、準(zhǔn)確度、并發(fā)能力、穩(wěn)定性和散熱能力等多個(gè)方面都能很好地滿足韻達(dá)的需求，并為韻達(dá)帶來(lái)了以下業(yè)務(wù)優(yōu)勢(shì)：

提升業(yè)務(wù)效率并降低成本：智能分揀系統(tǒng)的部署顯著提升了分揀線效率，進(jìn)而提升了派送效率和派送時(shí)效；此外，高效的智能分揀系統(tǒng)還幫助韻達(dá)實(shí)現(xiàn)了人力和成本節(jié)約。

優(yōu)化業(yè)務(wù)管理和決策：英特爾 數(shù)據(jù)中心GPU Flex系列170帶來(lái)的高算力讓韻達(dá)實(shí)現(xiàn)了更高效的分撥視頻流分析，可幫助韻達(dá)在跨年度/跨季度預(yù)測(cè)、合理定價(jià)、網(wǎng)點(diǎn)時(shí)效提升和獎(jiǎng)懲制定等方面做出優(yōu)化。

中通快遞采用英特爾 數(shù)據(jù)中心GPU和OpenVINO

以更高性價(jià)比擴(kuò)展邊緣視覺(jué)AI應(yīng)用

一直以來(lái)，中通快遞都在追求更先進(jìn)、易用的技術(shù)方案來(lái)優(yōu)化物流園區(qū)作業(yè)、運(yùn)輸和管理，在早期部署的邊緣視覺(jué)AI方案，就能有效監(jiān)測(cè)園區(qū)內(nèi)是否存在攀爬傳送帶等危險(xiǎn)作業(yè)，踩踏、暴力分揀等違規(guī)作業(yè)，以及未戴安全帽等著裝安全問(wèn)題。但隨著業(yè)務(wù)的快速發(fā)展以及技術(shù)應(yīng)用的不斷深入，中通對(duì)邊緣視覺(jué)AI方案提出了更高的要求，既要滿足業(yè)務(wù)端的更多需求，比如在場(chǎng)區(qū)的分揀方面，可能存在的小件堵包、流水線擁堵和掛包等情況，以做到“實(shí)時(shí)發(fā)現(xiàn)、實(shí)時(shí)告警”等；又要讓模型開(kāi)發(fā)與維護(hù)更簡(jiǎn)潔、更高效，并降低成本，在實(shí)際場(chǎng)景中實(shí)現(xiàn)更高性價(jià)比。

為應(yīng)對(duì)以上挑戰(zhàn)，中通眾多中心或網(wǎng)點(diǎn)都部署了新的英特爾 數(shù)據(jù)中心GPU Flex系列。在英特爾工程師的協(xié)助下，中通只需在相同模型上進(jìn)行開(kāi)發(fā)，即可基于XPU實(shí)現(xiàn)AI推理加速，從而實(shí)現(xiàn)對(duì)各種資源的充分利用。例如，同一模型，在對(duì)輕量級(jí)AI業(yè)務(wù)場(chǎng)景時(shí)，可以直接使用CPU，而在對(duì)實(shí)時(shí)性要求較高或者多并發(fā)的場(chǎng)景時(shí)，則使用英特爾 數(shù)據(jù)中心GPU Flex系列，從而減少針對(duì)不同硬件開(kāi)發(fā)不同模型的負(fù)擔(dān)，降低全網(wǎng)部署的難度。

英特爾 分發(fā)版 OpenVINO 工具套件是一個(gè)旨在優(yōu)化和部署AI推理的開(kāi)源工具套件。首先，中通利用其中的模型優(yōu)化器可將基于其他深度學(xué)習(xí)框架的模型轉(zhuǎn)換為統(tǒng)一且性能經(jīng)過(guò)優(yōu)化的OpenVINO IR模型，有效降低了模型優(yōu)化與運(yùn)維的復(fù)雜程度。其次，此工具套件中的Open Model Zoo提供了大量的免費(fèi)且預(yù)訓(xùn)練好的深度學(xué)習(xí)模型及演示應(yīng)用。中通在此次項(xiàng)目中也選用了其中的一些模型，有效地降低了模型開(kāi)發(fā)難度并縮短了應(yīng)用開(kāi)發(fā)時(shí)間。同時(shí)，中通還利用了工具套件中的英特爾 Deep Learning Streamer （DL Streamer）7 并結(jié)合自身應(yīng)用場(chǎng)景的特點(diǎn)創(chuàng)建了用于視頻解碼、編碼和媒體智能分析的業(yè)務(wù)流，實(shí)現(xiàn)了在邊緣對(duì)音視頻進(jìn)行智能分析和對(duì)英特爾 硬件平臺(tái)的充分利用。

為滿足像視頻流計(jì)算這樣對(duì)算力和實(shí)時(shí)性要求較高的應(yīng)用需求，中通按需導(dǎo)入了英特爾 GPU Flex系列170，對(duì)部分服務(wù)器進(jìn)行了升級(jí)改造并針對(duì)其ZTO Yolo v4 推理業(yè)務(wù)流進(jìn)行了測(cè)試。測(cè)試結(jié)果顯示，這一產(chǎn)品性能出色，可很好地滿足中通相關(guān)應(yīng)用場(chǎng)景的需求。

英特爾軟硬件全面創(chuàng)新

助力千行百業(yè)數(shù)智化轉(zhuǎn)

英特爾除了在軟硬件全面創(chuàng)新，滿足各類需求，還擁有強(qiáng)大的生態(tài)系統(tǒng)和可靠的專業(yè)支持，來(lái)助力快遞行業(yè)以及各行各業(yè)的數(shù)智化轉(zhuǎn)型。

從算力提升到框架指令的適配，英特爾著眼AI應(yīng)用開(kāi)發(fā)與部署的各個(gè)環(huán)節(jié)，全面創(chuàng)新，旨在滿足用戶的不同需求。硬件層面，英特爾持續(xù)增強(qiáng)其CPU英特爾 至強(qiáng) 可擴(kuò)展處理器的內(nèi)置AI加速能力，第四代英特爾至強(qiáng)可擴(kuò)展處理器內(nèi)置了全新的英特爾高級(jí)矩陣擴(kuò)展（英特爾 AMX），可大幅提高深度學(xué)習(xí)訓(xùn)練和推理性能。同時(shí)，英特爾還推出包括GPU、FPGA和VPU在內(nèi)的各類專用加速器以滿足不同場(chǎng)景對(duì)算力的特定需求。軟件層面，從模型、框架到底層庫(kù)，英特爾也在不斷創(chuàng)新以適配各類硬件，賦能用戶更好地基于英特爾 架構(gòu)實(shí)現(xiàn)AI加速。例如，在英特爾 oneAPI 和OpenVINO 工具套件的支持下，模型可實(shí)現(xiàn)跨英特爾 CPU和GPU的無(wú)縫切換，且?guī)缀醪粫?huì)對(duì)應(yīng)用層造成任何影響。

部署并加速AI應(yīng)用開(kāi)發(fā)并非易事，尤其是在異構(gòu)計(jì)算興起的今天，高要求、大規(guī)模AI應(yīng)用更是變得越來(lái)越復(fù)雜。英特爾強(qiáng)大的生態(tài)系統(tǒng)和專業(yè)的技術(shù)支持團(tuán)隊(duì)可為用戶在項(xiàng)目前、項(xiàng)目中和項(xiàng)目后提供參考方案和專業(yè)支持，顯著降低企業(yè)IT團(tuán)隊(duì)AI應(yīng)用開(kāi)發(fā)的復(fù)雜度并提升效率。