基于5G的AI視覺檢測應(yīng)用

摘要：在數(shù)字化浪潮的驅(qū)動下，5G、MEC、云計算、AI等新興技術(shù)手段不斷與制造業(yè)融合，并逐步走向應(yīng)用推廣。視覺檢測是工業(yè)生產(chǎn)的重要環(huán)節(jié)，針對格力工業(yè)視覺檢測需求，設(shè)計了基于5G的工業(yè)AI視覺檢測系統(tǒng)，并對系統(tǒng)的工作原理、架構(gòu)、功能及系統(tǒng)在實際生產(chǎn)環(huán)境下的測試結(jié)果進(jìn)行了詳細(xì)介紹。最后結(jié)合智能制造產(chǎn)業(yè)升級和5G技術(shù)的推廣與發(fā)展需求對系統(tǒng)應(yīng)用前景進(jìn)行了價值分析。

前言

機器視覺檢測是指利用機器替代人工實現(xiàn)檢測和判斷[1]。典型的機器視覺檢測系統(tǒng)包括相機、鏡頭、光源、工控機、圖像處理系統(tǒng)、執(zhí)行機構(gòu)、被測物等。其檢測原理是通過相機對被測對象進(jìn)行圖像拍攝，然后將圖像數(shù)據(jù)傳送至圖像處理系統(tǒng)。圖像處理系統(tǒng)通過檢測算法對圖像進(jìn)行特征提取、識別，輸出檢測結(jié)果并執(zhí)行相應(yīng)操作[2]。機器視覺檢測在工業(yè)領(lǐng)域具有廣闊的市場空間，主要應(yīng)用場景包括目標(biāo)檢測（如對產(chǎn)品外觀瑕疵檢測、對產(chǎn)品零部件的有無檢測等）、目標(biāo)識別（如文字識別、顏色識別等）、目標(biāo)定位（如PCB 加工定位、標(biāo)簽定位等）和目標(biāo)測量（如對指針儀表的長度、角度測量、對零部件的尺寸測量等）。

傳統(tǒng)方式的機器視覺檢測主要以人工特征提取、分類、識別為主，檢測方法具有針對性，系統(tǒng)魯棒性差[3]。常見的處理方法包括如圖像灰度處理、濾波算法、圖像算數(shù)、圖像二值化、霍夫變換等。隨著人工智能技術(shù)的不斷發(fā)展，以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)正逐步應(yīng)用在機器視覺領(lǐng)域。深度學(xué)習(xí)利用機器模仿人類思考，實現(xiàn)對圖像的理解，被用來解決復(fù)雜場景的模式識別[4]。其典型應(yīng)用領(lǐng)域包括目標(biāo)檢測、圖像分類、圖像分割等。與傳統(tǒng)方式相比，深度學(xué)習(xí)可以在訓(xùn)練過程中自學(xué)習(xí)相關(guān)屬性，省去特征工程環(huán)節(jié)，識別精度更高、更加靈活[5]。但是對硬件的內(nèi)存和計算能力要求較高，通常需要額外的硬件投入。此外，在應(yīng)用開發(fā)過程中，需要收集大量的樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練以提高模型精度。雖然機器學(xué)習(xí)相對于傳統(tǒng)方式有諸多優(yōu)勢，在實際工業(yè)應(yīng)用場景中，既需要基于深度學(xué)習(xí)的視覺檢測，又需要傳統(tǒng)的視覺檢測方式。如對表計尺寸的測量、條碼識別等場景，傳統(tǒng)方式簡單而高效，使用機器學(xué)習(xí)方法則費時費力。

通過在5G試點項目的大量實地調(diào)研發(fā)現(xiàn)，工業(yè)企業(yè)在現(xiàn)有視覺檢測應(yīng)用上存在諸多不足，具體表現(xiàn)在以下4個方面。

a）部分企業(yè)采用傳統(tǒng)方式依靠人眼做視覺檢測，存在效率低，漏檢率高等問題。

b）部分企業(yè)采用一體化智能工業(yè)相機做視覺檢測，但單點設(shè)備成本高，不適合規(guī)模應(yīng)用，且無法有效管理。

c）部分企業(yè)采用基于云端的視覺檢測系統(tǒng)，存在響應(yīng)慢、數(shù)據(jù)安全性低等問題。

d）企業(yè)缺乏 AI 視覺相關(guān)專業(yè)技術(shù)人員，難以滿足視覺檢測項目建設(shè)需求。

基于上述分析，認(rèn)為支持多場景應(yīng)用、平臺化的視覺檢測系統(tǒng)是工業(yè)視覺的重要發(fā)展方向。隨著互聯(lián)網(wǎng)+制造業(yè)轉(zhuǎn)型升級步伐的不斷推進(jìn)，5G、AI、大數(shù)據(jù)等高新技術(shù)手段將為工業(yè)視覺檢測技術(shù)的發(fā)展注入新動能，推進(jìn)工業(yè)視覺檢測技術(shù)變革。

1 格力視覺檢測需求分析

視覺檢測貫穿零件加工、組裝、包裝等各個環(huán)節(jié)，是企業(yè)產(chǎn)品質(zhì)量的關(guān)鍵保障，提升視覺檢測水平能有效降低企業(yè)經(jīng)營成本。格力空調(diào)在生產(chǎn)過程中存在大量視覺檢測場景，包括壓縮機線視覺檢測、外機自動電氣安全檢測、整機外觀檢測、印刷品質(zhì)量檢測等。當(dāng)前存在大量依靠人眼做視覺檢測的現(xiàn)象，檢測效率低，漏檢率高，容易帶來產(chǎn)品質(zhì)量隱患。因此，格力急需一套自動化、平臺化的視覺檢測系統(tǒng)替代人工檢測。一方面，需要滿足各生產(chǎn)環(huán)節(jié)的多場景檢測需求，有效提升檢測效率，降低檢測成本，實現(xiàn)智能檢測管理。另一方面，為應(yīng)對消費者個性化產(chǎn)品需求，新系統(tǒng)需要具備易擴展、易操作性，能靈活快速適應(yīng)新場景檢測要求。

2019 年，中國聯(lián)通與格力電器開展5G智慧工廠暨全業(yè)務(wù)戰(zhàn)略合作，基于5G、工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新型技術(shù)，打造家電產(chǎn)業(yè)5G智慧工廠示范區(qū)。5G作為新一代無線通信技術(shù)，在帶寬、時延、連接數(shù)等網(wǎng)絡(luò)性能上較上一代蜂窩網(wǎng)絡(luò)實現(xiàn)全方位提升，可為工業(yè)網(wǎng)絡(luò)連接提供高可靠服務(wù)保障[6]（見表 1）。通過5G網(wǎng)絡(luò)可構(gòu)建平臺化的視覺檢測模式，實現(xiàn)多檢測點并行檢測、智能管理。移動邊緣計算（MEC）是5G重要能力之一，可在移動網(wǎng)絡(luò)的邊緣提供IT 服務(wù)和計算能力，支持將業(yè)務(wù)處理卸載到移動網(wǎng)絡(luò)邊緣節(jié)點[7-8]。利用MEC本地分流能力，可極大降低端到端通信時延，同時保證生產(chǎn)數(shù)據(jù)安全?；?G技術(shù)的平臺化視覺檢測系統(tǒng)，將為企業(yè)帶來更多價值。

2 基于5G的工業(yè)AI視覺檢測系統(tǒng)解決方案

基于5G的工業(yè)視覺檢測系統(tǒng)是平臺化、支持多檢測點并行的工業(yè)檢測系統(tǒng)。通過5G+MEC的工廠內(nèi)網(wǎng)架構(gòu)與現(xiàn)場瘦客戶端進(jìn)行交互，實現(xiàn)企業(yè)整體視覺檢測體系，可同時滿足多場景、多檢測點并行的檢測及智能化管理需求。通過將主要算力及算法放置于平臺端，極大提升分析處理能力，現(xiàn)場端僅需普通工業(yè)相機等少數(shù)設(shè)備即可實現(xiàn)AI視覺檢測，有效降低單點檢測成本，提升部署靈活性。此外，平臺側(cè)支持對檢測點的能力配置，單一檢測點僅需微調(diào)即可適配新檢測場景，可滿足對不同產(chǎn)品的快速檢測需求。如圖1所示，基于5G的工業(yè)AI視覺檢測系統(tǒng)架構(gòu)包括現(xiàn)場設(shè)備端和智能監(jiān)測平臺。

2.1 現(xiàn)場設(shè)備端

現(xiàn)場設(shè)備端負(fù)責(zé)與產(chǎn)線聯(lián)動，包括系統(tǒng)觸發(fā)與結(jié)果反饋。需將圖像采集并上傳至服務(wù)端，并獲取服務(wù)端的處理結(jié)果?，F(xiàn)場設(shè)備由以下3個部分組成。

a）工業(yè)相機系統(tǒng)，包括工業(yè)相機、鏡頭、光源等，工業(yè)相機系統(tǒng)主要負(fù)責(zé)現(xiàn)場端圖像獲取，需根據(jù)不同檢測場景及檢測需求進(jìn)行適配及選型。

b）現(xiàn)場工控終端，一般為工控機，負(fù)責(zé)控制工業(yè)相機系統(tǒng)及現(xiàn)場設(shè)備，實現(xiàn)圖像上傳、控制指令下發(fā)、運行現(xiàn)場客戶端軟件等功能。

c）現(xiàn)場設(shè)備，包括傳感器、急停開關(guān)、三色燈、掃碼槍、顯示器等，負(fù)責(zé)信號檢測及結(jié)果顯示，實現(xiàn)系統(tǒng)觸發(fā)、運行控制、結(jié)果顯示等功能。

2.2 智能檢測平臺架構(gòu)

智能檢測平臺是視覺檢測系統(tǒng)的核心，可部署在企業(yè)數(shù)據(jù)機房或云端服務(wù)器，主要負(fù)責(zé)處理視覺檢測流程，完成包括場景管理、業(yè)務(wù)管理、算法模型訓(xùn)練、算法管理、檢測業(yè)務(wù)編排、檢測結(jié)果分析等功能。平臺提供狀態(tài)查看和統(tǒng)一管理接口，可適配不同場景的檢測需求。智能檢測平臺通過5G網(wǎng)絡(luò)與各檢測點相聯(lián)，實現(xiàn)1對n的檢測管理與應(yīng)用服務(wù)支持。

智能檢測平臺可以滿足的各類制造企業(yè)對工業(yè)視覺檢測業(yè)務(wù)的需求，為上層應(yīng)用提供服務(wù)。智能檢測平臺架構(gòu)如圖2所示。

a）基礎(chǔ)能力層。通過統(tǒng)一的接口為上層應(yīng)用提供基礎(chǔ)檢測能力。

b）編排器層。通過編排器的方式將基礎(chǔ)能力進(jìn)行組合、協(xié)同及調(diào)用，用以完成對下層基礎(chǔ)檢測能力的封裝；同時，針對特定場景的檢測需求（如暗光），可以通過對基礎(chǔ)能力的封裝形成特定場景下的解決方案，形成功能更強大、更具針對性的基礎(chǔ)檢測能力庫。

c）編排流程庫層。針對不同的應(yīng)用，需要建立一套支持將基礎(chǔ)能力編排用以解決應(yīng)用實際檢測需求的編排流程庫。

d）應(yīng)用層。通過使用編排器及編排流程庫調(diào)用基礎(chǔ)檢測能力，滿足全部檢測業(yè)務(wù)需求，并通過輸入輸出接口，向現(xiàn)場設(shè)備及人員提供工業(yè)檢測應(yīng)用服務(wù)。

e）云計算平臺。根據(jù)實際情況，使用Kubernetes或Docker技術(shù)構(gòu)建上層應(yīng)用的部署平臺。

f）基礎(chǔ)設(shè)施層。包括CPU服務(wù)器、GPU服務(wù)器及GPU推理單板機等計算資源。

g）輸入及輸出適配器。通過插件化的方式支持主流工業(yè)相機通信協(xié)議及工業(yè)總線協(xié)議，便于快速與工裝環(huán)境對接。

2.3 關(guān)鍵技術(shù)

2.3.1 平臺化的系統(tǒng)設(shè)計

現(xiàn)階段工業(yè)視覺檢測產(chǎn)品大多數(shù)是以工業(yè)智能相機或傳統(tǒng)視覺檢測方式為主。傳統(tǒng)單點檢測系統(tǒng)通常由光源、相機、圖像采集單元、圖像處理單元等模塊組成，各模塊分散部署在現(xiàn)場側(cè)，多為針對單一檢測場景定制化開發(fā)，體積較大系統(tǒng)復(fù)雜，難以升級維護(hù)[9]。智能相機是一種高度集成化的微小型機器視覺系統(tǒng)，將圖像的采集、處理與通信功能集成于一體[10]。相對于傳統(tǒng)視覺檢測系統(tǒng)，智能相機在部署上更加靈活便捷，但是由于體積限制，其處理能力通常較差，只能運行簡單算法且單機成本高昂。

相對于現(xiàn)有視覺系統(tǒng)，基于5G的AI視覺檢測系統(tǒng)是基于C/S架構(gòu)設(shè)計的視覺檢測PaaS平臺，將主要處理能力集中在后端智能檢測平臺，各檢測點通過現(xiàn)場終端將圖片發(fā)送至智能檢測平臺并實時獲取檢測結(jié)果。智能檢測平臺內(nèi)置多類算法能力，包括傳統(tǒng)的機器視覺算法以及更為復(fù)雜的深度學(xué)習(xí)模型算法等。通過平臺化的系統(tǒng)設(shè)計可支持多場景并行的視覺檢測并實現(xiàn)算法能力的復(fù)用。

作者郭熹，李斌，馬文輝，賀鳴，陳亞峰，若有侵權(quán)聯(lián)系刪除。

編輯：黃飛