機器視覺在糧油生產(chǎn)中的應(yīng)用

01

目標(biāo)和概述

傳統(tǒng)的生產(chǎn)線對人工判斷監(jiān)測依賴程度高，人工作業(yè)存在疲勞以及評判標(biāo)準(zhǔn)的不一。對企業(yè)生產(chǎn)商來說無法實現(xiàn)有效質(zhì)量監(jiān)管， 大批量的次品流入消費者市場必然會引起客訴，進而影響品牌方生產(chǎn)企業(yè)的形象。

以糧油生產(chǎn)為例，目前行業(yè)對于包裝袋的縫線識別，大多工廠僅依靠人工目檢完成，自動化程度低。在這種情況下，博觀糧油機器視覺解決方案的應(yīng)用落地，采用視覺大模型的低代碼算法訓(xùn)練平臺能夠快速實現(xiàn)流水線所需碎片化算法訓(xùn)練，提高檢測精度， 減輕糧油工廠的人力成本，從生產(chǎn)環(huán)節(jié)入手創(chuàng)造更多價值，助力工廠降本增效，推動糧食加工企業(yè)向規(guī)?；a(chǎn)和集約化經(jīng)營方向轉(zhuǎn)變，實現(xiàn)智慧升級，綜合來看具有較高的場景價值性。

博觀糧油機器視覺解決方案，借助機器視覺質(zhì)檢平臺，以網(wǎng)絡(luò)覆蓋智能制造工廠為切入點，從行業(yè)生產(chǎn)線視覺外觀缺陷檢測和字符信息識別兩大方面入手進行功能提升，整體視覺方案除應(yīng)用于糧油生產(chǎn)以外，未來還可應(yīng)用于3C電子、新能源等行業(yè)。該方案在不改變現(xiàn) 有工廠生產(chǎn)制造流水線的前提下，定制化提供機器視覺硬件外設(shè)環(huán)境，依靠獨立開發(fā)的深度學(xué)習(xí)算法檢測平臺MVIP和視覺業(yè)務(wù)軟件BreVision，智能化實現(xiàn)視覺檢測代替人工檢測的需求，達到工廠降本增效和柔性生產(chǎn)的目標(biāo)。

02方案介紹

2.1.核心技術(shù)

2.1.1.OCR字符檢測識別

OCR檢測獲取的面粉袋噴印側(cè)圖像， 如圖1 所示，可識別生產(chǎn)日期、合格信檢息測等，并可判斷字符的完整性。

OCR檢測

△ 端到端識別算法

該項目采用了端到端的字符識別技術(shù)，以保證整個功能的高效、準(zhǔn)確。區(qū)別于傳統(tǒng)的識別算法，如圖2所示，端到端識別算法無需文字定位、定點、識別多個步驟，僅需輸入原始圖像即可輸出識別結(jié)果，在節(jié)約耗時的同時最大程度挖掘可用信息。

端到端識別算法

△圖像增強&修復(fù)技術(shù)

在工業(yè)視覺領(lǐng)域，圖像的清晰度一直是一個關(guān)鍵問題，受限于應(yīng)用場景、工業(yè)攝像頭的成像質(zhì)量，獲取的初始圖像往往不會非常清晰。為了應(yīng)對這樣的問題，該項目加入了基于深度學(xué)習(xí)的圖像增強與修復(fù)技術(shù)，在識別算法的開端加入該模塊，如圖3所示，從根本上解決字符不清晰或字符有污損的問題。

圖像增強與修復(fù)

△完整性判斷

在實際應(yīng)用中，經(jīng)常面臨的另一個問題是字符不完整和缺位數(shù)問題，為此該項目引入完整性判斷模塊，根據(jù)字符的分布、深層圖像信息，確定送入的字符塊是否完整。若出現(xiàn)字符明顯殘缺，則判斷為異常樣本，進行告警。

總之，OCR算法在工業(yè)場景需要保持高穩(wěn)定、高精度和可復(fù)制性，便于支持工業(yè)環(huán)境中不同產(chǎn)線的要 求，比如全天候光線變化、褶皺導(dǎo)致字體變形、噴碼在畫面任意位置、字體格式、不同大小等情況，在為企業(yè)降本增效的同時，做到智能化設(shè)備本身的成本控制。

2.1.2.縫線完整性缺陷檢測識別

縫線檢測

縫線檢測通過配置ROI區(qū)域，獲取面粉袋的注意力區(qū)域，通過異常抓拍的識別模型判斷是否為正常拍攝的圖像，最后通過縫線異常判斷模型，檢測其縫線是否完整，如圖4所示。

△滑動ROI

在ROI配置過程中，由于面粉袋位置發(fā)生移動和扭曲，導(dǎo)致配置的ROI區(qū)域并不準(zhǔn)確，出現(xiàn)大量無效的背景影響判別效果。為解決此問題，在實際使用過程中， 使用滑動ROI，算法會根據(jù)面粉袋的邊緣位置得到較為準(zhǔn)確的封口區(qū)域，如圖5所示。

滑動ROI

△異常拍攝判斷

由于生產(chǎn)現(xiàn)場的復(fù)雜環(huán)境以及相機拍攝的不確定性，實際情況中會時而出現(xiàn)異常拍攝的數(shù)據(jù)，例如未拍攝到面粉袋、拍攝的面粉袋不完全、拍攝到工作人員等等。這些異常數(shù)據(jù)會對檢測算法產(chǎn)生干擾，從而影響最終效果，所以算法需要先判斷是否為正常拍攝圖像，剔除異常拍攝圖片后可大大提升算法精度。如圖6所示， 分別為正常拍攝、拍攝部分袋子和設(shè)備空拍的圖像。在實際使用時，加入異常拍攝判斷，存在空拍時進行算法剔除。

異常拍攝圖像

△縫線異常判斷

通過上述流程之后，圖片被送入最終的縫線檢測模型，判別封口是否縫上，保證面粉在運輸過程中，不發(fā)生灑、漏等問題。此過程中會出現(xiàn)跳線、彎曲、褶皺、小口、過曝、過暗等各種形態(tài)的樣本，如圖7所示。多種形態(tài)的樣本會嚴(yán)重影響判別的精度。

各類樣本

對于縫線異常判斷，精度要求較高，負(fù)樣本形態(tài)各異，并且難以收集，同時褶皺、彎曲、光線環(huán)境差都使得縫線位置判斷困難，而多種多樣的負(fù)樣本類型需要模型去學(xué)習(xí)更多的特征，但負(fù)樣本難以收集，數(shù)量較少。針對這些不同類型的情況，該項目設(shè)計了不同的數(shù)據(jù)增廣、網(wǎng)絡(luò)算子和損失函數(shù)，并通過實驗表明，可以有效解決上述各類問題。

2.1.3.在線檢測

△整體流程

MVIP深度學(xué)習(xí)機器視覺檢測平臺，首先通過海量的媒體數(shù)據(jù)+獨創(chuàng)的大規(guī)模多模態(tài)算法模型，使得大模型從海量視頻數(shù)據(jù)中實現(xiàn)自監(jiān)督學(xué)習(xí)通識知識，結(jié)合Few-ShotLearning等小樣本學(xué)習(xí)算法，本平臺可在幾百張樣本圖片下達到下游常見任務(wù)90+%的精度。無損高速地傳輸給服務(wù)器端。在 服務(wù)器端我們將進行強大的算法模型檢測，包括縫線檢測、文本檢測和文本識別等一系列算法，然后將迭代后的模型再次使用5G傳輸技術(shù)傳輸給邊緣側(cè)設(shè)備，供模型實時更新強化。

△技術(shù)原理

MVIP深度學(xué)習(xí)機器視覺檢測平臺的核心技術(shù)是博觀獨創(chuàng)的在線學(xué)習(xí)算法，該方法通過離線模型做離線識別，同時使用監(jiān)督模型協(xié)助監(jiān)督。在實際應(yīng)用中，將監(jiān)督模型給出的得分低于閾值的識別圖像無損地保存在在線學(xué)習(xí)素材庫內(nèi)。設(shè)備運行一段時間后，算法自動統(tǒng)計運行規(guī)律找出低頻率識別時段，并在素材庫滿足一定條件后，啟動凍結(jié)式網(wǎng)絡(luò)參數(shù)迭代更新在線學(xué)習(xí)，讓離線模型不斷完善自身“弱點”，從而達到在線學(xué)習(xí)的優(yōu)化效果。

△技術(shù)優(yōu)勢

MVIP深度學(xué)習(xí)機器視覺檢測平臺場景適應(yīng)能力極強，模型魯棒性高，可輕松應(yīng)對各種新場景。在識別劣勢的場景下可自動啟用在線學(xué)習(xí)系統(tǒng)，不影響設(shè)備正常運行的情況下，在較短的時間內(nèi)完善模型快速提升識別率。搭載 5G技術(shù)，使數(shù)據(jù)在前端與服務(wù)器端不丟包傳輸并且可加速在線學(xué)習(xí)素材讀取速度，促進了算法的高效性和實時性。

在實際應(yīng)用中，算法同時處理對面粉袋的縫線檢測和面粉袋上文本識別兩種需求，通過在線學(xué)習(xí)方式，實時更新識別算法，提升算法魯棒性，從而高效精準(zhǔn)地完成整體算法運算。

2.2.系統(tǒng)架構(gòu)

MVIP深度學(xué)習(xí)機器視覺檢測平臺助力的生產(chǎn)環(huán)節(jié)技術(shù)如下：

面粉在港裝到面粉袋后，面粉袋通過流水線輸送到噴碼機處，自動噴碼生產(chǎn)日期和批次號等OCR信息到面粉袋外包裝上，然后輸送到縫紉機處封好縫線，后續(xù)流水線進入機器視覺智能化系統(tǒng)識別區(qū)，通過機器視覺技術(shù)實現(xiàn)OCR的識別和封口縫線質(zhì)量檢測。

具體解決方案依靠光電傳感器觸發(fā)工業(yè)相機拍照，工業(yè)光源穩(wěn)定照射到OCR區(qū)以及封口縫線區(qū)，得到各自拍攝到的視覺圖片，視覺檢測系統(tǒng)并行將相機采集到的圖像通過深度學(xué)習(xí)的算法進行識別和檢測，判定面粉袋的質(zhì)量狀態(tài)，并通過視覺軟件可視化展示，同時把結(jié)果通過通信的手段給到執(zhí)行機構(gòu)信號并分揀生產(chǎn)的合格品和次品。

這解決方案系統(tǒng)架構(gòu)自下而上主要分為采集層、邊緣計算層、應(yīng)用層三層，其體邏輯架構(gòu)如圖8所示。

博觀糧油機器視覺解決方案系統(tǒng)架構(gòu)

2.3.軟硬件部署

這解決方案在前端部署硬件視覺產(chǎn)品，利用AI算法賦能機器視覺一體機，實現(xiàn)高效的圖片采集回傳?；贐reVision視覺業(yè)務(wù)軟件對圖片進行分析，可以檢測出廠的每袋面粉的生產(chǎn)日期和批次號的正確性BreVision視覺業(yè)務(wù)軟件是一款基于深度學(xué)習(xí)的智能工業(yè)視覺軟件平臺，專門用于解決復(fù)雜缺陷的定位、檢測、分類等問題，同時具備高效準(zhǔn)確的字符識別能力，可適用于各類復(fù)雜應(yīng)用場景，這解決方案軟硬件部署如圖9所示。

博觀整體視覺方案

03代表性及推廣價值

3.1.應(yīng)用情況及效果

目前，博觀糧油機器視覺解決方案已經(jīng)在國內(nèi)某知名糧油工廠實現(xiàn)落地，賦能后共計覆蓋30+條生產(chǎn)流水線，節(jié)省30+人力，并且從人工目檢每條生產(chǎn)線8000多袋/天的生產(chǎn)能力，提升到應(yīng)用機器視覺檢測后每條生產(chǎn)線20000多袋/天的生產(chǎn)能力，生產(chǎn)效率提升150%， 有效實現(xiàn)了生產(chǎn)設(shè)備滿時運轉(zhuǎn)的工作狀態(tài)。

3.2.創(chuàng)新性

3.2.1.技術(shù)的示范效應(yīng)

該方案中的機器視覺質(zhì)檢平臺依靠深度學(xué)習(xí)算法， 能高效檢測糧油生產(chǎn)中的包裝袋破損問題，精準(zhǔn)識別OCR信息，已達到<0.1%的過檢率和0%的漏檢率，方案后續(xù)可以投入于國內(nèi)更多的糧油加工企業(yè)及糧食行 業(yè)。我國是農(nóng)業(yè)大國，糧食行業(yè)是直接與農(nóng)業(yè)生產(chǎn)相關(guān)的基礎(chǔ)行業(yè)，存在大量機器視覺替換人工檢測的潛在需求。該方案能夠利用高性價比的機器視覺幫助眾多糧油企業(yè)降低人力成本，促進柔性生產(chǎn)，帶動智能化轉(zhuǎn)型升級，應(yīng)用前景廣闊，市場推廣規(guī)模巨大。

3.2.2.商業(yè)價值

近年來，在制造業(yè)向自動化、智能化升級轉(zhuǎn)型的趨勢下，機器視覺擁有著千億規(guī)模的市場前景。但目前在工業(yè)領(lǐng)域，將AI融入機器視覺算法中的嘗試剛剛起步， 在全球范圍尚處于摸索起步階段，本項目的成功應(yīng)用給行業(yè)內(nèi)客戶提供了比較有借鑒意義的案例。

博觀機器視覺質(zhì)檢平臺計劃在不斷通過人工智能算法優(yōu)化來進一步提升機器視覺設(shè)備的泛化性和準(zhǔn)確性，讓人工智能更穩(wěn)定地應(yīng)用于工業(yè)現(xiàn)場的惡劣環(huán)境中，對于提升整體工業(yè)制造的智能化水平也頗具意義。該機器視覺質(zhì)檢平臺探索的路徑是，結(jié)合客戶的痛點以及AI算法的能力，將兩者合二為一，采用最高效的方式來不斷地提高工業(yè)場景的生產(chǎn)效率。未來博觀將在智能制造、高端裝備、自動化設(shè)備等行業(yè)探尋更多技術(shù)深化和項目合作。

3.2.3.社會價值

△節(jié)約人力成本

從長期來看，伴隨日益嚴(yán)重的人口老齡化趨勢， 人員短缺、勞動力價格上漲的狀態(tài)還將持續(xù)，這都在無形之中加劇企業(yè)的生產(chǎn)成本。博觀糧油機器視覺解決方案的落地應(yīng)用，能夠?qū)崿F(xiàn)機器視覺對人工檢測的有效替代，減輕糧油生產(chǎn)過程中對傳統(tǒng)人力的依賴性，能夠為企業(yè)節(jié)約大量的人力成本，緩解因人工成本上漲而帶來的生產(chǎn)壓力，加快降本增效。

△減少糧食資源浪費

在人多地少的基本國情下，節(jié)約糧食是保障14億 人糧食安全的戰(zhàn)略選擇。然而，我國糧食損耗浪費現(xiàn)象嚴(yán)重，糧食供給端存在資源配置效率偏低的問題。據(jù)聯(lián)合國糧農(nóng)組織估計，我國每年僅在糧食收獲、運輸、儲存、加工過程中造成的損失浪費，就達到糧食總量的6%。博觀糧油機器視覺解決方案通過機器視覺質(zhì)檢， 在發(fā)現(xiàn)包裝袋斷線、漏縫等多種殘次問題后，能做到第一時間報警并剔除，解決了傳統(tǒng)人工檢測帶來的產(chǎn)品品質(zhì)波動問題，減少了因包裝袋破損產(chǎn)生的糧食損耗，在保證產(chǎn)品良品率的同時避免了原材料浪費。

△保障糧食生產(chǎn)安全

保障糧食安全，不僅要從源頭出發(fā)保證原材料的 安全，還要加強對加工制造過程的檢驗檢查。包裝袋開口、破損等加工過程中常見的問題容易引發(fā)袋內(nèi)糧品污染，保質(zhì)期縮短，還會招致發(fā)霉蟲害等，威脅人民健 康。博觀糧油機器視覺解決方案，借助人工智能、機器視覺、云計算等先進技術(shù)，高效檢測包裝袋破損問題 并及時告警相關(guān)人員處理，實現(xiàn)了糧油工廠的智能化管控，為糧食生產(chǎn)安全保駕護航。

審核編輯 ：李倩