友思特應(yīng)用 | 模型鏈接一應(yīng)俱全：IC多類別視覺(jué)檢測(cè)一站式解決方案

導(dǎo)讀

高精度IC制造工藝需要對(duì)產(chǎn)品進(jìn)行全方位檢測(cè)以保證工藝質(zhì)量過(guò)關(guān)。友思特 Neuro-T 通過(guò)調(diào)用平臺(tái)的流程圖功能，搭建多類深度學(xué)習(xí)模型，形成了一站式的視覺(jué)檢測(cè)解決方案。本文將為您詳述方案搭建過(guò)程與實(shí)際應(yīng)用效果。

在當(dāng)今集成電路（IC）制造領(lǐng)域，特別是對(duì)于高精度要求的工藝流程，如半導(dǎo)體芯片生產(chǎn)，快速準(zhǔn)確地檢測(cè)出缺陷至關(guān)重要，也有通過(guò)OCR識(shí)別芯片印刷字符從而明確缺陷芯片型號(hào)的需求。針對(duì)IC多類別視覺(jué)檢測(cè)的需求，常規(guī)方式需要一一部署視覺(jué)檢測(cè)模型，并編程實(shí)現(xiàn)多個(gè)模型的調(diào)度和交互邏輯。

友思特 Neuro-T 機(jī)器視覺(jué)軟件，通過(guò)平臺(tái)具備的流程圖（Flowchart）功能，鏈接多個(gè)不同的深度學(xué)習(xí)模型，一站式解決同一目標(biāo)多個(gè)視覺(jué)檢測(cè)需求，并可以通過(guò)推理中心（Inference Center），模擬單/多模型部署的實(shí)際檢測(cè)效果。

友思特 Neuro-T 支持的深度學(xué)習(xí)模型類型

監(jiān)督學(xué)習(xí)
分類		將圖像分類成不同類別或OK/NG組別 簡(jiǎn)單分類目標(biāo)缺陷的有無(wú)，精度高
實(shí)例分割		分析圖像中檢測(cè)到的物體形狀并圈選 準(zhǔn)確識(shí)別并分割目標(biāo)的缺陷區(qū)域，精度最高，適合占像素點(diǎn)少（低至10像素點(diǎn)）、形狀較簡(jiǎn)單的目標(biāo)
目標(biāo)檢測(cè)		檢測(cè)圖像中物體的類別、數(shù)量并定位 識(shí)別和定位目標(biāo)的缺陷區(qū)域，精度高，適合占像素點(diǎn)稍多、形狀較復(fù)雜的目標(biāo)
OCR字符識(shí)別		檢測(cè)和識(shí)別圖像中的字母、數(shù)字或符號(hào) 預(yù)置預(yù)訓(xùn)練模型，批量快速進(jìn)行數(shù)據(jù)標(biāo)注
旋轉(zhuǎn)		旋轉(zhuǎn)圖像至合適的方位 服務(wù)于其他類型的模型，提高其他模型的識(shí)別準(zhǔn)確率
GAN 對(duì)抗生成網(wǎng)絡(luò)		學(xué)習(xí)圖像中的缺陷區(qū)域并生成虛擬缺陷 人工生成目標(biāo)的缺陷圖像，彌補(bǔ)缺陷數(shù)據(jù)量不足的問(wèn)題
無(wú)監(jiān)督學(xué)習(xí)
異常 分類		在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測(cè)異常圖像進(jìn)行分類 分類目標(biāo)缺陷的有無(wú)，精度高于分類模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場(chǎng)景
異常 分割		在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測(cè)異常圖像并定位缺陷位置 準(zhǔn)確識(shí)別并分割異常目標(biāo)的缺陷區(qū)域，精度略低于實(shí)例分割模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場(chǎng)景

友思特 Neuro-T 流程圖

友思特Neuro-T的流程圖功能，在視覺(jué)項(xiàng)目的圖像標(biāo)注和訓(xùn)練的同時(shí)，提供直觀有效的UI組件，輔助項(xiàng)目流程的設(shè)計(jì)和梳理。通過(guò)鏈接多個(gè)不同的深度學(xué)習(xí)模型，平臺(tái)不僅可以對(duì)圖像中需要檢測(cè)的目標(biāo)進(jìn)行高效的聚焦和高精度的檢測(cè)，還可以同時(shí)執(zhí)行不同的視覺(jué)任務(wù)，滿足用戶多樣化的視覺(jué)檢測(cè)需求。

以上圖為例，初始圖像內(nèi)容包括平板以及三塊需要檢測(cè)的PCB對(duì)象，需要檢測(cè)三塊PCB的缺陷類型。該視覺(jué)檢測(cè)項(xiàng)目通過(guò)鏈接三個(gè)深度學(xué)習(xí)模型完成：

旋轉(zhuǎn)模型：檢測(cè)對(duì)象進(jìn)入相機(jī)拍攝區(qū)域并不一定是同一姿態(tài)，通過(guò)旋轉(zhuǎn)模型自動(dòng)將圖像旋轉(zhuǎn)至合適的朝向，以利于后面的圖像檢測(cè)分割以及分類檢測(cè)。

目標(biāo)檢測(cè)模型：從圖像中檢測(cè)出需要檢測(cè)的PCB對(duì)象，并按實(shí)際檢測(cè)到的方框尺寸（也可以統(tǒng)一尺寸裁剪）來(lái)分割圖像，得到裁剪出來(lái)的三個(gè)PCB對(duì)象的圖像。

分類模型：對(duì)分割后的三個(gè)PCB對(duì)象的圖像分別通過(guò)目標(biāo)分類模型，最終確認(rèn)是屬于哪種缺陷類型（臟污、劃痕、孔洞）的PCB，并輸出和可視化結(jié)果。

友思特 Neuro-T 推理中心

友思特Neuro-T的推理中心，可以幫助用戶快速地驗(yàn)證單個(gè)深度學(xué)習(xí)模型或多個(gè)深度學(xué)習(xí)模型鏈接之后的實(shí)際部署檢測(cè)效果，分別以統(tǒng)計(jì)結(jié)果和圖像檢測(cè)效果的形式呈現(xiàn)?？梢圆榭锤鱾€(gè)環(huán)節(jié)的檢測(cè)效果和統(tǒng)計(jì)結(jié)果，幫助用戶改進(jìn)視覺(jué)檢測(cè)項(xiàng)目。最終可以分別導(dǎo)出單一的模型，自行設(shè)計(jì)模型推理邏輯，或包含多個(gè)深度學(xué)習(xí)模型以及他們之間的鏈接的單一流程圖模型，無(wú)需自行設(shè)計(jì)多個(gè)模型之間的交互邏輯，即可完成復(fù)雜的多需求的視覺(jué)檢測(cè)項(xiàng)目。

統(tǒng)計(jì)結(jié)果

圖像檢測(cè)效果

IC 視覺(jué)檢測(cè)方案

方案一

需求：檢測(cè)IC芯片是否有引腳缺失，檢測(cè)芯片表面字符印刷是否清晰，如清晰，進(jìn)一步檢測(cè)字符。

字符檢測(cè) 引腳缺失檢測(cè)

檢測(cè)流程

（1）導(dǎo)入圖像集，標(biāo)注，訓(xùn)練，得到圖像中IC芯片的目標(biāo)檢測(cè)模型。

（2）調(diào)用目標(biāo)檢測(cè)模型，對(duì)IC芯片目標(biāo)進(jìn)行裁剪，得到只包含目標(biāo)最小框的圖像區(qū)域的新數(shù)據(jù)集，起動(dòng)態(tài)ROI的作用，排除其他內(nèi)容干擾后續(xù)檢測(cè)結(jié)果。

（3）對(duì)上述得到的新數(shù)據(jù)集標(biāo)注、訓(xùn)練，得到IC芯片的旋轉(zhuǎn)模型，并通過(guò)該模型作用于原數(shù)據(jù)集，得到新數(shù)據(jù)集，其目的是將芯片旋轉(zhuǎn)至合適朝向，便于后續(xù)檢測(cè)，提高檢測(cè)準(zhǔn)確率。

（4）對(duì)上述得到的新數(shù)據(jù)集標(biāo)注，訓(xùn)練，得到異常分類模型，將原數(shù)據(jù)集分類成“OK—字符印刷正?！焙汀癗G--字符印刷異?！眱蓚€(gè)新數(shù)據(jù)集。

（5）對(duì)于“OK”的數(shù)據(jù)集，進(jìn)一步標(biāo)注訓(xùn)練，得到OCR字符識(shí)別模型，實(shí)現(xiàn)字符檢測(cè)的效果。

（6）對(duì)于“NG”的數(shù)據(jù)集，進(jìn)一步標(biāo)注訓(xùn)練，得到實(shí)例分割模型，檢測(cè)并分割出“NG”芯片是否有引腳缺失以及引腳缺失的區(qū)域，實(shí)現(xiàn)引腳缺失檢測(cè)的效果。

方案二

需求：芯片是否引腳缺失，引腳缺失定位檢測(cè)

檢測(cè)流程

（1）導(dǎo)入圖像集。

（2）標(biāo)注，訓(xùn)練，得到圖像中IC芯片的目標(biāo)檢測(cè)模型。

（3）調(diào)用目標(biāo)檢測(cè)模型，對(duì)IC芯片目標(biāo)進(jìn)行裁剪，得到只包含目標(biāo)最小框的圖像區(qū)域的新數(shù)據(jù)集，起動(dòng)態(tài)ROI的作用，排除其他內(nèi)容干擾后續(xù)檢測(cè)結(jié)果。

（4）對(duì)上述得到的新數(shù)據(jù)集只標(biāo)注有引腳缺失的區(qū)域，訓(xùn)練，得到另一個(gè)目標(biāo)檢測(cè)模型。如果圖像中有檢測(cè)到引腳缺失的區(qū)域，則標(biāo)記為NG；若無(wú)，則標(biāo)記為OK。

部署推理效果圖（結(jié)合IDS相機(jī)）

友思特研發(fā)人員開發(fā)的視覺(jué)檢測(cè)軟件對(duì)接了我們的IDS相機(jī)和深度學(xué)習(xí)軟件。右邊功能區(qū)包括分類/分割/目標(biāo)檢測(cè)/流程圖等6種深度學(xué)習(xí)模型的功能切換，以及IDS相機(jī)曝光和增益參數(shù)的調(diào)整，右上區(qū)域是檢測(cè)結(jié)果圖列表，可以右鍵保存到本地或回溯檢測(cè)結(jié)果。左邊大圖是檢測(cè)結(jié)果可視化，左下角小圖是相機(jī)捕捉的原始圖像，表格顯示的是檢測(cè)目標(biāo)的相關(guān)信息，這里以置信度為例，也可以放置檢測(cè)框的坐標(biāo)/類別等信息，扇形圖顯示的是圖中檢測(cè)對(duì)象的類型占比，可以根據(jù)具體需求調(diào)整要顯示的內(nèi)容。輸出區(qū)域顯示的是程序運(yùn)行的console。

友思特IC多類別視覺(jué)檢測(cè)方案

Neuro-T

Neuro-T 使用簡(jiǎn)單的圖形用戶界面，通過(guò)自動(dòng)優(yōu)化深度學(xué)習(xí)模型結(jié)構(gòu)和訓(xùn)練參數(shù)來(lái)創(chuàng)建出性能最佳的模型，無(wú)需任何深度學(xué)習(xí)經(jīng)驗(yàn)，即可運(yùn)行自己的深度學(xué)習(xí)項(xiàng)目。在系統(tǒng)中，Neuro-T 是用于訓(xùn)練模型的核心工具。

Neuro-R

Neuro-R 可實(shí)現(xiàn)無(wú)縫整合訓(xùn)練軟件創(chuàng)建的模型至支持各種環(huán)境和編程語(yǔ)言的運(yùn)行時(shí) API，其獨(dú)特性在于——不僅僅是簡(jiǎn)單地傳遞模型推斷結(jié)果，還可以利用各種 API 以創(chuàng)造性的方式從多個(gè)模型生成結(jié)果，Neuro-R 是友思特缺陷檢測(cè)系統(tǒng)套裝的重要組成部分。

審核編輯 黃宇