導(dǎo)讀
高精度IC制造工藝需要對(duì)產(chǎn)品進(jìn)行全方位檢測(cè)以保證工藝質(zhì)量過關(guān)。友思特 Neuro-T 通過調(diào)用平臺(tái)的流程圖功能,搭建多類深度學(xué)習(xí)模型,形成了一站式的視覺檢測(cè)解決方案。本文將為您詳述方案搭建過程與實(shí)際應(yīng)用效果。
在當(dāng)今集成電路(IC)制造領(lǐng)域,特別是對(duì)于高精度要求的工藝流程,如半導(dǎo)體芯片生產(chǎn),快速準(zhǔn)確地檢測(cè)出缺陷至關(guān)重要,也有通過OCR識(shí)別芯片印刷字符從而明確缺陷芯片型號(hào)的需求。針對(duì)IC多類別視覺檢測(cè)的需求,常規(guī)方式需要一一部署視覺檢測(cè)模型,并編程實(shí)現(xiàn)多個(gè)模型的調(diào)度和交互邏輯。
友思特 Neuro-T 機(jī)器視覺軟件,通過平臺(tái)具備的流程圖(Flowchart)功能,鏈接多個(gè)不同的深度學(xué)習(xí)模型,一站式解決同一目標(biāo)多個(gè)視覺檢測(cè)需求,并可以通過推理中心(Inference Center),模擬單/多模型部署的實(shí)際檢測(cè)效果。
友思特 Neuro-T 支持的深度學(xué)習(xí)模型類型
監(jiān)督學(xué)習(xí) | ||
分類 |
![]() |
將圖像分類成不同類別或OK/NG組別 簡(jiǎn)單分類目標(biāo)缺陷的有無,精度高 |
實(shí)例分割 |
![]() |
分析圖像中檢測(cè)到的物體形狀并圈選 準(zhǔn)確識(shí)別并分割目標(biāo)的缺陷區(qū)域,精度最高,適合占像素點(diǎn)少(低至10像素點(diǎn))、形狀較簡(jiǎn)單的目標(biāo) |
目標(biāo)檢測(cè) |
![]() |
檢測(cè)圖像中物體的類別、數(shù)量并定位 識(shí)別和定位目標(biāo)的缺陷區(qū)域,精度高,適合占像素點(diǎn)稍多、形狀較復(fù)雜的目標(biāo) |
OCR字符識(shí)別 |
![]() |
檢測(cè)和識(shí)別圖像中的字母、數(shù)字或符號(hào) 預(yù)置預(yù)訓(xùn)練模型,批量快速進(jìn)行數(shù)據(jù)標(biāo)注 |
旋轉(zhuǎn) |
![]() |
旋轉(zhuǎn)圖像至合適的方位 服務(wù)于其他類型的模型,提高其他模型的識(shí)別準(zhǔn)確率 |
GAN 對(duì)抗生成網(wǎng)絡(luò) |
![]() |
學(xué)習(xí)圖像中的缺陷區(qū)域并生成虛擬缺陷 人工生成目標(biāo)的缺陷圖像,彌補(bǔ)缺陷數(shù)據(jù)量不足的問題 |
無監(jiān)督學(xué)習(xí) | ||
異常 分類 |
![]() |
在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測(cè)異常圖像進(jìn)行分類 分類目標(biāo)缺陷的有無,精度高于分類模型(可設(shè)置異常閾值),主要適用于數(shù)據(jù)缺乏場(chǎng)景 |
異常 分割 |
![]() |
在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測(cè)異常圖像并定位缺陷位置 準(zhǔn)確識(shí)別并分割異常目標(biāo)的缺陷區(qū)域,精度略低于實(shí)例分割模型(可設(shè)置異常閾值),主要適用于數(shù)據(jù)缺乏場(chǎng)景 |
友思特 Neuro-T 流程圖
友思特Neuro-T的流程圖功能,在視覺項(xiàng)目的圖像標(biāo)注和訓(xùn)練的同時(shí),提供直觀有效的UI組件,輔助項(xiàng)目流程的設(shè)計(jì)和梳理。通過鏈接多個(gè)不同的深度學(xué)習(xí)模型,平臺(tái)不僅可以對(duì)圖像中需要檢測(cè)的目標(biāo)進(jìn)行高效的聚焦和高精度的檢測(cè),還可以同時(shí)執(zhí)行不同的視覺任務(wù),滿足用戶多樣化的視覺檢測(cè)需求。
以上圖為例,初始圖像內(nèi)容包括平板以及三塊需要檢測(cè)的PCB對(duì)象,需要檢測(cè)三塊PCB的缺陷類型。該視覺檢測(cè)項(xiàng)目通過鏈接三個(gè)深度學(xué)習(xí)模型完成:
旋轉(zhuǎn)模型:檢測(cè)對(duì)象進(jìn)入相機(jī)拍攝區(qū)域并不一定是同一姿態(tài),通過旋轉(zhuǎn)模型自動(dòng)將圖像旋轉(zhuǎn)至合適的朝向,以利于后面的圖像檢測(cè)分割以及分類檢測(cè)。
目標(biāo)檢測(cè)模型:從圖像中檢測(cè)出需要檢測(cè)的PCB對(duì)象,并按實(shí)際檢測(cè)到的方框尺寸(也可以統(tǒng)一尺寸裁剪)來分割圖像,得到裁剪出來的三個(gè)PCB對(duì)象的圖像。
分類模型:對(duì)分割后的三個(gè)PCB對(duì)象的圖像分別通過目標(biāo)分類模型,最終確認(rèn)是屬于哪種缺陷類型(臟污、劃痕、孔洞)的PCB,并輸出和可視化結(jié)果。
友思特 Neuro-T 推理中心
友思特Neuro-T的推理中心,可以幫助用戶快速地驗(yàn)證單個(gè)深度學(xué)習(xí)模型或多個(gè)深度學(xué)習(xí)模型鏈接之后的實(shí)際部署檢測(cè)效果,分別以統(tǒng)計(jì)結(jié)果和圖像檢測(cè)效果的形式呈現(xiàn)??梢圆榭锤鱾€(gè)環(huán)節(jié)的檢測(cè)效果和統(tǒng)計(jì)結(jié)果,幫助用戶改進(jìn)視覺檢測(cè)項(xiàng)目。最終可以分別導(dǎo)出單一的模型,自行設(shè)計(jì)模型推理邏輯,或包含多個(gè)深度學(xué)習(xí)模型以及他們之間的鏈接的單一流程圖模型,無需自行設(shè)計(jì)多個(gè)模型之間的交互邏輯,即可完成復(fù)雜的多需求的視覺檢測(cè)項(xiàng)目。
統(tǒng)計(jì)結(jié)果
圖像檢測(cè)效果
IC 視覺檢測(cè)方案
方案一
需求:檢測(cè)IC芯片是否有引腳缺失,檢測(cè)芯片表面字符印刷是否清晰,如清晰,進(jìn)一步檢測(cè)字符。
字符檢測(cè)
引腳缺失檢測(cè)
檢測(cè)流程
(1)導(dǎo)入圖像集,標(biāo)注,訓(xùn)練,得到圖像中IC芯片的目標(biāo)檢測(cè)模型。
(2)調(diào)用目標(biāo)檢測(cè)模型,對(duì)IC芯片目標(biāo)進(jìn)行裁剪,得到只包含目標(biāo)最小框的圖像區(qū)域的新數(shù)據(jù)集,起動(dòng)態(tài)ROI的作用,排除其他內(nèi)容干擾后續(xù)檢測(cè)結(jié)果。
(3)對(duì)上述得到的新數(shù)據(jù)集標(biāo)注、訓(xùn)練,得到IC芯片的旋轉(zhuǎn)模型,并通過該模型作用于原數(shù)據(jù)集,得到新數(shù)據(jù)集,其目的是將芯片旋轉(zhuǎn)至合適朝向,便于后續(xù)檢測(cè),提高檢測(cè)準(zhǔn)確率。
(4)對(duì)上述得到的新數(shù)據(jù)集標(biāo)注,訓(xùn)練,得到異常分類模型,將原數(shù)據(jù)集分類成“OK—字符印刷正?!焙汀癗G--字符印刷異常”兩個(gè)新數(shù)據(jù)集。
(5)對(duì)于“OK”的數(shù)據(jù)集,進(jìn)一步標(biāo)注訓(xùn)練,得到OCR字符識(shí)別模型,實(shí)現(xiàn)字符檢測(cè)的效果。
(6)對(duì)于“NG”的數(shù)據(jù)集,進(jìn)一步標(biāo)注訓(xùn)練,得到實(shí)例分割模型,檢測(cè)并分割出“NG”芯片是否有引腳缺失以及引腳缺失的區(qū)域,實(shí)現(xiàn)引腳缺失檢測(cè)的效果。
方案二
需求:芯片是否引腳缺失,引腳缺失定位檢測(cè)
檢測(cè)流程
(1)導(dǎo)入圖像集。
(2)標(biāo)注,訓(xùn)練,得到圖像中IC芯片的目標(biāo)檢測(cè)模型。
(3)調(diào)用目標(biāo)檢測(cè)模型,對(duì)IC芯片目標(biāo)進(jìn)行裁剪,得到只包含目標(biāo)最小框的圖像區(qū)域的新數(shù)據(jù)集,起動(dòng)態(tài)ROI的作用,排除其他內(nèi)容干擾后續(xù)檢測(cè)結(jié)果。
(4)對(duì)上述得到的新數(shù)據(jù)集只標(biāo)注有引腳缺失的區(qū)域,訓(xùn)練,得到另一個(gè)目標(biāo)檢測(cè)模型。如果圖像中有檢測(cè)到引腳缺失的區(qū)域,則標(biāo)記為NG;若無,則標(biāo)記為OK。
部署推理效果圖(結(jié)合IDS相機(jī))
友思特研發(fā)人員開發(fā)的視覺檢測(cè)軟件對(duì)接了我們的IDS相機(jī)和深度學(xué)習(xí)軟件。右邊功能區(qū)包括分類/分割/目標(biāo)檢測(cè)/流程圖等6種深度學(xué)習(xí)模型的功能切換,以及IDS相機(jī)曝光和增益參數(shù)的調(diào)整,右上區(qū)域是檢測(cè)結(jié)果圖列表,可以右鍵保存到本地或回溯檢測(cè)結(jié)果。左邊大圖是檢測(cè)結(jié)果可視化,左下角小圖是相機(jī)捕捉的原始圖像,表格顯示的是檢測(cè)目標(biāo)的相關(guān)信息,這里以置信度為例,也可以放置檢測(cè)框的坐標(biāo)/類別等信息,扇形圖顯示的是圖中檢測(cè)對(duì)象的類型占比,可以根據(jù)具體需求調(diào)整要顯示的內(nèi)容。輸出區(qū)域顯示的是程序運(yùn)行的console。
友思特IC多類別視覺檢測(cè)方案
Neuro-T
Neuro-T 使用簡(jiǎn)單的圖形用戶界面,通過自動(dòng)優(yōu)化深度學(xué)習(xí)模型結(jié)構(gòu)和訓(xùn)練參數(shù)來創(chuàng)建出性能最佳的模型,無需任何深度學(xué)習(xí)經(jīng)驗(yàn),即可運(yùn)行自己的深度學(xué)習(xí)項(xiàng)目。在系統(tǒng)中,Neuro-T 是用于訓(xùn)練模型的核心工具。
Neuro-R
Neuro-R 可實(shí)現(xiàn)無縫整合訓(xùn)練軟件創(chuàng)建的模型至支持各種環(huán)境和編程語言的運(yùn)行時(shí) API,其獨(dú)特性在于——不僅僅是簡(jiǎn)單地傳遞模型推斷結(jié)果,還可以利用各種 API 以創(chuàng)造性的方式從多個(gè)模型生成結(jié)果,Neuro-R 是友思特缺陷檢測(cè)系統(tǒng)套裝的重要組成部分。
審核編輯 黃宇
-
IC
+關(guān)注
關(guān)注
36文章
6062瀏覽量
178039 -
機(jī)器視覺
+關(guān)注
關(guān)注
163文章
4489瀏覽量
121957 -
模型
+關(guān)注
關(guān)注
1文章
3471瀏覽量
49872 -
視覺檢測(cè)
+關(guān)注
關(guān)注
2文章
390瀏覽量
19709 -
缺陷檢測(cè)
+關(guān)注
關(guān)注
2文章
149瀏覽量
12507
發(fā)布評(píng)論請(qǐng)先 登錄
國(guó)產(chǎn)高性能AFE打造一站式儲(chǔ)能電池包高壓監(jiān)測(cè)解決方案

中軟國(guó)際推出升級(jí)版一站式AI解決方案服務(wù)
友思特方案 瞬時(shí)糾錯(cuò)的智慧算法:鋰電與半導(dǎo)體多類型視覺檢測(cè)助力高效高質(zhì)生產(chǎn)

動(dòng)力電池包氣密性檢測(cè)與漏液檢測(cè)一站式解決方案

友思特故事 突破視覺邊界 光亮自在前方:機(jī)器視覺與光電領(lǐng)域一站式解決方案供應(yīng)商

評(píng)論