0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

友思特應(yīng)用 | 模型鏈接一應(yīng)俱全:IC多類別視覺檢測(cè)一站式解決方案

Hophotonix ? 來源:Hophotonix ? 作者:Hophotonix ? 2024-06-18 18:19 ? 次閱讀

導(dǎo)讀

高精度IC制造工藝需要對(duì)產(chǎn)品進(jìn)行全方位檢測(cè)以保證工藝質(zhì)量過關(guān)。友思特 Neuro-T 通過調(diào)用平臺(tái)的流程圖功能,搭建多類深度學(xué)習(xí)模型,形成了一站式的視覺檢測(cè)解決方案。本文將為您詳述方案搭建過程與實(shí)際應(yīng)用效果。

在當(dāng)今集成電路(IC)制造領(lǐng)域,特別是對(duì)于高精度要求的工藝流程,如半導(dǎo)體芯片生產(chǎn),快速準(zhǔn)確地檢測(cè)出缺陷至關(guān)重要,也有通過OCR識(shí)別芯片印刷字符從而明確缺陷芯片型號(hào)的需求。針對(duì)IC多類別視覺檢測(cè)的需求,常規(guī)方式需要一一部署視覺檢測(cè)模型,并編程實(shí)現(xiàn)多個(gè)模型的調(diào)度和交互邏輯。

友思特 Neuro-T 機(jī)器視覺軟件,通過平臺(tái)具備的流程圖(Flowchart)功能,鏈接多個(gè)不同的深度學(xué)習(xí)模型,一站式解決同一目標(biāo)多個(gè)視覺檢測(cè)需求,并可以通過推理中心(Inference Center),模擬單/多模型部署的實(shí)際檢測(cè)效果。

友思特 Neuro-T 支持的深度學(xué)習(xí)模型類型

監(jiān)督學(xué)習(xí)
分類 wKgZomYWXQeAXRFuAABqTVUVcb8253.png 將圖像分類成不同類別或OK/NG組別
簡(jiǎn)單分類目標(biāo)缺陷的有無,精度高
實(shí)例分割 wKgZomYWXR2Ab6jEAAAvlEPhE94451.png 分析圖像中檢測(cè)到的物體形狀并圈選
準(zhǔn)確識(shí)別并分割目標(biāo)的缺陷區(qū)域,精度最高,適合占像素點(diǎn)少(低至10像素點(diǎn))、形狀較簡(jiǎn)單的目標(biāo)
目標(biāo)檢測(cè) wKgZomYWXSWAVnxuAABafyeoAww250.png 檢測(cè)圖像中物體的類別、數(shù)量并定位
識(shí)別和定位目標(biāo)的缺陷區(qū)域,精度高,適合占像素點(diǎn)稍多、形狀較復(fù)雜的目標(biāo)
OCR字符識(shí)別 wKgaomYWXSqASr8cAACdvCq_NV4595.png 檢測(cè)和識(shí)別圖像中的字母、數(shù)字或符號(hào)
預(yù)置預(yù)訓(xùn)練模型,批量快速進(jìn)行數(shù)據(jù)標(biāo)注
旋轉(zhuǎn) wKgaomYWXTiAFLSSAABj1B3EFLo408.png 旋轉(zhuǎn)圖像至合適的方位
服務(wù)于其他類型的模型,提高其他模型的識(shí)別準(zhǔn)確率
GAN
對(duì)抗生成網(wǎng)絡(luò)
wKgaomYWXUCAWj44AACrI7aWir0864.png 學(xué)習(xí)圖像中的缺陷區(qū)域并生成虛擬缺陷
人工生成目標(biāo)的缺陷圖像,彌補(bǔ)缺陷數(shù)據(jù)量不足的問題
無監(jiān)督學(xué)習(xí)
異常
分類
wKgaomYWXUeAOhmZAACdoj6m9gk525.png 在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測(cè)異常圖像進(jìn)行分類
分類目標(biāo)缺陷的有無,精度高于分類模型(可設(shè)置異常閾值),主要適用于數(shù)據(jù)缺乏場(chǎng)景
異常
分割
wKgaomYWXUyAAakEAABhfou93V4891.png 在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測(cè)異常圖像并定位缺陷位置
準(zhǔn)確識(shí)別并分割異常目標(biāo)的缺陷區(qū)域,精度略低于實(shí)例分割模型(可設(shè)置異常閾值),主要適用于數(shù)據(jù)缺乏場(chǎng)景

友思特 Neuro-T 流程圖

wKgZomZxWmaAOw4gAAHKTdIklZQ189.png

友思特Neuro-T的流程圖功能,在視覺項(xiàng)目的圖像標(biāo)注和訓(xùn)練的同時(shí),提供直觀有效的UI組件,輔助項(xiàng)目流程的設(shè)計(jì)和梳理。通過鏈接多個(gè)不同的深度學(xué)習(xí)模型,平臺(tái)不僅可以對(duì)圖像中需要檢測(cè)的目標(biāo)進(jìn)行高效的聚焦和高精度的檢測(cè),還可以同時(shí)執(zhí)行不同的視覺任務(wù),滿足用戶多樣化的視覺檢測(cè)需求。

以上圖為例,初始圖像內(nèi)容包括平板以及三塊需要檢測(cè)的PCB對(duì)象,需要檢測(cè)三塊PCB的缺陷類型。該視覺檢測(cè)項(xiàng)目通過鏈接三個(gè)深度學(xué)習(xí)模型完成:

旋轉(zhuǎn)模型:檢測(cè)對(duì)象進(jìn)入相機(jī)拍攝區(qū)域并不一定是同一姿態(tài),通過旋轉(zhuǎn)模型自動(dòng)將圖像旋轉(zhuǎn)至合適的朝向,以利于后面的圖像檢測(cè)分割以及分類檢測(cè)。

目標(biāo)檢測(cè)模型:從圖像中檢測(cè)出需要檢測(cè)的PCB對(duì)象,并按實(shí)際檢測(cè)到的方框尺寸(也可以統(tǒng)一尺寸裁剪)來分割圖像,得到裁剪出來的三個(gè)PCB對(duì)象的圖像。

分類模型:對(duì)分割后的三個(gè)PCB對(duì)象的圖像分別通過目標(biāo)分類模型,最終確認(rèn)是屬于哪種缺陷類型(臟污、劃痕、孔洞)的PCB,并輸出和可視化結(jié)果。

友思特 Neuro-T 推理中心

wKgaomZxWnWASvmWAACKgloiTzU829.png

友思特Neuro-T的推理中心,可以幫助用戶快速地驗(yàn)證單個(gè)深度學(xué)習(xí)模型或多個(gè)深度學(xué)習(xí)模型鏈接之后的實(shí)際部署檢測(cè)效果,分別以統(tǒng)計(jì)結(jié)果圖像檢測(cè)效果的形式呈現(xiàn)??梢圆榭锤鱾€(gè)環(huán)節(jié)的檢測(cè)效果和統(tǒng)計(jì)結(jié)果,幫助用戶改進(jìn)視覺檢測(cè)項(xiàng)目。最終可以分別導(dǎo)出單一的模型,自行設(shè)計(jì)模型推理邏輯,或包含多個(gè)深度學(xué)習(xí)模型以及他們之間的鏈接的單一流程圖模型,無需自行設(shè)計(jì)多個(gè)模型之間的交互邏輯,即可完成復(fù)雜的多需求的視覺檢測(cè)項(xiàng)目。

統(tǒng)計(jì)結(jié)果

wKgaomZxWoOABtqxAAB9B-3ju68958.png

圖像檢測(cè)效果

wKgaomZxWoqAXBMPAARw65fClOk239.png

IC 視覺檢測(cè)方案

方案一

需求:檢測(cè)IC芯片是否有引腳缺失,檢測(cè)芯片表面字符印刷是否清晰,如清晰,進(jìn)一步檢測(cè)字符。

wKgZomZxXliADiZAAADDlvmqXJQ579.png字符檢測(cè) wKgaomZxXmKAJPfUAABi_-DzpME016.png引腳缺失檢測(cè)

檢測(cè)流程

(1)導(dǎo)入圖像集,標(biāo)注,訓(xùn)練,得到圖像中IC芯片的目標(biāo)檢測(cè)模型。

(2)調(diào)用目標(biāo)檢測(cè)模型,對(duì)IC芯片目標(biāo)進(jìn)行裁剪,得到只包含目標(biāo)最小框的圖像區(qū)域的新數(shù)據(jù)集,起動(dòng)態(tài)ROI的作用,排除其他內(nèi)容干擾后續(xù)檢測(cè)結(jié)果。

(3)對(duì)上述得到的新數(shù)據(jù)集標(biāo)注、訓(xùn)練,得到IC芯片的旋轉(zhuǎn)模型,并通過該模型作用于原數(shù)據(jù)集,得到新數(shù)據(jù)集,其目的是將芯片旋轉(zhuǎn)至合適朝向,便于后續(xù)檢測(cè),提高檢測(cè)準(zhǔn)確率。

(4)對(duì)上述得到的新數(shù)據(jù)集標(biāo)注,訓(xùn)練,得到異常分類模型,將原數(shù)據(jù)集分類成“OK—字符印刷正?!焙汀癗G--字符印刷異常”兩個(gè)新數(shù)據(jù)集。

(5)對(duì)于“OK”的數(shù)據(jù)集,進(jìn)一步標(biāo)注訓(xùn)練,得到OCR字符識(shí)別模型,實(shí)現(xiàn)字符檢測(cè)的效果。

(6)對(duì)于“NG”的數(shù)據(jù)集,進(jìn)一步標(biāo)注訓(xùn)練,得到實(shí)例分割模型,檢測(cè)并分割出“NG”芯片是否有引腳缺失以及引腳缺失的區(qū)域,實(shí)現(xiàn)引腳缺失檢測(cè)的效果。

wKgaomZxXn-AGprjAAPFTECVlLE812.png

方案二

需求:芯片是否引腳缺失,引腳缺失定位檢測(cè)

檢測(cè)流程

(1)導(dǎo)入圖像集。

(2)標(biāo)注,訓(xùn)練,得到圖像中IC芯片的目標(biāo)檢測(cè)模型

(3)調(diào)用目標(biāo)檢測(cè)模型,對(duì)IC芯片目標(biāo)進(jìn)行裁剪,得到只包含目標(biāo)最小框的圖像區(qū)域的新數(shù)據(jù)集,起動(dòng)態(tài)ROI的作用,排除其他內(nèi)容干擾后續(xù)檢測(cè)結(jié)果。

(4)對(duì)上述得到的新數(shù)據(jù)集只標(biāo)注有引腳缺失的區(qū)域,訓(xùn)練,得到另一個(gè)目標(biāo)檢測(cè)模型。如果圖像中有檢測(cè)到引腳缺失的區(qū)域,則標(biāo)記為NG;若無,則標(biāo)記為OK。

wKgaomZxXrCAWHeUAAL6oLSM_9c761.png

部署推理效果圖(結(jié)合IDS相機(jī))

wKgaomZxXsGAZ26gAA4Advtgcpg725.pngwKgZomZxXs6AP6hDAANRZjUyjZs664.png

友思特研發(fā)人員開發(fā)的視覺檢測(cè)軟件對(duì)接了我們的IDS相機(jī)和深度學(xué)習(xí)軟件。右邊功能區(qū)包括分類/分割/目標(biāo)檢測(cè)/流程圖等6種深度學(xué)習(xí)模型的功能切換,以及IDS相機(jī)曝光和增益參數(shù)的調(diào)整,右上區(qū)域是檢測(cè)結(jié)果圖列表,可以右鍵保存到本地或回溯檢測(cè)結(jié)果。左邊大圖是檢測(cè)結(jié)果可視化,左下角小圖是相機(jī)捕捉的原始圖像,表格顯示的是檢測(cè)目標(biāo)的相關(guān)信息,這里以置信度為例,也可以放置檢測(cè)框的坐標(biāo)/類別等信息,扇形圖顯示的是圖中檢測(cè)對(duì)象的類型占比,可以根據(jù)具體需求調(diào)整要顯示的內(nèi)容。輸出區(qū)域顯示的是程序運(yùn)行的console。

友思特IC多類別視覺檢測(cè)方案

Neuro-T

wKgZomZxXwGASk6qAAYYC_ajUyw625.png

Neuro-T 使用簡(jiǎn)單的圖形用戶界面,通過自動(dòng)優(yōu)化深度學(xué)習(xí)模型結(jié)構(gòu)和訓(xùn)練參數(shù)來創(chuàng)建出性能最佳的模型,無需任何深度學(xué)習(xí)經(jīng)驗(yàn),即可運(yùn)行自己的深度學(xué)習(xí)項(xiàng)目。在系統(tǒng)中,Neuro-T 是用于訓(xùn)練模型的核心工具。

Neuro-R

wKgZomZxXwiAH46fAAZTpohJWFE348.png

Neuro-R 可實(shí)現(xiàn)無縫整合訓(xùn)練軟件創(chuàng)建的模型至支持各種環(huán)境和編程語言的運(yùn)行時(shí) API,其獨(dú)特性在于——不僅僅是簡(jiǎn)單地傳遞模型推斷結(jié)果,還可以利用各種 API 以創(chuàng)造性的方式從多個(gè)模型生成結(jié)果,Neuro-R 是友思特缺陷檢測(cè)系統(tǒng)套裝的重要組成部分。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • IC
    IC
    +關(guān)注

    關(guān)注

    36

    文章

    6062

    瀏覽量

    178039
  • 機(jī)器視覺
    +關(guān)注

    關(guān)注

    163

    文章

    4489

    瀏覽量

    121957
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3471

    瀏覽量

    49872
  • 視覺檢測(cè)
    +關(guān)注

    關(guān)注

    2

    文章

    390

    瀏覽量

    19709
  • 缺陷檢測(cè)
    +關(guān)注

    關(guān)注

    2

    文章

    149

    瀏覽量

    12507
收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    國(guó)產(chǎn)高性能AFE打造一站式儲(chǔ)能電池包高壓監(jiān)測(cè)解決方案

    國(guó)產(chǎn)高性能AFE打造一站式儲(chǔ)能電池包高壓監(jiān)測(cè)解決方案
    的頭像 發(fā)表于 02-10 09:34 ?279次閱讀
    國(guó)產(chǎn)高性能AFE打造<b class='flag-5'>一站式</b>儲(chǔ)能電池包高壓監(jiān)測(cè)<b class='flag-5'>解決方案</b>

    中軟國(guó)際推出升級(jí)版一站式AI解決方案服務(wù)

    近日,中軟國(guó)際模型工場(chǎng)基于昇騰云、DeepSeek模型,推出升級(jí)版一站式AI解決方案服務(wù)。基于昇騰云,模型工場(chǎng)已完成DeepSeek-R1
    的頭像 發(fā)表于 02-08 10:18 ?432次閱讀

    高性能BMS AFE打造一站式儲(chǔ)能電池包高壓監(jiān)測(cè)解決方案

    高性能BMS AFE打造一站式儲(chǔ)能電池包高壓監(jiān)測(cè)解決方案
    的頭像 發(fā)表于 12-24 09:50 ?489次閱讀
    高性能BMS AFE打造<b class='flag-5'>一站式</b>儲(chǔ)能電池包高壓監(jiān)測(cè)<b class='flag-5'>解決方案</b>

    方案 瞬時(shí)糾錯(cuò)的智慧算法:鋰電與半導(dǎo)體類型視覺檢測(cè)助力高效高質(zhì)生產(chǎn)

    為新能源鋰電行業(yè)賦能第三:豐富智慧的類型視覺檢測(cè)系統(tǒng)!鋰電行業(yè)產(chǎn)線檢測(cè)效率和準(zhǔn)確性決定了生產(chǎn)的投產(chǎn)比與產(chǎn)品的出貨質(zhì)量。
    的頭像 發(fā)表于 12-05 13:41 ?508次閱讀
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b><b class='flag-5'>方案</b> 瞬時(shí)糾錯(cuò)的智慧算法:鋰電與半導(dǎo)體<b class='flag-5'>多</b>類型<b class='flag-5'>視覺</b><b class='flag-5'>檢測(cè)</b>助力高效高質(zhì)生產(chǎn)

    動(dòng)力電池包氣密性檢測(cè)與漏液檢測(cè)一站式解決方案

    關(guān)注動(dòng)力電池行業(yè)泄漏檢測(cè)需求,憑借核心自研和10-1到10-11全檢測(cè)精度需求覆蓋的優(yōu)勢(shì),為國(guó)內(nèi)知名電池廠商及車企提供電池泄漏檢測(cè)一站式方案
    的頭像 發(fā)表于 12-04 14:24 ?850次閱讀
    動(dòng)力電池包氣密性<b class='flag-5'>檢測(cè)</b>與漏液<b class='flag-5'>檢測(cè)</b><b class='flag-5'>一站式</b><b class='flag-5'>解決方案</b>

    故事 突破視覺邊界 光亮自在前方:機(jī)器視覺與光電領(lǐng)域一站式解決方案供應(yīng)商

    從細(xì)微處探索萬千世界,始于洞察感知與創(chuàng)新突破,立足于智慧視覺與精密光電,迭代技術(shù)服務(wù)、傾注熱情汗水,只為各行業(yè)客戶提升生產(chǎn)效率、改善生產(chǎn)質(zhì)量,共同創(chuàng)造
    的頭像 發(fā)表于 11-18 17:49 ?575次閱讀
    <b class='flag-5'>友</b><b class='flag-5'>思</b><b class='flag-5'>特</b>故事  突破<b class='flag-5'>視覺</b>邊界 光亮自在前方:機(jī)器<b class='flag-5'>視覺</b>與光電領(lǐng)域<b class='flag-5'>一站式</b><b class='flag-5'>解決方案</b>供應(yīng)商

    百川智能發(fā)布一站式模型商業(yè)化解決方案

    近日,百川智能正式推出了一站式模型商業(yè)化解決方案,旨在為企業(yè)提供更加全面、高效的大模型應(yīng)用服務(wù)。該解決方案以1+3產(chǎn)品矩陣為核心,包括全鏈
    的頭像 發(fā)表于 11-01 18:01 ?1146次閱讀

    智慧路燈的定義 全方位解析物聯(lián)網(wǎng)智慧燈桿一站式解決方案

    智慧路燈的定義(全方位解析物聯(lián)網(wǎng)智慧燈桿一站式解決方案
    的頭像 發(fā)表于 10-12 09:26 ?1197次閱讀
    智慧路燈的定義 全方位解析物聯(lián)網(wǎng)智慧燈桿<b class='flag-5'>一站式</b><b class='flag-5'>解決方案</b>

    光纖處理一站式解決方案:剝除-切割-熔接-涂覆(全品類光纖)

    電子發(fā)燒友網(wǎng)站提供《光纖處理一站式解決方案:剝除-切割-熔接-涂覆(全品類光纖).pdf》資料免費(fèi)下載
    發(fā)表于 07-27 13:29 ?0次下載

    EMC與EMI一站式解決方案:從源頭解決,滿足您的需求

    深圳比創(chuàng)達(dá)|EMC與EMI一站式解決方案:從源頭解決,滿足您的需求
    的頭像 發(fā)表于 06-28 10:21 ?732次閱讀
    EMC與EMI<b class='flag-5'>一站式</b><b class='flag-5'>解決方案</b>:從源頭解決,滿足您的需求

    EMC與EMI一站式解決方案:源頭到終端的全面防護(hù)

    深圳比創(chuàng)達(dá)電子|EMC與EMI一站式解決方案:源頭到終端的全面防護(hù)
    的頭像 發(fā)表于 06-21 10:46 ?705次閱讀
    EMC與EMI<b class='flag-5'>一站式</b><b class='flag-5'>解決方案</b>:源頭到終端的全面防護(hù)

    EMC與EMI一站式解決方案:電磁兼容與干擾挑戰(zhàn)

    深圳比創(chuàng)達(dá)EMC|EMC與EMI一站式解決方案:電磁兼容與干擾挑戰(zhàn)
    的頭像 發(fā)表于 06-14 10:15 ?690次閱讀
    EMC與EMI<b class='flag-5'>一站式</b><b class='flag-5'>解決方案</b>:電磁兼容與干擾挑戰(zhàn)

    EMC與EMI一站式解決方案:攻克電磁兼容難題

    深圳比創(chuàng)達(dá)電子EMC|EMC與EMI一站式解決方案:攻克電磁兼容難題
    的頭像 發(fā)表于 06-05 11:05 ?591次閱讀

    宏科技推出最新一站式智能戒指設(shè)計(jì)

    在健康與保健應(yīng)用設(shè)備和器件制造領(lǐng)域,宏科技(Joint Chinese Ltd)以其卓越的品質(zhì)和創(chuàng)新能力贏得了業(yè)界的廣泛認(rèn)可。近日,該公司推出了款基于Nordic nRF52840 SoC的最新一站式智能戒指設(shè)計(jì),再次彰顯了
    的頭像 發(fā)表于 06-03 10:49 ?1660次閱讀

    EMC與EMI一站式解決方案:理論到實(shí)踐的跨越

    深圳比創(chuàng)達(dá)電子EMC|EMC與EMI一站式解決方案:理論到實(shí)踐的跨越
    的頭像 發(fā)表于 05-24 09:44 ?768次閱讀
    EMC與EMI<b class='flag-5'>一站式</b><b class='flag-5'>解決方案</b>:理論到實(shí)踐的跨越

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品