0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

無監(jiān)督深度學(xué)習(xí)實現(xiàn)單次非相干全息3D成像

西安中科微星 ? 來源:西安中科微星 ? 作者:西安中科微星 ? 2024-05-13 17:38 ? 次閱讀

論文信息

wKgaomZB3wiAJNoBAACtLaxe5kM454.png

背景引入

數(shù)字全息術(shù)因其能夠從單一視點對3D場景進(jìn)行成像而備受關(guān)注。與直接成像相比,數(shù)字全息是一種間接的多步驟成像過程,包括光學(xué)記錄全息圖和數(shù)值計算重建,為包括深度學(xué)習(xí)在內(nèi)的計算成像方法提供了廣泛的應(yīng)用場景。近年來,非相干數(shù)字全息術(shù)因其成像分辨率高,無散斑噪聲和邊緣效應(yīng),低成本等優(yōu)點而備受關(guān)注。目前,非相干全息術(shù)已被應(yīng)用于孔徑成像、超分辨成像、大景深成像和晶格光片顯微成像。

近年來,深度學(xué)習(xí)已被應(yīng)用于非相干數(shù)字全息術(shù)。然而,目前所有的報告都是基于數(shù)據(jù)驅(qū)動的監(jiān)督學(xué)習(xí)方法,這些方法需要大量的配對標(biāo)記數(shù)據(jù),并且存在泛化不足等問題。為了解決上述挑戰(zhàn),本文提出了一種無訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗的單次非相干全息自校準(zhǔn)3D重建方法,稱為SC-RUN。SC-RUN可以提高點擴(kuò)散函數(shù)(PSF)的保真度和信噪比,只需單個全息圖就可以實現(xiàn)3D對象的高保真度和無偽影重建。本文以無干涉編碼孔徑相關(guān)全息術(shù)(I-COACH)成像為例,清楚地展示了SC-RUN的效果。

方法原理

wKgaomZB3w-AAlvcAAERVArshiM308.png

圖1 非干涉編碼孔徑關(guān)聯(lián)全息術(shù)裝置

非相干光源的光被透鏡L1聚焦以照射物體。物體位于透鏡L2的前焦平面Z3附近,使得物體可以被認(rèn)為位于CPM的遠(yuǎn)場中。加載了編碼相位的SLM位于透鏡L2距離d處,SLM前加偏振片P。由于I-COACH的成像模型在強(qiáng)度上是線性空間不變,因此傳感器記錄的物體全息圖可以被視為無數(shù)個物點全息圖的非相干強(qiáng)度疊加,因此,可以先對一個物點的光場進(jìn)行理論分析,然后通過卷積或疊加得到多物點物體的成像模型。

wKgZomZB3yKAE18nAADC_2XpocQ681.png

圖2 SC-RUN—校準(zhǔn)點擴(kuò)散函數(shù)結(jié)構(gòu)

wKgZomZB3yiAEVZZAADu94blOWs363.png

圖3 SC-RUN—基于無訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗的單次成像結(jié)構(gòu)

wKgZomZB3zSAL3AcAADpNWSo_CA168.png

圖4 SC-RUN—基于無訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗的單次3D成像結(jié)構(gòu)

系統(tǒng)光路

多通道I-COACH實驗系統(tǒng)如圖5所示,其中振幅型空間光調(diào)制器的產(chǎn)品參數(shù)如下表所示。

wKgZomZB30CAF2_GAAIHBtrSwn0443.png

圖5 I-COACH實驗裝置

本實驗所采用的空間光調(diào)制器為我司的TSLM07U-A,其參數(shù)規(guī)格如下:

型號
TSLM07U-A
調(diào)制類型
振幅型
液晶類型
透射式 灰度等級 8位,256階
像素數(shù)
1920×1080
像元大小 8.5μm
有效區(qū)域
0.74"
16.3mm×9.18mm
對比度 600:1
響應(yīng)時間 上升7ms,下降20ms 開口率
57%
刷新頻率
60Hz 光學(xué)利用率 20%@633nm
電源輸入
24V 1A&5V 1A 光譜范圍
380nm-1200nm
損傷閾值
2W/cm2 數(shù)據(jù)接口
DVI

系統(tǒng)由不同軸向平面中的兩個目標(biāo)通道組成,其中數(shù)字微鏡器件(DMD)用作通道1中的目標(biāo)1,而振幅型空間光調(diào)制器用作通道2中的目標(biāo)2。來自空間非相干發(fā)光二極管LED)的光通過聚光器收集以照射物體,然后兩個通道內(nèi)衍射的物體光通過分束棱鏡(BS1)組合并通過透鏡L進(jìn)行準(zhǔn)直。偏振片P使物光的偏振方向與純相位SLM的調(diào)制軸方向一致。最后,通過CMOS傳感器記錄由純相位SLM調(diào)制的光波。純相位SLM加載由GSA算法合成的全息圖。

實驗結(jié)果

wKgZomZB30-AaZZuAAJvW8R_cnQ992.png

圖6 SC-RUN對PSF的校準(zhǔn)結(jié)果。a) 全息圖,b) 原始PSF,c) 使用原始PSF進(jìn)行非線性重建的結(jié)果,d) 已知對象,e) 校準(zhǔn)后的PSF,f) 使用校準(zhǔn)的PSF進(jìn)行非線性重建的結(jié)果。

wKgaomZB31mAHBBOAAQUfZZ6-ZM395.png

圖7 SC-RUN和非線性重建的2D實驗結(jié)果

wKgZomZB32KASv6UAAFpm-TFt1M636.png

圖8 SC-RUN和非線性重建的3D實驗結(jié)果

以上實驗結(jié)果表明,SC-RUN在I-COACH上表現(xiàn)良好,從而說明預(yù)先校準(zhǔn)PSF,然后通過神經(jīng)網(wǎng)絡(luò)重建對象的這一策略具有很大的潛力。目前,許多光學(xué)成像技術(shù)都是通過設(shè)計專門的PSF來實現(xiàn)的。例如,通過波前編碼生成亞衍射極限點PSF,以實現(xiàn)超分辨率成像。類似地,通過使用波前編碼使PSF對錯誤聚焦不敏感,可以擴(kuò)展成像深度。對于其他信息,如物體的深度、光譜和偏振,可以編碼到PSF中來增加成像維度。上述計算成像技術(shù)在很大程度上依賴于PSF的先驗信息,并且SC-RUN允許獲得高保真度、高信噪比的PSF。因此,當(dāng)已知前向算子時,可以獲得極好的重建結(jié)果。此外,由于SC-RUN在不需要數(shù)據(jù)集和標(biāo)簽的情況下強(qiáng)制測量一致性,并且考慮到大多數(shù)成像任務(wù)涉及具有已知正向算子的一個或多個逆求解模型,SC-RUN可以容易地應(yīng)用于各種其他成像任務(wù)。

論文總結(jié)

本文提出了一種通用的無監(jiān)督的非相干全息3D重建框架SC-RUN,它結(jié)合了非線性重建方法的物理知識和前向成像模型,通過具有額外物理約束的神經(jīng)網(wǎng)絡(luò)執(zhí)行重建任務(wù)。SC-RUN同時考慮了時間分辨率和保真度,具有良好的魯棒性,并且不需要太多標(biāo)記的數(shù)據(jù)驅(qū)動信息。此外,實驗結(jié)果表明,首次在非相干全息術(shù)中實現(xiàn)了具有強(qiáng)度變化的復(fù)雜物體的高保真度重建。SC-RUN通常適用于各種光學(xué)配置,并易于適應(yīng)其他成像任務(wù)。此外,SC-RUN對超分辨率成像、孔徑成像、景深擴(kuò)展成像和多維信息復(fù)用等領(lǐng)域具有廣泛潛力,為獲得動態(tài)光場的多維信息鋪平了道路。

文章鏈接:https://doi.org/10.1002/lpor.202301091

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 3D
    3D
    +關(guān)注

    關(guān)注

    9

    文章

    2926

    瀏覽量

    108364
  • 成像
    +關(guān)注

    關(guān)注

    2

    文章

    248

    瀏覽量

    30618
  • 3D成像
    +關(guān)注

    關(guān)注

    0

    文章

    98

    瀏覽量

    16215
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5527

    瀏覽量

    121833
收藏 人收藏

    評論

    相關(guān)推薦

    對于結(jié)構(gòu)光測量、3D視覺的應(yīng)用,使用100%offset的lightcrafter是否能用于點云生成的應(yīng)用?

    offset的設(shè)備有區(qū)別嗎,能用zero offset的算法來用于100% offset的投影場景嗎?100%offset成像模型滿足和相機(jī)一樣的小孔成像原理嗎? 對于3D視覺的應(yīng)用,使用100
    發(fā)表于 02-28 06:20

    ?超景深3D檢測顯微鏡技術(shù)解析

    技術(shù)的核心在于其能夠實現(xiàn)比傳統(tǒng)顯微鏡更廣闊的景深范圍,同時保持高分辨率的成像能力,從而為用戶提供更為清晰和立體的微觀世界視圖。 超景深3D檢測顯微鏡的實現(xiàn)依賴于先進(jìn)的光學(xué)設(shè)計和復(fù)雜的圖
    發(fā)表于 02-25 10:51

    多維精密測量:半導(dǎo)體微型器件的2D&3D視覺方案

    精密視覺檢測技術(shù)有效提升了半導(dǎo)體行業(yè)的生產(chǎn)效率和質(zhì)量保障。友思特自研推出基于深度學(xué)習(xí)平臺和視覺掃描系統(tǒng)的2D3D視覺檢測方案,通過9種深度
    的頭像 發(fā)表于 01-10 13:54 ?203次閱讀
    多維精密測量:半導(dǎo)體微型器件的2<b class='flag-5'>D</b>&amp;<b class='flag-5'>3D</b>視覺方案

    3D深度感測的原理和使用二極管激光來實現(xiàn)深度感測的優(yōu)勢

    ? 本文介紹了3D深度感測的原理和使用二極管激光來實現(xiàn)深度感測的優(yōu)勢。 世界是三維的。這句話如此容易理解,以至于大多數(shù)人從未懷疑過自己感知世界的方式。但事實上,人的每只眼睛每次可捕獲一
    的頭像 發(fā)表于 01-07 09:54 ?235次閱讀
    <b class='flag-5'>3D</b><b class='flag-5'>深度</b>感測的原理和使用二極管激光來<b class='flag-5'>實現(xiàn)</b><b class='flag-5'>深度</b>感測的優(yōu)勢

    C#通過Halcon實現(xiàn)3D點云重繪

    C# 通過 Halcon 實現(xiàn) 3D 點云重繪
    發(fā)表于 01-05 09:16 ?0次下載

    光纖端面3D干涉儀的單色光移相干涉測量法

    簡單介紹光纖端面3D干涉儀的單色光移相干涉測量法。 現(xiàn)在一般光纖端面3D干涉儀操作界面上,都有白光和單色光(比如紅光或其他顏色)的兩個選項。 ? 白光干涉就是WLI(White Light
    的頭像 發(fā)表于 12-18 09:23 ?354次閱讀
    光纖端面<b class='flag-5'>3D</b>干涉儀的單色光移<b class='flag-5'>相干</b>涉測量法

    傅里葉光場顯微成像技術(shù)—2D顯微鏡實現(xiàn)3D成像

    近年來,光場顯微技術(shù)的應(yīng)用越來越廣泛,針對光場顯微鏡的改進(jìn)和優(yōu)化也不斷出現(xiàn)。目前市場各大品牌的2D顯微鏡比比皆是,如何在其基礎(chǔ)上實現(xiàn)三維成像一直是成像領(lǐng)域的熱門話題,本次主要討論
    的頭像 發(fā)表于 10-31 08:05 ?518次閱讀
    傅里葉光場顯微<b class='flag-5'>成像</b>技術(shù)—2<b class='flag-5'>D</b>顯微鏡<b class='flag-5'>實現(xiàn)</b><b class='flag-5'>3D</b><b class='flag-5'>成像</b>

    歡創(chuàng)播報 騰訊元寶首發(fā)3D生成應(yīng)用

    1 騰訊元寶首發(fā)3D生成應(yīng)用 只需一張照片,便能迅速打造獨一二的3D角色。7月16日,騰訊旗下大模型應(yīng)用“騰訊元寶”上線了“3D角色夢工廠”玩法,騰訊元寶也是首個擁有打印級
    的頭像 發(fā)表于 07-18 11:39 ?907次閱讀
    歡創(chuàng)播報 騰訊元寶首發(fā)<b class='flag-5'>3D</b>生成應(yīng)用

    神經(jīng)網(wǎng)絡(luò)如何用監(jiān)督算法訓(xùn)練

    神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的重要組成部分,其訓(xùn)練方式多樣,其中監(jiān)督學(xué)習(xí)是一種重要的訓(xùn)練策略。監(jiān)督學(xué)習(xí)
    的頭像 發(fā)表于 07-09 18:06 ?1017次閱讀

    深度學(xué)習(xí)中的監(jiān)督學(xué)習(xí)方法綜述

    應(yīng)用中往往難以實現(xiàn)。因此,監(jiān)督學(xué)習(xí)深度學(xué)習(xí)中扮演著越來越重要的角色。本文旨在綜述深度
    的頭像 發(fā)表于 07-09 10:50 ?1110次閱讀

    全息投影空中成像原理是什么

    、廣告、展覽、教育、醫(yī)療等領(lǐng)域。 一、全息投影空中成像原理 1.1 全息技術(shù)概述 全息技術(shù)是一種利用光的干涉和衍射原理記錄和再現(xiàn)物體的三維信息的技術(shù)。
    的頭像 發(fā)表于 07-08 11:02 ?2249次閱讀

    機(jī)載光子激光雷達(dá)系統(tǒng)用于實現(xiàn)高分辨率3D成像

    據(jù)麥姆斯咨詢報道,近日,中國科學(xué)技術(shù)大學(xué)合肥微尺度物質(zhì)科學(xué)國家研究中心的研究團(tuán)隊開發(fā)出了一種結(jié)構(gòu)緊湊、重量輕的光子機(jī)載激光雷達(dá)系統(tǒng),可以用低功率激光獲取高分辨率的3D圖像。
    的頭像 發(fā)表于 05-06 09:05 ?1045次閱讀
    機(jī)載<b class='flag-5'>單</b>光子激光雷達(dá)系統(tǒng)用于<b class='flag-5'>實現(xiàn)</b>高分辨率<b class='flag-5'>3D</b><b class='flag-5'>成像</b>

    奧比中光攜多款3D相機(jī)深度參與國內(nèi)3D視覺最高規(guī)格會議

    4月19日-21日,國內(nèi)3D視覺最高規(guī)格會議China 3DV 2024大會在深圳舉行。奧比中光作為大會鉑金贊助商,攜多款不同技術(shù)路線的3D相機(jī)深度參與。
    的頭像 發(fā)表于 04-24 09:26 ?545次閱讀
    奧比中光攜多款<b class='flag-5'>3D</b>相機(jī)<b class='flag-5'>深度</b>參與國內(nèi)<b class='flag-5'>3D</b>視覺最高規(guī)格會議

    NVIDIA生成式AI研究實現(xiàn)在1秒內(nèi)生成3D形狀

    NVIDIA 研究人員使 LATTE3D (一款最新文本轉(zhuǎn) 3D 生成式 AI 模型)實現(xiàn)雙倍加速。
    的頭像 發(fā)表于 03-27 10:28 ?606次閱讀
    NVIDIA生成式AI研究<b class='flag-5'>實現(xiàn)</b>在1秒內(nèi)生成<b class='flag-5'>3D</b>形狀

    3D動畫原理:電阻

    電阻3D
    深圳崧皓電子
    發(fā)布于 :2024年03月19日 06:49:19