0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

無監(jiān)督深度學(xué)習(xí)實現(xiàn)單次非相干全息3D成像

西安中科微星 ? 來源:西安中科微星 ? 作者:西安中科微星 ? 2024-05-13 17:38 ? 次閱讀

論文信息

wKgaomZB3wiAJNoBAACtLaxe5kM454.png

背景引入

數(shù)字全息術(shù)因其能夠從單一視點對3D場景進(jìn)行成像而備受關(guān)注。與直接成像相比,數(shù)字全息是一種間接的多步驟成像過程,包括光學(xué)記錄全息圖和數(shù)值計算重建,為包括深度學(xué)習(xí)在內(nèi)的計算成像方法提供了廣泛的應(yīng)用場景。近年來,非相干數(shù)字全息術(shù)因其成像分辨率高,無散斑噪聲和邊緣效應(yīng),低成本等優(yōu)點而備受關(guān)注。目前,非相干全息術(shù)已被應(yīng)用于孔徑成像、超分辨成像、大景深成像和晶格光片顯微成像。

近年來,深度學(xué)習(xí)已被應(yīng)用于非相干數(shù)字全息術(shù)。然而,目前所有的報告都是基于數(shù)據(jù)驅(qū)動的監(jiān)督學(xué)習(xí)方法,這些方法需要大量的配對標(biāo)記數(shù)據(jù),并且存在泛化不足等問題。為了解決上述挑戰(zhàn),本文提出了一種無訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗的單次非相干全息自校準(zhǔn)3D重建方法,稱為SC-RUN。SC-RUN可以提高點擴散函數(shù)(PSF)的保真度和信噪比,只需單個全息圖就可以實現(xiàn)3D對象的高保真度和無偽影重建。本文以無干涉編碼孔徑相關(guān)全息術(shù)(I-COACH)成像為例,清楚地展示了SC-RUN的效果。

方法原理

wKgaomZB3w-AAlvcAAERVArshiM308.png

圖1 非干涉編碼孔徑關(guān)聯(lián)全息術(shù)裝置

非相干光源的光被透鏡L1聚焦以照射物體。物體位于透鏡L2的前焦平面Z3附近,使得物體可以被認(rèn)為位于CPM的遠(yuǎn)場中。加載了編碼相位的SLM位于透鏡L2距離d處,SLM前加偏振片P。由于I-COACH的成像模型在強度上是線性空間不變,因此傳感器記錄的物體全息圖可以被視為無數(shù)個物點全息圖的非相干強度疊加,因此,可以先對一個物點的光場進(jìn)行理論分析,然后通過卷積或疊加得到多物點物體的成像模型。

wKgZomZB3yKAE18nAADC_2XpocQ681.png

圖2 SC-RUN—校準(zhǔn)點擴散函數(shù)結(jié)構(gòu)

wKgZomZB3yiAEVZZAADu94blOWs363.png

圖3 SC-RUN—基于無訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗的單次成像結(jié)構(gòu)

wKgZomZB3zSAL3AcAADpNWSo_CA168.png

圖4 SC-RUN—基于無訓(xùn)練神經(jīng)網(wǎng)絡(luò)先驗的單次3D成像結(jié)構(gòu)

系統(tǒng)光路

多通道I-COACH實驗系統(tǒng)如圖5所示,其中振幅型空間光調(diào)制器的產(chǎn)品參數(shù)如下表所示。

wKgZomZB30CAF2_GAAIHBtrSwn0443.png

圖5 I-COACH實驗裝置

本實驗所采用的空間光調(diào)制器為我司的TSLM07U-A,其參數(shù)規(guī)格如下:

型號
TSLM07U-A
調(diào)制類型
振幅型
液晶類型
透射式 灰度等級 8位,256階
像素數(shù)
1920×1080
像元大小 8.5μm
有效區(qū)域
0.74"
16.3mm×9.18mm
對比度 600:1
響應(yīng)時間 上升7ms,下降20ms 開口率
57%
刷新頻率
60Hz 光學(xué)利用率 20%@633nm
電源輸入
24V 1A&5V 1A 光譜范圍
380nm-1200nm
損傷閾值
2W/cm2 數(shù)據(jù)接口
DVI

系統(tǒng)由不同軸向平面中的兩個目標(biāo)通道組成,其中數(shù)字微鏡器件(DMD)用作通道1中的目標(biāo)1,而振幅型空間光調(diào)制器用作通道2中的目標(biāo)2。來自空間非相干發(fā)光二極管LED)的光通過聚光器收集以照射物體,然后兩個通道內(nèi)衍射的物體光通過分束棱鏡(BS1)組合并通過透鏡L進(jìn)行準(zhǔn)直。偏振片P使物光的偏振方向與純相位SLM的調(diào)制軸方向一致。最后,通過CMOS傳感器記錄由純相位SLM調(diào)制的光波。純相位SLM加載由GSA算法合成的全息圖。

實驗結(jié)果

wKgZomZB30-AaZZuAAJvW8R_cnQ992.png

圖6 SC-RUN對PSF的校準(zhǔn)結(jié)果。a) 全息圖,b) 原始PSF,c) 使用原始PSF進(jìn)行非線性重建的結(jié)果,d) 已知對象,e) 校準(zhǔn)后的PSF,f) 使用校準(zhǔn)的PSF進(jìn)行非線性重建的結(jié)果。

wKgaomZB31mAHBBOAAQUfZZ6-ZM395.png

圖7 SC-RUN和非線性重建的2D實驗結(jié)果

wKgZomZB32KASv6UAAFpm-TFt1M636.png

圖8 SC-RUN和非線性重建的3D實驗結(jié)果

以上實驗結(jié)果表明,SC-RUN在I-COACH上表現(xiàn)良好,從而說明預(yù)先校準(zhǔn)PSF,然后通過神經(jīng)網(wǎng)絡(luò)重建對象的這一策略具有很大的潛力。目前,許多光學(xué)成像技術(shù)都是通過設(shè)計專門的PSF來實現(xiàn)的。例如,通過波前編碼生成亞衍射極限點PSF,以實現(xiàn)超分辨率成像。類似地,通過使用波前編碼使PSF對錯誤聚焦不敏感,可以擴展成像深度。對于其他信息,如物體的深度、光譜和偏振,可以編碼到PSF中來增加成像維度。上述計算成像技術(shù)在很大程度上依賴于PSF的先驗信息,并且SC-RUN允許獲得高保真度、高信噪比的PSF。因此,當(dāng)已知前向算子時,可以獲得極好的重建結(jié)果。此外,由于SC-RUN在不需要數(shù)據(jù)集和標(biāo)簽的情況下強制測量一致性,并且考慮到大多數(shù)成像任務(wù)涉及具有已知正向算子的一個或多個逆求解模型,SC-RUN可以容易地應(yīng)用于各種其他成像任務(wù)。

論文總結(jié)

本文提出了一種通用的無監(jiān)督的非相干全息3D重建框架SC-RUN,它結(jié)合了非線性重建方法的物理知識和前向成像模型,通過具有額外物理約束的神經(jīng)網(wǎng)絡(luò)執(zhí)行重建任務(wù)。SC-RUN同時考慮了時間分辨率和保真度,具有良好的魯棒性,并且不需要太多標(biāo)記的數(shù)據(jù)驅(qū)動信息。此外,實驗結(jié)果表明,首次在非相干全息術(shù)中實現(xiàn)了具有強度變化的復(fù)雜物體的高保真度重建。SC-RUN通常適用于各種光學(xué)配置,并易于適應(yīng)其他成像任務(wù)。此外,SC-RUN對超分辨率成像、孔徑成像、景深擴展成像和多維信息復(fù)用等領(lǐng)域具有廣泛潛力,為獲得動態(tài)光場的多維信息鋪平了道路。

文章鏈接:https://doi.org/10.1002/lpor.202301091

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 3D
    3D
    +關(guān)注

    關(guān)注

    9

    文章

    2878

    瀏覽量

    107538
  • 成像
    +關(guān)注

    關(guān)注

    2

    文章

    240

    瀏覽量

    30483
  • 3D成像
    +關(guān)注

    關(guān)注

    0

    文章

    98

    瀏覽量

    16066
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5503

    瀏覽量

    121162
收藏 人收藏

    評論

    相關(guān)推薦

    光纖端面3D干涉儀的單色光移相干涉測量法

    簡單介紹光纖端面3D干涉儀的單色光移相干涉測量法。 現(xiàn)在一般光纖端面3D干涉儀操作界面上,都有白光和單色光(比如紅光或其他顏色)的兩個選項。 ? 白光干涉就是WLI(White Light
    的頭像 發(fā)表于 12-18 09:23 ?108次閱讀
    光纖端面<b class='flag-5'>3D</b>干涉儀的單色光移<b class='flag-5'>相干</b>涉測量法

    傅里葉光場顯微成像技術(shù)—2D顯微鏡實現(xiàn)3D成像

    近年來,光場顯微技術(shù)的應(yīng)用越來越廣泛,針對光場顯微鏡的改進(jìn)和優(yōu)化也不斷出現(xiàn)。目前市場各大品牌的2D顯微鏡比比皆是,如何在其基礎(chǔ)上實現(xiàn)三維成像一直是成像領(lǐng)域的熱門話題,本次主要討論
    的頭像 發(fā)表于 10-31 08:05 ?358次閱讀
    傅里葉光場顯微<b class='flag-5'>成像</b>技術(shù)—2<b class='flag-5'>D</b>顯微鏡<b class='flag-5'>實現(xiàn)</b><b class='flag-5'>3D</b><b class='flag-5'>成像</b>

    神經(jīng)網(wǎng)絡(luò)如何用監(jiān)督算法訓(xùn)練

    神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的重要組成部分,其訓(xùn)練方式多樣,其中監(jiān)督學(xué)習(xí)是一種重要的訓(xùn)練策略。監(jiān)督學(xué)習(xí)
    的頭像 發(fā)表于 07-09 18:06 ?800次閱讀

    深度學(xué)習(xí)中的監(jiān)督學(xué)習(xí)方法綜述

    應(yīng)用中往往難以實現(xiàn)。因此,監(jiān)督學(xué)習(xí)深度學(xué)習(xí)中扮演著越來越重要的角色。本文旨在綜述深度
    的頭像 發(fā)表于 07-09 10:50 ?730次閱讀

    全息投影空中成像原理是什么

    、廣告、展覽、教育、醫(yī)療等領(lǐng)域。 一、全息投影空中成像原理 1.1 全息技術(shù)概述 全息技術(shù)是一種利用光的干涉和衍射原理記錄和再現(xiàn)物體的三維信息的技術(shù)。
    的頭像 發(fā)表于 07-08 11:02 ?1610次閱讀

    機載光子激光雷達(dá)系統(tǒng)用于實現(xiàn)高分辨率3D成像

    據(jù)麥姆斯咨詢報道,近日,中國科學(xué)技術(shù)大學(xué)合肥微尺度物質(zhì)科學(xué)國家研究中心的研究團隊開發(fā)出了一種結(jié)構(gòu)緊湊、重量輕的光子機載激光雷達(dá)系統(tǒng),可以用低功率激光獲取高分辨率的3D圖像。
    的頭像 發(fā)表于 05-06 09:05 ?867次閱讀
    機載<b class='flag-5'>單</b>光子激光雷達(dá)系統(tǒng)用于<b class='flag-5'>實現(xiàn)</b>高分辨率<b class='flag-5'>3D</b><b class='flag-5'>成像</b>

    奧比中光攜多款3D相機深度參與國內(nèi)3D視覺最高規(guī)格會議

    4月19日-21日,國內(nèi)3D視覺最高規(guī)格會議China 3DV 2024大會在深圳舉行。奧比中光作為大會鉑金贊助商,攜多款不同技術(shù)路線的3D相機深度參與。
    的頭像 發(fā)表于 04-24 09:26 ?451次閱讀
    奧比中光攜多款<b class='flag-5'>3D</b>相機<b class='flag-5'>深度</b>參與國內(nèi)<b class='flag-5'>3D</b>視覺最高規(guī)格會議

    基于深度學(xué)習(xí)的方法在處理3D點云進(jìn)行缺陷分類應(yīng)用

    背景部分介紹了3D點云應(yīng)用領(lǐng)域中公開可訪問的數(shù)據(jù)集的重要性,這些數(shù)據(jù)集對于分析和比較各種模型至關(guān)重要。研究人員專門設(shè)計了各種數(shù)據(jù)集,包括用于3D形狀分類、3D物體檢測和3D點云分割等任
    的頭像 發(fā)表于 02-22 16:16 ?1155次閱讀
    基于<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>的方法在處理<b class='flag-5'>3D</b>點云進(jìn)行缺陷分類應(yīng)用

    Adobe提出DMV3D3D生成只需30秒!讓文本、圖像都動起來的新方法!

    因此,本文研究者的目標(biāo)是實現(xiàn)快速、逼真和通用的 3D 生成。為此,他們提出了 DMV3D。DMV3D 是一種全新的階段的全類別擴散模型,能
    的頭像 發(fā)表于 01-30 16:20 ?861次閱讀
    Adobe提出DMV<b class='flag-5'>3D</b>:<b class='flag-5'>3D</b>生成只需30秒!讓文本、圖像都動起來的新方法!

    中國科研團隊突破全息3D顯示技術(shù)

    全息顯示技術(shù)為真正的3D顯示提供了終極解決方案,在增強現(xiàn)實和虛擬現(xiàn)實方面具有巨大的潛力。然而,全息3D顯示的顏色和視角主要取決于激光的波長和當(dāng)前空間光調(diào)制器的像素尺寸。
    發(fā)表于 01-26 12:45 ?730次閱讀
    中國科研團隊突破<b class='flag-5'>全息</b><b class='flag-5'>3D</b>顯示技術(shù)

    超透鏡陣列可實現(xiàn)下一代真3D近眼顯示器

    由于體積小、全視差、全彩顯示方便,更重要的是,通過消除會聚-調(diào)節(jié)沖突 (VAC) 實現(xiàn)真正的 3D 和更逼真的深度感知,所以集成成像顯示器成為最有前途的近眼顯示器 (NED) 之一。
    的頭像 發(fā)表于 01-24 13:38 ?781次閱讀
    超透鏡陣列可<b class='flag-5'>實現(xiàn)</b>下一代真<b class='flag-5'>3D</b>近眼顯示器

    高精度彩色3D相機:開啟嶄新的彩色3D成像時代

    近年來,機器人技術(shù)的快速發(fā)展促使對3D相機技術(shù)的需求不斷增加,原因在于,相機在提高機器人的性能和實現(xiàn)多種功能方面發(fā)揮了決定性作用。
    的頭像 發(fā)表于 01-15 14:09 ?552次閱讀
    高精度彩色<b class='flag-5'>3D</b>相機:開啟嶄新的彩色<b class='flag-5'>3D</b><b class='flag-5'>成像</b>時代

    面向3D增強現(xiàn)實(AR)眼鏡的波導(dǎo)全息顯示

    同時,全息顯示技術(shù)被認(rèn)為是終極的3D顯示方案,其利用空間光調(diào)制器(SLM)來調(diào)制光的波前,還提供了其它獨特優(yōu)勢,例如無像差、高分辨率圖像、每像素深度控制、眼視差深度提示、視力校正功能以
    的頭像 發(fā)表于 01-14 10:23 ?1066次閱讀
    面向<b class='flag-5'>3D</b>增強現(xiàn)實(AR)眼鏡的波導(dǎo)<b class='flag-5'>全息</b>顯示

    友思特分享 | 高精度彩色3D相機:開啟嶄新的彩色3D成像時代

    3D成像的新時代 近年來,機器人技術(shù)的快速發(fā)展促使對3D相機技術(shù)的需求不斷增加,原因在于,相機在提高機器人的性能和實現(xiàn)多種功能方面發(fā)揮了決定性作用。然而,其中許多應(yīng)用所需的解決方案更復(fù)
    的頭像 發(fā)表于 01-11 09:57 ?422次閱讀
    友思特分享 | 高精度彩色<b class='flag-5'>3D</b>相機:開啟嶄新的彩色<b class='flag-5'>3D</b><b class='flag-5'>成像</b>時代

    兩種應(yīng)用于3D對象檢測的點云深度學(xué)習(xí)方法

    是標(biāo)準(zhǔn) RGB 圖像與其關(guān)聯(lián)的“深度圖”的組合,目前由 Kinect 或英特爾實感技術(shù)使用。3D 數(shù)據(jù)可以對傳感器周圍環(huán)境進(jìn)行豐富的空間表示,并可應(yīng)用于機器人、智能家居設(shè)備、無人駕駛汽車或醫(yī)學(xué)成像。
    的頭像 發(fā)表于 01-03 10:32 ?1099次閱讀
    兩種應(yīng)用于<b class='flag-5'>3D</b>對象檢測的點云<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>方法