一種基于擴(kuò)散模型的傅里葉單像素成像高分辨率迭代重建方法

傅里葉單像素成像（FSPI）是一種基于傅里葉分析理論的計(jì)算光學(xué)成像技術(shù)。與傳統(tǒng)基于陣列探測(cè)器的成像方法相比，F(xiàn)SPI在極弱光、大氣湍流和散射介質(zhì)等條件下表現(xiàn)出更高的探測(cè)效率和靈敏度。已在太赫茲成像、紅外成像、光譜成像等領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。然而，F(xiàn)SPI一直面臨著成像效率和成像質(zhì)量的權(quán)衡問題。為實(shí)現(xiàn)高分辨率成像，需要較多的測(cè)量次數(shù)，這導(dǎo)致成像效率的下降。如何在不降低成像質(zhì)量的情況下減少采樣次數(shù)是目前面臨的一大挑戰(zhàn)。

為解決該問題，來自南昌大學(xué)成像與視覺表示實(shí)驗(yàn)室的研究團(tuán)隊(duì)提出了一種基于擴(kuò)散模型的傅里葉單像素成像高分辨率迭代重建方法。該成果以“High-resolution iterative reconstruction at extremely low sampling rate for Fourier single-pixel imaging via diffusion model”為題發(fā)表在Optics Express。南昌大學(xué)副教授宋賢林，碩士生劉軒，本科生羅周旭為文章共同第一作者，劉且根教授為通訊作者。

主要研究?jī)?nèi)容

基于擴(kuò)散模型的迭代重建策略包含低頻傅里葉頻譜采集和基于擴(kuò)散模型迭代重建兩個(gè)主要部分，如圖1所示?；诜?jǐn)?shù)的擴(kuò)散模型被用于學(xué)習(xí)數(shù)據(jù)分布的先驗(yàn)信息。利用傅里葉單像素成像系統(tǒng)獲取的真實(shí)低頻傅里葉頻譜被作為一致性項(xiàng)，與學(xué)習(xí)到的先驗(yàn)信息一起約束模型的迭代生成，實(shí)現(xiàn)在極低采樣率下的高分辨率重建。

圖1 系統(tǒng)總體方案

該方法流程如圖2所示。訓(xùn)練階段，對(duì)大量高分辨圖像進(jìn)行數(shù)據(jù)增強(qiáng)，獲取豐富的數(shù)據(jù)樣本。模型對(duì)樣本不斷添加高斯噪聲來擾動(dòng)數(shù)據(jù)分布，從而獲取訓(xùn)練樣本的內(nèi)部統(tǒng)計(jì)分布。在迭代重建階段，使用預(yù)測(cè)-矯正（PC）器作為逆向隨機(jī)微分方程的數(shù)值求解器，并與一致性項(xiàng)（DC）相結(jié)合，進(jìn)行條件生成。具體的，將隨機(jī)噪聲作為初始輸入，利用逆向隨機(jī)微分方程從學(xué)習(xí)到的先驗(yàn)分布中生成高分辨圖像。在每一次迭代中，將實(shí)際采集的低頻頻譜作為數(shù)據(jù)一致項(xiàng)，并替換預(yù)測(cè)-矯正器輸入圖像的低頻部分以實(shí)現(xiàn)條件生成。

圖2 基于擴(kuò)散模型的高分辨率迭代重建流程圖

研究團(tuán)隊(duì)進(jìn)行了一系列極低采樣下的仿真驗(yàn)證實(shí)驗(yàn)，并與主流的重建算法進(jìn)行對(duì)比。相較于其他方法，該方法所得重建結(jié)果更接近真值圖，具有更豐富的信息（圖3）。在1% 極低采樣率下， 所提方法表現(xiàn)出更卓越的性能， SSIM和PSNR分別提高了0.24和6.98 dB。

圖3動(dòng)物仿真重建結(jié)果圖以及對(duì)應(yīng)的真值圖和傅里葉頻譜

在實(shí)際實(shí)驗(yàn)中，該方法依然具有良好的表現(xiàn)（圖4）。在其他重建方法僅能看到硬幣輪廓的情況下，所提方法能夠清晰地看到硬幣中的文字以及花紋。圖像質(zhì)量得分達(dá)到傳統(tǒng)方法的3倍以上（圖5）。以上結(jié)果均表明，所提方法即使在極低采樣率條件下，依然能夠獲得高分辨的重建結(jié)果。

圖4 硬幣實(shí)際重建迭代過程

圖5 硬幣實(shí)際重建實(shí)驗(yàn)

結(jié)論

本研究提出了一種基于擴(kuò)散生成模型的新型FSPI重建方法，以解決在低采樣率下FSPI重建質(zhì)量低的問題。擴(kuò)散模型被用于學(xué)習(xí)數(shù)據(jù)分布的先驗(yàn)信息，真實(shí)采樣的低頻傅里葉頻譜被作為一致性項(xiàng)，與學(xué)習(xí)到的先驗(yàn)信息一起約束模型的迭代生成，實(shí)現(xiàn)在極低采樣率下的高分辨率重建。仿真和實(shí)驗(yàn)結(jié)果表明，與U-Net方法和傳統(tǒng)FSPI方法相比，所提方法在低采樣率下具有顯著的重建優(yōu)勢(shì)。在極低的采樣率下（1%），優(yōu)勢(shì)更加明顯。所提方法有望在不犧牲成像速度的同時(shí)實(shí)現(xiàn)高分辨率成像，從而進(jìn)一步擴(kuò)展FSPI在實(shí)際場(chǎng)景中的應(yīng)用范圍。

審核編輯：劉清