圖像設計趨勢：使用圖像仿真設計相機

攝像頭在日常生活中無處不在，從醫(yī)療診斷到汽車、智能手機和視頻監(jiān)控。因此，今天的數(shù)據(jù)中有一半是圖像和視頻，其中大部分是在便攜式系統(tǒng)的邊緣生成的。與云相比，邊緣帶來了許多挑戰(zhàn)：緊湊性、低功耗和延遲。如何在 2 小時內(nèi)不耗盡電池的情況下從智能手機中獲得出色的圖像？自動駕駛系統(tǒng)如何在不需要大量云數(shù)據(jù)處理能力的情況下同時分析來自近十個攝像頭的圖像？實現(xiàn)下一代邊緣和無處不在的相機將需要更新的工具箱。

在之前的一篇博客文章中，我回顧了數(shù)字孿生如何成為一項關鍵的使能技術，不僅適用于飛機或復雜的發(fā)電廠，也適用于成像系統(tǒng)。數(shù)字孿生將通過仿真促進優(yōu)化的產(chǎn)品生命周期，實現(xiàn)更好的規(guī)格（避免超規(guī)格）、過程控制預測和早期軟件開發(fā)。數(shù)字孿生還將促進定制的成像系統(tǒng)，例如并不總是開啟的高效視頻監(jiān)控攝像頭。

開發(fā)相機的團隊提到的痛點包括規(guī)格變化、設計和制造之間的差異以及與多個組件的設計和組裝相關的復雜性。在這篇博文中，我將回顧數(shù)字孿生如何通過圖像仿真實現(xiàn)更好、更簡化的成像系統(tǒng)規(guī)范和虛擬測試。

相機是一個復雜的系統(tǒng)

成像系統(tǒng)是一個多尺度、多物理場模型，具有多個相互依賴的組件。鏡頭組從場景中捕獲光子;CMOS圖像傳感器將這些光子轉換為電子;圖像信號處理器芯片將原始電子信號轉換為可讀、彩色和去噪的數(shù)字圖像;數(shù)字信號處理器計算數(shù)字圖像以獲取信息;I/O芯片將成像系統(tǒng)與一些外部組件連接。

最后，成像系統(tǒng)必須提供良好的圖像。但是我們這是什么意思呢？大多數(shù)時候，好的圖像仍然是指用數(shù)碼單反相機拍攝的攝影質(zhì)量圖像。但是，如果將此標準應用于土壤監(jiān)測、醫(yī)療診斷或自動駕駛的圖像，則可能導致預期結果的過度規(guī)格或錯誤規(guī)格。

讓我們看看成像系統(tǒng)架構師和團隊如何使用 Synopsys 光學解決方案產(chǎn)品組合的圖像仿真功能來渲染和優(yōu)化成像系統(tǒng)中所需的圖像。

工作流程和結果

如以下簡化示例所述，使用 CODE V、LightTools 和 RSoft 光子器件工具模擬圖像已經(jīng)成為可能。該示例的特點是嵌入四鏡頭組的成像系統(tǒng)以及具有1.12微米RGB像素和微透鏡陣列的CMOS傳感器。

具有四鏡頭組和CMOS傳感器的成像系統(tǒng)示例

1. 使用CODE V模擬來自鏡頭的圖像設置光學屬性

第一步是設計鏡頭組并生成相應的PSF。我們使用代碼 V 中的圖像模擬 （IMS） 功能來模擬圖像。任何 2D 圖像都可以導入到工具中。然后，定義要根據(jù)對象計算的 PSF 網(wǎng)格和 FFT 網(wǎng)格大小。您可以添加顏色、相對照明參數(shù)和圖像傳感器屬性，例如像素大小和像素數(shù)。IMS將使用CODE V定義和計算的光學參數(shù)計算輸入圖像的卷積，并將輸出結果圖像。

然后可以在模擬圖像上評估圖像質(zhì)量。鏡頭組的進一步優(yōu)化可以為目標應用提供所需的圖像質(zhì)量。

2. 使用LightTools和RSoft光子器件工具模擬寄生光

大多數(shù)成像系統(tǒng)必須進一步優(yōu)化，以避免寄生光并影響所需的圖像質(zhì)量。鬼影和耀斑是成像系統(tǒng)的典型寄生效應。您可以在我們簡化的成像系統(tǒng)中使用 RSoft 光子器件工具和 LightTools 來預測鬼影和耀斑。由于傳感器衍射和反射特性，我們希望預測系統(tǒng)中的寄生光。CMOS圖像傳感器通常是微米級像素的集合，可產(chǎn)生強烈的衍射圖案。我們必須使用RSoft光子器件工具來獲得該表面的光學特性。更具體地說，DiffractMOD RCWA是嚴格計算橫向周期器件衍射特性的有效工具。它將輸出每個衍射階數(shù)的反射/透射功率、總反射/透射率、每個衍射階數(shù)的振幅/相位/角度以及仿真域中的場分布。所有結果都存儲在一個BSDF文件中，該文件可以導出到LightTools進行進一步的模擬。第三步是從 CODE V 導入鏡頭集幾何形狀，添加傳感器屬性，從 RSoft 導入 BSDF 文件，添加光源（下圖中的太陽光源），并使用 LightTools 中的光線路徑工具運行蒙特卡羅模擬以分析寄生光的所有可能路徑。模擬結果將類似于右側顯示的圖像。

左側：LightTools 相機型號;在右側，傳感器上看到的寄生光圖。

3. 使用 COM API 將模擬圖像與寄生光貼圖組合 最后一步是使用 COM API

將來自 CODE V 的模擬圖像與使用 LightTools 和 RSoft 計算的寄生光組合在一起。伽馬和能量比可以在此卷積中進行調(diào)整。

使用模擬圖像上的圖像質(zhì)量指標評估圖像可以進一步優(yōu)化系統(tǒng)，以實現(xiàn)適合目標應用的規(guī)格。通過 CODE V、LightTools 和 RSoft 光子器件工具對仿真圖像進行虛擬測試是一種強大的工作流程，可避免過度指定成像系統(tǒng)，并通過仿真預測組裝和測試階段來節(jié)省時間。

審核編輯：郭婷