0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

淺談光場相機存在的三大先天缺陷

3D視覺工坊 ? 來源:光場視覺 ? 2023-05-08 11:41 ? 次閱讀

Lytro 公司在2011年向市場推出了第一代光場相機,距今已經(jīng)過去了近十年。這款號稱“一次拍攝,多次對焦”的成像設備,在進行首次商業(yè)發(fā)布之時,在攝影界、科技界和媒體界都引發(fā)了不小的轟動。相比于傳統(tǒng)的單反攝影相機,它主打的賣點是不需要繁瑣地對焦和尋找攝影角度,單次拍攝后即可得到不同焦深和角度的照片。

光場相機的發(fā)明者、同時也是Lytro的創(chuàng)始人Ren Ng的博士論文獲得了ACM Dissertation Award,而他本人也獲得了"MIT Tech Review's TR35" ,"Fast Company's 100 Most Creative People in Business" ,"Silicon Valley Journal's 40 under 40" 等一系列稱號。光場相機可謂一時風光無限,在被譽為一項顛覆性的技術發(fā)明的同時,甚至有人視其為單反相機的歷史終結者。

然而十年過去了,負責研發(fā)、推廣這款產(chǎn)品的公司Lytro在2018年被Google收購了,公司的CEO、同樣也是這款相機的發(fā)明人Ren Ng選擇了重回學術界任職,成為UC Berkeley的一名教授,其他高管則選擇啟動第二次創(chuàng)業(yè),創(chuàng)立了light field lab做光場全息顯示。

盡管在To C端, 光場相機的表現(xiàn)可謂慘不忍睹,使用者的反饋也是惡評如潮,但是在To B端和學術界,光場相機依然延續(xù)著比較旺盛的生命力,不僅學術文章在陸續(xù)的被發(fā)表,拓展光場相機的應用范圍,同時國內外少數(shù)科技獨角獸也將該技術在某些應用領域進行落地(比如德國的Raytrix和國內的上海奕目科技,他們可謂是光場成像在工業(yè)應用領域的兩大領頭羊)。

不僅有高校科研成果轉化,比如上海交通大學施圣賢教授成功將光場相機產(chǎn)業(yè)化落地,應用于三維流場檢測,航空發(fā)動機和泛半導體等高端智能制造檢測領域;亦有基于光場成像的技術發(fā)明獲得了國家重大科技進步獎項,世界頂級學術期刊上也可以見到它的身影,比如清華大學的戴瓊海課題組,在光場成像的生物醫(yī)學顯微應用上,有著較大的影響。

這種仿佛是一個技術,在經(jīng)歷著某種興衰變革,在技術史上不乏某種技術幾起幾落的興衰交替的現(xiàn)象,驅使著學界和業(yè)界的人們一哄而上、一哄而散,不斷參與或者離開某個技術領域。

就光場相機而言,本文試圖從純技術角度去回答一個對該現(xiàn)象反思式的問題:光場相機的優(yōu)勢和劣勢在哪里?什么原因使得它被消費者拋棄的同時卻又在工業(yè)界延續(xù)著自己的生命?落地應用的現(xiàn)狀如何?本文既是自問自答,也是拋磚引玉,希望各位從事本行業(yè)的看官,能多多發(fā)表自己的高見。

01

不足篇

欲揚先抑,回顧該設備的不足,也是對光場相機在To B市場逐漸被拋棄的一個回顧和解釋。光場相機由于其本身的硬件構造,無法避免的存在三大先天缺陷。

1. 空間分辨率低

7cb935a8-ed37-11ed-90ce-dac502259ad0.png

圖1 光場相機結構源于《基于仿生視覺的單相機光場成像及3-3維直接轉換基礎》

由于光場相機為了采集不同視角的信息,在CCD前放置了一個微透鏡陣列。但是相機可以采集的總信息量卻是受限于成像芯片上CCD像素的尺寸和數(shù)目,角度信息和空間信息的關系可以簡單描述為:

信息總量=空間信息x角度信息

兩者相互折中和制約,單個視角下的光場圖像的大小,等于微透鏡陣列中微透鏡的個數(shù),由于單個微透鏡下的像素數(shù)目介于100到200之間,因此微透鏡個數(shù)相當于原始CCD像素數(shù)目的100倍級別的壓縮,對于一個1000萬像素的光場相機,經(jīng)過視角信息的折中壓縮后,得到的單視角有效像素數(shù)目,居然只有十萬像素量級!相比起傳統(tǒng)單反相機幾千萬像素的纖毫畢現(xiàn),這個數(shù)量級的空間分辨率,對用于攝影的消費者而言如同玩具。這也是光場相機在消費者市場遇冷到消失的最大因素。即使Lytro后續(xù)推出了2.0代光場相機,以進一步壓縮角度分辨率的方式來提高空間分辨率,上述問題,依舊沒有得到徹底的解決。不過,這個缺陷應該辯證看待,角度信息和空間信息的相對取舍,取決于應用場景。

2. 基線過短

基線問題的長短問題,消費者對其不敏感,然而在宏觀成像和測量領域,比如航空攝影測繪、雙目立體視覺、衛(wèi)星遙感成像,卻是一個極其重要的參數(shù)。

7cc8e49e-ed37-11ed-90ce-dac502259ad0.png

圖2 基線和視差關系示意圖

在多目視覺中,圖像接受者(人,機器)對于深度信息的感知,源于目標在不同相機(眼睛)上的視差,視差大小隨著目標物離相機的距離變化。相機之間的距離長度被稱為基線長度,在同等距離條件下,基線長度越大,則視差越大,對深度的分辨能力也越高。

對于雙目視覺,它的基線長度可以由大致平行布置的兩個相機之間的間距表示,而對于光場相機,它的基線長度如何計算?如下圖所示,因為每個微透鏡都記錄著入射點光源的一部分信息,此時你把每個微透鏡都當成是一個小相機,那么你就可以直觀地得到答案,由于多個“小相機”的存在,光場相機存在多個基線,但是光場相機的最大基線長度,是被點亮的間隔最遠的兩個微透鏡的距離。但是這個基線長度,存在兩個特性:首先是基線長度隨著點光源的離焦距離變化,離焦平面近的時候,只有少數(shù)個微透鏡下被點亮,因此最大基線長度比較短,但是離焦平面遠的時候,更多的微透鏡被點亮,最大基線長度變大(這也是光場相機在焦平面附近,景深分辨率最差的原因);盡管如此,微透鏡的基線長度,無法超過CCD芯片尺寸本身。

7cd36db0-ed37-11ed-90ce-dac502259ad0.png

圖3:雙目視覺和光場相機的基線長度對比

這種差距,和雙目視覺對比,尤其明顯,比如上圖右邊的光場基線長度,大致在2~3個微透鏡的直徑左右。由于光場相機的基線過短,在被測物距離較遠的情況下,深度分辨率將會受到很大限制。

3. 相機的動態(tài)范圍HDR被壓縮

利用上一個點光源的分析案例可以發(fā)現(xiàn),當點光源在焦平面附近時,只有少數(shù)微透鏡被點亮,必然有更多的光能量,集中到少數(shù)CCD上;當點光源離焦平面院時,多個微透鏡被點亮,即點光源的能量分布更加分散。在這種條件下,為了讓相機CCD不過曝或者過暗,被拍攝物體的亮度只能在一個比較小的動態(tài)范圍內,使得物體離焦近時不至于過曝,離焦遠時不至于過暗。

7cf1247c-ed37-11ed-90ce-dac502259ad0.png

上述三大問題,嚴重限制著光場相機的應用領域,也是光場相機在過去十年,不被消費者所接納的主要原因。然而,寸有所長,尺有所短,在To B端以及學界,光場相機卻有著諸多獨特優(yōu)勢,能完成傳統(tǒng)成像設備所不能的任務。上述三大不足,在這些應用領域,都得到了相應的克服和一定程度的解決。此外,以動態(tài)的目光看,隨著像素尺寸的縮小、芯片上像素數(shù)目的增長、更高動態(tài)范圍芯片的出現(xiàn)(甚至有些芯片號稱,開發(fā)了永遠不過曝的技術),上述問題有望得到根本性的解決。

技術的興衰往往如此,峰回路轉又一村,吸引著每一個十年中的人們“Boom and Bust”。

編輯:黃飛

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • CCD
    CCD
    +關注

    關注

    32

    文章

    887

    瀏覽量

    143167
  • HDR
    HDR
    +關注

    關注

    4

    文章

    284

    瀏覽量

    32284
  • 光場相機
    +關注

    關注

    0

    文章

    11

    瀏覽量

    7372

原文標題:雜談光場相機的不足、優(yōu)勢、應用和展望(上)

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏

    評論

    相關推薦

    緊湊型矢量生成系統(tǒng)

    緊湊型矢量生成系統(tǒng) 1,概述矢量可廣泛應用于光學捕獲和操縱、表面等離子體、光學加工、焦工程、量子信息處理、超分辨率顯微成像、光通
    發(fā)表于 02-28 13:20

    視頻采集/呈現(xiàn)技術的應用場景討論

    Lytro已經(jīng)吃了第一只螃蟹,在相機上9000萬美金灰飛湮滅,相比之下德國RAYTRIX則更為聰明,在工業(yè)領域的應用一直穩(wěn)步上升,但
    發(fā)表于 07-11 11:46

    淺談層架構原理

    淺談層架構原理
    發(fā)表于 01-16 09:14

    筆記本電腦音響的先天缺陷淺析

    筆記本電腦音響的先天缺陷淺析  通常,針對揚聲器單元來說,更大的直徑配合合理的音箱空間所帶來的直接優(yōu)勢就是加強了中低頻
    發(fā)表于 01-23 09:12 ?365次閱讀

    淺談耦的使用方法_章圣焰

    淺談耦的使用方法及設計電路的分析技巧
    發(fā)表于 10-16 13:44 ?6次下載

    顯示研究持續(xù)發(fā)熱,提高VR沉浸感體驗

    顯示目前還處在研發(fā)驗證階段,現(xiàn)有顯示設備及光學組件、計算設備尚不能滿足技術的要求,市場上也無成型的
    發(fā)表于 07-27 09:56 ?1178次閱讀

    工業(yè)相機:表面缺陷檢測系統(tǒng)的優(yōu)勢

    如今在生產(chǎn)技術企業(yè)中,為了保障產(chǎn)品的質量,在出廠前必須要對產(chǎn)品進行嚴格的質量檢測工作,目前,表面缺陷檢測系統(tǒng)被廣大企業(yè)所應用,他的原理主要就是通過工業(yè)相機來進行檢測,主要作用就是一個用來在線數(shù)據(jù)
    的頭像 發(fā)表于 11-17 16:02 ?3042次閱讀

    3D相機檢測解決方案提供商奕目科技已完成Pre-A輪投資

    在工業(yè)質檢領域,相機無需主動投射激光,受環(huán)境光和遮擋干擾較少,在光敏材料、透明/半透明材料、表面反光材料的維檢測更具優(yōu)勢,并解決了玻璃、薄膜、微小金屬等復雜、高精度場景
    的頭像 發(fā)表于 04-25 10:39 ?2028次閱讀

    淺談伏并網(wǎng)柜的實際運用

    淺談伏并網(wǎng)柜的實際運用(實用開關電源技術)-淺談伏并網(wǎng)柜的實際運用? ? ? ? ? ? ? ? ? ? ? ? ??
    發(fā)表于 09-23 17:38 ?15次下載
    <b class='flag-5'>淺談</b><b class='flag-5'>光</b>伏并網(wǎng)柜的實際運用

    面向多功能維視覺的緊湊型攝影

    這項研究提出了一種簡約攝影(CLIP)技術,以便顯著地提高對密集采樣的效率和靈活性。與以往需要密集采樣2D圖像來恢復4D
    的頭像 發(fā)表于 07-12 15:16 ?2863次閱讀

    雜談相機的不足、優(yōu)勢、應用和展望

    盡管在To C端, 相機的表現(xiàn)可謂慘不忍睹,使用者的反饋也是惡評如潮,但是在To B端和學術界,
    的頭像 發(fā)表于 05-09 10:55 ?1995次閱讀
    雜談<b class='flag-5'>光</b><b class='flag-5'>場</b><b class='flag-5'>相機</b>的不足、優(yōu)勢、應用和展望

    雜談相機的不足、優(yōu)勢、應用和展望(中)

    盡管相機的空間分辨率較低,但是這一問題,有望隨著感光芯片的技術進步而解決。機器閱讀并去理解圖像,對空間分辨率的需求不一定需要很高,達到人審美需求的那種程度。
    的頭像 發(fā)表于 05-10 14:29 ?1922次閱讀
    雜談<b class='flag-5'>光</b><b class='flag-5'>場</b><b class='flag-5'>相機</b>的不足、優(yōu)勢、應用和展望(中)

    淺談工業(yè)相機鏡頭的參數(shù)與選型

    電子發(fā)燒友網(wǎng)站提供《淺談工業(yè)相機鏡頭的參數(shù)與選型.doc》資料免費下載
    發(fā)表于 11-03 09:40 ?6次下載
    <b class='flag-5'>淺談</b>工業(yè)<b class='flag-5'>相機</b>鏡頭的參數(shù)與選型

    什么是伏IR相機?

    伏IR相機是一種特殊的光電設備,它使用紅外線(IR)技術來檢測和捕捉伏電池板上的熱圖像。這種相機的主要功能是檢測伏電池板上的熱分布和異
    的頭像 發(fā)表于 01-23 11:36 ?1078次閱讀
    什么是<b class='flag-5'>光</b>伏IR<b class='flag-5'>相機</b>?

    利用噴墨打印技術制造緊湊型多光譜相機

    研究人員利用噴墨打印技術制造出了一種緊湊型多光譜相機。這種相機可以放在手掌中,可用于自動駕駛、回收材料分類和遙感等多種應用。 維光譜信
    的頭像 發(fā)表于 11-09 09:26 ?448次閱讀
    利用噴墨打印技術制造緊湊型多光譜<b class='flag-5'>光</b><b class='flag-5'>場</b><b class='flag-5'>相機</b>

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品