淺談相機、處理器、圖像傳感器未來趨勢

工業(yè)相機技術(shù)和用于機器視覺應(yīng)用的圖像傳感器的發(fā)展——如平板顯示器、印刷電路板和半導(dǎo)體的檢查，以及倉庫物流、智能運輸系統(tǒng)、作物監(jiān)測和數(shù)字病理學(xué)——對相機和圖像傳感器提出了新的要求。其中最主要的是需要在更高分辨率和速度的驅(qū)動與更低的功耗和數(shù)據(jù)帶寬之間取得平衡。在某些情況下，也有推動小型化的趨勢。

在外部，相機是帶有安裝功能和光學(xué)元件的外殼。雖然這對用戶很重要，但內(nèi)部存在影響性能、功能和功耗的重大挑戰(zhàn)。硬件，如圖像傳感器和處理器，以及軟件在這里起著關(guān)鍵作用。

根據(jù)我們所知道的，我們將在未來十年看到相機、處理器、圖像傳感器和處理方面的哪些變化呢？它們將如何影響我們的生活質(zhì)量呢？

圖像性能

當(dāng)您選擇一輛新車時，一個尺寸并不適合所有人。圖像傳感器也是如此。

確實，越來越大、越來越強大的圖像傳感器對于某些類別的高性能視覺應(yīng)用非常有吸引力。在這些情況下，這些應(yīng)用中使用的圖像傳感器的尺寸、功耗和價格并不像性能那么重要。平板顯示器的檢查就是一個很好的例子。一些平板制造商現(xiàn)在正在尋找優(yōu)質(zhì)顯示器中的亞微米缺陷。這實際上小到足以檢測顯示器上的細菌。

地面和天基天文學(xué)應(yīng)用需要更高的性能。美國能源部 SLAC 國家加速器實驗室的研究人員展示了一個 3 Gigapixel 的成像解決方案——相當(dāng)于今天的數(shù)百個相機——使用了幾個較小的圖像傳感器陣列。根據(jù) SLAC 的說法，這些圖像的“分辨率非常高，以至于你可以從大約 15 英里外看到一個高爾夫球”。我們可以從這一非凡的成就中推斷出，世界研究實驗室可以實現(xiàn)的未來幾乎是無限的。

大型天氣觀測望遠鏡 LSST 相機團隊的成員準備將 L3 鏡頭安裝到相機的焦平面上，這是一個能夠拍攝 3.2 兆像素圖像的圓形 CCD 傳感器陣列。

但無論分辨率有多高，我們都可以看到成熟的 2D 成像功能開始耗盡。先進的光學(xué)檢測系統(tǒng)實際上并不需要更高的速度或更多的數(shù)據(jù)。他們需要更多且僅是有用的信息。

尋求更多信息

圍繞每個像素所需信息量不斷增加的一些趨勢正在逐漸普及。

3D 圖像捕捉

3D圖像捕捉提供了額外的維度，提供了更多的粒度、細節(jié)和檢測功能。像電池檢測、電視/筆記本電腦/手機屏幕制造等應(yīng)用都在推動光學(xué)檢測傳感器收集更多信息。在這種情況下，即使是在亞微米分辨率下找到2D缺陷也變得不夠，這迫使我們計算出它們的高度，甚至可能是它們的形狀，以確定圖像是否受到可清潔灰塵、硬顆?；蜥樀阮w粒物的影響。

應(yīng)用程序開發(fā)人員正在努力利用顏色、角度和不同的成像方式(如3D或偏振，這是另一種光的維度)來滿足客戶的需求。反過來，相機制造商也在努力為這一行業(yè)提供工具。

高光譜成像

高光譜成像是另一個迅速加強的趨勢。與大多數(shù)遙感技術(shù)一樣，高光譜成像利用了這樣一個事實，即所有物體由于其電子結(jié)構(gòu)（對于可見光譜）和分子結(jié)構(gòu)（對于 SWIR/MWIR 光譜）都具有基于波長的獨特光譜指紋。它們吸收和反射的可見光和不可見光。這揭示了普通彩色成像系統(tǒng)（例如，人或相機）看不到的大量細節(jié)。在材料中“看到”化學(xué)性質(zhì)的能力在礦產(chǎn)、天然氣和石油勘探、天文學(xué)以及監(jiān)測洪泛平原和濕地方面具有廣泛的應(yīng)用。高光譜分辨率、分離度和速度在晶圓檢測、計量和健康科學(xué)中非常有用。

在這些市場中，傳感器和相機制造商正在推動速度、成本、分辨率和功能的界限。我們正在光譜范圍內(nèi)擴展我們的技術(shù)，涵蓋從 X 射線開始到高精度熱成像結(jié)束的能量檢測，從而使更多應(yīng)用能夠使用這些技術(shù)。這種更仔細、更快和更精確的檢測有助于制造商對例如食品、尋找污染物、測量內(nèi)容物和篩查食源性細菌等進行 100% 檢測。

更智能的檢查

圖像處理本質(zhì)上是數(shù)據(jù)密集型的。當(dāng)今以極高幀速率運行的高分辨率成像器可以產(chǎn)生超過 16GB/s 的連續(xù)數(shù)據(jù)。然后，應(yīng)用程序需要捕獲、分析和處理這些數(shù)據(jù)。人工智能 (AI) 的緊急情況進一步推動了處理需求的邊界。

挑戰(zhàn)

以用于交通信號燈執(zhí)法的基于人工智能的攝像頭為例。通常，這些應(yīng)用使用 10 兆像素傳感器，每秒運行約 60 幀。這提供了只有 600MB/s 數(shù)據(jù)的連續(xù)數(shù)據(jù)流。

當(dāng)今典型的神經(jīng)網(wǎng)絡(luò)處理建立在使用小圖像幀的基礎(chǔ)上，顏色約為 224x224 像素 = 3*50 千像素，每像素 3*1 字節(jié)（每幀 150kB）。現(xiàn)代 PC 的 CPU 可以使對象識別神經(jīng)網(wǎng)絡(luò)以每秒 20 幀的速度運行，從而實現(xiàn)約 3MB/s 的數(shù)據(jù)吞吐量。這比交通攝像頭的數(shù)據(jù)吞吐量低 200 倍，因此嚴重限制了可能的輸入數(shù)據(jù)流。

智能交通解決方案可以將視頻和熱像儀與人工智能、視頻分析、雷達和 V2X 與交通管理和數(shù)據(jù)分析軟件相結(jié)合，幫助城市安全順暢地運行。

重要的是要注意輸出流應(yīng)該被視為信息，而不僅僅是原始數(shù)據(jù)。以 600MB/s 的圖像流為例，系統(tǒng)執(zhí)行跟蹤、讀取和處理以獲得每個場景的幾個數(shù)字。我們可能會看到一個車牌，或者在分類應(yīng)用程序中，甚至只是“彈出：是或否”，將龐大的數(shù)據(jù)流縮減為一個位。

雖然這不是一件容易的事，但如果實現(xiàn)了，它將對下游數(shù)據(jù)捕獲、處理和存儲非常有吸引力。為了解決這些輸入數(shù)據(jù)流的限制，我們需要結(jié)合巧妙的傳感器工程、先進的 AI 處理器和集成算法解決方案。

強大（且耗電）的處理器

絕大多數(shù)相機使用傳統(tǒng)半導(dǎo)體，例如中央處理器 (CPU) 或現(xiàn)場可編程門陣列 (FPGA)。更強大的單元可能會使用更強大的 FPGA 或圖形處理單元 (GPU)。到目前為止，這些類型的處理器已經(jīng)能夠遵循摩爾定律，但過去的性能并不能保證未來。

此外，GPU、CPU 和 FPGA 消耗大量功率，因此會產(chǎn)生大量熱量。在某種程度上，這可以通過良好的設(shè)計來管理，但我們需要替代處理器和處理——架構(gòu)來解決長期的挑戰(zhàn)。

量子計算和集成光子/電子處理器正在排隊滿足任何圖像處理應(yīng)用程序最苛刻的性能/功率要求。

然而，在這些技術(shù)變得可用并在商業(yè)上可行之前，較新的處理器架構(gòu)（例如內(nèi)存計算或集成專用加速）將不斷突破可能的界限。

原則上，制造商在為其系統(tǒng)選擇合適的處理器時應(yīng)考慮每秒每瓦特 (TOPS/W) 的萬億次操作。雖然這是一個對原始功率效率有用的品質(zhì)因數(shù)，但我們必須記住，最終要求實際上是每瓦特決策，這是一個尚不存在的指標(biāo)。

巧妙處理

在處理方面，在微軟、蘋果和谷歌等巨頭的推動下，我們看到了算法在速度和能力方面的進步。基于人工智能的解決方案變得越來越輕巧，但功能更強大，范圍更廣。傳統(tǒng)的基于算法的解決方案以更高的效率利用現(xiàn)代處理器架構(gòu)。可以集成到現(xiàn)有部署流程中的商業(yè) AI 軟件工具的可用性正在降低功耗和成本，同時提高功能。

減少數(shù)據(jù)

結(jié)合先進的圖像傳感器技術(shù)，我們還看到了低數(shù)據(jù)解決方案的進步，包括在空間、時間甚至光子級別上實現(xiàn)的基于事件的傳感，例如光子倍增管或電子倍增 CCD (EMCCD)替代品。

Evolve 相機系列包括由 Teledyne e2v 設(shè)計和制造的世界領(lǐng)先的 EMCCD 傳感器，以實現(xiàn)量子效率和低讀取噪聲。Teledyne Photometrics 將傳感器集成到相機中，用于單分子成像和 TIRF 顯微鏡等極低光應(yīng)用。

基于事件的傳感器對變化做出反應(yīng)，直接在傳感器中過濾不相關(guān)的數(shù)據(jù)，僅將來自已更改像素的信息發(fā)送到處理器。這與傳統(tǒng)的基于幀的傳感器不同，后者記錄并發(fā)送所有像素進行處理，從而使系統(tǒng)的管道負擔(dān)過重。我們經(jīng)常將這種類型的數(shù)據(jù)流稱為神經(jīng)形態(tài)處理，因為它的數(shù)據(jù)處理架構(gòu)模仿了人腦處理信息的方式。雖然神經(jīng)形態(tài)處理可以在處理器中完成，但如果我們想要實現(xiàn)最佳的數(shù)據(jù)量減少，我們需要將基于事件的傳感器與神經(jīng)形態(tài)處理器相結(jié)合。

還有其他巧妙的方法可以動態(tài)減少數(shù)據(jù)傳輸，包括智能感興趣區(qū)域 (ROI) 功能和動態(tài)數(shù)據(jù)減少算法，我們開始在高端傳感器中出現(xiàn)這些方法。

將專門的數(shù)據(jù)捕獲行為與高性能處理器和智能輕量級算法相集成，為我們提供了在邊緣做出決策所需的關(guān)鍵組合，即事件發(fā)生并需要采取行動的地方。使用這種方法，即使是高性能、高信息量的光學(xué)檢測系統(tǒng)也可以獨立運行，而無需冗長、緩慢和昂貴的 PC 連接，從而使它們能夠通過 100% 的監(jiān)控以更低的成本更快地對問題做出反應(yīng)。

總體而言，這些進步將提高各種產(chǎn)品、農(nóng)產(chǎn)品和商品的安全性和質(zhì)量，同時降低生產(chǎn)成本。

尋找分子

還有另一種層次的檢查方法是傳統(tǒng)方法無法做到的。與平板制造商不同，平板制造商不希望在他們的顯示器上檢測細菌，在某些情況下，用戶需要在非常高的分辨率下看到細菌。

在這里，我們使用高倍顯微鏡技術(shù)，結(jié)合光學(xué)、化學(xué)、生物和計算的方法來提供關(guān)于我們世界的納米結(jié)構(gòu)的更深入的信息。

圖像傳感器使檢測人體組織中的癌細胞成為可能。雖然目前檢測組織樣本中的癌癥的方法還很粗糙，需要手術(shù)切除組織樣本，然后將其送往實驗室進行進一步研究，但有一天，當(dāng)病人還在手術(shù)臺上時，一項新的技術(shù)——細胞計數(shù)法將允許醫(yī)生近實時地確定樣本是否癌變。隨著處理能力越來越接近像素，我們現(xiàn)在可以捕捉細胞的圖像，并查看它的DNA，在臨床環(huán)境中的大型實驗室中。在未來，我們將把這種接近實時的細胞檢查從大型實驗室轉(zhuǎn)移到當(dāng)?shù)貙嶒炇?，最后轉(zhuǎn)移到手術(shù)臺上。

香港大學(xué)的研究人員開發(fā)了成像流式細胞術(shù)技術(shù)，以減少血液篩查的時間和成本。使用脈沖激光線掃描成像和 Teledyne SP Devices 的數(shù)字化儀，他們能夠在 1-2 分鐘內(nèi)處理大量的結(jié)果數(shù)據(jù)——高達 100,000 個單細胞圖像/秒和 1 TB 的圖像數(shù)據(jù)——結(jié)合深度- 學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和自動“大數(shù)據(jù)”分析。

想象一下，在手術(shù)過程中為外科醫(yī)生配備工具以完成診斷。可以實時對腫瘤進行分類和切除，而不是給患者施加壓力等待期并迫使醫(yī)生進行第二次手術(shù)。這是生活質(zhì)量的真正改善。

小型化

尺寸對成像和視覺發(fā)展提出了另一層挑戰(zhàn)。新穎的高性能解決方案通常既昂貴又龐大。如果我們要為醫(yī)生及其患者實現(xiàn)更小、更易于使用的解決方案，那么在體內(nèi)手術(shù)期間將基因組分析儀放在桌面上的目標(biāo)就是我們必須克服的挑戰(zhàn)。

用于微型相機應(yīng)用的超小型圖像傳感器、光源和處理器即將派上用場。微型尖端芯片 CMOS 圖像傳感器為外科醫(yī)生提供了比過去更有效地執(zhí)行微創(chuàng)內(nèi)窺鏡和腹腔鏡手術(shù)所需的增強視力。機器人引導(dǎo)的手術(shù)同樣受益于具有非常小的像素間距和針對特定醫(yī)療程序優(yōu)化的圖像質(zhì)量的緊湊型圖像傳感器。

用于一次性和柔性內(nèi)窺鏡和腹腔鏡的“尖端芯片”CMOS 圖像傳感器需要具有非常小的像素間距和圖像質(zhì)量的緊湊型傳感器，專門針對醫(yī)療應(yīng)用進行了優(yōu)化。

借助可供醫(yī)生使用的強大而有效的工具，醫(yī)療程序?qū)⒆兊酶臁⑶秩胄愿?、更成功，從而使患者、醫(yī)生和整個醫(yī)學(xué)界受益。

即將到來的未來

相機和圖像傳感技術(shù)的進步將不僅對工廠車間、倉庫或智能運輸系統(tǒng)產(chǎn)生重大影響。這款新一代相機被部署在無人機上或嵌入手持設(shè)備中，它將利用光譜技術(shù)告訴我們，我們的農(nóng)產(chǎn)品或飲用水中是否有毒素，或者我們呼吸的空氣中是否有環(huán)境毒素。

即使是對SARS-CoV-2等疾病的聚合酶鏈反應(yīng)(PCR)檢測也將更容易、更廉價，因為成本較低的圖像傳感器將用于分子診斷工具。DNA測序曾經(jīng)需要大型、昂貴的機器來對人類基因組進行測序，以確定祖先，但由于成像和分析技術(shù)的創(chuàng)新，這一技術(shù)將變得越來越容易獲得，也越來越便宜。

雖然我們不能100%準確地預(yù)測，但我們可以根據(jù)我們對市場需求和不斷發(fā)展的技術(shù)的了解做出預(yù)測。期待更強大的AI處理器，在更低的功耗和更低的溫度下提供更強的計算能力。結(jié)合強大的算法解決方案，解決方案提供商將獲得更廣泛的合適應(yīng)用。

神經(jīng)形態(tài)計算平臺將模仿人類視覺的效率。更直觀的人工智能軟件算法將比以往更有效地訓(xùn)練機器視覺模型。高光譜成像將繼續(xù)帶我們探索地球表面之下。微型圖像傳感器可以在病人還在手術(shù)時進行分子診斷。

自從18世紀早期第一臺照相機發(fā)明以來，照相機已經(jīng)走了一百萬英里。隨著相機和圖像傳感器的創(chuàng)新，我們將有能力了解周圍的世界——以及我們內(nèi)心的世界，我們將多旅行數(shù)百萬次。

編輯：黃飛

?