為 NVIDIA Jetson 和其他嵌入式系統(tǒng)選擇合適的攝像頭

攝像頭模塊是基于 AI 的嵌入式系統(tǒng)中最不可或缺的部分。市面上可供選擇的攝像頭模塊多到令人難以抉擇。本文將對這一過程進行詳解，幫助您為包括 NVIDIA Jetson 在內(nèi)的嵌入式應用做出正確的選擇。

選擇攝像頭的注意事項

選擇攝像頭模塊需要考慮三個關鍵方面：傳感器、接口（連接器）和光學器件。

傳感器

電子圖像傳感器分為兩大類：電荷耦合器件（CCD）和有源像素傳感器（CMOS）。CCD 傳感器只能按行讀取像素值，每行像素逐一移位到讀出寄存器中。CMOS 傳感器則可以單獨并行讀取每個像素。

在大多數(shù)情況下，CMOS 的成本和能耗更低，而且不影響圖像質(zhì)量。由于可以并行讀取像素值，CMOS 還能實現(xiàn)更高的幀率。不過在某些特殊領域，CCD 傳感器仍占主導地位，比如像天文學這種需要長時間曝光和極低噪點圖像的領域。

電子快門

電子快門有全局快門和滾動快門這兩個選項。全局快門將每個像素同時曝光在入射光下。滾動快門按一定順序（例如從上到下）對像素行進行曝光，這可能會導致失真（圖 1）。

圖 1. 滾動快門導致螺旋槳葉片失真

全局快門不會受到物體移動造成的運動模糊和失真影響。由于曝光開始的時間點只有一個，使用全局快門更容易同步多臺攝像機。不過，使用全局快門的傳感器要比使用滾動快門的傳感器昂貴得多。

彩色或單色

在大多數(shù)情況下，單色圖像傳感器足以勝任典型的機器視覺任務，比如故障檢測、存在監(jiān)測和記錄測量等。

在單色傳感器中，每個像素通常用 8 個 bits 來描述。而在彩色傳感器中，每個像素由 8 bits 紅色，8 bits 綠色和 8 bits 藍色組成。彩色傳感器需要處理的數(shù)據(jù)量是單色傳感器的三倍，因此處理時間較長，幀率也較慢。

動態(tài)范圍

動態(tài)范圍是傳感器獲取的最大和最小信號之間的比率。在上限值，像素在較高的強度值（飽和度）下呈現(xiàn)白色；在下限值及以下，像素呈現(xiàn)黑色。室內(nèi)應用需要至少 80 分貝的 HDR，室外應用則需要最高 140 分貝的 HDR。

分辨率

分辨率是傳感器再現(xiàn)物體細節(jié)的能力。它受到多種因素的影響，如所使用的照明類型、傳感器像素大小和光學器件的性能等。物體的細節(jié)越小，所需的分辨率就越高。

像素分辨率是指圖像上每個像素等于多少毫米。分辨率越高，圖像就越清晰。攝像頭或傳感器的分辨率應能覆蓋至少兩個像素的特征區(qū)域。

高分辨率的 CMOS 傳感器往往幀率較低。即便傳感器可以達到您所需要的分辨率，如果不能達到足夠的每秒幀數(shù)，就無法捕捉到所需要的高質(zhì)量圖像。因此，評估傳感器的速度非常重要。

確定用例所需分辨率的一般經(jīng)驗法則如圖 2 所示。?乘數(shù)“2”表示通常希望物體上至少有兩個像素，以便成功檢測到物體。

?

圖 2. 所需的傳感器分辨率

取決于鏡頭視場和目標特征的大小

例如，假設有一張拳擊手眼睛周圍受傷的圖像。

• 分辨率= 2×（2000/4）

• 視場角（毫米） = 2000 毫米

• 目標特征（眼睛）的大?。ê撩祝? 4 毫米

根據(jù) 1000 x 1000 的計算結果，100 萬像素攝像頭使用 CV 或 AI 算法應該足以檢測到眼睛。

請注意，傳感器是由多行像素組成的。這些像素也稱為“光子”。像素收集到的光子數(shù)量與像素大小成正比。選擇較大的像素看似誘人，但并非在所有情況下都是最佳選擇。

表 1. 小像素和大像素的優(yōu)缺點

背照式傳感器可最大程度地提高每個光電二極管捕捉和轉(zhuǎn)換的光量。在前照式傳感器中，光電二極管上方的金屬線會阻擋一些光子，從而減少捕捉到的光量。

圖 3. 前照式結構（左）

和后照式結構（右）的截面圖

幀率和快門速度

幀率是指每秒拍攝的幀數(shù)（或捕捉的圖像）（FPS）。幀率應根據(jù)每秒所需的檢測次數(shù)來確定。這與快門速度（或曝光時間）相關，快門速度是攝像頭傳感器為捕捉圖像而曝光的時間。

理論上，最大幀率等于曝光時間的倒數(shù)。但由于幀讀取、傳感器分辨率和包括電纜在內(nèi)的接口數(shù)據(jù)傳輸速率所帶來的延遲，可實現(xiàn)的 FPS 將會較低于這個值。

通過增加額外的照明和對像素進行分檔，可以減少對大量曝光時間的需求，從而提高 FPS。

CMOS 傳感器讀取每個像素的過程比 CCD 傳感器移位寄存器中的電荷傳輸更快，因此可以實現(xiàn)更高的 FPS。

接口

有多種方法可以將攝像頭模塊連接到嵌入式系統(tǒng)。通常情況下，為了進行評估，會使用帶有 USB 和以太網(wǎng)接口的攝像機，因為這樣就不需要自定義驅(qū)動程序的開發(fā)。

選擇接口時的其他重要參數(shù)包括傳輸長度、數(shù)據(jù)傳輸速率和工作條件。表 2 列出了最常用的接口。每種接口都各有利弊。

表 2. 各攝像頭接口比較

光學器件

光學鏡頭的基本作用是收集物體的散射光，并在光敏圖像傳感器（CCD 或 CMOS）上再現(xiàn)物體的圖像。在選擇優(yōu)化鏡頭時應考慮以下因素：焦距、傳感器格式、視野、光圈、主光線角、分辨能力和畸變。

鏡頭有固定的幾種標準焦距。常見的鏡頭焦距包括 6 毫米、8 毫米、12.5 毫米、25 毫米和 50 毫米。

在選擇了焦距最接近成像系統(tǒng)所需焦距的鏡頭后，就需要調(diào)整工作距離，使被測物對焦。短焦距鏡頭（小于 12 毫米）產(chǎn)生的圖像畸變較大。

如果您的應用對圖像畸變敏感，請嘗試增加工作距離并使用焦距較長的鏡頭。如果無法改變工作距離，那么在選擇優(yōu)化鏡頭時就會受到一定的限制。

表 3. 攝像機鏡頭的主要類型

將鏡頭安裝到攝像機上時需要使用某種安裝系統(tǒng)，必須確定機械穩(wěn)定性（松動的鏡頭會產(chǎn)生失焦圖像）以及與傳感器的距離。

為確保不同鏡頭和攝像機之間的兼容性，我們定義了以下標準鏡頭卡口。

表 4. 嵌入式空間常用的鏡頭卡口

NVIDIA 攝像頭模塊合作伙伴

NVIDIA 與全球?qū)嵙π酆竦臄z像頭模塊制造商建立了一個豐富的合作生態(tài)圈。詳情請查看 Jetson 合作伙伴支持的攝像頭：https://developer.nvidia.com/embedded/jetson-partner-supported-cameras?t1_supported-jetson-products=Orin

這些合作伙伴可以幫助您，為NVIDIA Jetson應用完成從概念到生產(chǎn)的整個成像系統(tǒng)設計過程。

圖 4. NVIDIA Jetson 加攝像頭模塊的組合

可滿足各行各業(yè)的不同需求

總結

本文介紹了為嵌入式應用選擇攝像頭時需要考慮的最重要的特性。這個選擇過程似乎十分艱巨，您首先要了解在設計、性能、環(huán)境和成本方面的主要限制。

在了解限制后，重點關注與用例最相關的特性。例如，如果攝像頭將被部署在遠離計算中心的地方或惡劣的環(huán)境中，應考慮使用 GMSL 接口；如果攝像頭將在弱光條件下使用，應考慮像素和傳感器尺寸較大的攝像頭模塊；如果要將攝像頭用于運動應用，可考慮使用帶全局快門的攝像頭。

想要了解更多信息，請觀看：

優(yōu)化邊緣應用：揭示 Jetson 處理器與攝像頭的正確組合

https://www.e-consystems.com/webinars/optimize-your-edge-application-unveiling-the-right-combination-of-jetson-processors-and-cameras.asp

有關基于 Xavier和 Orin 的 Jetson 模塊的 AI 性能、GPU、CPU 等詳細規(guī)格，請訪問Jetson 模塊：

https://developer.nvidia.com/embedded/jetson-modules

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，關注更多會議及活動信息。