為 NVIDIA Jetson 和其他嵌入式系統(tǒng)選擇合適的攝像頭

攝像頭模塊是基于 AI 的嵌入式系統(tǒng)中最不可或缺的部分。市面上可供選擇的攝像頭模塊多到令人難以抉擇。本文將對(duì)這一過程進(jìn)行詳解，幫助您為包括 NVIDIA Jetson 在內(nèi)的嵌入式應(yīng)用做出正確的選擇。

選擇攝像頭的注意事項(xiàng)

選擇攝像頭模塊需要考慮三個(gè)關(guān)鍵方面：傳感器、接口（連接器）和光學(xué)器件。

傳感器

電子圖像傳感器分為兩大類：電荷耦合器件（CCD）和有源像素傳感器（CMOS）。CCD 傳感器只能按行讀取像素值，每行像素逐一移位到讀出寄存器中。CMOS 傳感器則可以單獨(dú)并行讀取每個(gè)像素。

在大多數(shù)情況下，CMOS 的成本和能耗更低，而且不影響圖像質(zhì)量。由于可以并行讀取像素值，CMOS 還能實(shí)現(xiàn)更高的幀率。不過在某些特殊領(lǐng)域，CCD 傳感器仍占主導(dǎo)地位，比如像天文學(xué)這種需要長時(shí)間曝光和極低噪點(diǎn)圖像的領(lǐng)域。

電子快門

電子快門有全局快門和滾動(dòng)快門這兩個(gè)選項(xiàng)。全局快門將每個(gè)像素同時(shí)曝光在入射光下。滾動(dòng)快門按一定順序（例如從上到下）對(duì)像素行進(jìn)行曝光，這可能會(huì)導(dǎo)致失真（圖 1）。

圖 1. 滾動(dòng)快門導(dǎo)致螺旋槳葉片失真

全局快門不會(huì)受到物體移動(dòng)造成的運(yùn)動(dòng)模糊和失真影響。由于曝光開始的時(shí)間點(diǎn)只有一個(gè)，使用全局快門更容易同步多臺(tái)攝像機(jī)。不過，使用全局快門的傳感器要比使用滾動(dòng)快門的傳感器昂貴得多。

彩色或單色

在大多數(shù)情況下，單色圖像傳感器足以勝任典型的機(jī)器視覺任務(wù)，比如故障檢測(cè)、存在監(jiān)測(cè)和記錄測(cè)量等。

在單色傳感器中，每個(gè)像素通常用 8 個(gè) bits 來描述。而在彩色傳感器中，每個(gè)像素由 8 bits 紅色，8 bits 綠色和 8 bits 藍(lán)色組成。彩色傳感器需要處理的數(shù)據(jù)量是單色傳感器的三倍，因此處理時(shí)間較長，幀率也較慢。

動(dòng)態(tài)范圍

動(dòng)態(tài)范圍是傳感器獲取的最大和最小信號(hào)之間的比率。在上限值，像素在較高的強(qiáng)度值（飽和度）下呈現(xiàn)白色；在下限值及以下，像素呈現(xiàn)黑色。室內(nèi)應(yīng)用需要至少 80 分貝的 HDR，室外應(yīng)用則需要最高 140 分貝的 HDR。

分辨率

分辨率是傳感器再現(xiàn)物體細(xì)節(jié)的能力。它受到多種因素的影響，如所使用的照明類型、傳感器像素大小和光學(xué)器件的性能等。物體的細(xì)節(jié)越小，所需的分辨率就越高。

像素分辨率是指圖像上每個(gè)像素等于多少毫米。分辨率越高，圖像就越清晰。攝像頭或傳感器的分辨率應(yīng)能覆蓋至少兩個(gè)像素的特征區(qū)域。

高分辨率的 CMOS 傳感器往往幀率較低。即便傳感器可以達(dá)到您所需要的分辨率，如果不能達(dá)到足夠的每秒幀數(shù)，就無法捕捉到所需要的高質(zhì)量圖像。因此，評(píng)估傳感器的速度非常重要。

確定用例所需分辨率的一般經(jīng)驗(yàn)法則如圖 2 所示。?乘數(shù)“2”表示通常希望物體上至少有兩個(gè)像素，以便成功檢測(cè)到物體。

?

圖 2. 所需的傳感器分辨率

取決于鏡頭視場(chǎng)和目標(biāo)特征的大小

例如，假設(shè)有一張拳擊手眼睛周圍受傷的圖像。

• 分辨率= 2×（2000/4）

• 視場(chǎng)角（毫米） = 2000 毫米

• 目標(biāo)特征（眼睛）的大?。ê撩祝? 4 毫米

根據(jù) 1000 x 1000 的計(jì)算結(jié)果，100 萬像素?cái)z像頭使用 CV 或 AI 算法應(yīng)該足以檢測(cè)到眼睛。

請(qǐng)注意，傳感器是由多行像素組成的。這些像素也稱為“光子”。像素收集到的光子數(shù)量與像素大小成正比。選擇較大的像素看似誘人，但并非在所有情況下都是最佳選擇。

表 1. 小像素和大像素的優(yōu)缺點(diǎn)

背照式傳感器可最大程度地提高每個(gè)光電二極管捕捉和轉(zhuǎn)換的光量。在前照式傳感器中，光電二極管上方的金屬線會(huì)阻擋一些光子，從而減少捕捉到的光量。

圖 3. 前照式結(jié)構(gòu)（左）

和后照式結(jié)構(gòu)（右）的截面圖

幀率和快門速度

幀率是指每秒拍攝的幀數(shù)（或捕捉的圖像）（FPS）。幀率應(yīng)根據(jù)每秒所需的檢測(cè)次數(shù)來確定。這與快門速度（或曝光時(shí)間）相關(guān)，快門速度是攝像頭傳感器為捕捉圖像而曝光的時(shí)間。

理論上，最大幀率等于曝光時(shí)間的倒數(shù)。但由于幀讀取、傳感器分辨率和包括電纜在內(nèi)的接口數(shù)據(jù)傳輸速率所帶來的延遲，可實(shí)現(xiàn)的 FPS 將會(huì)較低于這個(gè)值。

通過增加額外的照明和對(duì)像素進(jìn)行分檔，可以減少對(duì)大量曝光時(shí)間的需求，從而提高 FPS。

CMOS 傳感器讀取每個(gè)像素的過程比 CCD 傳感器移位寄存器中的電荷傳輸更快，因此可以實(shí)現(xiàn)更高的 FPS。

接口

有多種方法可以將攝像頭模塊連接到嵌入式系統(tǒng)。通常情況下，為了進(jìn)行評(píng)估，會(huì)使用帶有 USB 和以太網(wǎng)接口的攝像機(jī)，因?yàn)檫@樣就不需要自定義驅(qū)動(dòng)程序的開發(fā)。

選擇接口時(shí)的其他重要參數(shù)包括傳輸長度、數(shù)據(jù)傳輸速率和工作條件。表 2 列出了最常用的接口。每種接口都各有利弊。

表 2. 各攝像頭接口比較

光學(xué)器件

光學(xué)鏡頭的基本作用是收集物體的散射光，并在光敏圖像傳感器（CCD 或 CMOS）上再現(xiàn)物體的圖像。在選擇優(yōu)化鏡頭時(shí)應(yīng)考慮以下因素：焦距、傳感器格式、視野、光圈、主光線角、分辨能力和畸變。

鏡頭有固定的幾種標(biāo)準(zhǔn)焦距。常見的鏡頭焦距包括 6 毫米、8 毫米、12.5 毫米、25 毫米和 50 毫米。

在選擇了焦距最接近成像系統(tǒng)所需焦距的鏡頭后，就需要調(diào)整工作距離，使被測(cè)物對(duì)焦。短焦距鏡頭（小于 12 毫米）產(chǎn)生的圖像畸變較大。

如果您的應(yīng)用對(duì)圖像畸變敏感，請(qǐng)嘗試增加工作距離并使用焦距較長的鏡頭。如果無法改變工作距離，那么在選擇優(yōu)化鏡頭時(shí)就會(huì)受到一定的限制。

表 3. 攝像機(jī)鏡頭的主要類型

將鏡頭安裝到攝像機(jī)上時(shí)需要使用某種安裝系統(tǒng)，必須確定機(jī)械穩(wěn)定性（松動(dòng)的鏡頭會(huì)產(chǎn)生失焦圖像）以及與傳感器的距離。

為確保不同鏡頭和攝像機(jī)之間的兼容性，我們定義了以下標(biāo)準(zhǔn)鏡頭卡口。

表 4. 嵌入式空間常用的鏡頭卡口

NVIDIA 攝像頭模塊合作伙伴

NVIDIA 與全球?qū)嵙π酆竦臄z像頭模塊制造商建立了一個(gè)豐富的合作生態(tài)圈。詳情請(qǐng)查看 Jetson 合作伙伴支持的攝像頭：https://developer.nvidia.com/embedded/jetson-partner-supported-cameras?t1_supported-jetson-products=Orin

這些合作伙伴可以幫助您，為NVIDIA Jetson應(yīng)用完成從概念到生產(chǎn)的整個(gè)成像系統(tǒng)設(shè)計(jì)過程。

圖 4. NVIDIA Jetson 加攝像頭模塊的組合

可滿足各行各業(yè)的不同需求

總結(jié)

本文介紹了為嵌入式應(yīng)用選擇攝像頭時(shí)需要考慮的最重要的特性。這個(gè)選擇過程似乎十分艱巨，您首先要了解在設(shè)計(jì)、性能、環(huán)境和成本方面的主要限制。

在了解限制后，重點(diǎn)關(guān)注與用例最相關(guān)的特性。例如，如果攝像頭將被部署在遠(yuǎn)離計(jì)算中心的地方或惡劣的環(huán)境中，應(yīng)考慮使用 GMSL 接口；如果攝像頭將在弱光條件下使用，應(yīng)考慮像素和傳感器尺寸較大的攝像頭模塊；如果要將攝像頭用于運(yùn)動(dòng)應(yīng)用，可考慮使用帶全局快門的攝像頭。

想要了解更多信息，請(qǐng)觀看：

優(yōu)化邊緣應(yīng)用：揭示 Jetson 處理器與攝像頭的正確組合

https://www.e-consystems.com/webinars/optimize-your-edge-application-unveiling-the-right-combination-of-jetson-processors-and-cameras.asp

有關(guān)基于 Xavier和 Orin 的 Jetson 模塊的 AI 性能、GPU、CPU 等詳細(xì)規(guī)格，請(qǐng)?jiān)L問Jetson 模塊：

https://developer.nvidia.com/embedded/jetson-modules

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開放。點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，關(guān)注更多會(huì)議及活動(dòng)信息。