全國產(chǎn)0延時USB3.0 ISP工業(yè)相機介紹

當下，市場風云變幻莫測，國際形勢也持續(xù)刷新我們認知，供應鏈沒有安全感。鑒于此，產(chǎn)品的自主可控，以及全國產(chǎn)化的需求越來越強烈。國產(chǎn)化一方面要解決本土芯片BOM選型的空缺，另一方面也得在不夠完善的芯片架構(gòu)下，做到過去進口芯片的性能、功耗、成本等，這對我們產(chǎn)品的研發(fā)，提出了巨大的挑戰(zhàn)。

但是有些路不得不走，國產(chǎn)化沒有退路。如果不在此時負重前行，未來只會越來越難，國產(chǎn)化是趨勢，是當下唯一的選擇。

針對視頻圖像以及目標識別、跟蹤等應用，奧唯思基于全國產(chǎn)BOM選型設計，經(jīng)歷了1年的磨練，已經(jīng)完成*規(guī) 7*24小時歸零時間+震動測試，正式推出了全國產(chǎn)0延時USB3.0 ISP工業(yè)相機解決方案——VU3-1S200CR。

全國產(chǎn)BOM選型

針對一個USB3.0相機，主要的芯片為FPGA、DDR3、USB3.0 PHY、圖像傳感器、FLASH等，除此之外主要的還有晶振、DCDC、接插件、鏡頭等，經(jīng)過多個版本的迭代更新，我們的選型BOM如下：

結(jié)合以上國產(chǎn)BOM選型，給出當前我們的USB3.0相機的硬件架構(gòu)，如下所示：

0延時ISP圖像處理器

除了基本的國產(chǎn)USB3.0相機，客戶更希望能夠聚焦產(chǎn)品應用，想把圖像處理前置；同時，針對目標跟蹤，運動識別等應用場景，對于延時的要求很高，因此采用FPGA實現(xiàn)0延時全流水線ISP圖像處理，用戶只關(guān)注ARM應用層，不僅解決了傳統(tǒng)方案延時的問題，也可以聚焦產(chǎn)品應用，做好識別跟蹤。

因此我們花了1年時間，累積迭代了n個版本，自研了一套基于國產(chǎn)FPGA的全流水0延時ISP圖像處理器，如下所示：

0延時其實不是絕對的，實際計算會有若干行的緩存delay，用來做5*5、7*7的圖像處理算法，相對于一幀16.67ms來說，幾百us的延時微乎其微，約等于0延時。實測我們的顯示效果，如下：

備注：暫無時間做專業(yè)性的指標測試，目前已滿足客戶需求為準，已經(jīng)成功上機，未來有時間再做指標性的測試吧。

苛刻的測試，掉線也得恢復

國產(chǎn)的芯片雖然出來了，但國產(chǎn)的IP化進行還是有一些路要走，撞了南墻撞北墻，我們重寫了很多IP、SDK，萬事開頭難：

重寫了易靈思FPGA的MIPI CSI控制器，來做到更高的穩(wěn)定性（軟核優(yōu)勢）

重寫了方寸T630的SDK，來做到各種壓力測試的穩(wěn)定性來滿足性能

自研了精簡版RISC-V處理器，來實現(xiàn)復雜的調(diào)度協(xié)調(diào)工作

正在重新了DDR3控制器，來適應低溫以及高溫的DDR3穩(wěn)定性

針對當前給客戶定制化量產(chǎn)的0延時USB3.0 ISP相機，相機整機的研發(fā)花了4個月，地獄般的測試花了我們8個月，做好一個產(chǎn)品不容易，尤其是國產(chǎn)化的過程更艱辛，要求比商用產(chǎn)品更加苛刻。

首先，未曾想到SMT爬錫也會影響到高低溫、震動場景，以至于最后全部重新補強。如下是錫漿爬錫后的高倍放大鏡測試圖：

其次，為了適應實際應用中的震動實驗，我們甚至這樣做（如下視頻），因此在接口、線纜的選型上也花了巨大的精力，在掉線自動恢復上甚至花了比正常出圖傳輸更多的代價——所以實現(xiàn)簡單，異常機制反而艱難。

最后，總結(jié)一句話：做好一個全國產(chǎn)化產(chǎn)品，不容易。

期待更多合作，我們繼續(xù)做國產(chǎn)化ISP相機！

總結(jié)

截至目前，我們已經(jīng)幫客戶做了很多接入工作：

雙目U3 ISP相機，接入RK3588

單目U3 ISP相機，接入RK3568

單目BT1120 ISP相機，接入Hi3516

單目MPI ISP相機，接入了NVIDIA AGX Orin