從ISP到AISP，讓智能汽車看得見、看得清、看得遠

電子發(fā)燒友網報道（文/吳子鵬）照度(Lux)是判斷光照場景的主要指標，人眼能感受色彩低照度的極限為1Lux，市場上夜視相機的極限光照度基本在0.01Lux。不過，隨著智能化設備的普及，一些設備開始要求能夠在0.0005Lux，甚至是0.0001Lux這樣的超低照度場景下精準地捕捉信息。這樣的應用有很多，比如無人機航拍、森林防火、曠野安防，以及我們今天要重點談論的自動駕駛場景，等等。

超低照度的應用場景加重了ISP工作的負擔，甚至是已經超出了傳統(tǒng)ISP的性能范圍，這便是AI ISP誕生的背景，安霸（Ambarella）則是將自己的AI圖像信號處理器稱為AISP。安霸針對AISP技術有哪些創(chuàng)新的解決方案，安霸半導體圖像算法總監(jiān)路遙接下來給大家?guī)愍毜降囊娊狻?br />

高度靈活的可編程流水線設計

ISP的主要作用是負責接收感光元件（Sensor）的原始信號數(shù)據(jù)，然后對這些數(shù)據(jù)進行線性糾正、噪聲去除、壞點去除、內插、白平衡等后期處理，因此能夠很好地還原現(xiàn)場細節(jié)，提升成像質量。

在ISP中，整個pipeline有不同的模塊負責不同的功能。AI ISP的理念則是通過神經網絡來實現(xiàn)ISP的部分功能或者全部功能。因此不難看出，AI ISP對ISP整個工作流程進行了全面的革新，也能成為AI ISP產品的創(chuàng)新點。

作為專注 AI 視覺感知的半導體公司，安霸一直是傳統(tǒng)ISP技術的領先者，在傳統(tǒng)ISP的設計與迭代中，安霸積累了大量的原始數(shù)據(jù)，包括了圖像處理的困難場景和容易出錯的極端情況等?！暗靡嬗谶@個龐大且完整的數(shù)據(jù)集，我們完整地訓練了安霸的AISP，使之可以適應各種使用場景。另外，我們計劃提供云端的訓練模型，讓我們的客戶可以重新訓練AISP?！甭愤b在接受電子發(fā)燒友網采訪時講到。

當然，雖然都叫AI ISP算法，不過各廠商之間的實現(xiàn)方式還是有明顯的區(qū)別的。安霸也是有自己的IP 的ISP流水線，這個流水線具有高度可編程特性，并且以其優(yōu)異畫質和高度靈活的特性而著稱。

我們都知道，讓AI ISP能夠發(fā)揮作用的重要部件是NPU，這個元件在ISP芯片內部幫助進行AI分析。在安霸的AISP方案里，無論是單芯片還是集成到安霸SoC，均有AI 硬件加速引擎CVflow（安霸的NPU）和算法協(xié)同工作，以極低功耗提供了強大的前端設備的AI算力，給AISP提供了堅實的算力基礎。

AI算法和NPU的結合，便是AI ISP發(fā)揮威力的核心環(huán)節(jié)。路遙指出：“通過安霸自有IP 的ISP流水線和AI 硬件加速引擎CVflow的協(xié)同，安霸的AISP極大提升了暗光畫質，遠遠超過傳統(tǒng)的ISP畫質，將暗光全彩產品的標準提升到了一個新的高度。使用這種設計，我們可以靈活地控制AISP的融合輸出，以滿足客戶的各種需求?！?br />
在硬件設計上，根據(jù)電子發(fā)燒友網的了解，安霸芯片針對邊緣端SoC精心設計了硬件架構，以確保在不犧牲性能的前提下，盡可能降低功耗和芯片面積，并且安霸一直追求最先進的芯片制程，而采用先進的制程技術可以提高性能，減小芯片面積，并在一定程度上降低功耗。在芯片內部，圖像處理和AI算法的實現(xiàn)經過高度優(yōu)化，以在保持高性能的同時降低功耗和芯片面積。

AISP為自動駕駛賦能

ISP是攝像頭和各類應用之間的橋梁，而我們都知道，攝像頭是目前實現(xiàn)智能駕駛，未來實現(xiàn)自動駕駛不可或缺的一類傳感器。在車輛行駛的過程中，光照條件千變萬化，像進出隧道、地庫，以及曠野夜晚駕駛等場景，亮暗比例遠遠超過目前絕大部分攝像頭單次曝光可以覆蓋的動態(tài)范圍，也存在很多超低照度的場景，如何讓汽車在各種光照條件下看得見、看得清、看得遠，是產業(yè)共同努力的方向。

從部署來看，在車用場景里，ISP和AI ISP并不是非此即彼的，而是要基于場景和成本進行綜合考慮，但引入AI ISP無疑會讓智能駕駛的汽車更安全。在安霸看來，消費類和車規(guī)級應用有明顯的不同：
消費級應用更關注AISP的低功耗設計，以確保系統(tǒng)的高效運行并最小化對電池的需求。
而在汽車領域，則對于硬件的穩(wěn)定性和可靠性有著極高的要求。因為汽車在各種極端環(huán)境和條件下運行，需要能夠穩(wěn)定可靠地處理圖像數(shù)據(jù)，確保車輛的安全性能。車規(guī)級應用對于實時性的要求更加苛刻。例如，車輛的感知系統(tǒng)需要及時準確地處理圖像數(shù)據(jù)，以支持車輛的實時決策和操作。最重要的是，安霸的AISP將傳統(tǒng)圖像處理與AI處理實時融合，防止AI產生虛假感知，避免后端算法產生不準確的分析和決策，這對于確保安全性至關重要。

針對車端應用，電子發(fā)燒友網記者專門和路遙請教了兩個典型場景的AISP應用，其一是超低照度這一使用場景，其二是CMS這一方案場景。

-超低照度場景

就像我們上述提到的，在地庫和夜晚，汽車必然會遇到低照度，甚至是超低照度的駕駛場景，這是非常考驗攝像頭系統(tǒng)捕捉信息的能力的。針對這些場景，很多車輛已經開始配備一種殺手锏級的硬件——黑光全彩攝像頭。

路遙表示：“夜間低光場景一直是傳統(tǒng)ISP的痛點，也給后端的AI視覺算法帶來了巨大的麻煩。安霸的AISP極大地提升了低光圖像的信噪比，使得圖像細節(jié)清晰，物體的邊緣和紋理更加銳利，不受到噪聲的干擾。同樣的，AISP產生的高信噪比的圖像使顏色的還原更為準確，不受到噪聲引起的顏色偏移的影響，讓真正的全彩夜視可以服務于人類視覺和機器視覺?！?br />
-CMS方案設計

2023年7月1日，國內允許乘用車使用CMS的法規(guī)－國家標準GB15084-2022《機動車輛間接視野裝置性能和安裝要求》正式開始實施，產業(yè)正式進入落地元年。

路遙認為，CMS是一個典型的AISP服務于人類視覺的使用案例。安霸的AISP可以靈活的自適應場景，針對不同工況輸出AISP的融合圖像，讓用戶可以觀察到周圍環(huán)境的真實還原，在雨雪大霧或是黑夜中，AISP的輸出質量更是遠超物理鏡，從而保障用戶的安全行駛。

“安霸的AISP是基于自己的車規(guī)級SoC和成熟的SDK而設計，我們的硬件和軟件架構設計涵蓋了安全性，包括硬件防護措施，如硬件監(jiān)測和錯誤糾正，以及軟件層面的安全設計，如安全啟動過程和安全通信協(xié)議，并具備對可能的故障進行適當?shù)奶幚砗突謴蜋C制?！甭愤b在溝通中提到。

在產品方面他說到，安霸的傳統(tǒng)ISP提供了讓客戶信服的優(yōu)異圖像質量，成熟的軟硬件設計更是可以幫助客戶快速量產，所以安霸的方案在CMS供應商中已經占據(jù)了主導位置， 有兩款配置CMS的車型已經量產并又獲得多款主機廠車型的定點。而AISP，是安霸對傳統(tǒng)ISP的一次重要升級，從而進一步拉大了與競爭對手的領先優(yōu)勢。隨著CMS國標的發(fā)布，標志著中國對CMS這個新生事物的認可與推廣，安霸會繼續(xù)在CMS的產業(yè)升級和技術創(chuàng)新中推陳出新，用最新一代的AISP去將CMS的畫質推到更高的高度。

結語

AI ISP的出現(xiàn)，解決了現(xiàn)實需求中的設備如何在復雜光照中看得見、看得清、看得遠的痛點，安霸通過高度可編程的流水線設計，配合AI 硬件加速引擎CVflow，讓安霸AISP擁有領先行業(yè)的性能。

在汽車智能駕駛領域，安霸AISP這種性能領先優(yōu)勢更是格外被看重，已經開始規(guī)模性落地。“感知模塊是智駕的眼睛，只有擁有最佳的視力，才能在各種挑戰(zhàn)性工況下給智駕算法提供優(yōu)質的感知信息，輔助智駕做出最佳決策。優(yōu)秀的ISP就是感知模塊的核心組件，而AISP更是可以將感知模塊的能力提升到極致，所以說在AISP的處理下，感知模塊可以遠超人類視覺，從而使智駕算法更加強大。未來，安霸將持續(xù)提供更高算力的算力平臺，而AISP的性能和能力也會持續(xù)進化，我們會通過AISP來幫助解決目前視覺感知中的一系列痛點，從而幫助感知算法走向新的高度?！甭愤b最后說。