全新Arm ISP技術為智能設備打造更敏銳的數(shù)字眼

Arm宣布推出全新Arm Mali-C52 與Mali-C32圖像信號處理器（ISP），通過完整的解決方案提供最高的圖像質量，應對在智能物聯(lián)網(wǎng)設備中實現(xiàn)實時的、更高圖像質量的要求。

在人類五種感官中，視覺是進化程度最高、感受最豐富的感官，由200多萬根神經(jīng)纖維將視網(wǎng)膜的信息傳送到大腦。過去數(shù)十年來，數(shù)字世界一直在努力試圖超越我們的視覺處理能力。創(chuàng)建“數(shù)字眼”來處理實時的、更高質量的圖像，讓觀眾對環(huán)境有最真實的感受，這是Arm生態(tài)系統(tǒng)在致力于賦能一萬億臺互聯(lián)設備的過程中面臨的眾多挑戰(zhàn)之一。

Arm預測，在所有互聯(lián)設備中，對具有嵌入式視覺功能的物聯(lián)網(wǎng)設備的需求是最高的:
?? ?? ???到2021年，安全(監(jiān)控)和IP攝像機市場的年增長率將達到20 %，屆時出貨量有望超過5億臺；
?? ?? ???個人機器人年增長率達到75 %，預計2021年出貨量將達到200萬臺；
?? ?? ???預計到2021年，智能家居市場將以每年14 %的速度增長，規(guī)模將達8800萬臺，而無人機、增強現(xiàn)實( AR)/混合現(xiàn)實( MR )設備和運動攝像機等其它設備，正在從新興產(chǎn)品轉變?yōu)榇蟊娀a(chǎn)品。

將感知轉化為像素

上述設備所采用的圖像技術中，嵌入于設備中的ISP技術是其中的一個關鍵環(huán)節(jié)。在這些受到諸多限制的設備中，ISP的關鍵功能是在從圖像傳感器提取數(shù)據(jù)并處理每個像素時，提供最準確、最高質量的圖像，而這一關鍵功能在涉及機器學習相關應用時尤為重要。全新Arm Mali-C52和Mali-C32處理每個像素時會進行超過25個步驟，其中三個關鍵步驟對圖像輸出質量起到了決定性的影響，包括高動態(tài)范圍( HDR )、降噪以及色彩管理。通過整合Arm市場領先的Iridix技術與行業(yè)領先的其他降噪及色彩管理算法，Mali-C52與Mali-C32所配備的ISP技術能夠在高分辨率和實時處理(例如4k分辨率及60fps幀率)的條件下，實現(xiàn)上述三項關鍵處理步驟。

高動態(tài)范圍技術絕不遺漏任何圖像細節(jié)

最能凸顯高動態(tài)范圍( HDR )功能必要性的情景，就是自安裝在明亮室外環(huán)境中的聯(lián)網(wǎng)安防攝像機中獲取圖像輸出。在這一場景中，圖像輸出往往面臨著同時處理較明亮部分與較深陰影部分的情況。雖然人眼可以自然地感知這些環(huán)境中的對比度，但數(shù)字傳感器通常需要多次曝光才能獲取場景準確的圖像信息。為真實呈現(xiàn)HDR場景，圖像技術要求達到每像素20或24位精度，但是數(shù)字系統(tǒng)顯示技術通常為8位或10位，從而限制了系統(tǒng)能夠處理的數(shù)據(jù)量。這也意味著ISP之后所整合的任何計算機視覺引擎都將被限制在8到10位精度范圍內(nèi)。在這種情況下，ISP需要在更高的位深度處理HDR數(shù)據(jù)，然后對其進行壓縮并進一步利用。如果動態(tài)范圍管理不當，陰影中的細節(jié)則會丟失。

全新Mali ISP采用Arm的動態(tài)范圍管理和色調(diào)映射技術， 能夠幫助用戶克服設備限制，并獲取經(jīng)過加強的陰影細節(jié)，而完全無需額外修編或調(diào)整圖像的明亮度。
?

完整且靈活的解決方案，加快產(chǎn)品上市速度

Mali-C52可針對圖像質量和芯片面積這兩種不同優(yōu)化方向進行配置。這種靈活性允許芯片合作伙伴在一系列產(chǎn)品和應用場景中使用相同的IP和軟件。Mali-C32則專門針對低功耗、成本敏感的嵌入式視覺設備進行了芯片面積的優(yōu)化，如入門級門禁或民用業(yè)余級無人機。

這兩個ISP均為完整解決方案，其中Arm提供硬件IP以及ISP軟件驅動程序，包括3A庫(自動曝光、自動白平衡、自動對焦)以及校準與調(diào)校工具。其功能和優(yōu)勢包括：
?? ?? ???更高的ISP圖像質量: Iridix技術能夠提供適配人類視網(wǎng)膜級別對比度的精確模型，使攝像機能夠像人眼一樣識別高明暗對比的圖像。
?? ?? ???ISP每秒可以處理6億像素，實現(xiàn)更高性能，這項關鍵功能意味著可以以高端智能手機級別的幀頻拍出專業(yè)級的攝影質量(如DSLR)。
?? ?? ???用于控制ISP、傳感器、自動白平衡、自動對焦和自動曝光的完整軟件包。另外還提供裸機和Linux ( Video4Linux框架- v4L2 )軟件。
?? ?? ???靈活的調(diào)校：使用一整套調(diào)校和校準工具進行客觀和主觀的調(diào)校。還提供專門的調(diào)校培訓課程，以及針對特定應用場景和傳感器的定制調(diào)校支持。

1萬億臺設備需要敏銳的數(shù)字眼

Arm的愿景是賦能一萬億臺需要視覺功能的設備。具體來說，要實現(xiàn)一萬億聯(lián)網(wǎng)設備世界的愿景，需要為其中很多設備提供更敏銳的數(shù)字眼來觀察和感知周圍環(huán)境，以便為機器和人類提供可靠的信息來源。這一切都始于實現(xiàn)盡可能高的圖像質量，Arm全新推出的Mali ISP正是為此而生。