自治的未來需要開放標(biāo)準(zhǔn)

OpenVX 1.3 是業(yè)界自動化計算機視覺和感知任務(wù)所需的現(xiàn)代解決方案。但首先，什么是計算機視覺，為什么它很重要？

作為人類，我們僅僅通過讓光線進(jìn)入我們的眼睛就能很好地感知我們周圍的世界。隱蔽的光點照射到視網(wǎng)膜的不同區(qū)域，信號進(jìn)入我們的大腦，在那里信息被拼湊在一起。這就是場景開始形成的方式。在很長一段時間內(nèi)，在數(shù)字系統(tǒng)中模擬這一過程被認(rèn)為是棘手的。

一段時間以來，我們一直在使用數(shù)碼相機來捕捉光線信息。這些相機現(xiàn)在能夠?qū)崿F(xiàn)令人難以置信的高分辨率，但我們一直在努力解決人工視覺問題。原因當(dāng)然是相機和我們的眼睛一樣，只是視覺的一小部分。正是大腦中發(fā)生的位使不同的光點可以解釋。這是計算機科學(xué)家和不同分支的科學(xué)家一直在努力在人工系統(tǒng)中復(fù)制的過程。

在過去的十年中，計算機視覺領(lǐng)域從機器學(xué)習(xí)研究的爆炸式增長中受益匪淺。卷積神經(jīng)網(wǎng)絡(luò)（CNN）等深度學(xué)習(xí)算法推動了計算機視覺領(lǐng)域的發(fā)展，其功能僅在十年前還被認(rèn)為是機器無法實現(xiàn)的。

現(xiàn)在，視覺算法能夠識別照片中的物體。它們可以區(qū)分城市環(huán)境中的行人和汽車。他們還可以在病理圖像中識別令人不安的疾病跡象。這一成就非常成功，以至于推出了一個新的行業(yè)：自主行業(yè)。

想象一下，未來交通由自動駕駛汽車在城市地區(qū)巡回行駛，等待附近乘客的召喚?？紤]走進(jìn)手術(shù)室，由經(jīng)過常規(guī)手術(shù)訓(xùn)練的機器進(jìn)行操作，或者登上一架無人駕駛飛機快速飛往歐洲。這些場景仍然在未來，但它們不再是科幻小說的內(nèi)容。在某些方面，所有這些例子都存在于我們今天的實驗室中。而這一切只有在計算機視覺的進(jìn)步下才有可能。計算機視覺使系統(tǒng)能夠解釋環(huán)境的變化并做出反應(yīng)。

考慮到過去十年計算機視覺的突破，我們必須克服的下一個障礙是將我們的軟件解決方案與其執(zhí)行的硬件解耦。你看，當(dāng)前的機器學(xué)習(xí)革命，計算機視覺是其中的受益者，之所以成為可能，并不是由于晦澀理論的一些進(jìn)步。相反，飛躍來自于我們意識到可以使用圖形處理單元（GPU）作為加速器來加速運行深度神經(jīng)網(wǎng)絡(luò)所涉及的計算。也就是說，解決方案來自編寫可以專門針對硬件加速器的軟件，以比任何人想象的更快地執(zhí)行計算。

自治時代的十年擺在我們面前，重要的是我們建立軟件的基礎(chǔ)，使用與底層硬件分離的軟件為未來十年的自治系統(tǒng)提供支持，同時仍然能夠利用所需的加速資源。

這就是像Khronos? OpenVX? 1.3這樣的開放行業(yè)標(biāo)準(zhǔn)可以提供的好處。建立在開放標(biāo)準(zhǔn)之上的軟件堆?？梢宰杂傻剡w移到新的和不斷發(fā)展的硬件生態(tài)系統(tǒng)。

OpenVX 1.3 是基于計算機視覺功能集和神經(jīng)網(wǎng)絡(luò)推理功能集的模塊化 API。API 定義一個計算圖，其中圖中的每個節(jié)點構(gòu)成一個操作，該操作定義為其中一個功能集的一部分，或定義為用戶提供的內(nèi)核。計算圖作為執(zhí)行模式的優(yōu)勢在于，它為根據(jù)底層硬件平臺加速和優(yōu)化算法的實現(xiàn)提供了充足的機會。雖然呈現(xiàn)給應(yīng)用程序的 API 是所有實現(xiàn)者的標(biāo)準(zhǔn)，但每個實現(xiàn)者都可以通過管理計算圖的方式以及根據(jù)底層平臺對其進(jìn)行優(yōu)化的程度來區(qū)分他們的解決方案。

功能集是什么樣的？

計算機視覺功能集提供了一組函數(shù)，使應(yīng)用程序能夠執(zhí)行經(jīng)典的圖像處理任務(wù)。這些函數(shù)作為高級 API 提供，應(yīng)用程序可以輕松調(diào)用這些 API，而無需擔(dān)心底層硬件。OpenVX 實現(xiàn)的工作是考慮給定硬件平臺下的加速。

盡管圖像處理和傳統(tǒng)的計算機視覺 API 仍然是強大的視覺管道的重要組成部分，但當(dāng)今最先進(jìn)的解決方案涉及深度學(xué)習(xí)算法。OpenVX 1.3 使應(yīng)用程序能夠通過兩種簡單的方法推斷經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型：

應(yīng)用程序可以通過發(fā)出離散的函數(shù)調(diào)用（vxConvolutionLayer、vxActivationLayer、vxFullConnectedLayer、vxSoftmaxLayer等）并在運行時構(gòu)建神經(jīng)網(wǎng)絡(luò)，并向API提供相關(guān)的權(quán)重和偏差參數(shù)。

應(yīng)用程序可以將經(jīng)過訓(xùn)練的模型作為圖中的單個節(jié)點導(dǎo)入到 OpenVX 計算圖中。訓(xùn)練模型的導(dǎo)入是通過支持神經(jīng)網(wǎng)絡(luò)交換格式 （NNEF） 標(biāo)準(zhǔn)的導(dǎo)入/導(dǎo)出擴展完成的。

對于那些希望構(gòu)建平臺來為自動駕駛行業(yè)的決策和感知引擎提供動力的人來說，他們需要解決兩個基本問題。首先是可擴展性。他們構(gòu)建的平臺需要能夠適應(yīng)變化，并且必須適應(yīng)不斷發(fā)展的硬件加速器環(huán)境。這個問題的解決方案是使用行業(yè)標(biāo)準(zhǔn) API 如 OpenVX 1.3 將軟件與硬件解耦。

設(shè)計人員必須解決的第二個基本問題是安全性和可靠性。在這方面，OpenVX 1.3也提供了一個解決方案。OpenVX 1.3 規(guī)范提供了一個安全關(guān)鍵配置文件，該配置文件由旨在部署的功能子集組成。這些函數(shù)將在邊緣設(shè)備上運行，因此保證由實現(xiàn)提供程序確定地執(zhí)行。

在單個API中，Khronos為計算機視覺和自治行業(yè)的未來提供了可擴展性和可靠性的解決方案。該API是OpenVX 1.3。

審核編輯：郭婷