微軟宣布將多平臺通用ONNX機器學(xué)習(xí)引擎開源

微軟宣布將多平臺通用ONNX機器學(xué)習(xí)引擎開源，此舉將讓機器學(xué)習(xí)框架，向著機器學(xué)習(xí)框架的標(biāo)準(zhǔn)化和性能優(yōu)化方向邁進(jìn)了一大步。此前，為了推進(jìn)AI框架標(biāo)準(zhǔn)化，更好地支持PyTorch和TensorFlow等框架，微軟甚至降低了對自家CNTK框架的宣傳調(diào)門，可謂“用心良苦”。

當(dāng)?shù)貢r間12月4日，微軟在GitHub上宣布ONNX Runtime開源?。

ONNX Runtime是適用于Linux，Windows和Mac上ONNX格式的機器學(xué)習(xí)模型的高性能推理引擎。

ONNX是微軟與Facebook和AWS共同開發(fā)的深度學(xué)習(xí)和傳統(tǒng)機器學(xué)習(xí)模型的開放格式。ONNX格式是開放式生態(tài)系統(tǒng)的基礎(chǔ)，使人工智能技術(shù)更易于訪問，而且可以為不同人群創(chuàng)造價值：

開發(fā)人員可以為自己機器學(xué)習(xí)任務(wù)選擇合適的框架，框架作者可以集中精力推出創(chuàng)新，提高框架的性能。對于硬件供應(yīng)商來說，也可以簡化神經(jīng)網(wǎng)絡(luò)計算的復(fù)雜度，實現(xiàn)優(yōu)化算法。

過去20多年來，微軟一直在進(jìn)行人工智能研究，并將機器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)整合到旗下眾多產(chǎn)品和服務(wù)中。由于團隊使用許多不同的培訓(xùn)框架并針對不同的部署選項，因此確實需要統(tǒng)一這些分散的解決方案，以便快速，簡單地操作模型。

此次開源的ONNX Runtime為這個問題提供了解決方案。該工具為數(shù)據(jù)科學(xué)家在選擇的框架內(nèi)訓(xùn)練和調(diào)整模型提供了更高的靈活性，并在云端和產(chǎn)品設(shè)計中以高性能打造這些模型。

ONNX引擎是Windows ML組件的關(guān)鍵部分。微軟正在將這種機器學(xué)習(xí)界面納入到Windows 10系統(tǒng)中，讓開發(fā)人員在自己的Windows應(yīng)用程序上使用訓(xùn)練過的機器學(xué)習(xí)模型。 Windows ML推理引擎可以在Windows設(shè)備上對這些模型進(jìn)行本地評估，開發(fā)人員無需將模型放到云中運行。

ONNX Runtime有什么用？

ONNX是微軟公開推出的首款推理機，完整支持ONNX 1.2和 ONNX機器學(xué)習(xí)的更高版本。這意味著ONNX Runtime直接隨著ONNX的標(biāo)準(zhǔn)進(jìn)步，實現(xiàn)對一大批AI模型和技術(shù)突破的支持。

微軟的團隊在使用ONNX Runtime來改善在Bing搜索、廣告、Office產(chǎn)品套件等核心業(yè)務(wù)中的評分延時，提高運行效率。而對于由其他工具轉(zhuǎn)而使用ONNX的模型，其平均表現(xiàn)提升了2倍。此外，微軟的其他一些服務(wù)，如Windows ML 和ML.net等，也納入了ONNX Runtime支持的業(yè)務(wù)之中。

ONNX Runtime在設(shè)計上是輕量級和模塊化的，CPU的構(gòu)建只有幾M字節(jié)?？蓴U展架構(gòu)、優(yōu)化硬件加速器，降低計算延時，提升計算效率。

英偉達(dá)、英特爾、高通等巨頭紛紛支持

很多業(yè)界領(lǐng)先的企業(yè)都在積極將自己的技術(shù)與ONNX Runtime實現(xiàn)集成和整合，使自己的服務(wù)能夠完整支持ONNX規(guī)范，同時實現(xiàn)性能的最優(yōu)化。

微軟和英特爾正在合作，將nGraph編譯器集成為ONNX Runtime的執(zhí)行提供程序。nGraph編譯器能夠通過應(yīng)用非設(shè)備特定和設(shè)備特定的優(yōu)化來實現(xiàn)現(xiàn)有和未來的硬件加速。與原生框架相比，使用nGraph Compiler執(zhí)行CPU推理任務(wù)可將性能提升45倍。

英偉達(dá)正在努力將TensorRT與ONNX Runtime實現(xiàn)整合，為在英偉達(dá)的GPU上部署快速增長的模型和應(yīng)用程序提供簡便的工作流程，同時實現(xiàn)最佳性能。

NVIDIA TensorRT包括一個高性能的推理優(yōu)化器和運行時，可以在推薦器，自然語言處理和圖像/視頻處理等應(yīng)用程序中以最小的延遲提供極高的吞吐量。

ONNX的另一個早期支持者是高通，也支持ONNX Runtime。高通AI業(yè)務(wù)高級主管Gary Brotman表示：“ONNX Runtime的推出和開源是微軟提升跨設(shè)備類別框架的互操作性，實現(xiàn)標(biāo)準(zhǔn)化和性能優(yōu)化的積極一步，我們希望開發(fā)人員歡迎在驍龍移動平臺上支持ONNX Runtime。

業(yè)內(nèi)領(lǐng)先的物聯(lián)網(wǎng)芯片制造商恩智浦（NXP）最近也宣布支持ONNX Runtime。“我們希望，用戶在眾多機器學(xué)習(xí)框架中進(jìn)行選擇時能夠擁有最大的靈活性和自由度?！?/p>

恩智浦AI技術(shù)中心負(fù)責(zé)人Markus Levy表示。“我們很高興能夠通過支持微軟在我們的平臺上發(fā)布ONNX Runtime，讓機器學(xué)習(xí)開發(fā)者客戶群能夠享受ONNX帶來的好處?！?/p>

如何使用ONNX Runtime

首先，你需要建立一個ONNX模型。沒有ONNX模型？沒問題。ONNX的優(yōu)點就是能夠通過眾多工具實現(xiàn)框架的互操作性?。你可以直接從ONNX Model Zoo獲得ResNet和TinyYOLO等熱門模型的預(yù)訓(xùn)練版本。

你還可以使用Azure Custom Vision Cognitive Service創(chuàng)建自己的自定義計算機視覺模型。如果已經(jīng)擁有TensorFlow、Keras、Scikit-Learn或CoreML格式的模型，可以使用我們的開源轉(zhuǎn)換器（ONNX MLTools和TF2 ONNX）進(jìn)行轉(zhuǎn)換。

可以使用Azure機器學(xué)習(xí)服務(wù)訓(xùn)練新模型并保存為ONNX格式。

要使用ONNX Runtime，只需安裝所需平臺和所選語言的軟件包，或者從源代碼創(chuàng)建。ONNX Runtime支持?CPU?和?GPU?（CUDA）?以及兼容Linux、Windows和Mac上的Python、C＃和C接口。具體的安裝說明可以在GitHub中獲取。

你可以直接從源或預(yù)編譯的二進(jìn)制文件將ONNX Runtime集成到代碼中，一種簡單的操作方法是使用Azure機器學(xué)習(xí)為應(yīng)用程序部署服務(wù)，以待調(diào)用。