邊云協(xié)同的必要性及OpenVINO工具套件簡介

目前，數(shù)字化浪潮席卷全球，人類社會已經(jīng)進入智能時代。萬物互聯(lián)的數(shù)字化浪潮下，端—邊—云協(xié)同是實現(xiàn)數(shù)字化智能化的重要架構之一。本文我們將簡要分析邊云協(xié)同的必要性，并介紹如何使用英特爾開源的OpenVINO工具套件，在“端—邊—云”快速實現(xiàn)高性能人工智能推理。

1

邊云協(xié)同的必要性及OpenVINO工具套件簡介

眾所周知，18世紀60年代人類開始了第一次工業(yè)革命，從此進入“蒸汽時代”，接著進入了電氣時代和信息時代，當前人類社會正在發(fā)生第四次工業(yè)革命，即智能時代。英特爾首席執(zhí)行官帕特·基辛格在2021年世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會上指出，要擁抱四大超級技術力量。這四大超級技術力量分別是：第一，無所不在的計算。計算能力正滲透到我們生活的方方面面，作為人和技術的交互點，跨越現(xiàn)有和新興設備。第二，無處不在的連接，即萬物互聯(lián)。第三，從云到邊緣的基礎設施。它創(chuàng)造一個動態(tài)可靠的路徑來連接計算和數(shù)據(jù)，實現(xiàn)規(guī)模和容量無限擴展的云與無限延伸的智能邊緣相結合。第四是人工智能。這四大超級技術力量并不是技術孤島，而且相互協(xié)同，相互融合，共同推動產(chǎn)業(yè)的巨大變革。

四大超級技術力量使得數(shù)據(jù)一旦產(chǎn)生之后，能夠在相應的節(jié)點做快速且及時的處理，從而減少數(shù)據(jù)處理的延時；高價值數(shù)據(jù)經(jīng)過邊緣提取后，高效率的傳遞到云端，借助云端的超級計算力量挖掘數(shù)據(jù)背后隱含的價值，讓用戶可以開發(fā)相應的服務，實現(xiàn)科技向善。沒有邊云協(xié)同，這四大超級技術力量將被割裂，數(shù)據(jù)將成為孤島，智能時代要求的智能化、無人化和集群化將無法實現(xiàn)。如下圖所示，將云端規(guī)模開發(fā)的優(yōu)勢與邊緣端推理的好處結合起來，能夠使得邊云協(xié)同的優(yōu)勢發(fā)揮到最大化，將無限的數(shù)據(jù)變成可操作的洞察力。

下圖是一個智能制造工廠中，利用“端—邊—云”協(xié)同架構，利用人工智能技術實現(xiàn)實時產(chǎn)品缺陷檢測的例子。在這個場景中，每個工位構成了“端”，在工位上架設的攝像頭可以每秒采集超過400張產(chǎn)品生產(chǎn)過程中的圖片。因此，在端這一側利用 AI 推理技術，對實時產(chǎn)生的大量圖片進行 AI 推理，從而避免將海量數(shù)據(jù)同時傳輸?shù)皆贫水a(chǎn)生的高成本及延時。生產(chǎn)流水線構成了這個場景中的“邊”，一些更為復雜的推理任務可以實時的在邊側完成，并進行跨工位的調(diào)度。最終所有的推理結果可以進一步推送到云端，進行數(shù)據(jù)集中以及更為深層次的分析，同時邊緣端產(chǎn)生的部分數(shù)據(jù)也可以推送至云端，作為訓練數(shù)據(jù)的補充，用于對深度學習模型進行重訓練，以獲得更高的準確性。

通過上述的例子，我們可以看出，在邊云協(xié)同的架構中，一個很重要的步驟就是將 AI 的推理擴展到邊緣端，避免邊緣端產(chǎn)生的大量數(shù)據(jù)向云端同時進行傳輸所引起的高成本，可以獲得接近或處于邊緣的近實時決策。而能夠實現(xiàn)邊緣端方便進行 AI 模型部署及推理加速的重要工具之一，就是由英特爾開源的OpenVINO 工具套件。

OpenVINO工具套件經(jīng)過近四年的發(fā)展和演進，現(xiàn)已正式發(fā)布了迄今為止變化最大的版本，即 OpenVINO 2022.1版本。在這一版本中，不僅支持包括基于 Tensorflow，PyTorch 在內(nèi)的深度學習框，更可以支持深受中國開發(fā)者喜愛的 PaddlePaddle 飛槳深度學習框架。同時，為了方便開發(fā)者在邊緣端部署深度學習模型，實現(xiàn)“一次撰寫，任意部署（Write once，deploy anywhere）”的目的，OpenVINO可以支持包括英特爾 CPU、集成 GPU（iGPU）以及 VPU 在內(nèi)的多個硬件平臺的部署。只需要改動一行代碼，就可以實現(xiàn)多硬件平臺部署。

尤為值得一提的是，在 OpenVINO2022.1版本中，為了使得開發(fā)者更加便捷的使用 OpenVINO進行深度學習的推理，更推出了 AUTO 插件（“auto device”）。開發(fā)者只需要使用這樣的一行代碼

就可以在邊緣端實施 AI 推理時，由 AUTO 插件自動化的檢測開發(fā)者環(huán)境中可以用來進行 AI 推理的設備，并自動化的選擇更為合適的硬件設備進行 AI 推理。另外，根據(jù)不同使用場景的使用需求不同，AUTO 插件在使用時，還允許開發(fā)者選擇不同的“performance hint”性能指標模式，從而按照使用需求，獲得高吞吐量或者低延時的推理性能。

2

在微軟云機器學習平臺 Azure ML 上利用

OpenVINO快速實現(xiàn) AI 推理

除了在邊緣端可以很方便地利用 OpenVINO工具套件進行快速部署以外，在云端，比如微軟云 Azure 的機器學習平臺 Azure ML 上，也可以利用 OpenVINO工具套件快速實現(xiàn)深度學習模型的部署，并進行相應的深度學習模型的優(yōu)化及推理加速。實現(xiàn)步驟如下：

步驟一

在 Azure 上注冊個人賬號，并在機器學習平臺上建立自己的工作室，就類似于建立一個自己運行推理的專用路徑。工作室建立好之后，每次運行 AI 推理時，只需要點擊“啟動工作室”之后，就可以進入可以進行模型部署及推理的頁面了。

步驟二

在啟動工作室之后，即進入以下頁面。由于我們是利用OpenVINOnotebooks的 notebook代碼示例資源，因此，我們在頁面上相應選擇Notebooks，即進入可以使用Jupyter Notebook 運行代碼，進行 AI 推理的頁面。

頁面地址：https://github.com/openvinotoolkit/openvino_notebooks

步驟三

在進入 Notebooks 頁面后，即可根據(jù)界面提示由本地上傳所有 Notebooks 文件夾中的代碼示例。也可以新建終端 Terminals，在終端頁面以 git clone 的方式，直接將OpenVINONotebooks 在 GitHub 上的資源導入在 Azure ML 平臺上的工作室。

所有 notebooks 代碼示例導入過后，即可看到文件夾內(nèi)包含的所有代碼示例。

步驟四

申請 Azure 上的計算資源，運行 notebook 代碼。

以運行 Notebook 213 機器問答代碼示例，在申請好并打開計算資源的使用后，運行機器問答 notebook 代碼示例，運行結果如下，

3

小結：

在上面的內(nèi)容中，我們跟大家分享了邊云協(xié)同的必要性，以及在邊緣端能夠實現(xiàn)快速深度學習模型優(yōu)化、推理及任意部署的英特爾開源 OpenVINO工具套件。并通過一個實例，向大家展示了如何在 Azure 機器學習平臺上利用 OpenVINO快速實現(xiàn)深度學習模型的推理。

關于英特爾 OpenVINO開源工具套件的詳細資料，包括其中我們提供的三百多個經(jīng)驗證并優(yōu)化的預訓練模型的詳細資料，請您點擊：

https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/overview.html

除此之外，為了方便大家了解并快速掌握 OpenVINO工具套件的使用，我們還提供了一系列開源的 Jupyter notebook demo。運行這些 notebook，就能快速了解在不同場景下如何利用 OpenVINO工具套件實現(xiàn)一系列、包括 OCR 在內(nèi)的、計算機視覺及自然語言處理任務。OpenVINO notebooks的資源可以在 Github 以下地址下載安裝：

https://github.com/openvinotoolkit/openvino_notebooks

審核編輯 ：李倩