如何基于OrangePi?AIpro開發(fā)AI推理應(yīng)用

香橙派AIpro開發(fā)板采用昇騰AI技術(shù)路線，接口豐富且具有強大的可擴展性，提供8/20TOPS澎湃算力，可廣泛使用于AI邊緣計算、深度視覺學(xué)習(xí)及視頻流AI分析、視頻圖像分析、自然語言處理等AI領(lǐng)域。通過昇騰CANN軟件棧的AI編程接口，可滿足大多數(shù)AI算法原型驗證、推理應(yīng)用開發(fā)的需求。

AscendCL（Ascend Computing Language，昇騰計算語言）是昇騰計算開放編程框架，是對底層昇騰計算服務(wù)接口的封裝，提供Device管理、Context管理、Stream管理、內(nèi)存管理、模型加載與執(zhí)行、算子加載與執(zhí)行、媒體數(shù)據(jù)處理等API，支持C&C++、Python編程語言，能夠?qū)崿F(xiàn)深度學(xué)習(xí)推理計算、圖形圖像預(yù)處理、單算子加速計算等能力。

掌握了AscendCL的編程方法，就意味著可以在香橙派AIpro開發(fā)板上充分利用昇騰的算力資源，能夠基于深度學(xué)習(xí)算法開發(fā)圖片分類、目標(biāo)檢測等一系列深度學(xué)習(xí)推理計算程序。

01總體流程

使用AscendCL開發(fā)推理應(yīng)用時，開發(fā)流程大致分為以下幾步：

1.AscendCL初始化：初始化AscendCL內(nèi)部資源，為程序運行做準(zhǔn)備

2.運行管理資源申請：申請運行時相關(guān)資源，例如計算設(shè)備

3.媒體數(shù)據(jù)處理：可實現(xiàn)摳圖、縮放、視頻或圖片的編解碼等

4.模型推理：包括模型加載、執(zhí)行、卸載

5.運行管理資源釋放：資源使用后及時釋放

6.AscendCL去初始化：與初始化配對使用

在開始之前，我們得先了解下，使用AscendCL時經(jīng)常會提到的“數(shù)據(jù)類型的操作接口” ，它是什么？為什么會存在？

在C/C++中，對用戶開放的數(shù)據(jù)類型通常以Struct結(jié)構(gòu)體方式定義、以聲明變量的方式使用，但這種方式一旦結(jié)構(gòu)體要增加成員參數(shù)，用戶的代碼就涉及兼容性問題，不便于維護，因此AscendCL對用戶開放的數(shù)據(jù)類型，均以接口的方式操作該數(shù)據(jù)類型，例如，調(diào)用某個數(shù)據(jù)類型的Create接口創(chuàng)建該數(shù)據(jù)類型、調(diào)用Get接口獲取數(shù)據(jù)類型內(nèi)參數(shù)值、調(diào)用Set接口設(shè)置數(shù)據(jù)類型內(nèi)的參數(shù)值、調(diào)用Destroy接口銷毀該數(shù)據(jù)類型，用戶無需關(guān)注定義數(shù)據(jù)類型的結(jié)構(gòu)體長什么樣，這樣即使后續(xù)數(shù)據(jù)類型需擴展，只需增加該數(shù)據(jù)類型的操作接口即可，也不會引起兼容性問題。

所以，總結(jié)下，“數(shù)據(jù)類型的操作接口”就是創(chuàng)建數(shù)據(jù)類型、Get/Set數(shù)據(jù)類型中的參數(shù)值、銷毀數(shù)據(jù)類型的一系列接口，存在的最大好處就是減少兼容性問題。

接下來，進入我們今天的主題，怎么用AscendCL的接口開發(fā)網(wǎng)絡(luò)模型推理場景下的應(yīng)用。

02AscendCL初始化與去初始化

使用AscendCL接口開發(fā)應(yīng)用時，必須先初始化AscendCL ，否則可能會導(dǎo)致后續(xù)系統(tǒng)內(nèi)部資源初始化出錯，進而導(dǎo)致其它業(yè)務(wù)異常。在初始化時，還支持以下跟推理相關(guān)的配置項（例如，性能相關(guān)的采集信息配置），以json格式的配置文件傳入AscendCL初始化接口。如果當(dāng)前的默認配置已滿足需求（例如，默認不開啟性能相關(guān)的采集信息配置），無需修改，可向AscendCL初始化接口中傳入NULL，或者可將配置文件配置為空json串（即配置文件中只有{}）。

有初始化就有去初始化，在確定完成了AscendCL的所有調(diào)用之后，或者進程退出之前，需調(diào)用AscendCL接口實現(xiàn)AscendCL去初始化。

03運行管理資源申請與釋放

運行管理資源包括Device、Context、Stream、Event等，此處重點介紹Device、Context、Stream，其基本概念如下圖所示 。

您需要按順序依次申請如下運行管理資源：Device、Context、Stream，確保可以使用這些資源執(zhí)行運算、管理任務(wù)。所有數(shù)據(jù)處理都結(jié)束后，需要按順序依次釋放運行管理資源：Stream、Context、Device。

在申請運行管理資源時，Context、Stream支持隱式創(chuàng)建和顯式創(chuàng)建兩種申請方式：

04媒體數(shù)據(jù)處理

如果模型對輸入圖片的寬高要求與用戶提供的源圖不一致，AscendCL提供了媒體數(shù)據(jù)處理的接口，可實現(xiàn)摳圖、縮放、格式轉(zhuǎn)換、視頻或圖片的編解碼等，將源圖裁剪成符合模型的要求。后續(xù)會展開說明這個功能，本期著重介紹模型推理的部分，以輸入圖片滿足模型的要求為例。

05模型加載

模型推理場景下，必須要有適配昇騰AI處理器的離線模型（*.om文件），我們可以使用ATC（Ascend Tensor Compiler）來構(gòu)建模型。如果模型推理涉及動態(tài)Batch、動態(tài)分辨率等特性，需在構(gòu)建模型增加相關(guān)配置。關(guān)于如何使用ATC來構(gòu)建模型，請移步文末“昇騰社區(qū)文檔中心”。

有了模型，就可以開始加載了，當(dāng)前AscendCL支持以下幾種方式加載模型：

·從*.om文件中加載模型數(shù)據(jù)，由AscendCL管理內(nèi)存

·從*.om文件中加載模型數(shù)據(jù)，由用戶自行管理內(nèi)存

·從內(nèi)存中加載模型數(shù)據(jù)，由AscendCL管理內(nèi)存

·從內(nèi)存中加載模型數(shù)據(jù)，由用戶自行管理內(nèi)存

由用戶自行管理內(nèi)存時，需關(guān)注工作內(nèi)存、權(quán)值內(nèi)存。工作內(nèi)存用于存放模型執(zhí)行過程中的臨時數(shù)據(jù)，權(quán)值內(nèi)存用于存放權(quán)值數(shù)據(jù)。這個時候，是不是有疑問了，我怎么知道工作內(nèi)存、權(quán)值內(nèi)存需要多大？不用擔(dān)心，AscendCL不僅提供了加載模型的接口，同時也提供了“根據(jù)模型文件獲取模型執(zhí)行時所需的工作內(nèi)存和權(quán)值內(nèi)存大小”的接口，方便用戶使用 。

06模型執(zhí)行

在調(diào)用AscendCL接口進行模型推理時，模型推理有輸入、輸出數(shù)據(jù)，輸入、輸出數(shù)據(jù)需要按照AscendCL規(guī)定的數(shù)據(jù)類型存放。相關(guān)數(shù)據(jù)類型如下：

·使用aclmdlDesc類型的數(shù)據(jù)描述模型基本信息（例如輸入/輸出的個數(shù)、名稱、數(shù)據(jù)類型、Format、維度信息等）。模型加載成功后，用戶可根據(jù)模型的ID，調(diào)用該數(shù)據(jù)類型下的操作接口獲取該模型的描述信息，進而從模型的描述信息中獲取模型輸入/輸出的個數(shù)、內(nèi)存大小、維度信息、Format、數(shù)據(jù)類型等信息。

·使用aclDataBuffer類型的數(shù)據(jù)來描述每個輸入/輸出的內(nèi)存地址、內(nèi)存大小。調(diào)用aclDataBuffer類型下的操作接口獲取內(nèi)存地址、內(nèi)存大小等，便于向內(nèi)存中存放輸入數(shù)據(jù)、獲取輸出數(shù)據(jù)。

·使用aclmdlDataset類型的數(shù)據(jù)描述模型的輸入/輸出數(shù)據(jù)。模型可能存在多個輸入、多個輸出，調(diào)用aclmdlDataset類型的操作接口添加多個aclDataBuffer類型的數(shù)據(jù)。

準(zhǔn)備好模型執(zhí)行所需的輸入和輸出數(shù)據(jù)類型、且存放好模型執(zhí)行的輸入數(shù)據(jù)后，可以執(zhí)行模型推理了，如果模型的輸入涉及動態(tài)Batch、動態(tài)分辨率等特性，則在模型執(zhí)行前，還需要調(diào)用AscendCL接口告訴模型本次執(zhí)行時需要用的Batch數(shù)、分辨率等。

當(dāng)前AscendCL支持同步模型執(zhí)行、異步模型執(zhí)行兩種方式，這里說的同步、異步是站在調(diào)用者和執(zhí)行者的角度。

·若調(diào)用模型執(zhí)行的接口后需等待推理完成再返回，則表示模型執(zhí)行是同步的。當(dāng)用戶調(diào)用同步模型執(zhí)行接口后，可直接從該接口的輸出參數(shù)中獲取模型執(zhí)行的結(jié)果數(shù)據(jù)，如果需要推理的輸入數(shù)據(jù)量很大，同步模型執(zhí)行時，需要等所有數(shù)據(jù)都處理完成后，才能獲取推理的結(jié)果數(shù)據(jù)。

·若調(diào)用模型執(zhí)行的接口后不等待推理完成完成再返回，則表示模型執(zhí)行是異步的。當(dāng)用戶調(diào)用異步模型執(zhí)行接口時，需指定Stream（ Stream用于維護一些異步操作的執(zhí)行順序，確保按照應(yīng)用程序中的代碼調(diào)用順序在Device上執(zhí)行），另外，還需調(diào)用aclrtSynchronizeStream接口阻塞程序運行，直到指定Stream中的所有任務(wù)都完成，才可以獲取推理的結(jié)果數(shù)據(jù)。如果需要推理的輸入數(shù)據(jù)量很大，異步模型執(zhí)行時，AscendCL提供了Callback機制，觸發(fā)回調(diào)函數(shù)，在指定時間內(nèi)一旦有推理的結(jié)果數(shù)據(jù)，就獲取出來，達到分批獲取推理結(jié)果數(shù)據(jù)的目的，提高效率。

推理結(jié)束后，如果需要獲取并進一步處理推理結(jié)果數(shù)據(jù)，則由用戶自行編碼實現(xiàn)。最后，別忘了，我們還要銷毀aclmdlDataset、aclDataBuffer等數(shù)據(jù)類型，釋放相關(guān)內(nèi)存，防止內(nèi)存泄露。

07模型卸載

在模型推理結(jié)束后，還需要通過aclmdlUnload接口卸載模型，并銷毀aclmdlDesc類型的模型描述信息、釋放模型運行的工作內(nèi)存和權(quán)值內(nèi)存。

（以上內(nèi)容來源于昇騰CANN公眾號）