使用OpenVINO?條件編譯功能,壓縮Windows應(yīng)用體積

作者：

楊亦誠(chéng) 英特爾 AI 軟件工程師

在 OpenVINO 編譯過程中，我們可以根據(jù)應(yīng)用對(duì)于硬件平臺(tái)的需求，關(guān)閉或開指定推理后端的編譯，以達(dá)到簡(jiǎn)化 OpenVINO 運(yùn)行庫(kù)的目的，例如 cmake -DENABLE_INTEL_GPU=OFF 便可以取消 GPU plugin 庫(kù)的編譯。除此以外 OpenVINO 還提供了條件編譯功能，用于針對(duì)特定模型進(jìn)行運(yùn)行庫(kù)壓縮，接下來就讓我們一起來看下如何在 Windows 操作系統(tǒng)上實(shí)現(xiàn)這一功能。

1. 環(huán)境安裝與配置

第一步，我們需要確保已經(jīng)在 Windows 上安裝了 Visual Studio 編譯環(huán)境。如果是第一次安裝 Visual Studio 可以通過以下鏈接下載。

https://visualstudio.microsoft.com/

在安裝組件過程中，選擇“使用C++的桌面開發(fā)”。

Visual Studio 安裝示例

安裝完畢后建議使用 Visual Studio 自帶的命令行工具“x64 Native Tools Command Prompt”對(duì)編譯環(huán)境進(jìn)行初始化。

搜索“x64 Native Tools Command Prompt”

2. 預(yù)編譯

在完成編譯環(huán)境初始化后，會(huì)看到以下提醒。接下來我們就可以在該命令行終端上輸入編譯指令了。

編譯環(huán)境初始化成功

在這一步中，我們需要先利用 Ninja 編譯工具對(duì) OpenVINO 運(yùn)行庫(kù)進(jìn)行預(yù)編譯，并使用 itt 組件來收集模型運(yùn)行過程中的依賴數(shù)據(jù)?？梢酝ㄟ^cmake -DENABLE_PROFILING_ITT=ONDSELECTIVE_BUILD=COLLECT ..指令開啟這一功能的編譯。以下是完整命令參考：

git clone https://github.com/openvinotoolkit/openvino.git
set OPENVINO_HOME=D:work_pathopenvino
cd %OPENVINO_HOME%
git submodule update --init --recursive
md build_cc
cd build_cc
cmake -G Ninja -Wno-dev -DCMAKE_BUILD_TYPE=Debug -DENABLE_CPPLINT=OFF -DCMAKE_VERBOSE_MAKEFILE=ON -DCMAKE_COMPILE_WARNING_AS_ERROR=OFF -DENABLE_FASTER_BUILD=ON -DENABLE_SANITIZER=OFF -DTHREADING=TBB -DBUILD_SHARED_LIBS=OFF -DENABLE_PROFILING_ITT=ON -DSELECTIVE_BUILD=COLLECT -DENABLE_INTEL_GPU=OFF -DENABLE_MULTI=OFF -DENABLE_AUTO=OFF -DENABLE_AUTO_BATCH=OFF -DENABLE_HETERO=OFF -DENABLE_TEMPLATE=OFF -DENABLE_OV_ONNX_FRONTEND=OFF -DENABLE_OV_PADDLE_FRONTEND=OFF -DENABLE_OV_PYTORCH_FRONTEND=OFF -DENABLE_OV_JAX_FRONTEND=OFF -DENABLE_OV_TF_FRONTEND=OFF -DCMAKE_INSTALL_PREFIX=install -DENABLE_PYTHON=OFF ..
cmake --build . --config Debug

3. 數(shù)據(jù)收集

完成預(yù)編譯后，我們需要針對(duì)特定模型，利用 itt 工具收集 OpenVINO 運(yùn)行庫(kù)在運(yùn)行指定模型所需的依賴模塊。

cd %OPENVINO_HOME%uild_cc
cmake --build . --config Debug --target sea_itt_lib
cd %OPENVINO_HOME%
set PATH=%PATH%;%OPENVINO_HOME%\temp	bbin
mkdir cc_data
cd %OPENVINO_HOME%cc_data
python3 ..	hirdpartyitt_collector
untoolsea_runtool.py --bindir ..inintel64Debug -o %OPENVINO_HOME%cc_datadata ! ..inintel64Debugenchmark_app.exe -niter 1 -nireq 1 -m  -d NPU

可以看到在以上命令中，我們將 benchmark app 所采集到的模型運(yùn)行數(shù)據(jù)保存在 cc_data 目錄下，接下來就需要基于該數(shù)據(jù)來壓縮 OpenVINO 運(yùn)行庫(kù)的體積。

OpenVINO 運(yùn)行依賴數(shù)據(jù)

4.運(yùn)行庫(kù)編譯

使用cmake -DSELECTIVE_BUILD=ON -DSELECTIVE_BUILD_STAT=%OPENVINO_HOME%cc_data*.cs 指令，我們可以利用上一步所采集的依賴數(shù)據(jù)，在正式編譯過程中刪除一些不必要的依賴組件或是函數(shù)，以達(dá)到針對(duì)指定模型優(yōu)化運(yùn)行庫(kù)容量的目的。以下是完整的參考指令：

cd %OPENVINO_HOME%
md build
cd build
cmake -G "Visual Studio 16 2019" -A x64 -DENABLE_CPPLINT=OFF -DCMAKE_VERBOSE_MAKEFILE=ON -DCMAKE_COMPILE_WARNING_AS_ERROR=OFF -DCMAKE_BUILD_TYPE=Release -DENABLE_FASTER_BUILD=ON -DENABLE_PROFILING_ITT=OFF -DSELECTIVE_BUILD=ON -DENABLE_INTEL_GPU=OFF -DENABLE_MULTI=OFF -DENABLE_AUTO=OFF -DENABLE_AUTO_BATCH=OFF -DENABLE_HETERO=OFF -DENABLE_TEMPLATE=OFF -DENABLE_OV_ONNX_FRONTEND=OFF -DENABLE_OV_PADDLE_FRONTEND=OFF -DENABLE_OV_PYTORCH_FRONTEND=OFF -DENABLE_OV_JAX_FRONTEND=OFF -DENABLE_OV_TF_FRONTEND=OFF -DSELECTIVE_BUILD_STAT=%OPENVINO_HOME%cc_data*.csv -DBUILD_SHARED_LIBS=OFF -DENABLE_LTO=ON -DENABLE_ONEDNN_FOR_GPU=OFF -DENABLE_OV_TF_LITE_FRONTEND=OFF -DENABLE_PROFILING_FIRST_INFERENCE=OFF ..
cmake --build . --config Release

這里我們比較開啟條件編譯功能和關(guān)閉條件編譯功能后，OpenVINO 運(yùn)行庫(kù)的大小。

條件編譯前后對(duì)比

可以看到在只編譯 NPU plugin 以及 samples 示例的情況下，OpenVINO 被壓縮了6MB左右的空間，其中 openvino.dll 動(dòng)態(tài)庫(kù)為主要壓縮對(duì)象。當(dāng)然針對(duì)不同模型的壓縮效果也是不同的，以上數(shù)據(jù)僅為參考。

openvino.dll 壓縮效果

5. 小結(jié)

使用條件編譯功能可以最大限度壓縮 OpenVINO 運(yùn)行庫(kù)的體積，幫助應(yīng)用瘦身，從而減少應(yīng)用軟件在發(fā)行時(shí)由容量問題帶來的網(wǎng)絡(luò)和磁盤壓力。關(guān)于 OpenVINO 條件編譯功能更詳細(xì)的使用方法可以參考：

https://docs.openvino.ai/2024/openvino-workflow/deployment-locally/optimial-binary-size-conditional-compilation.html