Adlik加速深度學(xué)習(xí)推理的工具包

Adlik?是深度學(xué)習(xí)模型的端到端優(yōu)化框架。Adlik 的目標(biāo)是在云和嵌入式環(huán)境中加速深度學(xué)習(xí)推理過程。

使用 Adlik 框架，不同的深度學(xué)習(xí)模型可以以非常靈活和簡單的方式以高性能部署到不同的平臺。

1. 在云環(huán)境中，編譯后的模型和 Adlik 推理引擎應(yīng)構(gòu)建為 docker 鏡像，并部署為容器。

2. 在邊緣環(huán)境中，應(yīng)將 Adlik 推理引擎部署為容器。編譯后的模型應(yīng)該轉(zhuǎn)移到邊緣環(huán)境，Adlik 推理引擎應(yīng)該自動更新和加載模型。

3. 在設(shè)備環(huán)境中，Adlik Inference Engine 和編譯后的模型應(yīng)編譯為二進(jìn)制文件。想要在設(shè)備上運行模型推理的用戶應(yīng)該將用戶定義的 AI 函數(shù)和 Adlik 二進(jìn)制文件鏈接到執(zhí)行文件，并直接運行。

構(gòu)建

本指南用于在?Ubuntu?系統(tǒng)上構(gòu)建 Adlik?。

首先，安裝?Git?和?Bazel。

然后，克隆 Adlik 并將工作目錄更改為源目錄：

git clone https://github.com/ZTE/Adlik.git
cd Adlik

構(gòu)建客戶端

1. 安裝以下軟件包：

   • python3-setuptools
   • python3-wheel

2. 構(gòu)建客戶端：

   bazel build //adlik_serving/clients/python:build_pip_package -c opt

3. 構(gòu)建 pip 包：

   mkdir /tmp/pip-packages && bazel-bin/adlik_serving/clients/python/build_pip_package /tmp/pip-packages

構(gòu)建服務(wù)

首先，安裝以下軟件包：

• automake
• libtbb2
• libtool
• make
• python3-six

使用 OpenVINO 運行時構(gòu)建服務(wù)

1. 從?OpenVINO?安裝intel-openvino-runtime-ubuntu-包?。

2. 假設(shè) OpenVINO 的安裝路徑為/opt/intel/openvino_VERSION，運行如下命令：

   export INTEL_CVSDK_DIR=/opt/intel/openvino_VERSION
   export InferenceEngine_DIR=$INTEL_CVSDK_DIR/deployment_tools/inference_engine/share
   bazel build //adlik_serving \
       --config=openvino \
       -c opt
   

使用 TensorFlow CPU 運行時構(gòu)建服務(wù)

1. 運行以下命令：

   bazel build //adlik_serving \ 
       --config=tensorflow-cpu \ 
       -c opt

使用 TensorFlow GPU 運行時構(gòu)建服務(wù)

假設(shè)使用 CUDA 版本 11.0 構(gòu)建。

1. 從這里和?這里安裝以下軟件包?：

   • cuda-cupti-dev-11-0
   • libcublas-dev-11-0
   • libcudnn8=*+cuda11.0
   • libcudnn8-dev=*+cuda11.0
   • libcufft-dev-11-0
   • libcurand-dev-11-0
   • libcusolver-dev-11-0
   • libcusparse-dev-11-0
   • libnvinfer7=7.2.*+cuda11.0
   • libnvinfer-dev=7.2.*+cuda11.0
   • libnvinfer-plugin7=7.2.*+cuda11.0
   • libnvinfer-plugin-dev=7.2.*+cuda11.0

2. 運行以下命令：

   env TF_CUDA_VERSION=11.0 TF_NEED_TENSORRT=1 \ 
       bazel build //adlik_serving \ 
           --config=tensorflow-gpu \ 
           -c opt \ 
           --incompatible_use_specific_tool_files=false

使用 TensorFlow Lite CPU 運行時構(gòu)建服務(wù)

1. 運行以下命令：

   bazel build //adlik_serving \ 
       --config=tensorflow-lite-cpu \ 
       -c opt

使用 TensorRT 運行時構(gòu)建服務(wù)

假設(shè)使用 CUDA 版本 11.0 構(gòu)建。

1. 從這里和?這里安裝以下軟件包?：

   • cuda-cupti-dev-11-0
   • cuda-nvml-dev-11-0
   • cuda-nvrtc-11-0
   • libcublas-dev-11-0
   • libcudnn8=*+cuda11.0
   • libcudnn8-dev=*+cuda11.0
   • libcufft-dev-11-0
   • libcurand-dev-11-0
   • libcusolver-dev-11-0
   • libcusparse-dev-11-0
   • libnvinfer7=7.2.*+cuda11.0
   • libnvinfer-dev=7.2.*+cuda11.0
   • libnvonnxparsers7=7.2.*+cuda11.0
   • libnvonnxparsers-dev=7.2.*+cuda11.0

2. 運行以下命令：

   env TF_CUDA_VERSION=11.0 \ 
       bazel build //adlik_serving \ 
           --config=TensorRT \ 
           -c opt \ 
           --action_env=LIBRARY_PATH=/usr/local/cuda-11.0/lib64/stubs \ 
           --incompatible_use_specific_tool_files=false

使用 TF-TRT 運行時構(gòu)建服務(wù)

假設(shè)使用 CUDA 版本 11.0 構(gòu)建。

1. 從這里和?這里安裝以下軟件包?：

   • cuda-cupti-dev-11-0
   • libcublas-dev-11-0
   • libcudnn8=*+cuda11.0
   • libcudnn8-dev=*+cuda11.0
   • libcufft-dev-11-0
   • libcurand-dev-11-0
   • libcusolver-dev-11-0
   • libcusparse-dev-11-0
   • libnvinfer7=7.2.*+cuda11.0
   • libnvinfer-dev=7.2.*+cuda11.0
   • libnvinfer-plugin7=7.2.*+cuda11.0
   • libnvinfer-plugin-dev=7.2.*+cuda11.0

2. 運行以下命令：

   env TF_CUDA_VERSION=11.0 TF_NEED_TENSORRT=1 \ 
       bazel build //adlik_serving \ 
           --config=tensorflow-tensorrt \ 
           -c opt \ 
           --incompatible_use_specific_tool_files=false

使用 Tvm 運行時構(gòu)建服務(wù)

1. 安裝以下軟件包：

   • build-essential
   • cmake
   • tvm

2. 運行以下命令：

   bazel build //adlik_serving \ 
      --config=tvm \ 
      -c opt