Anakin高性能異構(gòu)AI推理引擎

Anakin 是一款跨平臺的高性能推理引擎，最初是由百度工程師開發(fā)的，是工業(yè)產(chǎn)品的大規(guī)模應用。您可以在 x86-cpu、arm、nv-gpu、amd-gpu、bitmain 和 cambricon 設備上運行?Anakin。

下載安裝命令

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特征

• 靈活性

  Anakin 是一個跨平臺的高性能推理引擎，支持廣泛的神經(jīng)網(wǎng)絡架構(gòu)和不同的硬件平臺。在 GPU / x86 / ARM 平臺上運行 Anakin 很容易。

  Anakin 已與 NVIDIA TensorRT 集成，并開放了集成 API 的這一部分以提供服務，開發(fā)人員可以直接調(diào)用該 API 或根據(jù)需要對其進行修改，這將更加靈活地滿足開發(fā)要求。

• 高性能

  為了充分發(fā)揮硬件的性能，該團隊在不同級別優(yōu)化了前向預測。

  • 自動圖形融合。給定算法下所有性能優(yōu)化的目標是使 ALU 盡可能繁忙，操作員融合可以有效減少內(nèi)存訪問并保持 ALU 繁忙。

  • 內(nèi)存重用。前向預測是一種單向計算，該團隊在不同運算符的輸入和輸出之間重用內(nèi)存，從而減少了整體內(nèi)存開銷。

  • 裝配級優(yōu)化。Sabre 是 Anakin 的基礎DNN庫，在裝配級別進行了深度優(yōu)化。