Paddle Lite飛槳多平臺高性能深度學習預測引擎

Paddle Lite為Paddle-Mobile的升級版，定位支持包括手機移動端在內(nèi)更多場景的輕量化高效預測，支持更廣泛的硬件和平臺，是一個高性能、輕量級的深度學習預測引擎。在保持和PaddlePaddle無縫對接外，也兼容支持其他訓練框架產(chǎn)出的模型。

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特性

輕量級

執(zhí)行階段和計算優(yōu)化階段實現(xiàn)良好解耦拆分，移動端可以直接部署執(zhí)行階段，無任何第三方依賴。 包含完整的80個 Op+85個 Kernel 的動態(tài)庫，對于ARMV7只有800K，ARMV8下為1.3M，并可以裁剪到更低。 在應用部署時，載入模型即可直接預測，無需額外分析優(yōu)化。

高性能

極致的 ARM CPU 性能優(yōu)化，針對不同微架構(gòu)特點實現(xiàn)kernel的定制，最大發(fā)揮計算性能，在主流模型上展現(xiàn)出領(lǐng)先的速度優(yōu)勢。 支持INT8量化計算，結(jié)合?PaddleSlim 模型壓縮工具?中 INT8量化訓練功能，可以提供高精度高性能的預測能力。 在Huawei NPU， FPGA上也具有有很好的性能表現(xiàn)。

最新 Benchmark 位于?benchmark。

通用性

硬件方面，Paddle Lite 的架構(gòu)設計為多硬件兼容支持做了良好設計。除了支持ARM CPU、Mali GPU、Adreno GPU，還特別支持了華為 NPU，以及 FPGA 等邊緣設備廣泛使用的硬件。即將支持支持包括寒武紀、比特大陸等AI芯片，未來會增加對更多硬件的支持。

模型支持方面，Paddle Lite和PaddlePaddle訓練框架的Op對齊，提供更廣泛的模型支持能力。目前已嚴格驗證18個模型85個OP的精度和性能，對視覺類模型做到了較為充分的支持，覆蓋分類、檢測和定位，包含了特色的OCR模型的支持。未來會持續(xù)增加更多模型的支持驗證。

框架兼容方面：除了PaddlePaddle外，對其他訓練框架也提供兼容支持。當前，支持Caffe 和 TensorFlow 訓練出來的模型，通過X2Paddle?轉(zhuǎn)換工具實現(xiàn)。接下來將會對ONNX等格式模型提供兼容支持。

架構(gòu)

PaddleLite 的架構(gòu)設計著重考慮了對多硬件和平臺的支持，并且強化了多個硬件在一個模型中混合執(zhí)行的能力，多個層面的性能優(yōu)化處理，以及對端側(cè)應用的輕量化設計。

其中，Analysis Phase 包括了 MIR(Machine IR) 相關(guān)模塊，能夠?qū)υ械哪Ｐ偷挠嬎銏D針對具體的硬件列表進行算子融合、計算裁剪 在內(nèi)的多種優(yōu)化。Execution Phase 只涉及到Kernel 的執(zhí)行，且可以單獨部署，以支持極致的輕量級部署。

Paddle-Mobile升級為Paddle Lite的說明

原Paddle-Mobile作為一個致力于嵌入式平臺的PaddlePaddle預測引擎，已支持多種硬件平臺，包括ARM CPU、 Mali GPU、Adreno GPU，以及支持蘋果設備的GPU Metal實現(xiàn)、ZU5、ZU9等FPGA開發(fā)板、樹莓派等arm-linux開發(fā)板。在百度內(nèi)已經(jīng)過廣泛業(yè)務場景應用驗證。對應設計文檔可參考:?mobile/README

Paddle-Mobile 整體升級重構(gòu)并更名為Paddle Lite后，原paddle-mobile 的底層能力大部分已集成到新架構(gòu)?下。作為過渡，暫時保留原Paddle-mobile代碼。 主體代碼位于?mobile/?目錄中，后續(xù)一段時間會繼續(xù)維護，并完成全部遷移。新功能會統(tǒng)一到新架構(gòu)?下開發(fā)。

metal, web的模塊相對獨立，會繼續(xù)在?./metal?和?./web?目錄下開發(fā)和維護。對蘋果設備的GPU Metal實現(xiàn)的需求及web前端預測需求，可以直接進入這兩個目錄。