Jittor（計(jì)圖）即時(shí)編譯深度學(xué)習(xí)框架

計(jì)圖（Jittor）是一個(gè)完全基于動態(tài)編譯（Just-in-time），內(nèi)部使用創(chuàng)新的元算子和統(tǒng)一計(jì)算圖的深度學(xué)習(xí)框架。元算子和 Numpy 一樣易于使用，而統(tǒng)一計(jì)算圖則是融合了靜態(tài)計(jì)算圖和動態(tài)計(jì)算圖的諸多優(yōu)點(diǎn)，在易于使用的同時(shí)，提供高性能的優(yōu)化?；谠阕娱_發(fā)的深度學(xué)習(xí)模型，可以被計(jì)圖實(shí)時(shí)的自動優(yōu)化并且運(yùn)行在指定的硬件上，如 CPU、GPU。

特性：

• 算子動態(tài)編譯：Jittor 內(nèi)置元算子編譯器，可以將用戶通過元算子編寫的 Python 代碼，動態(tài)編譯成高性能的C++ 代碼。
• 自動優(yōu)化：jittor 內(nèi)置優(yōu)化編譯遍（complier pass），同時(shí)和 LLVM 兼容，這些編譯遍會根據(jù)硬件設(shè)備自動優(yōu)化動態(tài)編譯的代碼，常見的優(yōu)化編譯遍有循環(huán)重排、循環(huán)分裂、循環(huán)融合、數(shù)據(jù)打包、向量化、GPU并行。這些編譯遍對 C++ 代碼進(jìn)一步優(yōu)化，生成對計(jì)算設(shè)備友好的底層算子。
• 統(tǒng)一內(nèi)存管理：Jittor 使用了統(tǒng)一內(nèi)存管理，統(tǒng)一 GPU 與 CPU 之間的內(nèi)存，當(dāng)深度學(xué)習(xí)模型將 GPU 內(nèi)存耗盡時(shí)，將使用 CPU 內(nèi)存來彌補(bǔ)。
• 高效同步異步接口：Jittor 同時(shí)提供兩種接口，同步和異步接口之間切換不會產(chǎn)生性能損失。
• 模型遷移：Jittor 采用和 PyTorch 相似的模塊化接口，同時(shí)提供輔助轉(zhuǎn)換腳本，可將 PyTorch 的代碼轉(zhuǎn)換成 Jittor 的模型，并可以相互加載和調(diào)用。
• 元算子融合：可將神經(jīng)網(wǎng)絡(luò)的基本算子（元算子）融合成復(fù)雜算子，如卷積層、歸一化層，進(jìn)一步構(gòu)成神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)應(yīng)用。
• 高階導(dǎo)數(shù)以及反向傳播閉包：元算子是反向傳播閉包（元算子反向傳播也是元算子），同時(shí)支持計(jì)算任意高階導(dǎo)數(shù)。在深度學(xué)習(xí)算子開發(fā)過程中，免去反向傳播算子重復(fù)開發(fā)工作，同時(shí)可以使用統(tǒng)一的優(yōu)化策略。

安裝：

Jittor前端語言為Python，使用了模塊化的設(shè)計(jì)，類似于PyTorch，Keras；后端則使用高性能語言編寫，如CUDA，C++。當(dāng)前Jittor支持三種即時(shí)編譯器：

• CPU 編譯器 （需要下列至少一個(gè)）
  • g++ （>=5.4.0）
  • clang （>=8.0）推薦
• GPU 編譯器（可選）
  • nvcc（>=10.0）