TensorFlow官方發(fā)布消息稱將引入一個新的優(yōu)化工具包

編者按：幾個月前，Tensorflow發(fā)布了一份名為《Quantizing deep convolutional networks for efficient inference》的白皮書，主要介紹團隊關于模型量化的相關工作，所謂量化，簡單來說就是將32浮點數近似地用8位整數存儲和計算，量化后，模型占用存儲空間減小75%，能起到壓縮模型的效果。而現在，這項技術就快和大家見面了。

今天凌晨，TensorFlow官方發(fā)布消息稱將引入一個新的優(yōu)化工具包，方便機器學習初學者和高級開發(fā)人員進行優(yōu)化，方便模型的部署和執(zhí)行。

它的名字是訓練后量化（post-training quantization），這是模型量化的一類，主要優(yōu)點有：

模型占用存儲空間縮小75%

如果是主要由卷積層組成的模型，執(zhí)行速度提高10–50%

如果是基于RNN的模型，執(zhí)行速度提高3倍

內存、算力要求的降低也意味著大多數模型的功耗會大幅降低

內存、算力、功耗，這是模型量化的主要優(yōu)化對象，而在實踐中，最能從中收益的自然是在各種移動端設備上使用機器學習模型的開發(fā)人員，尤其是TensorFlow Lite的用戶。

下圖展示了使用這個優(yōu)化工具包后，幾種典型模型在存儲空間占用上的變化（單核Android Pixel 2手機）：

模型尺寸比較：經優(yōu)化的模型幾乎為原來的1/4

下圖是訓練后量化對模型執(zhí)行的加速效果（單核Android Pixel 2手機）：

延遲比較：經優(yōu)化的模型執(zhí)行速度提高了1.2到1.4倍

通常情況下，模型壓縮會對原有準確率造成不同程度的影響，但訓練后量化的影響幾乎等同于無，它能在縮小尺寸、提高速度的前提下保持模型精度，如下圖所示（單核Android Pixel 2手機）：

啟用模型量化

現在訓練后量化已被集成到TensorFlow Lite中，它的使用方法很簡單：首先構建一個TensorFlow模型，其次在conversion tool中找到模型量化的標志“posttrainingquantize”。假設模型存儲在savedmodeldir中，那么具體命令就是：

converter=tf.contrib.lite.TocoConverter.from_saved_model(saved_model_dir)

converter.post_training_quantize=True

tflite_quantized_model=converter.convert()

open(“quantized_model.tflite”, “wb”).write(tflite_quantized_model)

具體操作可見github：github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/tutorials/posttrainingquant.ipynb

雖然目前開發(fā)者們只能在TensorFlow Lite中用到這個技術，但官方也稱將盡快把它整合到一般的TensorFlow工具中。

小結

除了訓練后量化，在之前提到的白皮書中，Tensorflow還提到了訓練時量化，它能使模型的準確率更高。而綜合來看，它們都是基于量化設計的技術，依靠把32浮點數近似地用8位整數存儲和計算來達到內存占用更少、計算更少和功耗更少的目的。

隨著深層神經網絡不斷在現實中落地，這種技術將適應現代科技設備的發(fā)展步伐，為開發(fā)者和產品用戶帶來便利。