0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

TensorFlow發(fā)布了一個新的優(yōu)化工具包,引入post-training模型量化技術(shù)

DPVg_AI_era ? 來源:未知 ? 作者:李倩 ? 2018-10-04 09:16 ? 次閱讀

TensorFlow發(fā)布了一個新的優(yōu)化工具包,引入post-training模型量化技術(shù),將模型大小縮小了4倍,執(zhí)行速度提升了3倍!

今天,TensorFlow發(fā)布了一個新的優(yōu)化工具包:一套可以讓開發(fā)者,無論是新手還是高級開發(fā)人員,都可以使用來優(yōu)化機(jī)器學(xué)習(xí)模型以進(jìn)行部署和執(zhí)行的技術(shù)。

這些技術(shù)對于優(yōu)化任何用于部署的TensorFlow模型都非常有用。特別是對于在內(nèi)存緊張、功耗限制和存儲有限的設(shè)備上提供模型的TensorFlow Lite開發(fā)人員來說,這些技術(shù)尤其重要。

優(yōu)化模型以減小尺寸,降低延遲和功耗,同時使精度損失可以忽略不計

這次添加支持的第一個技術(shù)是向TensorFlow Lite轉(zhuǎn)換工具添加post-training模型量化(post-training quantization)。對于相關(guān)的機(jī)器學(xué)習(xí)模型,這可以實(shí)現(xiàn)最多4倍的壓縮和3倍的執(zhí)行速度提升。

通過量化模型,開發(fā)人員還將獲得降低功耗的額外好處。這對于將模型部署到手機(jī)之外的終端設(shè)備是非常有用的。

啟用 post-training quantization

post-training quantization技術(shù)已集成到TensorFlow Lite轉(zhuǎn)換工具中。入門很簡單:在構(gòu)建了自己的TensorFlow模型之后,開發(fā)人員可以簡單地在TensorFlow Lite轉(zhuǎn)換工具中啟用“post_training_quantize”標(biāo)記。假設(shè)保存的模型存儲在saved_model_dir中,可以生成量化的tflite flatbuffer:

1converter=tf.contrib.lite.TocoConverter.from_saved_model(saved_model_dir)2converter.post_training_quantize=True3tflite_quantized_model=converter.convert()4open(“quantized_model.tflite”,“wb”).write(tflite_quantized_model)

我們提供了教程詳細(xì)介紹如何執(zhí)行此操作。將來,我們的目標(biāo)是將這項(xiàng)技術(shù)整合到通用的TensorFlow工具中,以便可以在TensorFlow Lite當(dāng)前不支持的平臺上進(jìn)行部署。

教程:

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/tutorials/post_training_quant.ipynb

post-training 量化的好處

模型大小縮小4倍

模型主要由卷積層組成,執(zhí)行速度提高10-50%

基于RNN的模型可以提高3倍的速度

由于減少了內(nèi)存和計算需求,預(yù)計大多數(shù)模型的功耗也會降低

有關(guān)模型尺寸縮小和執(zhí)行時間加速,請參見下圖(使用單核心在Android Pixel 2手機(jī)上進(jìn)行測量)。

圖1:模型大小比較:優(yōu)化的模型比原來縮小了4倍

圖2:延遲比較:優(yōu)化后的模型速度提高了1.2到1.4倍

這些加速和模型尺寸的減小對精度影響很小。一般來說,對于手頭的任務(wù)來說已經(jīng)很小的模型(例如,用于圖像分類的mobilenet v1)可能會發(fā)生更多的精度損失。對于這些模型,我們提供預(yù)訓(xùn)練的完全量化模型(fully-quantized models)。

圖3:精度比較:除 mobilenets外,優(yōu)化后的模型的精度下降幾乎可以忽略不計

我們希望在未來繼續(xù)改進(jìn)我們的結(jié)果,請參閱模型優(yōu)化指南以獲得最新的測量結(jié)果。

模型優(yōu)化指南:

https://www.tensorflow.org/performance/model_optimization

post-training quantization的工作原理

在底層,我們通過將參數(shù)(即神經(jīng)網(wǎng)絡(luò)權(quán)重)的精度從訓(xùn)練時的32位浮點(diǎn)表示降低到更小、更高效的8位整數(shù)表示來運(yùn)行優(yōu)化(也稱為量化)。 有關(guān)詳細(xì)信息,請參閱post-training量化指南。

post-training量化指南:

https://www.tensorflow.org/performance/post_training_quantization

這些優(yōu)化將確保將最終模型中精度降低的操作定義與使用fixed-point和floating-point數(shù)學(xué)混合的內(nèi)核實(shí)現(xiàn)配對。這將以較低的精度快速執(zhí)行最繁重的計算,但是以較高的精度執(zhí)行最敏感的計算,因此通常會導(dǎo)致任務(wù)的最終精度損失很小,甚至沒有損失,但相比純浮點(diǎn)執(zhí)行而言速度明顯提高。

對于沒有匹配的“混合”內(nèi)核的操作,或者工具包認(rèn)為必要的操作,它會將參數(shù)重新轉(zhuǎn)換為更高的浮點(diǎn)精度以便執(zhí)行。有關(guān)支持的混合操作的列表,請參閱post-training quantizaton頁面。

未來的工作

我們將繼續(xù)改進(jìn)post-training量化技術(shù)以及其他技術(shù),以便更容易地優(yōu)化模型。這些將集成到相關(guān)的TensorFlow工作流中,使它們易于使用。

post-training量化技術(shù)是我們正在開發(fā)的優(yōu)化工具包的第一個產(chǎn)品。我們期待得到開發(fā)者的反饋。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8420

    瀏覽量

    132687
  • tensorflow
    +關(guān)注

    關(guān)注

    13

    文章

    329

    瀏覽量

    60537

原文標(biāo)題:TensorFlow 首個優(yōu)化工具來了:模型壓縮4倍,速度提升3倍!

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    NI LabVIEW 模型接口工具包

    哪位大神有有 LabVIEW 模型接口工具包 ?跪求!
    發(fā)表于 02-15 00:44

    如何將Lora開發(fā)工具包LoRa(R)技術(shù)評估工具包用于商業(yè)目的

    嗨,幾次之前我?guī)砹薒ora開發(fā)工具包LoRa(R)技術(shù)評估工具包- 800。(我想在這里發(fā)布網(wǎng)址,但似乎不可能)。我想把這個工具包用于商業(yè)
    發(fā)表于 07-29 07:51

    STM32Cube.AI工具包使用初探

    STM32近日推出了Cube.AI人工智能神經(jīng)網(wǎng)絡(luò)開發(fā)工具包,目標(biāo)是將AI引入微控制器供電的智能設(shè)備,位于節(jié)點(diǎn)邊緣,以及物聯(lián)網(wǎng),智能建筑,工業(yè)和醫(yī)療應(yīng)用中的深度嵌入式設(shè)備。 簡而言之,以后就可以在
    發(fā)表于 02-22 06:50

    TensorFlow將神經(jīng)網(wǎng)絡(luò)量化為8位

    使用CoreML量化工具優(yōu)化模型以進(jìn)行部署。查看34T蘋果開發(fā)者34Twebsite了解更多更新。 請注意,目前無法在iOS上通過CoreML部署8位量化
    發(fā)表于 08-10 06:01

    固件工具包

    固件工具包 修改工具包 高興向大家公布這個信息! 首先介紹下這個工具地用途: 1、修改固件 - 通過此工具能夠修改固件中絕大多數(shù)地信息及
    發(fā)表于 03-16 14:49 ?71次下載

    TensorFlow官方發(fā)布消息稱將引入新的優(yōu)化工具包

    內(nèi)存、算力、功耗,這是模型量化的主要優(yōu)化對象,而在實(shí)踐中,最能從中收益的自然是在各種移動端設(shè)備上使用機(jī)器學(xué)習(xí)模型的開發(fā)人員,尤其是TensorFlo
    的頭像 發(fā)表于 09-21 08:53 ?2575次閱讀

    北大開源中文分詞工具包,名為——PKUSeg

    多領(lǐng)域分詞:不同于以往的通用中文分詞工具,此工具包同時致力于為不同領(lǐng)域的數(shù)據(jù)提供個性化的預(yù)訓(xùn)練模型。根據(jù)待分詞文本的領(lǐng)域特點(diǎn),用戶可以自由地選擇不同的模型。 我們目前支持
    的頭像 發(fā)表于 01-16 10:29 ?6763次閱讀
    北大開源<b class='flag-5'>了</b><b class='flag-5'>一</b><b class='flag-5'>個</b>中文分詞<b class='flag-5'>工具包</b>,名為——PKUSeg

    關(guān)于8流行的Python可視化工具包

    喜歡用 Python 做項(xiàng)目的小伙伴不免會遇到這種情況:做圖表時,用哪種好看又實(shí)用的可視化工具包呢?之前文章里出現(xiàn)過漂亮的圖表時,也總有讀者在后臺留言問該圖表時用什么工具做的。
    的頭像 發(fā)表于 05-05 09:02 ?3377次閱讀
    關(guān)于8<b class='flag-5'>個</b>流行的Python可視<b class='flag-5'>化工具包</b>

    firefly NCC S1--MDK - SSD模型工具包介紹

    此快速入門指南適用于GTI提供的SSD模型工具包(MDK)。工具包包含兩套工具,一個模型開發(fā)
    的頭像 發(fā)表于 11-18 14:10 ?2200次閱讀

    Microchip推出軟件開發(fā)工具包和神經(jīng)網(wǎng)絡(luò)IP

    高度靈活的工具包能夠以TensorFlow和開放神經(jīng)網(wǎng)絡(luò)交換(ONNX)的格式執(zhí)行模型,最大程度地提升框架的互操作性。ONNX支持Caffe2、MXNet、PyTorch和MATL
    的頭像 發(fā)表于 06-03 09:30 ?2783次閱讀

    谷歌發(fā)布TensorFlow用于人工智能模型的隱私保護(hù)

    近日,谷歌發(fā)布隱私保護(hù)TensorFlow工具包,可以評估各種機(jī)器學(xué)習(xí)分類器的隱私屬性。谷歌表示,它旨在成為
    發(fā)表于 07-20 11:06 ?849次閱讀

    通過 TensorFlow模型優(yōu)化工具包TF MOT剪枝API

    發(fā)布人:Yunlu Li 和 Artsiom Ablavatski 簡介 剪枝是 TensorFlow 模型優(yōu)化工具包 (TF MOT) 中提供的核心
    的頭像 發(fā)表于 08-16 17:26 ?4895次閱讀

    使用最新的TAO工具包簡化AI模型開發(fā)

      NVIDIA AI 企業(yè) 提供對 TAO 工具包的企業(yè)支持,這是用于 AI 開發(fā)和部署的端到端軟件套件。 TAO 工具包的新版本將
    的頭像 發(fā)表于 06-21 15:43 ?1441次閱讀

    使用NVIDIA QAT工具包實(shí)現(xiàn)TensorRT量化網(wǎng)絡(luò)的設(shè)計

      目前, TensorFlow 在其開源軟件 模型優(yōu)化工具包 中提供非對稱量化。他們的量化方法包括在所需層的輸出和權(quán)重(如果適用)處插入
    的頭像 發(fā)表于 06-21 16:54 ?4267次閱讀
    使用NVIDIA QAT<b class='flag-5'>工具包</b>實(shí)現(xiàn)TensorRT<b class='flag-5'>量化</b>網(wǎng)絡(luò)的設(shè)計

    LLaMa量化部署

    使用 GPTQ 量化模型具有很大的速度優(yōu)勢,與 LLM.int8() 不同,GPTQ 要求對模型進(jìn)行 post-training quantization,來得到
    的頭像 發(fā)表于 08-28 16:44 ?1468次閱讀
    LLaMa<b class='flag-5'>量化</b>部署