0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

TensorFlow官方發(fā)布消息稱將引入一個(gè)新的優(yōu)化工具包

zhKF_jqr_AI ? 來(lái)源:未知 ? 作者:李倩 ? 2018-09-21 08:53 ? 次閱讀

編者按:幾個(gè)月前,Tensorflow發(fā)布了一份名為《Quantizing deep convolutional networks for efficient inference》的白皮書(shū),主要介紹團(tuán)隊(duì)關(guān)于模型量化的相關(guān)工作,所謂量化,簡(jiǎn)單來(lái)說(shuō)就是將32浮點(diǎn)數(shù)近似地用8位整數(shù)存儲(chǔ)和計(jì)算,量化后,模型占用存儲(chǔ)空間減小75%,能起到壓縮模型的效果。而現(xiàn)在,這項(xiàng)技術(shù)就快和大家見(jiàn)面了。

今天凌晨,TensorFlow官方發(fā)布消息稱將引入一個(gè)新的優(yōu)化工具包,方便機(jī)器學(xué)習(xí)初學(xué)者和高級(jí)開(kāi)發(fā)人員進(jìn)行優(yōu)化,方便模型的部署和執(zhí)行。

它的名字是訓(xùn)練后量化(post-training quantization),這是模型量化的一類,主要優(yōu)點(diǎn)有:

模型占用存儲(chǔ)空間縮小75%

如果是主要由卷積層組成的模型,執(zhí)行速度提高10–50%

如果是基于RNN的模型,執(zhí)行速度提高3倍

內(nèi)存、算力要求的降低也意味著大多數(shù)模型的功耗會(huì)大幅降低

內(nèi)存、算力、功耗,這是模型量化的主要優(yōu)化對(duì)象,而在實(shí)踐中,最能從中收益的自然是在各種移動(dòng)端設(shè)備上使用機(jī)器學(xué)習(xí)模型的開(kāi)發(fā)人員,尤其是TensorFlow Lite的用戶。

下圖展示了使用這個(gè)優(yōu)化工具包后,幾種典型模型在存儲(chǔ)空間占用上的變化(單核Android Pixel 2手機(jī)):

模型尺寸比較:經(jīng)優(yōu)化的模型幾乎為原來(lái)的1/4

下圖是訓(xùn)練后量化對(duì)模型執(zhí)行的加速效果(單核Android Pixel 2手機(jī)):

延遲比較:經(jīng)優(yōu)化的模型執(zhí)行速度提高了1.2到1.4倍

通常情況下,模型壓縮會(huì)對(duì)原有準(zhǔn)確率造成不同程度的影響,但訓(xùn)練后量化的影響幾乎等同于無(wú),它能在縮小尺寸、提高速度的前提下保持模型精度,如下圖所示(單核Android Pixel 2手機(jī)):

啟用模型量化

現(xiàn)在訓(xùn)練后量化已被集成到TensorFlow Lite中,它的使用方法很簡(jiǎn)單:首先構(gòu)建一個(gè)TensorFlow模型,其次在conversion tool中找到模型量化的標(biāo)志“posttrainingquantize”。假設(shè)模型存儲(chǔ)在savedmodeldir中,那么具體命令就是:

converter=tf.contrib.lite.TocoConverter.from_saved_model(saved_model_dir)

converter.post_training_quantize=True

tflite_quantized_model=converter.convert()

open(“quantized_model.tflite”, “wb”).write(tflite_quantized_model)

具體操作可見(jiàn)github:github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/tutorials/posttrainingquant.ipynb

雖然目前開(kāi)發(fā)者們只能在TensorFlow Lite中用到這個(gè)技術(shù),但官方也稱將盡快把它整合到一般的TensorFlow工具中。

小結(jié)

除了訓(xùn)練后量化,在之前提到的白皮書(shū)中,Tensorflow還提到了訓(xùn)練時(shí)量化,它能使模型的準(zhǔn)確率更高。而綜合來(lái)看,它們都是基于量化設(shè)計(jì)的技術(shù),依靠把32浮點(diǎn)數(shù)近似地用8位整數(shù)存儲(chǔ)和計(jì)算來(lái)達(dá)到內(nèi)存占用更少、計(jì)算更少和功耗更少的目的。

隨著深層神經(jīng)網(wǎng)絡(luò)不斷在現(xiàn)實(shí)中落地,這種技術(shù)將適應(yīng)現(xiàn)代科技設(shè)備的發(fā)展步伐,為開(kāi)發(fā)者和產(chǎn)品用戶帶來(lái)便利。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8481

    瀏覽量

    133891
  • tensorflow
    +關(guān)注

    關(guān)注

    13

    文章

    330

    瀏覽量

    60954

原文標(biāo)題:模型大小縮小75%,TensorFlow推出模型優(yōu)化工具包

文章出處:【微信號(hào):jqr_AI,微信公眾號(hào):論智】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    英諾達(dá)推出RTL功耗優(yōu)化工具

    英諾達(dá)(成都)電子科技有限公司隆重推出芯片設(shè)計(jì)早期RTL級(jí)功耗優(yōu)化工具—EnFortius RTL Power Explorer(ERPE),該工具可以高效、全面地在RTL設(shè)計(jì)階段進(jìn)行功耗優(yōu)化機(jī)會(huì)
    的頭像 發(fā)表于 03-20 17:06 ?387次閱讀

    可以使用OpenVINO?工具包中間表示 (IR) 模型轉(zhuǎn)換為TensorFlow格式嗎?

    無(wú)法中間表示 (IR) 模型轉(zhuǎn)換為 TensorFlow* 格式
    發(fā)表于 03-06 06:51

    在Google Colab筆記本電腦上導(dǎo)入OpenVINO?工具包2021中的 IEPlugin類出現(xiàn)報(bào)錯(cuò),怎么解決?

    在 Google* Colab Notebook 上OpenVINO?工具包 2021 中使用了 IEPlugin 。 遇到: ImportError: cannot import name \'IEPlugin\' from \'openvino.inference_engine\'
    發(fā)表于 03-05 10:31

    構(gòu)建開(kāi)源OpenVINO?工具包后,使用MYRIAD插件成功運(yùn)行演示時(shí)報(bào)錯(cuò)怎么解決?

    構(gòu)建開(kāi)源OpenVINO?工具包后,使用 MYRIAD 插件成功運(yùn)行演示。 使用 CPU 插件運(yùn)行演示時(shí)遇到錯(cuò)誤: Cannot load library \'libarmPlugin.so
    發(fā)表于 03-05 09:57

    云計(jì)算開(kāi)發(fā)工具包的功能

    隨著云計(jì)算技術(shù)的不斷成熟,越來(lái)越多的企業(yè)開(kāi)始應(yīng)用和服務(wù)遷移到云端,以享受彈性計(jì)算資源、高可用性和成本效益等優(yōu)勢(shì)。為了加速這進(jìn)程,云計(jì)算服務(wù)提供商推出了各種開(kāi)發(fā)工具包。下面,AI部落小編帶您了解云計(jì)算開(kāi)發(fā)
    的頭像 發(fā)表于 02-21 11:02 ?210次閱讀

    七款經(jīng)久不衰的數(shù)據(jù)可視化工具!

    、圖形等形式展示,使數(shù)據(jù)更易于理解與分析。本文深入探討數(shù)據(jù)可視化工具的概念、種類及其應(yīng)用,同時(shí),我們推薦款高效好用的數(shù)據(jù)可視化工具——
    發(fā)表于 01-19 15:24

    Labview聲音和振動(dòng)工具包示例文件Sound Level

    Labview 聲音和振動(dòng)工具包示例文件,聲壓測(cè)試,有模擬和DAQ兩個(gè)文件。
    發(fā)表于 01-05 09:15 ?0次下載

    最新Simplicity SDK軟件開(kāi)發(fā)工具包發(fā)布

    最新的SimplicitySDK軟件開(kāi)發(fā)工具包已經(jīng)發(fā)布!此次更新針對(duì)SiliconLabs(芯科科技)第二代無(wú)線開(kāi)發(fā)平臺(tái)帶來(lái)了包括藍(lán)牙6.0的信道探測(cè)(Channel Sounding
    的頭像 發(fā)表于 12-24 09:47 ?635次閱讀

    基于EasyGo Vs工具包和Nl veristand軟件進(jìn)行的永磁同步電機(jī)實(shí)時(shí)仿真

    EasyGo Vs Addon是款領(lǐng)先的FPGA仿真工具包軟件,它強(qiáng)大地連接了VeriStand軟件與Matlab/Simulink,為實(shí)時(shí)測(cè)試和驗(yàn)證領(lǐng)域帶來(lái)了前所未有的便利和效率,特別適用于汽車
    的頭像 發(fā)表于 11-27 11:28 ?824次閱讀
    基于EasyGo Vs<b class='flag-5'>工具包</b>和Nl veristand軟件進(jìn)行的永磁同步電機(jī)實(shí)時(shí)仿真

    FPGA仿真工具包軟件EasyGo Vs Addon介紹

    EasyGo Vs Addon是款領(lǐng)先的FPGA仿真工具包軟件,它強(qiáng)大地連接了VeriStand軟件與Matlab/Simulink,為實(shí)時(shí)測(cè)試和驗(yàn)證領(lǐng)域帶來(lái)了前所未有的便利和效率,特別適用于汽車、航空航天和能源電力等實(shí)時(shí)測(cè)試和驗(yàn)證至關(guān)重要的行業(yè)。
    的頭像 發(fā)表于 10-24 15:55 ?847次閱讀
    FPGA仿真<b class='flag-5'>工具包</b>軟件EasyGo Vs Addon介紹

    采用德州儀器 (TI) 工具包進(jìn)行模擬前端設(shè)計(jì)應(yīng)用說(shuō)明

    電子發(fā)燒友網(wǎng)站提供《采用德州儀器 (TI) 工具包進(jìn)行模擬前端設(shè)計(jì)應(yīng)用說(shuō)明.pdf》資料免費(fèi)下載
    發(fā)表于 09-09 11:21 ?0次下載
    采用德州儀器 (TI) <b class='flag-5'>工具包</b>進(jìn)行模擬前端設(shè)計(jì)應(yīng)用說(shuō)明

    使用freeRTOS開(kāi)發(fā)工具包時(shí),在哪里可以找到freeRTOS的版本?

    作為主題,當(dāng)我使用 freeRTOS 開(kāi)發(fā)工具包時(shí),在哪里可以找到 freeRTOS 的版本?
    發(fā)表于 07-09 07:17

    tensorflow和pytorch哪個(gè)好

    tensorflow和pytorch都是非常不錯(cuò)的強(qiáng)大的框架,TensorFlow還是PyTorch哪個(gè)更好取決于您的具體需求,以下是關(guān)于這兩個(gè)框架的些關(guān)鍵點(diǎn):
    的頭像 發(fā)表于 07-05 09:42 ?1013次閱讀

    寶塔面板Docker鍵安裝:部署GPTAcademic,開(kāi)發(fā)私有GPT學(xué)術(shù)優(yōu)化工具

    人工智能的浪潮中,GPT模型因其強(qiáng)大的自然語(yǔ)言處理能力備受矚目。然而,為了更好地應(yīng)用于學(xué)術(shù)領(lǐng)域,許多人希望能部署自己私有的GPT學(xué)術(shù)優(yōu)化工具。本文詳細(xì)介紹如何通過(guò)寶塔面板和Docker鍵安裝
    的頭像 發(fā)表于 07-02 11:58 ?3413次閱讀
    寶塔面板Docker<b class='flag-5'>一</b>鍵安裝:部署GPTAcademic,開(kāi)發(fā)私有GPT學(xué)術(shù)<b class='flag-5'>優(yōu)化工具</b>

    新加坡推出Project Moonshot -- 這是款生成式人工智能測(cè)試工具包,用于應(yīng)對(duì)LLM安全和安保挑戰(zhàn)

    新加坡2024年6月3日?/美通社/ -- 新加坡通訊及新聞部部長(zhǎng)Josephine Teo 女士推出了AI Verify- Project Moonshot,這是個(gè)易于使用的測(cè)試工具包,旨在
    的頭像 發(fā)表于 06-03 19:59 ?376次閱讀
    新加坡推出Project Moonshot -- 這是<b class='flag-5'>一</b>款生成式人工智能測(cè)試<b class='flag-5'>工具包</b>,用于應(yīng)對(duì)LLM安全和安保挑戰(zhàn)

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品