嵌入式 AI

AI 簡報(bào) 20221014 期

1. 2022中國AI芯片企業(yè)50強(qiáng)

原文：

https://app.myzaker.com/news/article.php?pk=63476be18e9f0903ac797c80

（全球 TMT2022 年 10 月 13 日訊）GTIC 2022 全球 AI 芯片峰會(huì)日前在深圳市南山區(qū)舉行，2022 中國 AI 芯片企業(yè) 50 強(qiáng)榜單揭曉。本次榜單基于核心技術(shù)實(shí)力、團(tuán)隊(duì)建制情況、市場前景空間、商用落地進(jìn)展、最新融資進(jìn)度、國產(chǎn)替代價(jià)值六大維度進(jìn)行綜合評(píng)分判定，按照分值遴選出當(dāng)下在 AI 芯片領(lǐng)域擁有突出成就和創(chuàng)新潛力的 50 家中國企業(yè)名單。

2022 中國 AI 芯片企業(yè) 50 強(qiáng)（排名不分先后，按公司名稱首字母排序）：

愛芯元智半導(dǎo)體 ( 上海 ) 有限公司

安徽聆思智能科技有限公司

北京玻色量子科技有限公司

北京地平線信息技術(shù)有限公司

北京嘉楠捷思信息技術(shù)有限公司

北京君正集成電路股份有限公司

北京靈汐科技有限公司

北京蘋芯科技有限公司

北京清微智能科技有限公司

北京算能科技有限公司

北京探境科技有限公司

北京知存科技有限公司

成都啟英泰倫科技有限公司

成都時(shí)識(shí)科技有限公司

光子算數(shù) ( 北京 ) 科技有限責(zé)任公司

瀚博半導(dǎo)體 ( 上海 ) 有限公司

杭州國芯科技股份有限公司

杭州智芯科微電子科技有限公司

黑芝麻智能科技有限公司

昆侖芯 ( 北京 ) 科技有限公司

墨芯人工智能科技 ( 深圳 ) 有限公司

沐曦集成電路 ( 上海 ) 有限公司

南京后摩智能科技有限公司

南京芯馳半導(dǎo)體科技有限公司

平頭哥半導(dǎo)體有限公司

千芯科技 ( 北京 ) 有限公司

瑞芯微電子股份有限公司

睿思芯科 ( 深圳 ) 技術(shù)有限公司

上海埃瓦智能科技有限公司

上海壁仞智能科技有限公司

上海登臨科技有限公司

上海酷芯微電子有限公司

上海齊感電子信息科技有限公司

上海燧原科技有限公司

上海天數(shù)智芯半導(dǎo)體有限公司

上海曦智科技有限公司

上海依圖網(wǎng)絡(luò)科技有限公司

上海億鑄智能科技有限公司

上海肇觀電子科技有限公司

深圳鯤云信息科技有限公司

深圳市海思半導(dǎo)體有限公司

深圳市九天睿芯科技有限公司

深圳云天勵(lì)飛技術(shù)股份有限公司

時(shí)擎智能科技 ( 上海 ) 有限公司

思必馳科技股份有限公司

銀牛微電子 ( 無錫 ) 有限責(zé)任公司

中科寒武紀(jì)科技股份有限公司

中科融合感知智能研究院 ( 蘇州工業(yè)園區(qū) ) 有限公司

珠海歐比特宇航科技股份有限公司

珠海億智電子科技有限公司

2. 牽手地平線補(bǔ)齊短板，大眾汽車投資24億歐元發(fā)力智能駕駛

原文：

https://view.inews.qq.com/a/20221014A00Q4500?tbkt=D&uid=&refer=wx_hot

10月13日，大眾汽車集團(tuán)宣布旗下軟件公司CARIAD將與地平線成立合資企業(yè)，并持有合資企業(yè)60%股份。據(jù)悉，大眾汽車計(jì)劃為本次合作投資約24億歐元（折合人民幣約168億元），該交易預(yù)計(jì)在明年上半年完成。

此次，CARIAD牽手地平線，主要將發(fā)力智能駕駛，開發(fā)領(lǐng)先的、高度優(yōu)化的全棧式高級(jí)駕駛輔助系統(tǒng)和自動(dòng)駕駛解決方案，在單顆芯片上集成多種功能，提高系統(tǒng)穩(wěn)定性并節(jié)約成本降低能耗。

一直以來，合資品牌電動(dòng)車在智能座艙、智能駕駛上與造車新勢力們有一定的差價(jià)，大眾汽車這次牽手地平線，無疑將補(bǔ)上了短板。并且以合資的方式進(jìn)行合作，而不僅僅將地平線定義為供應(yīng)商，無疑將加速推進(jìn)大眾旗下車型的智能化升級(jí)。向科技公司轉(zhuǎn)型的路上，大眾汽車又邁出了堅(jiān)實(shí)的一步。

3. 以太坊合并后：英偉達(dá)受難，“礦工”暴富夢終結(jié)

原文：

https://36kr.com/p/1931939259730306

在全世界的注視下，世界第二大虛擬貨幣以太坊（ETH）本月正式從PoW轉(zhuǎn)為PoS機(jī)制，完成了業(yè)界革命的“The Merge”合并升級(jí)。

以太坊合并完成之前，大量持有以太坊的投資者就已經(jīng)開始拋售，以太坊單幣價(jià)格一路走低，從本周的高點(diǎn)1777美元，到合并時(shí)的1650美元左右，最終下跌至當(dāng)前的1333美元，順便還把老對(duì)手比特幣也拖下水，目前比特幣再次跌破19000美元關(guān)口。

這是區(qū)塊鏈誕生以來，史無前例的一次升級(jí)，直接將之前的玩法全部推翻，宣告了曾經(jīng)利用GPU（顯卡）挖礦時(shí)代的全面終結(jié)，近1億幣圈玩家被影響。大量專職挖礦的礦工們，要開始考慮未來的何去何從。

從2008年開始的挖礦暴富夢，進(jìn)入了落幕倒計(jì)時(shí)。

這次以太坊升級(jí)轉(zhuǎn)型的PoS機(jī)制，是完全不同運(yùn)算邏輯， 簡單來說就是不再依賴于顯卡， 而是憑借“幣齡”和持有貨幣的數(shù)量來充當(dāng)“算力”，從而杜絕能源高消耗的情況。

這樣一來，影響最大的就是礦工們手頭里囤積的顯卡。

顯卡作為挖礦的第一生產(chǎn)力工具，價(jià)格也在狂熱的挖礦浪潮中一度瘋漲。2021年底，英偉達(dá)發(fā)布RTX 30系顯卡，原本是游戲玩家剛需的顯卡設(shè)備，還沒等玩家下單，礦工們就開始溢價(jià)瘋搶，把市面上的RTX 30系顯卡全部買下，再無一例外地投入到挖礦行列當(dāng)中。

原本定位中端的RTX 3060Ti顯卡，官方定價(jià)2999元，在最高峰時(shí)價(jià)格暴漲近乎破萬，其它高端卡更不用說了，都是溢價(jià)三倍起步。最新的顯卡買不到，礦工又盯上了“過時(shí)”的設(shè)備，上一代的RTX 20系顯卡都迎來不同程度的瘋漲。

甚至一些使用兩三年的RTX 10系顯卡，都能在二手市場以原價(jià)賣出，可見挖礦浪潮對(duì)顯卡的影響。

4. 1500美元，小扎推出天價(jià)頭顯Quest Pro，還給虛擬化身加上了腿

原文：

https://mp.weixin.qq.com/s/qDwVdgPJCkArDOL4azvX1A

今日，Meta Connect 大會(huì)在線上舉行。Meta CEO 馬克 · 扎克伯格推出了一款全新的 Quest Pro 虛擬和混合現(xiàn)實(shí)頭顯設(shè)備，標(biāo)志著 Meta 進(jìn)入了擴(kuò)展現(xiàn)實(shí)計(jì)算設(shè)備的高端市場。

在演講中，扎克伯格部分以真人、部分以虛擬化身出現(xiàn)，他表示，「我希望物理世界和數(shù)字世界的融合能夠?yàn)橛?jì)算帶來更多新的用途?！?/span>

在技術(shù)上，Meta Quest Pro 對(duì)現(xiàn)有 Quest 2 頭顯設(shè)備進(jìn)行了全方位升級(jí)。

首先，Quest Pro 采用了全新的薄餅（Pancake）透鏡，光學(xué)堆棧比 Quest 2 縮減 40％，視覺中心解析度每英寸像素提升 35％。設(shè)備瞳孔間距的調(diào)節(jié)范圍為 55-75 毫米，為用戶提供了更好的視覺體驗(yàn)并降低眼疲勞。

其次，Quest Pro 在硬件上采用了與高通聯(lián)合設(shè)計(jì)并專為 VR 優(yōu)化的驍龍 XR2 + 芯片，更好的散熱系統(tǒng)使得續(xù)航提升了 50％，也大幅提升了性能。此外，Quest Pro 還附帶 10 個(gè)先進(jìn)的 VR/MR 傳感器、空間音頻、256GB 內(nèi)存和 12GB RAM。

最后，Quest Pro 配備了重新設(shè)計(jì)的控制手柄，各自搭載一顆驍龍 662 處理器和三個(gè)攝像頭。新的傳感器使得不用頭顯也能在 3D 空間中追蹤位置，用戶可以享受 360 度全方位運(yùn)動(dòng)范圍。新的 Trutouch Haptics 為用戶提供了更寬和更精準(zhǔn)的反饋效果范圍。

5. 訓(xùn)練速度提高最多5.4倍，谷歌提出RL訓(xùn)練新范式ActorQ

原文：

https://mp.weixin.qq.com/s/MyUW7CELJOckFjmYNkQxuA

文章鏈接:

https://ai.googleblog.com/2022/09/quantization-for-fast-and.html

此前，由谷歌大腦團(tuán)隊(duì)科學(xué)家 Aleksandra Faust 和研究員 Srivatsan Krishnan 發(fā)布的深度強(qiáng)化學(xué)習(xí)模型在解決導(dǎo)航、核物理、機(jī)器人和游戲等現(xiàn)實(shí)世界的順序決策問題方面取得巨大進(jìn)步。它很有應(yīng)用前景，但缺點(diǎn)之一是訓(xùn)練時(shí)間過長。

雖然可以使用分布式計(jì)算加快復(fù)雜困難任務(wù)的強(qiáng)化學(xué)習(xí)的訓(xùn)練，但是需要數(shù)百甚至數(shù)千個(gè)計(jì)算節(jié)點(diǎn)，且要使用大量硬件資源，這使得強(qiáng)化學(xué)習(xí)訓(xùn)練成本變得極其高昂，同時(shí)還要考慮對(duì)環(huán)境的影響。最近的研究表明，對(duì)現(xiàn)有硬件進(jìn)行性能優(yōu)化可以減少模型訓(xùn)練的碳足跡（即溫室氣體排放總量）。

借助系統(tǒng)優(yōu)化，可以縮短強(qiáng)化學(xué)習(xí)訓(xùn)練時(shí)間、提高硬件利用率、減少二氧化碳（CO2）排放。其中一種技術(shù)是量化，將全精度浮點(diǎn)（FP32）數(shù)轉(zhuǎn)換為低精度（int8）數(shù)，然后使用低精度數(shù)字進(jìn)行計(jì)算。量化可以節(jié)省內(nèi)存成本和帶寬，實(shí)現(xiàn)更快、更節(jié)能的計(jì)算。量化已成功應(yīng)用于監(jiān)督學(xué)習(xí)，以實(shí)現(xiàn)機(jī)器學(xué)習(xí)（ML）模型的邊緣部署并實(shí)現(xiàn)更快的訓(xùn)練。同樣也可以將量化應(yīng)用于強(qiáng)化學(xué)習(xí)訓(xùn)練。

近日，谷歌的研究者在《Transactions of Machine Learning Research》期刊上發(fā)表了《QuaRL：快速和環(huán)境可持續(xù)強(qiáng)化學(xué)習(xí)的量化》，介紹了一種稱為「ActorQ」的新范式。該范式使用了量化，在保持性能的同時(shí)，將強(qiáng)化學(xué)習(xí)訓(xùn)練速度提高 1.5-5.4 倍。作者證明，與全精度訓(xùn)練相比，碳足跡也減少了 1.9-3.8 倍。

量化應(yīng)用于強(qiáng)化學(xué)習(xí)訓(xùn)練

在傳統(tǒng)的強(qiáng)化學(xué)習(xí)訓(xùn)練中，learner 策略會(huì)應(yīng)用于 actor，actor 使用該策略探索環(huán)境并收集數(shù)據(jù)樣本，actor 收集的樣本隨后被 learner 用于不斷完善初始策略。定期地，針對(duì) learner 的訓(xùn)練策略被用來更新 actor 的策略。為了將量化應(yīng)用于強(qiáng)化學(xué)習(xí)訓(xùn)練，作者開創(chuàng)了 ActorQ 范式。ActorQ 執(zhí)行上面描述的相同序列，其中關(guān)鍵區(qū)別是，從 learner 到 actor 的策略更新是量化的，actor 使用 int8 量化策略探索環(huán)境以收集樣本。

以這種方式將量化應(yīng)用于強(qiáng)化學(xué)習(xí)訓(xùn)練有兩個(gè)關(guān)鍵好處。首先，它減少了策略的內(nèi)存占用。對(duì)于相同的峰值帶寬，learner 和 actor 之間傳輸?shù)臄?shù)據(jù)較少，這降低了 actor 與 learner 之間的策略更新通信成本。其次，actor 對(duì)量化策略進(jìn)行推理，以生成給定環(huán)境狀態(tài)的操作。與完全精確地執(zhí)行推理相比，量化推理過程要快得多。

以量化提升強(qiáng)化學(xué)習(xí)訓(xùn)練效率

作者在實(shí)驗(yàn)中觀察到訓(xùn)練強(qiáng)化學(xué)習(xí)策略的速度顯著加快（1.5 倍至 5.41 倍之間）。更重要的是，即使 actor 進(jìn)行了基于 int8 的量化推理，也可以保持性能。下圖顯示了用于 Deepmind Control Suite 和 OpenAI Gym 任務(wù)的 D4PG 和 DQN 智能體的這一點(diǎn)。

結(jié)論和未來方向

作者引入了 ActorQ，這是一種新的范式，將量化應(yīng)用于強(qiáng)化學(xué)習(xí)訓(xùn)練，并在保持性能的同時(shí)實(shí)現(xiàn)了 1.5-5.4 倍的加速改進(jìn)。與未應(yīng)用量化的全精度訓(xùn)練相比，ActorQ 可以將強(qiáng)化學(xué)習(xí)訓(xùn)練的碳足跡減少 1.9-3.8 倍。

ActorQ 證明量化可以有效地應(yīng)用于強(qiáng)化學(xué)習(xí)的許多方面，從獲得高質(zhì)量和高效的量化策略到減少訓(xùn)練時(shí)間和碳排放。隨著強(qiáng)化學(xué)習(xí)在解決現(xiàn)實(shí)問題方面繼續(xù)取得長足進(jìn)步，我們有理由相信，使強(qiáng)化學(xué)習(xí)訓(xùn)練實(shí)現(xiàn)可持續(xù)發(fā)展將是關(guān)鍵。當(dāng)將強(qiáng)化學(xué)習(xí)擴(kuò)展到數(shù)千個(gè) CPU 和 GPU 時(shí)，即使 50% 的改進(jìn)也會(huì)在成本、能源和碳排放方面顯著降低。作者的工作是將量化應(yīng)用于強(qiáng)化學(xué)習(xí)訓(xùn)練以實(shí)現(xiàn)高效和環(huán)境可持續(xù)訓(xùn)練的第一步。

作者在 ActorQ 中的量化設(shè)計(jì)基于簡單的均勻量化，但實(shí)際可以應(yīng)用其他形式的量化、壓縮和稀疏性（如蒸餾、稀疏化等）。未來的工作將考慮應(yīng)用更積極的量化和壓縮方法，這可能會(huì)為強(qiáng)化學(xué)習(xí)在訓(xùn)練性能和精度的權(quán)衡上帶來更多的好處。

6. 我傻眼了：一個(gè)完全由 AI 生成的播客，采訪了喬布斯

原文：

https://mp.weixin.qq.com/s/rc9AdGFige75ylfehfs-fQ

最近大火的生成式 AI 又有新動(dòng)作了！

在 podcast.ai 推出的第一集播客節(jié)目里，已故的喬布斯竟然“死而復(fù)生”成為首位嘉賓，與美國知名播客主持人 Joe Rogan 進(jìn)行了一場長達(dá)20分鐘的對(duì)話，討論了關(guān)于喬布斯的大學(xué)、對(duì)計(jì)算機(jī)的看法、工作狀態(tài)以及信仰等等。

是不是聽起來有些毛骨悚然？事實(shí)上，這段采訪是由文本生成音頻實(shí)現(xiàn)的，屬于 AIGC 中的一個(gè)分支。

podcast.ai 是一個(gè)完全由 AI 生成的播客，每周都會(huì)深入探討一個(gè)新話題。在第一期節(jié)目中，podcast.ai 通過喬布斯的傳記和收集網(wǎng)絡(luò)上關(guān)于他的所有錄音，用 Play.ht 的語言模型大量訓(xùn)練，最終生成了這段假 Joe Rogan 采訪喬布斯的播客內(nèi)容。

此次 podcast.ai 推出的AI播客，是生成式AI在語音領(lǐng)域的一次新探索。從前段時(shí)間全網(wǎng)刷屏的 Stable Diffusion，后有國內(nèi)平臺(tái)掀起AI創(chuàng)作熱，各類生成式AI模型給人們生活帶來了更多的可能性。

Play.ht 表示，“我們相信在未來，所有內(nèi)容創(chuàng)作都將由人工智能生成，但由人類指導(dǎo)，而最具創(chuàng)造性的工作將取決于人類將他們想要的創(chuàng)作表達(dá)到模型中的能力。”

7. Soft Diffusion：谷歌新框架從通用擴(kuò)散過程中正確調(diào)度、學(xué)習(xí)和采樣

原文：

https://mp.weixin.qq.com/s/Ke_vp6SWxWuygSNTFaO_bg

論文地址：

https://arxiv.org/pdf/2209.05442.pdf

我們知道，基于分?jǐn)?shù)的模型和去噪擴(kuò)散概率模型（DDPM）是兩類強(qiáng)大的生成模型，它們通過反轉(zhuǎn)擴(kuò)散過程來產(chǎn)生樣本。這兩類模型已經(jīng)在 Yang Song 等研究者的論文《Score-based generative modeling through stochastic differential equations》中統(tǒng)一到了單一的框架下，并被廣泛地稱為擴(kuò)散模型。

目前，擴(kuò)散模型在包括圖像、音頻、視頻生成以及解決逆問題等一系列應(yīng)用中取得了巨大的成功。Tero Karras 等研究者在論文《Elucidating the design space of diffusionbased generative models》中對(duì)擴(kuò)散模型的設(shè)計(jì)空間進(jìn)行了分析，并確定了 3 個(gè)階段，分別為 i) 選擇噪聲水平的調(diào)度，ii) 選擇網(wǎng)絡(luò)參數(shù)化（每個(gè)參數(shù)化生成一個(gè)不同的損失函數(shù)），iii) 設(shè)計(jì)采樣算法。

近日，在谷歌研究院和 UT-Austin 合作的一篇 arXiv 論文《Soft Diffusion: Score Matching for General Corruptions》中，幾位研究者認(rèn)為擴(kuò)散模型仍有一個(gè)重要的步驟：損壞（corrupt）。一般來說，損壞是一個(gè)添加不同幅度噪聲的過程，對(duì)于 DDMP 還需要重縮放。雖然有人嘗試使用不同的分布來進(jìn)行擴(kuò)散，但仍缺乏一個(gè)通用的框架。因此，研究者提出了一個(gè)用于更通用損壞過程的擴(kuò)散模型設(shè)計(jì)框架。

具體地，他們提出了一個(gè)名為 Soft Score Matching 的新訓(xùn)練目標(biāo)和一種新穎的采樣方法 Momentum Sampler。理論結(jié)果表明，對(duì)于滿足正則條件的損壞過程，Soft Score MatchIng 能夠?qū)W習(xí)它們的分?jǐn)?shù)（即似然梯度），擴(kuò)散必須將任何圖像轉(zhuǎn)換為具有非零似然的任何圖像。

在實(shí)驗(yàn)部分，研究者在 CelebA 以及 CIFAR-10 上訓(xùn)練模型，其中在 CelebA 上訓(xùn)練的模型實(shí)現(xiàn)了線性擴(kuò)散模型的 SOTA FID 分?jǐn)?shù)——1.85。同時(shí)與使用原版高斯去噪擴(kuò)散訓(xùn)練的模型相比，研究者訓(xùn)練的模型速度顯著更快。

通常來說，擴(kuò)散模型通過反轉(zhuǎn)逐漸增加噪聲的損壞過程來生成圖像。研究者展示了如何學(xué)習(xí)對(duì)涉及線性確定性退化和隨機(jī)加性噪聲的擴(kuò)散進(jìn)行反轉(zhuǎn)。

具體地，研究者展示了使用更通用損壞模型訓(xùn)練擴(kuò)散模型的框架，包含有三個(gè)部分，分別為新的訓(xùn)練目標(biāo) Soft Score Matching、新穎采樣方法 Momentum Sampler 和損壞機(jī)制的調(diào)度。

首先來看訓(xùn)練目標(biāo) Soft Score Matching，這個(gè)名字的靈感來自于軟過濾，是一種攝影術(shù)語，指的是去除精細(xì)細(xì)節(jié)的過濾器。它以一種可證明的方式學(xué)習(xí)常規(guī)線性損壞過程的分?jǐn)?shù)，還在網(wǎng)絡(luò)中合并入了過濾過程，并訓(xùn)練模型來預(yù)測損壞后與擴(kuò)散觀察相匹配的圖像。

只要擴(kuò)散將非零概率指定為任何干凈、損壞的圖像對(duì)，則該訓(xùn)練目標(biāo)可以證明學(xué)習(xí)到了分?jǐn)?shù)。另外，當(dāng)損壞中存在加性噪聲時(shí)，這一條件總是可以得到滿足。

在過程中，研究者發(fā)現(xiàn)噪聲在實(shí)證（即更好的結(jié)果）和理論（即為了學(xué)習(xí)分?jǐn)?shù)）這兩方面都很重要。這也成為了其與反轉(zhuǎn)確定性損壞的并發(fā)工作 Cold Diffusion 的關(guān)鍵區(qū)別。

其次是采樣方法 Momentum Sampling。研究者證明，采樣器的選擇對(duì)生成樣本質(zhì)量具有顯著影響。他們提出了 Momentum Sampler，用于反轉(zhuǎn)通用線性損壞過程。該采樣器使用了不同擴(kuò)散水平的損壞的凸組合，并受到了優(yōu)化中動(dòng)量方法的啟發(fā)。

這一采樣方法受到了上文 Yang Song 等人論文提出的擴(kuò)散模型連續(xù)公式化的啟發(fā)。Momentum Sampler 的算法如下所示。

最后是調(diào)度。即使退化的類型是預(yù)定義的（如模糊），決定在每個(gè)擴(kuò)散步驟中損壞多少并非易事。研究者提出一個(gè)原則性工具來指導(dǎo)損壞過程的設(shè)計(jì)。為了找到調(diào)度，他們將沿路徑分布之間的 Wasserstein 距離最小化。直觀地講，研究者希望從完全損壞的分布平穩(wěn)過渡到干凈的分布。

8. 采樣提速256倍，蒸餾擴(kuò)散模型生成圖像質(zhì)量媲美教師模型，只需4步

原文：

https://mp.weixin.qq.com/s/ZpwlJbpQgvDqlmBX67phLw

論文地址：

https://arxiv.org/pdf/2210.03142.pdf

去噪擴(kuò)散概率模型（DDPM）在圖像生成、音頻合成、分子生成和似然估計(jì)領(lǐng)域都已經(jīng)實(shí)現(xiàn)了 SOTA 性能。同時(shí)無分類器（classifier-free）指導(dǎo)進(jìn)一步提升了擴(kuò)散模型的樣本質(zhì)量，并已被廣泛應(yīng)用在包括 GLIDE、DALL·E 2 和 Imagen 在內(nèi)的大規(guī)模擴(kuò)散模型框架中。

然而，無分類器指導(dǎo)的一大關(guān)鍵局限是它的采樣效率低下，需要對(duì)兩個(gè)擴(kuò)散模型評(píng)估數(shù)百次才能生成一個(gè)樣本。這一局限阻礙了無分類指導(dǎo)模型在真實(shí)世界設(shè)置中的應(yīng)用。盡管已經(jīng)針對(duì)擴(kuò)散模型提出了蒸餾方法，但目前這些方法不適用無分類器指導(dǎo)擴(kuò)散模型。

為了解決這一問題，近日斯坦福大學(xué)和谷歌大腦的研究者在論文《On Distillation of Guided Diffusion Models》中提出使用兩步蒸餾（two-step distillation）方法來提升無分類器指導(dǎo)的采樣效率。

在第一步中，他們引入單一學(xué)生模型來匹配兩個(gè)教師擴(kuò)散模型的組合輸出；在第二步中，他們利用提出的方法逐漸地將從第一步學(xué)得的模型蒸餾為更少步驟的模型。

利用提出的方法，單個(gè)蒸餾模型能夠處理各種不同的指導(dǎo)強(qiáng)度，從而高效地對(duì)樣本質(zhì)量和多樣性進(jìn)行權(quán)衡。此外為了從他們的模型中采樣，研究者考慮了文獻(xiàn)中已有的確定性采樣器，并進(jìn)一步提出了隨機(jī)采樣過程。

研究者在 ImageNet 64x64 和 CIFAR-10 上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明提出的蒸餾模型只需 4 步就能生成在視覺上與教師模型媲美的樣本，并且在更廣泛的指導(dǎo)強(qiáng)度上只需 8 到 16 步就能實(shí)現(xiàn)與教師模型媲美的 FID/IS 分?jǐn)?shù)，具體如下圖 1 所示。

此外，在 ImageNet 64x64 上的其他實(shí)驗(yàn)結(jié)果也表明了，研究者提出的框架在風(fēng)格遷移應(yīng)用中也表現(xiàn)良好。

9. Batch Normalization和它的“后浪”們匯總

原文：

https://mp.weixin.qq.com/s/DOqUWpoCIOE4RbH88vpgfg

歸一化相關(guān)技術(shù)已經(jīng)經(jīng)過了幾年的發(fā)展，目前針對(duì)不同的應(yīng)用場合有相應(yīng)的方法，在本文將這些方法做了一個(gè)總結(jié)，介紹了它們的思路，方法，應(yīng)用場景。主要涉及到：LRN，BN，LN, IN, GN, FRN, WN, BRN, CBN, CmBN等。

本文又名“BN和它的后浪們”，是因?yàn)閹缀踉贐N后出現(xiàn)的所有歸一化方法都是針對(duì)BN的三個(gè)缺陷改進(jìn)而來，在本文也介紹了BN的三個(gè)缺陷。相信讀者會(huì)讀完此文會(huì)對(duì)歸一化方法有個(gè)較為全面的認(rèn)識(shí)和理解。

LRN(2012)

局部響應(yīng)歸一化（Local Response Normalization, 即LRN）首次提出于AlexNet。自BN提出后，其基本被拋棄了，因此這里只介紹它的來源和主要思想。

LRN的創(chuàng)意來源于神經(jīng)生物學(xué)的側(cè)抑制，被激活的神經(jīng)元會(huì)抑制相鄰的神經(jīng)元。用一句話來形容LRN：讓響應(yīng)值大的feature map變得更大，讓響應(yīng)值小的變得更小。

其主要思想在于讓不同卷積核產(chǎn)生feature map之間的相關(guān)性更小，以實(shí)現(xiàn)不同通道上的feature map專注于不同的特征的作用，例如A特征在一通道上更顯著，B特征在另一通道上更顯著。

Batch Normalization(2015)

論文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

論文中關(guān)于BN提出的解釋：訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)非常復(fù)雜，因?yàn)樵谟?xùn)練過程中，隨著先前各層的參數(shù)發(fā)生變化，各層輸入的分布也會(huì)發(fā)生變化，圖層輸入分布的變化帶來了一個(gè)問題，因?yàn)閳D層需要不斷適應(yīng)新的分布，因此訓(xùn)練變得復(fù)雜，隨著網(wǎng)絡(luò)變得更深，網(wǎng)絡(luò)參數(shù)的細(xì)微變化也會(huì)放大。

由于要求較低的學(xué)習(xí)率和仔細(xì)的參數(shù)初始化，這減慢了訓(xùn)練速度，并且眾所周知，訓(xùn)練具有飽和非線性的模型非常困難。我們將此現(xiàn)象稱為內(nèi)部協(xié)變量偏移，并通過歸一化層輸入來解決該問題。

其它的解釋：假設(shè)輸入數(shù)據(jù)包含多個(gè)特征x1，x2，…xn。每個(gè)功能可能具有不同的值范圍。例如，特征x1的值可能在1到5之間，而特征x2的值可能在1000到99999之間。

如下左圖所示，由于兩個(gè)數(shù)據(jù)不在同一范圍，但它們是使用相同的學(xué)習(xí)率，導(dǎo)致梯度下降軌跡沿一維來回振蕩，從而需要更多的步驟才能達(dá)到最小值。且此時(shí)學(xué)習(xí)率不容易設(shè)置，學(xué)習(xí)率過大則對(duì)于范圍小的數(shù)據(jù)來說來回震蕩，學(xué)習(xí)率過小則對(duì)范圍大的數(shù)據(jù)來說基本沒什么變化。

如下右圖所示，當(dāng)進(jìn)行歸一化后，特征都在同一個(gè)大小范圍，則loss landscape像一個(gè)碗，學(xué)習(xí)率更容易設(shè)置，且梯度下降比較平穩(wěn)。

實(shí)現(xiàn)算法：

在一個(gè)batch中，在每一BN層中，對(duì)每個(gè)樣本的同一通道，計(jì)算它們的均值和方差，再對(duì)數(shù)據(jù)進(jìn)行歸一化，歸一化的值具有零均值和單位方差的特點(diǎn)，最后使用兩個(gè)可學(xué)習(xí)參數(shù)gamma和beta對(duì)歸一化的數(shù)據(jù)進(jìn)行縮放和移位。

此外，在訓(xùn)練過程中還保存了每個(gè)mini-batch每一BN層的均值和方差，最后求所有mini-batch均值和方差的期望值，以此來作為推理過程中該BN層的均值和方差。

注：BN放在激活函數(shù)后比放在激活函數(shù)前效果更好。

實(shí)際效果：1）與沒有BN相比，可使用更大的學(xué)習(xí)率2）防止過擬合，可去除Dropout和Local Response Normalization3）由于dataloader打亂順序，因此每個(gè)epoch中mini-batch都不一樣，對(duì)不同mini-batch做歸一化可以起到數(shù)據(jù)增強(qiáng)的效果。4）明顯加快收斂速度5）避免梯度爆炸和梯度消失

注：BN存在一些問題，后續(xù)的大部分歸一化論文，都是在圍繞BN的這些缺陷來改進(jìn)的。為了行文的方便，這些缺陷會(huì)在后面各篇論文中逐一提到。

BN、LN、IN和GN的區(qū)別與聯(lián)系

下圖比較明顯地表示出了它們之間的區(qū)別。（N表示N個(gè)樣本，C表示通道，這里為了表達(dá)方便，把HxW的二維用H*W的一維表示。）

后面這三個(gè)解決的主要問題是BN的效果依賴于batch size，當(dāng)batch size比較小時(shí)，性能退化嚴(yán)重?？梢钥吹剑琁N，LN和GN都與batch size無關(guān)。

它們之間的區(qū)別在于計(jì)算均值和方差的數(shù)據(jù)范圍不同，LN計(jì)算單個(gè)樣本在所有通道上的均值和方差，IN值計(jì)算單個(gè)樣本在每個(gè)通道上的均值和方差，GN將每個(gè)樣本的通道分成g組，計(jì)算每組的均值和方差。

它們之間的效果對(duì)比。（注：這個(gè)效果是只在同一場合下的對(duì)比，實(shí)際上它們各有自己的應(yīng)用場景，且后三者在各自的應(yīng)用場合上都明顯超過了BN）

Instance Normalization(2016)

論文：Instance Normalization: The Missing Ingredient for Fast Stylization

在圖像視頻等識(shí)別任務(wù)上，BN的效果是要優(yōu)于IN的。但在GAN，style transfer和domain adaptation這類生成任務(wù)上，IN的效果明顯比BN更好。

從BN與IN的區(qū)別來分析產(chǎn)生這種現(xiàn)象的原因：BN對(duì)多個(gè)樣本統(tǒng)計(jì)均值和方差，而這多個(gè)樣本的domain很可能是不一樣的，相當(dāng)于模型把不同domain的數(shù)據(jù)分布進(jìn)行了歸一化。

Layer Normalization (2016)

論文：Layer Normalization

BN的第一個(gè)缺陷是依賴Batch size，第二個(gè)缺陷是對(duì)于RNN這樣的動(dòng)態(tài)網(wǎng)絡(luò)效果不明顯，且當(dāng)推理序列長度超過訓(xùn)練的所有序列長度時(shí)，容易出問題。為此，提出了Layer Normalization。

當(dāng)我們以明顯的方式將批歸一化應(yīng)用于RNN時(shí)，我們需要為序列中的每個(gè)時(shí)間步計(jì)算并存儲(chǔ)單獨(dú)的統(tǒng)計(jì)信息。如果測試序列比任何訓(xùn)練序列都長，這是有問題的。LN沒有這樣的問題，因?yàn)樗臍w一化項(xiàng)僅取決于當(dāng)前時(shí)間步長對(duì)層的總輸入。它還只有一組在所有時(shí)間步中共享的增益和偏置參數(shù)。(注：LN中的增益和偏置就相當(dāng)于BN中的gamma 和beta)

LN的應(yīng)用場合：RNN，transformer等。

Group Normalization(2018)

論文：Group Normalization

如下圖所示，當(dāng)batch size減少時(shí)，BN退化明顯，而Group Normalization始終一致，在batch size比較大的時(shí)候，略低于BN，但當(dāng)batch size比較小的時(shí)候，明顯優(yōu)于BN。

但GN有兩個(gè)缺陷，其中一個(gè)是在batchsize大時(shí)略低于BN，另一個(gè)是由于它是在通道上分組，因此它要求通道數(shù)是分組數(shù)g的倍數(shù)。

GN應(yīng)用場景：在目標(biāo)檢測，語義分割等要求盡可能大的分辨率的任務(wù)上，由于內(nèi)存限制，為了更大的分辨率只能取比較小的batch size，可以選擇GN這種不依賴于batchsize的歸一化方法。

GN實(shí)現(xiàn)算法

Weights Normalization(2016)

論文：Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks

前面的方法都是基于feature map做歸一化，這篇論文提出對(duì)Weights做歸一化。

解釋這個(gè)方法要費(fèi)挺多筆墨，這里用一句話來解釋其主要做法：將權(quán)重向量w分解為一個(gè)標(biāo)量g和一個(gè)向量v，標(biāo)量g表示權(quán)重向量w的長度，向量v表示權(quán)重向量的方向。

這種方式改善了優(yōu)化問題的條件，并加速了隨機(jī)梯度下降的收斂，不依賴于batch size的特點(diǎn)，適用于循環(huán)模型（如 LSTM）和噪聲敏感應(yīng)用（如深度強(qiáng)化學(xué)習(xí)或生成模型），而批量歸一化不太適合這些應(yīng)用。

Weight Normalization也有個(gè)明顯的缺陷：WN不像BN有歸一化特征尺度的作用，因此WN的初始化需要慎重，為此作者提出了對(duì)向量v和標(biāo)量g的初始化方法。

Batch Renormalization(2017)

Cross-GPU BN(2018)

FRN(2019)

Cross-Iteration BN(2020)

總結(jié)

本文介紹了目前比較經(jīng)典的歸一化方法，其中大部分都是針對(duì)BN改進(jìn)而來，本文比較詳盡地介紹了它們的主要思想，改進(jìn)方式，以及應(yīng)用場景，部分方法并沒有詳細(xì)介紹實(shí)現(xiàn)細(xì)節(jié)，對(duì)于感興趣或有需要的讀者請(qǐng)自行閱讀論文原文。

除了以上方法外，還有很多歸一化方法，例如Eval Norm，Normalization propagation，Normalizing the normalizers等。但這些方法并不常用，這里不作贅述。

- END -