嵌入式 AI

AI 簡報(bào) 20230317 期

1. AI服務(wù)器市場規(guī)模持續(xù)增加，國內(nèi)存在哪些算力瓶頸？

原文：

https://mp.weixin.qq.com/s/v04vZCBxNzfCUDTy_8iSoA

近年來，在全球數(shù)字化、智能化的浪潮下，智能手機(jī)、自動駕駛、數(shù)據(jù)中心、圖像識別等應(yīng)用推動 AI服務(wù)器市場迅速成長。根據(jù) IDC 數(shù)據(jù)，2021 年全球 AI 服務(wù)器市場規(guī)模已達(dá)到 145 億美元，并預(yù)計(jì) 2025 年將超過 260 億美元。

近段時(shí)間ChatGPT概念的火熱，更是對算力基礎(chǔ)設(shè)施的需求起到了帶動作用。寧暢副總裁兼CTO趙雷此前在接受媒體采訪的時(shí)候表示，ChatGP的訓(xùn)練和部署，都需要大量智能計(jì)算數(shù)據(jù)存儲以及傳輸資源，計(jì)算機(jī)基礎(chǔ)設(shè)施、算力等上游技術(shù)將因此受益。

ChatGPT有著多達(dá)1750億個(gè)模型參數(shù)。在算力方面，GPT-3.5在訓(xùn)練階段消耗的總算力約3640PF-days。在應(yīng)用時(shí)，ChatGPT仍然需要大算力的服務(wù)器支持。ChatGPT的持續(xù)爆火也為AIGC帶來全新增量，行業(yè)對AI模型訓(xùn)練所需要的算力支持提出了更高要求。

寧暢是一家集研發(fā)、生產(chǎn)、部署、運(yùn)維一體的服務(wù)器廠商，及IT系統(tǒng)解決方案提供商。該公司早早就開始著重發(fā)力于人工智能服務(wù)器和液冷服務(wù)器。趙雷表示，公司目前在用的、在研的人工智能和液冷服務(wù)器，包括明年還將推出的浸沒液冷服務(wù)器，剛好跟上算力高速增長的市場需求。公司隨時(shí)準(zhǔn)備著為客戶提供合適的高算力產(chǎn)品和解決方案。

在人工智能服務(wù)器方面，寧暢已經(jīng)推出多款產(chǎn)品，包括X620 G50、X660 G45、X640 G40、X620 G40。X620 G50適用于機(jī)器學(xué)習(xí)、AI推理、云計(jì)算、高性能計(jì)算等場景；660 G45是專門為深度學(xué)習(xí)訓(xùn)練開發(fā)的高性能計(jì)算平臺；X640 G40是兼?zhèn)溆?xùn)練與推理功能的全能型GPU服務(wù)器；X620 G40性能提升的同時(shí)支持PCIe 4.0高速總線技術(shù)，完美支持NVIDIA各類最新型GPU加速服務(wù)，是最為理想的AI推理平臺。

在液冷服務(wù)器方面，寧暢推出了三款冷板式液冷服務(wù)器，包括產(chǎn)品B5000 G4 LP、X660 G45 LP、R620 G40 LP，范圍覆蓋了高密度、通用機(jī)架以及人工智能服務(wù)器產(chǎn)品，可滿足科學(xué)計(jì)算、AI訓(xùn)練、云計(jì)算等眾多IT應(yīng)用場景，可滿足用戶不同需求。

作為服務(wù)器廠商需要給下游互聯(lián)網(wǎng)客戶提供怎樣的產(chǎn)品和服務(wù)呢？對于服務(wù)器廠商來說，不只是要提供服務(wù)器硬件或者基礎(chǔ)設(shè)施，還要有對應(yīng)的服務(wù)能力。

從服務(wù)層面來看，在用戶現(xiàn)場會關(guān)注什么呢，比如說核心業(yè)務(wù)，會關(guān)注業(yè)務(wù)的在線率，不管服務(wù)器壞不壞，整個(gè)業(yè)務(wù)的運(yùn)行是要有彈性的、靈活的，不會給客戶造成影響的。就以百度、微信這些業(yè)務(wù)為例，大家?guī)缀醪粫吹轿⑿挪荒苡昧?，或者百度搜索不反饋結(jié)果了。

趙雷表示，對于服務(wù)器廠商來說，要做的是在服務(wù)層面能夠快速響應(yīng)，不管是采用現(xiàn)場備件模式，機(jī)房備機(jī)模式，還是駐場人員巡檢的模式，都需要做到24小時(shí)的快速響應(yīng)。這是純粹的服務(wù)方面，也就是說，在互聯(lián)網(wǎng)搭建業(yè)務(wù)連續(xù)性良好的基礎(chǔ)上，服務(wù)器廠商能夠?qū)⒐收虾涂焖?a target="_blank">維修的能力做到極致，有效地支撐客戶的前端應(yīng)用。

從產(chǎn)品層面來看，對于每個(gè)硬件子系統(tǒng)在設(shè)計(jì)研發(fā)過程中，都需要從易維修和低故障角度去思考如何將產(chǎn)品做得更好。寧暢在這方面做了很多工作：首先，現(xiàn)在冷卻方式是影響故障率比較重要的因素，因?yàn)闇囟忍吖收下示蜁?，寧暢的精密風(fēng)冷和液冷的方式，能夠有效地降低芯片和對應(yīng)組件的故障率。

其次，其精密六維減震模式，能夠有效提升硬盤的性能，降低故障率；接著是，采用DAE的散熱器，從散熱的維度有效降低光模塊的故障率。同時(shí)CPU、GPU的液冷可以有效降低CPU、GPU的故障率；通過內(nèi)存的漏斗，內(nèi)存的故障篩選或者在線隔離技術(shù)，有效地降低內(nèi)存的故障率；另外還在板卡走線、機(jī)箱結(jié)構(gòu)方面進(jìn)行了優(yōu)化設(shè)計(jì)。

此外還有整機(jī)BMC易管理特性，趙雷認(rèn)為，任何東西不可能不壞，有毛病是不可避免的，壞了以后，如何快速通知客戶或者維護(hù)人員維修時(shí)關(guān)鍵。BMC有一個(gè)完善的通知機(jī)制，郵件自動通知、SMP遠(yuǎn)程告警、IPMI告警等。寧暢按照互聯(lián)網(wǎng)客戶的需求定制，將其融入整個(gè)機(jī)房的運(yùn)維系統(tǒng)，出現(xiàn)故障以后可以第一時(shí)間通知去維修。

雖然目前國內(nèi)有不少優(yōu)秀的服務(wù)器、云廠商等，不過整體來看，國內(nèi)的算力仍然存在瓶頸，比如，總體算力不夠，算力的分布不平均。部分客戶算力過剩，部分客戶算力不足?；蛘逜時(shí)間算力過剩，B時(shí)間算力不足，這是算力協(xié)調(diào)的問題。

短期來看這個(gè)問題要靠云技術(shù)解決，長期來看是要提供過剩的算力。也就是說，需要云技術(shù)去平衡協(xié)調(diào)算力不均勻的問題，還需要提供算力、算力效率等。

再比如算力成本高的問題，雖然目前每單位算力單價(jià)下降了，但是過去幾年服務(wù)器的平均售價(jià)一直上漲。趙雷認(rèn)為，可能算力類型單一，不太能夠有效地支撐高速增長的模式，可能要有各種各樣不同類型的算力。比如ChatGPT，是不是可以做針對GPT模型專門的ASIC。算力的應(yīng)用類型越窄，它的效率就會越高，越通用，效率就越低。

整體而言，過去幾年在全球數(shù)字化、智能化浪潮下，市場對算力的需求不斷增加。ChatGP的出現(xiàn)更是讓行業(yè)對算力提出了新的要求。國內(nèi)服務(wù)器廠商在對人工智能行業(yè)提供算力支持方面已經(jīng)有所準(zhǔn)備。不過從目前的情況來看，國內(nèi)在算力方面仍然存在一些瓶頸，比如算力分布不均勻，成本高等問題。后續(xù)還需業(yè)界共同去探討解決。

2. PyTorch 2.0正式版發(fā)布！一行代碼提速2倍，100%向后兼容

原文：

https://mp.weixin.qq.com/s/wC0Oixd3hSnH75DsPDTC-g

去年12月，PyTorch基金會在PyTorch Conference 2022上發(fā)布了PyTorch 2.0的第一個(gè)預(yù)覽版本。

跟先前1.0版本相比，2.0有了顛覆式的變化。在PyTorch 2.0中，最大的改進(jìn)是torch.compile。

新的編譯器比以前PyTorch 1.0中默認(rèn)的「eager mode」所提供的即時(shí)生成代碼的速度快得多，讓PyTorch性能進(jìn)一步提升。

除了2.0之外，還發(fā)布了一系列PyTorch域庫的beta更新，包括那些在樹中的庫，以及包括 TorchAudio、TorchVision和TorchText在內(nèi)的獨(dú)立庫。TorchX的更新也同時(shí)發(fā)布，可以提供社區(qū)支持模式。

-torch.compile是PyTorch 2.0的主要API，它包裝并返回編譯后的模型，torch.compile是一個(gè)完全附加（和可選）的特性，因此2.0版本是100%向后兼容的。

-作為torch.compile的基礎(chǔ)技術(shù)，帶有Nvidia和AMD GPU的TorchInductor將依賴OpenAI Triton深度學(xué)習(xí)編譯器來生成高性能代碼，并隱藏低級硬件細(xì)節(jié)。OpenAI Triton生成的內(nèi)核實(shí)現(xiàn)的性能，與手寫內(nèi)核和cublas等專門的cuda庫相當(dāng)。

-Accelerated Transformers引入了對訓(xùn)練和推理的高性能支持，使用自定義內(nèi)核架構(gòu)實(shí)現(xiàn)縮放點(diǎn)積注意力 (SPDA)。API與torch.compile () 集成，模型開發(fā)人員也可以通過調(diào)用新的scaled_dot_product_attention () 運(yùn)算符，直接使用縮放的點(diǎn)積注意力內(nèi)核。

-Metal Performance Shaders (MPS) 后端在Mac平臺上提供GPU加速的PyTorch訓(xùn)練，并增加了對前60個(gè)最常用操作的支持，覆蓋了300多個(gè)操作符。

-Amazon AWS優(yōu)化了基于AWS Graviton3的C7g實(shí)例上的PyTorch CPU推理。與之前的版本相比，PyTorch 2.0提高了Graviton的推理性能，包括對Resnet50和Bert的改進(jìn)。

-跨TensorParallel、DTensor、2D parallel、TorchDynamo、AOTAutograd、PrimTorch和TorchInductor的新原型功能和技術(shù)。

3. OpenAI公布GPT-4：可在考試中超過90%的人類

原文：

https://mp.weixin.qq.com/s/YYZNYOUItGW18xAWk7In8Q

當(dāng)?shù)貢r(shí)間周二(3月14日)，人工智能研究公司OpenAI公布了其大型語言模型的最新版本——GPT-4.該公司表示，GPT-4在許多專業(yè)測試中表現(xiàn)出超過絕大多數(shù)人類的水平。

OpenAI表示，我們已經(jīng)創(chuàng)建了GPT-4，這是OpenAI在深度學(xué)習(xí)規(guī)?；矫娴淖钚吕锍瘫?strong style="font-size:inherit;color:inherit;line-height:inherit;">GPT-4是一個(gè)大型的多模型模型（接受圖像和文本輸入、輸出文本），雖然在許多現(xiàn)實(shí)場景中不如人類聰明，但在各種專業(yè)和學(xué)術(shù)基準(zhǔn)測試中表現(xiàn)出人類水平的性能。

看起來，現(xiàn)在的 GPT 已經(jīng)不會在計(jì)算上胡言亂語了：

還是個(gè)物理題：

GPT-4 看懂了法語題目，并完整解答：

GPT-4 可以理解一張照片里「有什么不對勁的地方」：

OpenAI于2020年發(fā)布了GPT（生成型預(yù)訓(xùn)練變換模型）-3（生成型預(yù)訓(xùn)練變換模型），并將其與GPT-3.5分別用于創(chuàng)建Dall-E和聊天機(jī)器人ChatGPT，這兩款產(chǎn)品極大地吸引了公眾的關(guān)注，并刺激其他科技公司更積極地追求人工智能（AI）。OpenAI周二表示，在內(nèi)部評估中，相較于GPT-3.5，GPT-4產(chǎn)生正確回應(yīng)的可能性要高出40%。而且GPT-4是多模態(tài)的，同時(shí)支持文本和圖像輸入功能。

OpenAI稱，GPT-4比以前的版本“更大”，這意味著其已經(jīng)在更多的數(shù)據(jù)上進(jìn)行了訓(xùn)練，并且在模型文件中有更多的權(quán)重，這使得它的運(yùn)行成本更高。

據(jù)OpenAI介紹，在某些情況下，GPT-4比之前的GPT-3.5版本有了巨大改進(jìn)，新模型將產(chǎn)生更少的錯誤答案，更少地偏離談話軌道，更少地談?wù)摻?a href="http://www.wenjunhu.com/v/tag/" target="_blank">話題，甚至在許多標(biāo)準(zhǔn)化測試中比人類表現(xiàn)得更好。

例如，GPT-4在模擬律師資格考試的成績在考生中排名前10%左右，在SAT閱讀考試中排名前7%左右，在SAT數(shù)學(xué)考試中排名前11%左右。

OpenAI表示，雖然兩個(gè)版本在日常對話中看起來很相似，但當(dāng)任務(wù)復(fù)雜到一定程度時(shí)，差異就表現(xiàn)出來了，GPT-4更可靠、更有創(chuàng)造力，能夠處理更微妙的指令。

不過，OpenAI也警告稱，GPT-4還不完美，在許多情況下，它的能力不如人類。該公司表示：“GPT-4仍有許多已知的局限性，我們正在努力解決，比如社會偏見、幻覺和對抗性提示。”

OpenAI透露，摩根士丹利正在使用GPT-4來組織數(shù)據(jù)，而電子支付公司Stripe正在測試GPT-4是否有助于打擊欺詐。其他客戶還包括語言學(xué)習(xí)公司Duolingo、Khan Academy和冰島政府。

OpenAI合作伙伴微軟周二表示，新版必應(yīng)搜索引擎將使用GPT-4。

4. 物理學(xué)家狂喜的AI工具開源了！靠實(shí)驗(yàn)數(shù)據(jù)直接發(fā)現(xiàn)物理公式，筆記本就能跑

原文：

https://mp.weixin.qq.com/s/0eGiiWdKUyQcg54azY5evg

一個(gè)讓物理學(xué)家狂喜的AI工具，在GitHub上開源了！它名叫Φ-SO ，能直接從數(shù)據(jù)中找到隱藏的規(guī)律，而且一步到位，直接給出對應(yīng)公式。

整個(gè)過程也不需要動用超算，一臺筆記本大概4個(gè)小時(shí)就能搞定愛因斯坦的質(zhì)能方程。

這項(xiàng)成果來自德國斯特拉斯堡大學(xué)與澳大利亞聯(lián)邦科學(xué)與工業(yè)研究組織Data61部門，據(jù)論文一作透露，研究用了1.5年時(shí)間，受到學(xué)術(shù)界廣泛關(guān)注。代碼一經(jīng)開源，漲星也是飛快。

除了物理學(xué)者直呼Amazing之外，還有其他學(xué)科研究者趕來探討，能不能把同款方法遷移到他們的領(lǐng)域。

強(qiáng)化學(xué)習(xí)+物理?xiàng)l件約束

Φ-SO背后的技術(shù)被叫做“深度符號回歸”，使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）+強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)。

首先將前一個(gè)符號和上下文信息輸入給RNN，預(yù)測出后一個(gè)符號的概率分布，重復(fù)此步驟，可以生成出大量表達(dá)式。

同時(shí)將物理?xiàng)l件作為先驗(yàn)知識納入學(xué)習(xí)過程中，避免AI搞出沒有實(shí)際含義的公式，可以大大減少搜索空間。

再引入強(qiáng)化學(xué)習(xí)，讓AI學(xué)會生成與原始數(shù)據(jù)擬合最好的公式。

與強(qiáng)化學(xué)習(xí)用來下棋、操控機(jī)器人等不同，在符號回歸任務(wù)上只需要關(guān)心如何找到最佳的那個(gè)公式，而不關(guān)心神經(jīng)網(wǎng)絡(luò)的平均表現(xiàn)。

于是強(qiáng)化學(xué)習(xí)的規(guī)則被設(shè)計(jì)成，只對找出前5%的候選公式做獎勵，找出另外95%也不做懲罰，鼓勵模型充分探索搜索空間。

研究團(tuán)隊(duì)用阻尼諧振子解析表達(dá)式、愛因斯坦能量公式，牛頓的萬有引力公式等經(jīng)典公式來做實(shí)驗(yàn)。

Φ-SO都能100%的從數(shù)據(jù)中還原這些公式，并且以上方法缺一不可。研究團(tuán)隊(duì)在最后表示，雖然算法本身還有一定改進(jìn)空間，不過他們的首要任務(wù)已經(jīng)改成用新工具去發(fā)現(xiàn)未知的物理規(guī)律去了。

讀到這，小編有一個(gè)不成熟的想法….

5. 擴(kuò)散模型大殺器 ControlNet 解析

原文：

https://mp.weixin.qq.com/s/_7su0EX-eBbeyV0V8o3cLg

標(biāo)題：Adding Conditional Control to Text-to-Image Diffusion Models

作者：Lvmin Zhang, Maneesh Agrawala

原文鏈接：

https://arxiv.org/pdf/2302.05543.pdf

代碼鏈接：

https://github.com/lllyasviel/ControlNet

大型文本到圖像模型的存在讓人們意識到人工智能的巨大潛力，這些模型可以通過用戶輸入簡短的描述性提示來生成視覺上吸引人的圖像。然而，對于一些長期存在、具有明確問題表述的任務(wù)（例如圖像處理），我們可能會有一些問題需要回答。這些問題包括：這種基于提示的控制是否滿足我們的需求？在特定任務(wù)中，這些大型模型能否應(yīng)用于促進(jìn)這些特定任務(wù)？我們應(yīng)該建立什么樣的框架來處理廣泛的問題條件和用戶控制？在特定任務(wù)中，大型模型能否保留從數(shù)十億張圖片中獲得的優(yōu)勢和能力？為了回答這些問題，作者們調(diào)查了各種圖像處理應(yīng)用，并得出了三個(gè)發(fā)現(xiàn)。第一個(gè)發(fā)現(xiàn)是，在特定任務(wù)領(lǐng)域中可用的數(shù)據(jù)規(guī)模并不總是與通用圖像-文本領(lǐng)域中相同。第二個(gè)發(fā)現(xiàn)是，對于一些特定任務(wù)，需要更加精細(xì)的控制和指導(dǎo)，而不僅僅是簡單的提示。第三個(gè)發(fā)現(xiàn)是，在特定任務(wù)中，大型模型可能會面臨過擬合和泛化能力不足等問題。為了解決這些問題，作者們提出了一種名為ControlNet的框架，該框架可以根據(jù)用戶提供的提示和控制來生成高質(zhì)量的圖像，并且可以在特定任務(wù)中進(jìn)行微調(diào)以提高性能。

與之相關(guān)的主要工作有HyperNetwork和Stable Diffusion。HyperNetwork是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，它可以通過一個(gè)小型的神經(jīng)網(wǎng)絡(luò)來影響一個(gè)更大的神經(jīng)網(wǎng)絡(luò)的權(quán)重。HyperNetwork已經(jīng)在圖像生成等領(lǐng)域取得了成功，并且已經(jīng)有多篇相關(guān)論文發(fā)表。另外，Stable Diffusion是一種用于圖像生成和編輯的技術(shù)，它可以通過擴(kuò)散過程來生成高質(zhì)量、多樣化的圖像，并且可以通過附加小型神經(jīng)網(wǎng)絡(luò)來改變其藝術(shù)風(fēng)格。ControlNet和HyperNetwork之間的相似之處在于它們都可以影響神經(jīng)網(wǎng)絡(luò)的行為，從而實(shí)現(xiàn)特定任務(wù)的目標(biāo)。具體來說，HyperNetwork使用一個(gè)小型的神經(jīng)網(wǎng)絡(luò)來影響一個(gè)更大的神經(jīng)網(wǎng)絡(luò)的權(quán)重，從而改變其行為。而ControlNet則是將大型圖像擴(kuò)散模型中的權(quán)重克隆到一個(gè)“可訓(xùn)練副本”和一個(gè)“鎖定副本”中，其中鎖定副本保留了從數(shù)十億張圖像中學(xué)習(xí)到的網(wǎng)絡(luò)能力，而可訓(xùn)練副本則在特定數(shù)據(jù)集上進(jìn)行訓(xùn)練以學(xué)習(xí)條件控制。此外，它們在影響神經(jīng)網(wǎng)絡(luò)行為方面的共同點(diǎn)是它們都使用了小型神經(jīng)網(wǎng)絡(luò)來對大型神經(jīng)網(wǎng)絡(luò)進(jìn)行控制。這種方法可以使得大型神經(jīng)網(wǎng)絡(luò)更加靈活和適應(yīng)性強(qiáng)，并且可以根據(jù)不同任務(wù)和條件進(jìn)行調(diào)整和優(yōu)化。ControlNet與其他相關(guān)工作之間的優(yōu)勢主要體現(xiàn)在以下幾個(gè)方面：

1. 控制方式不同：ControlNet通過控制神經(jīng)網(wǎng)絡(luò)中的輸入條件來影響其行為，而其他相關(guān)工作則可能采用不同的控制方式，例如直接修改權(quán)重或者使用外部約束等。

2. 可解釋性更強(qiáng)：ControlNet可以通過可視化輸入條件和輸出結(jié)果之間的關(guān)系來解釋其行為，從而更好地理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部機(jī)制。這對于一些需要可解釋性的任務(wù)非常重要。

3. 適應(yīng)性更強(qiáng)：ControlNet可以根據(jù)不同任務(wù)和條件進(jìn)行調(diào)整和優(yōu)化，從而使得神經(jīng)網(wǎng)絡(luò)更加靈活和適應(yīng)性強(qiáng)。這對于一些復(fù)雜、多變的任務(wù)非常重要。

4. 訓(xùn)練效果更好：ControlNet可以通過使用鎖定副本來保留從數(shù)十億張圖像中學(xué)習(xí)到的網(wǎng)絡(luò)能力，并將其與可訓(xùn)練副本進(jìn)行結(jié)合來進(jìn)行訓(xùn)練。這種方法可以使得訓(xùn)練效果更好，并且可以避免過擬合等問題。

我們盡量少用公式進(jìn)行表達(dá)，主要的技術(shù)細(xì)節(jié)和設(shè)定可以參考論文。ControlNet是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以通過特定任務(wù)的條件來增強(qiáng)預(yù)訓(xùn)練的圖像擴(kuò)散模型。該方法包括幾個(gè)關(guān)鍵組件，包括預(yù)訓(xùn)練模型的“可訓(xùn)練副本”和“鎖定副本”，以及一組輸入條件，可以用來控制輸出。整個(gè)過程可以概括如下：

1. 克隆預(yù)訓(xùn)練模型：ControlNet首先創(chuàng)建了預(yù)訓(xùn)練圖像擴(kuò)散模型的兩個(gè)副本，其中一個(gè)是“鎖定”的，不能被修改，而另一個(gè)是“可訓(xùn)練”的，可以在特定任務(wù)上進(jìn)行微調(diào)。ControlNet使用了一種稱為“權(quán)重共享”的技術(shù)，該技術(shù)可以將預(yù)訓(xùn)練模型的權(quán)重復(fù)制到兩個(gè)不同的神經(jīng)網(wǎng)絡(luò)中。這樣，在微調(diào)可訓(xùn)練副本時(shí)，鎖定副本仍然保留著從預(yù)訓(xùn)練中學(xué)到的通用知識，并且可以提供更好的初始狀態(tài)。需要注意的是，在克隆預(yù)訓(xùn)練模型之前，需要先選擇一個(gè)適合特定任務(wù)的預(yù)訓(xùn)練模型，并對其進(jìn)行必要的調(diào)整和優(yōu)化。這樣才能確保克隆出來的模型能夠更好地適應(yīng)特定任務(wù)，并取得更好的效果。

2. 定義輸入條件：ControlNet然后定義了一組輸入條件，可以用來控制模型的輸出。這些條件可能包括顏色方案、對象類別或其他特定任務(wù)參數(shù)。該技術(shù)可以將輸入條件與預(yù)訓(xùn)練模型進(jìn)行連接，并將其作為額外的輸入信息傳遞給神經(jīng)網(wǎng)絡(luò)。這樣，在微調(diào)可訓(xùn)練副本時(shí)，神經(jīng)網(wǎng)絡(luò)可以根據(jù)這些輸入條件來調(diào)整輸出結(jié)果，并更好地適應(yīng)特定任務(wù)。需要注意的是，在定義輸入條件之前，需要先確定哪些參數(shù)對于特定任務(wù)是最重要的，并選擇合適的方式來表示這些參數(shù)。例如，在圖像分類任務(wù)中，可能需要考慮對象類別、顏色和紋理等因素，并選擇合適的方式來表示它們。同時(shí)，還需要確保這些輸入條件能夠被有效地傳遞給神經(jīng)網(wǎng)絡(luò)，并且不會對模型性能產(chǎn)生負(fù)面影響。

3. 訓(xùn)練可訓(xùn)練副本：ControlNet然后使用反向傳播和其他標(biāo)準(zhǔn)訓(xùn)練技術(shù)，在特定數(shù)據(jù)集上對可訓(xùn)練副本進(jìn)行訓(xùn)練。很自然的就是一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程。訓(xùn)練可訓(xùn)練副本之前，需要先選擇一個(gè)適合特定任務(wù)的預(yù)訓(xùn)練模型，并將其克隆為可訓(xùn)練副本。同時(shí)還需要確定哪些輸入條件對于特定任務(wù)是最重要的，并將其與預(yù)訓(xùn)練模型進(jìn)行連接。

4. 合并輸出：最后，ControlNet將兩個(gè)模型副本的輸出組合起來，產(chǎn)生一個(gè)最終結(jié)果，既包含從預(yù)訓(xùn)練中學(xué)到的通用知識，也包含從微調(diào)中學(xué)到的特定知識。

這種方法自然是要看可視化展示的：

總的來說，ControlNet是一種新穎的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以通過微調(diào)預(yù)訓(xùn)練模型來適應(yīng)特定任務(wù)，并在多個(gè)基準(zhǔn)數(shù)據(jù)集上取得了非常好的性能表現(xiàn)。該方法使用條件控制技術(shù)將輸入條件與預(yù)訓(xùn)練模型進(jìn)行連接，并將其作為額外的輸入信息傳遞給神經(jīng)網(wǎng)絡(luò)，從而幫助神經(jīng)網(wǎng)絡(luò)更好地理解輸入條件，并取得更好的效果。同時(shí)，ControlNet還探討了不同因素對其性能的影響，例如不同輸入條件、不同預(yù)訓(xùn)練模型和不同微調(diào)策略等。實(shí)驗(yàn)結(jié)果表明，在多個(gè)基準(zhǔn)數(shù)據(jù)集上，ControlNet都取得了非常好的性能表現(xiàn)，并且在圖像分類、圖像生成和圖像檢索等任務(wù)中也有廣泛應(yīng)用。因此，我們相信ControlNet是一種非常有前景和實(shí)用價(jià)值的神經(jīng)網(wǎng)絡(luò)架構(gòu)，并且在未來會有更廣泛的應(yīng)用。

6. CVPR 2023｜EMA-VFI: 基于幀間注意力提取運(yùn)動和外觀信息的高效視頻插幀

https://mp.weixin.qq.com/s/w7xCUBedykOmI9Bq6lQ4Ow

論文鏈接：

https://arxiv.org/abs/2303.00440

代碼鏈接：

https://github.com/MCG-NJU/EMA-VFI

1. 研究動機(jī)

視頻插幀（Video Frame Interpolation, VFI）任務(wù)的目標(biāo)是給定連續(xù)的兩幀，生成這兩幀之間的固定時(shí)刻的幀或者任意時(shí)刻的幀。顧名思義，VFI最直接的用途就是用來提高幀率，經(jīng)常和視頻超分方法用來同時(shí)提升視頻的空間和時(shí)間上的分辨率。VFI和其他常見的視頻修復(fù)任務(wù)（如視頻超分、視頻去噪等）最大的不同就是VFI任務(wù)要生成原本不存在的幀，而其他視頻修復(fù)任務(wù)要修復(fù)一張?jiān)敬嬖诘膸?/strong>，這樣的不同也讓插幀任務(wù)的設(shè)計(jì)思路無法直接借鑒視頻復(fù)原方法的思路。

classIV6Detect(nn.Module):
dynamic=False#forcegridreconstruction
export=False#exportmode
shape=None
anchors=torch.empty(0)#init
strides=torch.empty(0)#init

def__init__(self,nc=80,ch=(),inplace=True):#detectionlayer
super().__init__()
self.nc=nc#numberofclasses
self.nl=len(ch)#numberofdetectionlayers
self.reg_max=16
self.no=nc+self.reg_max*4#numberofoutputsperanchor
self.inplace=inplace#useinplaceops(e.g.sliceassignment)
self.stride=torch.zeros(self.nl)#stridescomputedduringbuild

c2,c3=max(ch[0]//4,16),max(ch[0],self.no-4)#channels
self.cv2=nn.ModuleList(
nn.Sequential(Conv(x,c2,3),Conv(c2,c2,3),nn.Conv2d(c2,4*self.reg_max,1))forxinch)
self.cv3=nn.ModuleList(
nn.Sequential(Conv(x,c3,3),Conv(c3,c3,3),nn.Conv2d(c3,self.nc,1))forxinch)
#DFL層
self.dfl=DFL(self.reg_max)
#Implicit層
self.ia2=nn.ModuleList(ImplicitA(x)forxinch)
self.ia3=nn.ModuleList(ImplicitA(x)forxinch)
self.im2=nn.ModuleList(ImplicitM(4*self.reg_max)for_inch)
self.im3=nn.ModuleList(ImplicitM(self.nc)for_inch)

defforward(self,x):
shape=x[0].shape#BCHW
foriinrange(self.nl):
x[i]=torch.cat((self.im2[i](self.cv2[i](self.ia2[i](x[i]))),self.im3[i](self.cv3[i](self.ia3[i](x[i])))),1)
box,cls=torch.cat([xi.view(shape[0],self.no,-1)forxiinx],2).split((self.reg_max*4,self.nc),1)
ifself.training:
returnx,box,cls
elifself.dynamicorself.shape!=shape:
self.anchors,self.strides=(x.transpose(0,1)forxinmake_anchors(x,self.stride,0.5))
self.shape=shape

dbox=dist2bbox(self.dfl(box),self.anchors.unsqueeze(0),xywh=True,dim=1)*self.strides
y=torch.cat((dbox,cls.sigmoid()),1)
returnyifself.exportelse(y,(x,box,cls))

defbias_init(self):
m=self#self.model[-1]#Detect()module
fora,b,sinzip(m.cv2,m.cv3,m.stride):#from
a[-1].bias.data[:]=1.0#box
b[-1].bias.data[:m.nc]=math.log(5/m.nc/(640/s)**2)

classComputeLoss:
def__init__(self,model,use_dfl=True):
device=next(model.parameters()).device#getmodeldevice
h=model.hyp#hyperparameters

#Definecriteria
#分類損失
BCEcls=nn.BCEWithLogitsLoss(pos_weight=torch.tensor([h["cls_pw"]],device=device),reduction='none')

#Classlabelsmoothinghttps://arxiv.org/pdf/1902.04103.pdfeqn3
self.cp,self.cn=smooth_BCE(eps=h.get("label_smoothing",0.0))#positive,negativeBCEtargets

#Focalloss
g=h["fl_gamma"]#focallossgamma
ifg>0:
BCEcls=FocalLoss(BCEcls,g)

m=de_parallel(model).model[-1]#Detect()module
self.balance={3:[4.0,1.0,0.4]}.get(m.nl,[4.0,1.0,0.25,0.06,0.02])#P3-P7
self.BCEcls=BCEcls
self.hyp=h
self.stride=m.stride#modelstrides
self.nc=m.nc#numberofclasses
self.nl=m.nl#numberoflayers
self.device=device
#正負(fù)樣本匹配
self.assigner=TaskAlignedAssigner(topk=int(os.getenv('YOLOM',10)),
num_classes=self.nc,
alpha=float(os.getenv('YOLOA',0.5)),
beta=float(os.getenv('YOLOB',6.0)))
#回歸損失函數(shù)
self.bbox_loss=BboxLoss(m.reg_max-1,use_dfl=use_dfl).to(device)
self.proj=torch.arange(m.reg_max).float().to(device)#/120.0
self.use_dfl=use_dfl