基于Versal的圖像恢復(fù)管道

描述

背景

由于我有移動地圖方面的背景，我決定構(gòu)建一個圖像恢復(fù)管道，以改進(jìn)來自汽車和無人機等移動地圖系統(tǒng)的圖像（來源）。移動地圖系統(tǒng)通常用于從道路、城市和基礎(chǔ)設(shè)施中獲取 3D 數(shù)據(jù)。大多數(shù)移動系統(tǒng)使用相機和激光掃描儀來捕獲 3D 數(shù)據(jù)。由于映射系統(tǒng)僅從一個場景中獲取一張圖像，因此圖像質(zhì)量非常重要。因此，這個想法應(yīng)運而生，旨在構(gòu)建一個提高圖像質(zhì)量的處理管道。由于移動地圖的需求非常特殊，我決定構(gòu)建一個更通用的解決方案，可以適應(yīng)移動地圖問題。

移動地圖應(yīng)用程序的另一個要求是能源效率。大多數(shù)系統(tǒng)的能源資源有限，尤其是無人機。因此，我決定密切關(guān)注系統(tǒng)的能耗。我認(rèn)為這不僅對移動地圖應(yīng)用很重要，因為到 2030 年，云系統(tǒng)的電力消耗幾乎呈指數(shù)級增長（來源）

由于 VCK5000 卡通常用于數(shù)據(jù)中心應(yīng)用，而不是移動測繪汽車，因此決定將我的項目命名為“綠色計算：基于 Versal 的圖像恢復(fù)管道”

介紹

本項目介紹了基于 UNet 卷積網(wǎng)絡(luò)的圖像恢復(fù)處理流水線。圖像管道專為 Versal VCK5000 卡設(shè)計，并使用中型SIDD數(shù)據(jù)集進(jìn)行訓(xùn)練。與基于 GPU 的推理相比，整個處理管道經(jīng)過優(yōu)化，可在以每秒幀數(shù) (fps) 衡量的性能和準(zhǔn)確性方面高效運行。除了流水線開發(fā)之外，還對 Versal 和 GPU 系統(tǒng)之間的功耗進(jìn)行了詳細(xì)研究。該項目的重點是涵蓋三個不同的要求：

• 圖像恢復(fù)管道的能耗
• 以特定的模型精度每秒處理特定數(shù)量的幀
• 可靠的推理時間和可擴展性

訓(xùn)練圖像恢復(fù)處理以去除圖像的噪聲，如下例所示。圖像管道針對智能手機相機圖像進(jìn)行了優(yōu)化。一個可能的應(yīng)用可能是基于云的圖像增強服務(wù)。

該項目開發(fā)的 VCK5000 圖像恢復(fù)管道在性能 (fps) 和功耗方面均優(yōu)于最先進(jìn)的 GPU。除了性能分析之外，詳細(xì)的分析還顯示了不同的訓(xùn)練和量化步驟如何影響卷積網(wǎng)絡(luò)的準(zhǔn)確性。分析并不固定于特定的模型或網(wǎng)絡(luò)，所需的步驟可以很容易地適應(yīng)自定義應(yīng)用程序。由 Versal VCK5000 處理的最終網(wǎng)絡(luò)在論文和代碼（2022 年 3 月 30 日）上排名前 15 位“SIDD 上的圖像去噪”網(wǎng)絡(luò)。

網(wǎng)絡(luò)優(yōu)化后，對 Versal 系統(tǒng)進(jìn)行詳細(xì)的功率分析。Versal 系統(tǒng)的功耗與基于 GPU 的推理進(jìn)行了比較。

限制：除了推理任務(wù)外，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和預(yù)處理對能量的要求也很高。這項工作的重點是運行時功耗和推理性能。訓(xùn)練和預(yù)處理的分析主要取決于訓(xùn)練數(shù)據(jù)集的大?。ㄗ髡叩囊庖姡?，不屬于本項目的一部分。

項目概況

代碼結(jié)構(gòu)的靈感來自 Xilinx/AMD Vitis-ai 教程。所有需要的步驟都被分成不同的 python 或 shell 腳本。腳本 run_all.sh 處理所有步驟以獲取整個處理管道。

網(wǎng)絡(luò)

用于管道的 UNet 網(wǎng)絡(luò)最初是由弗萊堡大學(xué)開發(fā)的。該網(wǎng)絡(luò)最初是為生物醫(yī)學(xué)圖像分割任務(wù)而設(shè)計的。除了分割任務(wù)外，UNet 結(jié)構(gòu)還可用于圖像恢復(fù)。本文提出了一種基于 UNet 的圖像恢復(fù)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在圖像恢復(fù)任務(wù)中優(yōu)于當(dāng)前網(wǎng)絡(luò)。

資料來源：弗萊堡大學(xué)

該網(wǎng)絡(luò)是完全卷積的，呈 u 形。“U”的左側(cè)是收縮路徑，右側(cè)是擴張路徑。UNet 的一個重要特點是上采樣部分有大量的特征通道，這使得網(wǎng)絡(luò)可以將上下文信息傳播到更高分辨率的層。

SIDD-數(shù)據(jù)集

SIDD 是“智能手機圖像去噪數(shù)據(jù)集”的簡稱。數(shù)據(jù)集包含使用智能手機相機獲得的原始（嘈雜）和處理（真實）圖像，并提供三種不同尺寸（小、中、全）。該項目使用大約 20 GB 的中等大小，包含 96.000 張用于訓(xùn)練的圖像和 1280 張用于驗證的圖像。

PSNR/SSIM

用人眼比較圖像是很困難的，尤其是在差異很小的時候。在這項工作中，PSNR/SSIM 度量用于比較圖像。

峰值信噪比 (PSNR) 用作原始圖像和壓縮圖像之間的質(zhì)量度量，其單位是分貝 (dB)。由于 PSNR 用于比較 UNet 輸出與 ground-truth 圖像，因此他的值是比較不同量化方法的一個很好的指標(biāo)。（來源）。對于訓(xùn)練，我們將來自 UNet 輸出的 PSNR 值與相應(yīng)的真實圖像進(jìn)行比較。

結(jié)構(gòu)相似度指數(shù) (SSIM) 度量用于測量兩個給定圖像之間的相似度。兩個圖像之間的比較是在三個基本特征上進(jìn)行的：亮度、對比度和結(jié)構(gòu)。分別比較這三個特征并進(jìn)行相等加權(quán)以獲得比較圖像的每個像素的 SSIM 值。( Source ) SSIM 輸出范圍是從 0 到 1。SSIM 為 1 表示兩個圖像相同。相反，SSIM 度量為 0 意味著兩個圖像完全不同。對于訓(xùn)練，我們將來自 UNet 輸出的 SSIM 值與相應(yīng)的真實圖像進(jìn)行比較。

個人電腦系統(tǒng)

PC 系統(tǒng)必須能夠運行 RTX3090 和 VCK5000 卡。VCK5000 需要 Ubuntu 18.04（內(nèi)核 5.8）才能啟動和運行。內(nèi)核版本是使卡運行所必需的。見黑客郵報。為確保功耗相當(dāng)，兩張卡的測量必須使用相同的設(shè)置。PC系統(tǒng)的詳細(xì)配置如下：

• AMD 銳龍 ThreadRipper PRO 3955WX
• 華碩 WRX80 Pro WS Sage SE Wifi（BIOS：PCIe 通道為 3.0）
• 64 GB DDR4 內(nèi)存
• 華碩 RTX3090 TUF
• 適用于 AMD Ryzen ThreadRipper PRO 的 Ubuntu 18.04（內(nèi)核 5.8）補丁
• Vitis-AI 1.4.1
• 1200 瓦鉑金 PSU

功率計

為了在推斷時測量系統(tǒng)的功耗，使用了hama功率計。該功率計用于連續(xù)功率測量。功率計可以記錄特定時間內(nèi)的能源消耗并總結(jié)能源需求。所有設(shè)置的典型測量周期為 1、5 小時。為避免測量中出現(xiàn)初始功率峰值，推理任務(wù)運行 2、5 小時。30 分鐘后開始功率測量。

FPGA 上的 AI 推理

本章簡要介紹了 AI 推理，本文更深入，并提供了有關(guān) FPGA 及其用例的更多詳細(xì)信息。由于神經(jīng)網(wǎng)絡(luò)主要使用浮點數(shù)，F(xiàn)PGA 無法直接運行神經(jīng)網(wǎng)絡(luò)推理。浮點處理引擎的時鐘速度較慢，并且在 FPGA 設(shè)備上的可用性較低。這就是為什么必須對神經(jīng)網(wǎng)絡(luò)進(jìn)行量化以進(jìn)行 FPGA 推理的原因之一。

UNet培訓(xùn)

在用 250 個 Epoch 訓(xùn)練 UNet 網(wǎng)絡(luò)之后，使用 SIDD Medium 數(shù)據(jù)集訓(xùn)練 UNet 網(wǎng)絡(luò)。最佳 PSNR 值為39，epoch 228 為 5937 dB。最佳模型權(quán)重的 SSIM 為 0，968954。如果網(wǎng)絡(luò)在 GPU 上以浮點模式處理，這是我們可以獲得的最佳輸出結(jié)果。訓(xùn)練 UNet 網(wǎng)絡(luò)是 run_all.sh 中的第一步

訓(xùn)練量化后的 UNet

量化是指以低于浮點精度的位寬執(zhí)行計算和存儲張量的技術(shù)。量化模型使用整數(shù)而不是浮點值對張量執(zhí)行部分或全部操作。網(wǎng)絡(luò)參數(shù)的量化通常在訓(xùn)練之后進(jìn)行，通常會導(dǎo)致精度損失。運行正常量化，UNet PSNR 降低到 27，761646 dB SSIM 為 0，836058。UNet 網(wǎng)絡(luò)的量化是 run_all.sh 中的第二步

UNet 量化快速微調(diào)

正如我們所看到的，量化導(dǎo)致了 12 dB 的精度損失，那么我們需要改進(jìn)量化結(jié)果。Vitis-Ai 提供“快速微調(diào)”以提高準(zhǔn)確性：基于AdaQuant算法的過程。那么網(wǎng)絡(luò)輸出結(jié)果稍微好一點（PSNR: 28, 352730 ; SSIM: 0, 838978）。UNet網(wǎng)絡(luò)的這個Fastfine-tune是run_all.sh中的第三步

?

?

UNet 量化感知訓(xùn)練

之前的兩種方法都是使用最終訓(xùn)練的浮點網(wǎng)絡(luò)作為輸入來描述的。本節(jié)中描述的第三種方法是從頭開始訓(xùn)練網(wǎng)絡(luò)。量化感知訓(xùn)練（qat）的機制很簡單：它在浮點模型到量化整數(shù)模型轉(zhuǎn)換過程中發(fā)生量化的地方放置量化模塊，即量化和反量化模塊，以模擬整數(shù)值。假量化模塊還將監(jiān)控權(quán)重和激活的比例和零點。一旦量化感知訓(xùn)練完成，浮點模型可以立即使用存儲在假量化模塊中的信息轉(zhuǎn)換為量化整數(shù)??模型。與其他量化技術(shù)相比，qat 從下往上訓(xùn)練網(wǎng)絡(luò)。

要使用 qat，我們必須修改網(wǎng)絡(luò)結(jié)構(gòu)以啟用 Xilinx QatProcessor。QatProcessor 自動插入所有假層并將浮點數(shù)轉(zhuǎn)換為整數(shù)。(來源) 我們對模型進(jìn)行了兩個主要的修改：

• 所有可量化的操作都必須是 torch.nn.Module 的實例
• 所有圖層必須具有唯一的名稱

此時，重要的是在準(zhǔn)備 qat 時仔細(xì)檢查浮點模型的性能，以確保模型以正確的方式工作。模型源代碼可以在項目的 GitHub 存儲庫中找到。我用正常的浮點訓(xùn)練重新訓(xùn)練了 qat 模型，并仔細(xì)檢查了輸出性能。對于 UNet 圖像，Restauration 管道量化感知訓(xùn)練將模型輸出提高到 PSNR：33、6874 dB 和 SSIM：0、925673。要為 UNet 運行 qat，請在 run_all.sh 中使用 qat.py

與浮點模型相比，使用 qat 進(jìn)行模型訓(xùn)練的準(zhǔn)確性更高。正常量化和 fast_finetune 沒有得到模型參數(shù)來生成浮點精度。但是使用 qat，我們可以更接近完美的模型輸出。Vitis-Ai 模型 Zoo 也使用 qat 進(jìn)行訓(xùn)練，因此賽靈思為您完成了 qat 訓(xùn)練工作。

UNet 量化感知訓(xùn)練 4Bit

qat 量化位寬為八位。但是如果我們想要更多的吞吐量來處理更多的幀，我們可以拖尾到四位。減少位寬會導(dǎo)致模型不太準(zhǔn)確。但是將模型參數(shù)減少到四位會導(dǎo)致更快的執(zhí)行時間。這一步是可選的，因為我們只在 VCK5000 卡上測試 8 位的 qat 輸出性能。更改 qat bit_width 是對 QatProcessor (Source) 的輸入?yún)?shù)的簡單修改，必須更改。具有四位的 Qat 給出 PSNR：20、8743 dB 和 SSIM：0、728075

?

?

推理性能 VCK5000 與 RTX3090 GPU

將 GPU 性能與 FPGA 進(jìn)行比較并不像聽起來那么簡單。GPU 的推理任務(wù)不同。GPU 任務(wù)由軟件 (CUDA) 安排，因為我們使用的是 Nvidia RTX3090 GPU。底層調(diào)度程序?qū)⑷蝿?wù)添加到張量或 CUDA 核心。調(diào)度器還嘗試優(yōu)化從主 GPU 內(nèi)存到本地核心內(nèi)存的數(shù)據(jù)復(fù)制過程，以最大限度地提高核心效率，但這是一個完全不同的問題。（來源，來源）

一般來說，數(shù)據(jù)復(fù)制對于 GPU 或 FPGA 來說是一項耗時的任務(wù)，尤其是從主機內(nèi)存復(fù)制數(shù)據(jù)到設(shè)備內(nèi)存，而在嵌入式設(shè)備上這種行為是不同的。RTX3090 GPU 使用 PCIe 4.0 x16，而 VCK5000 使用 PCIe 3.0 x16。為了平衡從主機內(nèi)存到 PCIe 設(shè)備的數(shù)據(jù)速率，所有 PCIe 通道都通過 BIOS 配置為 PCIe 3.0。PC 系統(tǒng)在沒有顯示器的情況下運行以減少外部 GPU 負(fù)載。

但最終，人工智能推理任務(wù)的典型應(yīng)用需求可以是：

• 能源消耗
• 以特定的模型精度每秒處理特定數(shù)量的幀
• 可靠的推理時間和可擴展性

測試設(shè)置

?

推理能耗 VCK5000 vs. RTX3090 GPU

重要提示：VCK5000 正在處理量化的 UNet 網(wǎng)絡(luò)，而 GPU 正在處理浮點 UNet 網(wǎng)絡(luò)。

為了在推斷時測量能耗，使用了 hama 功率計。推理在 2000 個輸入圖像的循環(huán)中運行。輸出圖像保存在內(nèi)部 SSD 上。GPU 處理訓(xùn)練好的浮點模型，CUDA 支持批量大小 1。VCK5000 在 Gen3x16 模式下以 8PE@350 MHz 處理批量大小 1 的 qat 模型。得到的性能不是原始的理論吞吐量，因為網(wǎng)絡(luò)輸出被檢查并保存在系統(tǒng) SSD 上。

僅在一個設(shè)備（GPU 或 FPGA）運行時測量功耗。最大限度地減少冷卻（源）的強大影響，每個設(shè)備都在同一個 PCIe 插槽中進(jìn)行測量，以使兩個設(shè)備具有相同的環(huán)境條件。室溫由記錄儀測量，大致恒定在 19、5 攝氏度。所有值 Power, FPS 每 20 分鐘手動捕獲一次。

該圖顯示 Versal 系統(tǒng)比 GPU 更節(jié)能。平均功耗比 GPU 低 80 瓦。

推理 FPS VCK5000 與 RTX3090 GPU

除了功耗之外，還測量了處理能力。該圖顯示 GPU 以接近 18 FPS 的速度運行，但存在抖動。VCK5000 每秒處理近 40 張圖像。每秒處理幀數(shù)的標(biāo)準(zhǔn)差：

• GPU: 1, 134 FPS
• Versal: 0, 2344 FPS

未來的工作

該項目只是優(yōu)化 UNet 管道以提高準(zhǔn)確性和功率效率的開始。以下主題可以作為后續(xù)改進(jìn)處理管道：

圖像預(yù)處理

目前，輸入圖像由 CPU 預(yù)處理以適合作為網(wǎng)絡(luò)輸入。此任務(wù)可以在 Versal VCK5000 上輕松實現(xiàn)。

直接 Versal 存儲

通過 PCIe DMA 傳輸將輸入圖像直接加載到 VCK5000 內(nèi)存，減少 CPU 讀取和寫入圖像的負(fù)載。可以添加直接存儲作為圖像預(yù)處理的頂部，從而消除 AI 處理任務(wù)完成的 CPU 負(fù)載。微軟為 GPU 實現(xiàn)了直接存儲（來源）。

批處理和流水線

VCK5000 的內(nèi)部數(shù)據(jù)流可以通過流水線圖像加載、預(yù)處理、人工智能推理和圖像存儲進(jìn)行優(yōu)化。在理想情況下，在 VCK5000 上同時在不同階段處理四個圖像。

?

結(jié)論

該項目的第一部分是最先進(jìn)的圖像恢復(fù)管道。流水線可由 VCK5000 Versal 加速卡處理。與其他最先進(jìn)的網(wǎng)絡(luò)相比，PSNR 為 33, 6874 和 SSIM 為 0, 925673 的管道在 TOP 15（來源，來源）中的兩個指標(biāo)均排名（日期：03/30/2022 ) 處理 SSID 數(shù)據(jù)集的網(wǎng)絡(luò)。

另一方面，開發(fā)人員、系統(tǒng)架構(gòu)師和所有對 FPGA 推理感興趣的人都可以使用這個項目作為起點來檢查他們的推理需求。該項目有助于更好地了解如何滿足以下要求：

• 能源消耗
• 以特定的模型精度每秒處理特定數(shù)量的幀
• 可靠的推理時間和可擴展性

該項目的第一部分是以簡單的方式分析量化的 PyTorch UNet 網(wǎng)絡(luò)。這是通過三種不同的方法完成的（量化、快速微調(diào)量化、量化感知訓(xùn)練）。量化感知訓(xùn)練為 UNet 模型生成最佳輸出精度，PSNR 為 33，6874 dB。與浮點模型相比，PSNR 低 6 dB。

在項目的第二部分中，將 Versal 卡的模型計算的功耗與 GPU 進(jìn)行了比較。功耗通常比 GPU 所需的低 80 瓦。假設(shè) 24/7 工作負(fù)載，Versal VCK5000 可以在 24 小時內(nèi)節(jié)?。?、92 千瓦、13、44 千瓦一周和 683 千瓦一年。

該項目的第三部分比較了 Versal 和 GPU 之間的處理性能。在 FPGA 上處理二進(jìn)制網(wǎng)絡(luò)可以提高 100% 的 fps。除了處理更多幀的效果外，Versal 管道在每秒幀數(shù)方面具有更恒定的處理流程。三小時推理的標(biāo)準(zhǔn)差為：0, 2344 FPS

從一開始就結(jié)束循環(huán)，人工智能模型有助于解決農(nóng)作物歉收、食物浪費、交通轉(zhuǎn)向等基本問題，這些問題可以通過 FPGA 進(jìn)行計算。基于 FPGA 加速器的人工智能推理非常有效，因此 FPGA 可以幫助減少計算系統(tǒng)的全球能源需求并節(jié)省大量資源。

?