視頻壓縮：圖像分辨率丟失

您需要1080p視頻圖像嗎？到達(dá)那里需要許多部件，包括昂貴的新鏡頭，相機(jī)，存儲(chǔ)等。但是，如果您在路徑中有H.264或H.265等壓縮，則不會(huì)獲得您支付的費(fèi)用。原因如下。

高清錄像機(jī)通常使用壓縮來(lái)減小視頻剪輯文件大小，以適應(yīng)小型存儲(chǔ)。如果您的相機(jī)（源）和錄像機(jī)、存儲(chǔ)或顯示器（目標(biāo)）相距超過(guò) 500 英尺，則可能會(huì)使用壓縮來(lái)傳輸視頻。實(shí)際上，壓縮會(huì)損害源圖像的許多方面。分辨率是另一種降級(jí)效果。

MPEG H.264 和 H.265 壓縮編碼器分析視頻序列中的每個(gè)圖像，以創(chuàng)建參考幀和差分幀，以滿足系統(tǒng)所連接的傳輸或存儲(chǔ)容量的比特率限制。所有框架基本上都分為不同大小的塊的馬賽克。塊大小取決于每個(gè)鑲嵌區(qū)域中影像的細(xì)節(jié)內(nèi)容。參考系被劃分為宏塊。每個(gè)宏塊由一系列圖像樣本組成 - 亮度（亮度）和色度（顏色） - 由相機(jī)使用正在使用的采樣系統(tǒng)（例如4：2：2）提供。塊大小為 8×8、16×16 和 32×32。H.265 編碼器還可以合并大型低細(xì)節(jié)區(qū)域中相鄰的宏塊。該工具有助于H.265的50%壓縮效率。編碼器用于確定塊大小以及塊是否可以合并的標(biāo)準(zhǔn)是特定編碼器的功能，不受任何標(biāo)準(zhǔn)的控制。這就是為什么人們可以看到符合H.264和H.265規(guī)范的編碼器之間的圖像質(zhì)量差異的部分原因。

然而，圖像被劃分為宏塊，每個(gè)塊都通過(guò)離散余弦變換（DCT）。DCT基本上將宏觀塊的空間輪廓轉(zhuǎn)換為二維（2D）頻率陣列。左上角代表“DC” - 即具有一定亮度的無(wú)輪廓區(qū)域。右下角表示數(shù)組中可以表示的最高頻率等值線。DCT 提供了一個(gè)系數(shù)，在應(yīng)用此數(shù)組的每個(gè)元素來(lái)重建宏塊的原始輪廓時(shí)，可以使用該系數(shù)。零值不使用 元素。系數(shù)可以是任何值，正負(fù)值，并且是DCT的輸出。

在單維空間中，這種方法在概念上類似于如何將時(shí)域信號(hào)（波形）轉(zhuǎn)換為頻域。使用從方波的傅里葉變換（振幅和相位）得出的系數(shù)，可以將原型正弦波陣列相加以重建時(shí)域波形（圖）。由于離散變換不是連續(xù)頻譜，因此無(wú)論陣列的大小如何，重建中都內(nèi)置了量化誤差（所示的元素提供了256個(gè)元素，可用于重建8×8像素陣列的亮度輪廓）。

［圖3|使用從方波的傅里葉變換導(dǎo)出的系數(shù)，可以將原型正弦波陣列相加以重建時(shí)域波形式。

顏色樣品（鉻和Cb）的處理方式相同。大多數(shù)攝像機(jī)可提供 4：2：2 采樣圖像。這樣做的困難是圖像樣本是矩形的（兩個(gè)亮度樣本共享一個(gè)色度樣本）而不是正方形。為了簡(jiǎn)化處理，大多數(shù)編碼器會(huì)將傳入的 4：2：2 采樣轉(zhuǎn)換為 4：2：0 采樣，其中 4 個(gè)亮度樣本共享一個(gè)色度樣本。這樣做時(shí)，會(huì)出現(xiàn)一些細(xì)節(jié)損失和顏色偏移。這在直接比較信號(hào)時(shí)可以觀察到。從 4：2：2 轉(zhuǎn)換為 4：2：0 采樣可有效地將像素位深度從 20 位減少到 15 位。數(shù)字圖像分辨率為三維、行數(shù)、每行像素?cái)?shù)和位深度。雖然每行的像素?cái)?shù)和行數(shù)保持不變，但位深度減少了，這已被證明可以通過(guò)限制動(dòng)態(tài)范圍來(lái)減少精細(xì)的圖像細(xì)節(jié)。也就是說(shuō)，高對(duì)比度區(qū)域?qū)⒃馐茏畲蟮募?xì)節(jié)損失。

編碼器（壓縮器）還負(fù)責(zé)管理輸出比特率，以確保視頻和數(shù)據(jù)流可以可靠地傳輸?shù)狡渥罱K目的地。一個(gè)工具是管理宏塊大小。影像的區(qū)域（如天空）將沒(méi)有太多的輪廓，因此 DCT 的許多系數(shù)將等于或接近于零?？梢允惯@些區(qū)域越大，零系數(shù)就越多。長(zhǎng)時(shí)間的零系數(shù)可以很好地壓縮而不會(huì)丟失數(shù)據(jù)（熵編碼階段）。零系數(shù)越大，可以實(shí)現(xiàn)的熵壓縮就越多。

門檻

編碼器可用的另一個(gè)工具是調(diào)整值閾值，其中任何低于某個(gè)值的絕對(duì)幅度的 DCT 系數(shù)都設(shè)置為零。這里的策略是，解碼反向DCT數(shù)組中具有小系數(shù)的元素將在生成的宏塊重建輪廓中引入小誤差。由于可用的傳輸比特率受到限制，編碼器可以增加系數(shù)閾值，從而產(chǎn)生更多的零值，從而增加熵相位壓縮比。

圖 4 模擬了 8×8 宏塊陣列（64 個(gè)元素）中圖像系數(shù)的直方圖。有些系數(shù)非常小。編碼器可以根據(jù)數(shù)組系數(shù)的值調(diào)整閾值以消除數(shù)組的元素。這些元素是重建宏塊輪廓的小貢獻(xiàn)者。當(dāng)然，隨著此閾值的增加，源宏塊輪廓與重建輪廓之間的誤差也會(huì)增加。該效應(yīng)類似于前面所示的方波的頻率到時(shí)域重建。也就是說(shuō)，如果頻率從總和中下降，則波紋出現(xiàn)在正方形的頂部，并且上升和下降斜率偏離原始輸入。

［圖4|8x8 宏塊數(shù)組中圖像系數(shù)的直方圖。

輪廓因宏塊而異，因此效果隨輪廓而變化。在具有復(fù)雜等值線的宏塊中，采樣的有效帶寬通常會(huì)降低（零系數(shù)）。從視覺(jué)上看，這可以將宏塊中的精細(xì)細(xì)節(jié)轉(zhuǎn)換為模糊。但是，閾值設(shè)置到什么級(jí)別取決于傳送視頻和數(shù)據(jù)流所需的總比特率。因此，編碼器將根據(jù)DCT階段后圖像流的聚合比特率來(lái)設(shè)置閾值。在任何宏塊中，閾值可以消除很少（如果有的話）數(shù)組點(diǎn);在其他情況下，它可能會(huì)消除許多。在圖5中的圖像序列中，中間圖像是最左側(cè)圖像的重建。在此示例中，請(qǐng)注意背景中的樂(lè)譜。在這種情況下，閾值消除了宏塊陣列中足夠多的高頻分量，以支持傳輸比特率，即樂(lè)譜上的細(xì)節(jié)被抹去（比較區(qū)域用紅色圈出）。壓縮完成后，此信息將永久丟失。

隨著宏塊大小的增加，重新創(chuàng)建樂(lè)譜的輪廓的復(fù)雜性也會(huì)增加。然而，與打印它的紙張的直流水平和陰影相比，這些元素產(chǎn)生的DCT系數(shù)更小。防止這種信息丟失的唯一方法是減小目標(biāo)距離處宏塊的大小，以降低輪廓的復(fù)雜性。這可以通過(guò)減小宏塊本身的大?。?2×32到16×16或8×8）或增加放大倍率來(lái)實(shí)現(xiàn)。增加放大倍率可以減小宏塊在圖像中覆蓋的目標(biāo)區(qū)域。

表示 64 個(gè)原始視頻像素的 8×8 數(shù)組被替換為按閾值濾波的 DCT 系數(shù)。MPEG標(biāo)準(zhǔn)定義了如何將這些信息傳達(dá)給解碼器。解碼器現(xiàn)在只有要執(zhí)行的濾波數(shù)據(jù)，并反轉(zhuǎn)DCT來(lái)重新創(chuàng)建像素陣列輪廓。解碼后的圖像是這些重新創(chuàng)建的輪廓（宏塊）縫合在一起的馬賽克。在這里，可以將算法應(yīng)用于解碼的馬賽克以隱藏接縫。該算法沒(méi)有標(biāo)準(zhǔn)化，通常是解碼器供應(yīng)商與主觀圖像質(zhì)量相關(guān)的差異化因素。

在圖 5 中，從左到右是原始圖像，從漸變宏塊的馬賽克重新創(chuàng)建的解碼圖像，以及去塊后的相同馬賽克，其中馬賽克元素的邊緣被弄臟。

除了丟失的細(xì)節(jié)之外，還會(huì)對(duì)宏塊周圍的區(qū)域進(jìn)行著色以隱藏邊界。此過(guò)程進(jìn)一步修改原始圖像數(shù)據(jù)。當(dāng)作為單個(gè)圖像捕獲時(shí)，修改是永久性的。污跡本身可能因解碼器而異，并導(dǎo)致站點(diǎn)之間的精細(xì)細(xì)節(jié)差異，圖像捕獲與圖像捕獲。

您如何將所有這些與分辨率丟失聯(lián)系起來(lái)？當(dāng)反向DCT陣列的高頻元件被移除時(shí)，邊緣細(xì)節(jié)變得模糊。模糊性可以被認(rèn)為是隨著高頻元件被移除以滿足比特率限制而逐漸散焦鏡頭。

但是，哪些細(xì)節(jié)受到損害？它重要嗎？答案是規(guī)模問(wèn)題。在 1080×1920 圖像中，我們知道 16×16 宏塊像素在圖像幀上占的百分比，但更重要的是宏塊輪廓的復(fù)雜性。復(fù)雜性在很大程度上取決于目標(biāo)范圍內(nèi)宏塊的圖像區(qū)域中的內(nèi)容。

為了說(shuō)明比例影響，圖6模擬了目標(biāo)處的微距區(qū)域，鏡頭變焦位置會(huì)影響微距區(qū)域中的細(xì)節(jié)。左側(cè)表示任意鏡頭設(shè)置。右圖表示以較窄的視場(chǎng) （FOV） 查看同一區(qū)域。如您所見，左圖中突出顯示的宏塊（紅色）的復(fù)雜性遠(yuǎn)遠(yuǎn)大于FOV較小的同一宏塊的復(fù)雜性。在左圖中，閾值的增加將沖刷掉男人眼睛周圍的細(xì)節(jié)。在右圖中，同一宏塊的輪廓不太復(fù)雜。在DCT完成后，它將產(chǎn)生較少的有效系數(shù)，因此在解碼過(guò)程中保留了大部分細(xì)節(jié)。

［圖6|鏡頭變焦位置會(huì)影響微距區(qū)域的細(xì)節(jié)。

什么是分辨率損失？答案很復(fù)雜：它依賴于圖像，宏塊縮放依賴于比特率。影響哪些細(xì)節(jié)還取決于宏塊中的內(nèi)容。話雖如此，人們可以將其與宏塊大小以及可用比特率和存儲(chǔ)容量相關(guān)聯(lián)，可用比特率越低，宏塊區(qū)域必須在目標(biāo)圖像處表示越小，以保留來(lái)自源的原始像素提供的相同或幾乎相同的細(xì)節(jié)。

需要更多的變焦和更好的光學(xué)元件來(lái)提供解碼器側(cè)具有相似細(xì)節(jié)的圖像，這會(huì)導(dǎo)致在此過(guò)程中圖像分辨率損失。分辨率損失是不可恢復(fù)的，因?yàn)橛删幋a側(cè)的DCT創(chuàng)建的2D元素在編碼過(guò)程中永遠(yuǎn)丟失，這些元素被歸零以滿足比特率限制。

假設(shè)一個(gè)1080p相機(jī)被用來(lái)查看500英尺外的物體。如果將 1000 mm 鏡頭與 25 mm 傳感器一起使用，則 FOV 約為 1.5 度。目標(biāo)范圍內(nèi)覆蓋的水平距離約為160英寸（13英尺）。此范圍內(nèi)的每個(gè)像素將覆蓋 0.08 英寸或大約 0.007 英寸2.8×8 宏塊覆蓋約 0.43 英寸2.0.007英寸圖像的復(fù)雜程度是多少2與 0.43 英寸相比2圖像區(qū)域？顯然，宏塊覆蓋的區(qū)域越小，細(xì)節(jié)損失就越低。相反，為了補(bǔ)償壓縮編碼器的細(xì)節(jié)損失，比特率越低，所需的放大倍率就越大。在指定視頻傳送路徑中包含壓縮的系統(tǒng)時(shí)，要求必須考慮這些效果。如果魔鬼在細(xì)節(jié)中，那么細(xì)節(jié)就很重要。全分辨率單幀照片是分析或證據(jù)保留的一個(gè)組成部分。隨著視頻記錄儀器（VRI）的最新創(chuàng)新，現(xiàn)在可以捕獲未壓縮的HD-SDI視頻，零色移，量化誤差或DCT系數(shù)損失。

審核編輯：郭婷