MPSoC VCU Ctrl-SW 2020.2編碼不同Stride的YUV文件

1. 介紹

Xilinx提供超低延時編解碼方案，并提供了全套軟件。MPSoC Video Codec Unit提供了詳細說明。其中的底層應用軟件是VCU Control-Software(Ctrl-SW)。

本文主要說明為Ctrl-SW增加功能，支持不同Stride/Pitch（步長）的YUV文件的編碼。

1.1. VCU輸入和輸出格式

Video Codec Unit(VCU) 輸入和輸出都是是NV12/NV16格式的視頻，Y分量存放在一塊連續(xù)內(nèi)存區(qū)，UV分量交替存放在Y分量后面的連續(xù)內(nèi)存。具體信息，可以參考VCU Product Guide中的“Source Frame Format”和“Memory Format”。

1.2. VCU內(nèi)存的pitch

視頻數(shù)據(jù)在內(nèi)存區(qū)中存放時，兩行之間的數(shù)據(jù)可以有間隔。對于每個像素的Y分量用8-bit表示的圖像，每個像素的Y分量對應內(nèi)存的一個字節(jié)，圖像Y分量的每一行對應的內(nèi)存大小就是其寬度代表的字節(jié)數(shù)。比如1920x1080,每一行圖像的Y分量需要1920字節(jié)內(nèi)存。如果以2048字節(jié)來存儲一行1920x1080的圖像數(shù)據(jù)，則在前面存放圖像數(shù)據(jù)，后面的數(shù)據(jù)被VCU忽略。也可以參考PG252的“Figure 7: Frame Buffer Pitch”。

2. 輸入文件分辨率

與視頻數(shù)據(jù)在內(nèi)存區(qū)中存放一樣，視頻數(shù)據(jù)在文件中存放時也有類似的情況。
Ctrl-SW假設輸入文件的分辨率一般和實際圖像分辨率一致，也就是pitch和圖像寬度一致。但是實際應用時，輸入文件的分辨率、實際圖像分辨率并不一致。在文件里，有一部分數(shù)據(jù)是真實圖像數(shù)據(jù)，有一部分是無用數(shù)據(jù)。比如有YUV NV12文件的文件分辨率是3840x1080，實際圖像的分辨率是1920x1080。每一行的數(shù)據(jù)中，只有前面1920字節(jié)是有效圖像數(shù)據(jù)，后面的1920字節(jié)是冗余數(shù)據(jù)。

3. 代碼

為了支持這種場景，需要修改代碼。Ctrl-SW的讀YUV文件的代碼，在文件YuvIO.cpp里的函數(shù)ReadOneFrameYuv()里。下面是基于Ctrl-SW 2020.2的修改。

首先定義一個全局變量，用于存儲輸入文件的Stride/Pitch（步長）。

int gi_encoder_input_stride=0;

接下來增加的ctrlsw_encoder的命令行選項。這樣命令行選項里可以對圖像步長gi_encoder_input_stride賦值。

opt.addInt("--input-stride", &gi_encoder_input_stride, "Stride in input YUV file.");

最后修改函數(shù)ReadOneFrameYuv()。原來的代碼，直接使用真實圖像寬度計算YUV文件里每行的數(shù)據(jù)的字節(jié)數(shù)，代碼是“uRowSizeLuma = GetIOLumaRowSize(tFourCC, tDim.iWidth)”。修改后的代碼，使用真實圖像寬度作為YUV文件里圖像步長iYuvStride的缺省值。另外增加代碼，檢查命令行選項里賦值的圖像步長gi_encoder_input_stride。如果gi_encoder_input_stride不為0，則將gi_encoder_input_stride賦值給圖像步長iYuvStride。接下來使用圖像步長iYuvStride計算YUV文件里，每行的數(shù)據(jù)的字節(jié)數(shù)。

bool ReadOneFrameYuv(std::ifstream& File, AL_TBuffer* pBuf, bool bLoop)
{
  if(!pBuf || !File.is_open())
    throw std::runtime_error("invalid argument");

  if((File.peek() == EOF) && !bLoop)
    return false;

  TFourCC tFourCC = AL_PixMapBuffer_GetFourCC(pBuf);
  AL_TDimension tDim = AL_PixMapBuffer_GetDimension(pBuf);

  int32_t iYuvStride = tDim.iWidth;  
  if( 0 != gi_encoder_input_stride )
  {
	  iYuvStride = gi_encoder_input_stride;
	  LogVerbose("New YUV width size:%d at %s:%d.\n", iYuvStride, __func__, __LINE__ );
  }

  //uint32_t uRowSizeLuma = GetIOLumaRowSize(tFourCC, tDim.iWidth);
  uint32_t uRowSizeLuma = GetIOLumaRowSize(tFourCC, iYuvStride);
  LogVerbose("YUV Luma row size:%d at %s:%d.\n", uRowSizeLuma, __func__, __LINE__ );

  ReadFile(File, pBuf, uRowSizeLuma, tDim.iHeight);

  if((File.rdstate() & std::ios::failbit) && bLoop)
  {
    File.clear();
    File.seekg(0, std::ios::beg);
    ReadFile(File, pBuf, uRowSizeLuma, tDim.iHeight);
  }

  if(File.rdstate() & std::ios::failbit)
    throw std::runtime_error("not enough data for a complete frame");

  return true;
}

其它的代碼，不需要修改。

注意，YUV文件里圖像步長（stride/pitch），要不小于內(nèi)存里的圖像步長（stride/pitch）。因此，測試時，同時使用了選項“--stride”和選項“--input-stride”。

4. 測試

測試了輸入分辨率是3840x1080的NV12 yuv文件，編碼圖像分辨率1920x1080，得到了正確的265文件。命令如下：

./ctrlsw_encoder -cfg test-1920x1080-3840x1080.cfg  --stride 3840 --input-stride 3840

有意思的是，結(jié)合選項“--stride”、選項“--stride-height”、和選項“--input-stride”，相等于在編碼前對圖像實現(xiàn)了裁剪（crop）功能。

5. 其它 5.1. 命令行選項“--input-width”，和“--input-height”

Ctrl-SW 2020.2里有兩個命令行選項，“--input-width”，和“--input-height”。這兩個選用用于指定實際圖像分辨率，可以取代配置文件里的圖像分辨率。這個選項并不能指定輸入文件的分辨率。

opt.addInt("--input-width", &cfg.MainInput.FileInfo.PictWidth, "Specifies YUV input width");
  opt.addInt("--input-height", &cfg.MainInput.FileInfo.PictHeight, "Specifies YUV input height");

6. 未來工作

未來可以繼續(xù)測試NV16的圖像，也可以測試其它分辨率的圖像。

7. 參考文檔

XilinxPG252 (v2020.2) H.264/H.265 Video Codec Unit v1.2 Solution

MPSoC VCU Ctrl-SW 2020.2 輸出NV12的YUV文件

　　審核編輯：湯梓紅