基于S3C2440A芯片Linux系統(tǒng)實現(xiàn)MJPEG網(wǎng)絡攝像機的搭建

1 、系統(tǒng)硬件組成與網(wǎng)絡架構

攝像機硬件核心采用三星公司推出的基于ARM9架構的S3C2440A芯片，該處理器主頻達到400 MHz可以滿足實時壓縮，MJPEG視頻流可以達到320×240分辨率25 fps的性能要求。外圍搭配64 MB SDRAM、256 MB NAND Flash，網(wǎng)絡功能由DM9000以太網(wǎng)MAC控制芯片負責，攝像頭模塊由USB控制器控制，系統(tǒng)供電由3片LM71117組成，分別輸出3.3 V、1.8 V、1.25 V電壓，輔助外圍接口構成攝像機硬件結構。S3C2440A系統(tǒng)硬件框圖如圖1所示。

圖1 S3C2440A系統(tǒng)硬件框圖

網(wǎng)絡攝像機是互聯(lián)網(wǎng)上的TCP/IP設備，系統(tǒng)網(wǎng)絡拓撲圖如圖2所示。其中在家庭區(qū)域內根據(jù)安防的特點在大門走廊、客廳內、陽臺區(qū)域分別布置攝像機，再由網(wǎng)線連接到路由器，配置路由器參數(shù)映射每個攝像機獨立端口與IP地址，即完成Internet接入。遠端由固定位置的PC機，移動位置的3G筆記本和隨身攜帶的3G Android手機組成，PC機可以通過WEB瀏覽器訪問與控制網(wǎng)絡攝像機，Android手機通過客戶端實現(xiàn)實時訪問。

圖2 系統(tǒng)網(wǎng)絡拓撲圖

2 、系統(tǒng)軟件設計

2.1 網(wǎng)絡攝像機軟件設計

搭建攝像機需要Linux系統(tǒng)環(huán)境，首先移植Bootloader，對Linux 2.6.32內核進行裁剪，加載Linux UVC（USB video device class）驅動及相關驅動，將編譯好的Linux系統(tǒng)鏡像燒寫到ARM板Nand Flash中，對Bootloader設置啟動引導地址，即完成軟件運行環(huán)境搭建。

分析網(wǎng)絡攝像機性能需求與拓展性，須滿足下列條件：

◆ 視頻監(jiān)控實時性；

◆ 支持多客戶端同時連接；

◆ 圖像識別算法或預留接口；

◆ 功能模塊化滿足后期開發(fā)可擴展。

因此，采用多線程架構與互斥鎖機制來保證實時性、模塊化的思想設計代碼結構。軟件程序主流程如圖3所示。

圖3 軟件程序主流程

其中主要實現(xiàn)如下功能。

① 初始化Linux V4L2接口，必須按照V4L2標準結構初始化結構體，其中包括struct v4l2_capability cap;struct v4l2_format fmt;struct v4l2_buffer buf;struct v4l2_requestbuffers rb; struct v4l2_streamparm setfps。此外將視頻設備名、視頻寬度、視頻高度、幀率、視頻格式和抓取方法傳遞給函數(shù)init_videoIn（struct vdIn *vd， char *device， int width， int height， int fps， int format， int grabmethod）實現(xiàn)初始化。值得注意的是眾多USB camera并不支持JPEG格式視頻流直接抓取，針對YUYV格式抓取卻有廣泛支持。后期進行圖像識別算法操作時直接分析YUYV原始圖像數(shù)據(jù)，將節(jié)省JPEG壓縮數(shù)據(jù)轉換為原始圖像數(shù)據(jù)的大量運算開銷，因此采用YUYV抓取模式。

② 創(chuàng)建核心圖像處理線程。在該線程內實現(xiàn)：抓取功能。

◆ UVC設備單幀抓取，uvcGrab（struct vdIn *vd）函數(shù)實現(xiàn)單幀YUYV格式的原始圖像拷貝到內存，采用高效的mmap內存映射方法讀取；

◆ JPEG核心算法實現(xiàn)，JPEG壓縮算法占用大量CPU時間，下一小節(jié)將詳細討論。

③ 創(chuàng)建套接字接口。為實現(xiàn)多用戶同時連接網(wǎng)絡攝像機，必須采用socket服務線程，每當有新用戶連接同時產生一個新線程與之對應，實現(xiàn)多用戶端同步監(jiān)控。

④ 搭建基于Web瀏覽器訪問方式的web主頁。嵌入式設備資源有限，輕量級的Web Server主要有：Boa、Httpd、Thttpd等。本設計選用開源的Boa、交叉編譯Boa源碼配置boa.conf文件，配置系統(tǒng)etc自啟動shell加入Boa程序，將編寫HTML頁面文件放入系統(tǒng)中對應的www目錄后即可正常工作。

2.2 MJPEG壓縮算法研究與實現(xiàn)

MJPEG（Motion Joint Photographic Experts Group）視頻編碼格式，把運動的視頻序列作為連續(xù)的靜止圖像來處理，這種壓縮方式單獨完整地壓縮每一幀，編輯過程中可隨機存儲每一幀，可進行精確到幀的編輯。

MJPEG單幀壓縮算法為JPEG（Joint Photographic Experts Group）。

人眼視覺生理特性決定眼睛對構成圖像的不同頻率成分具有不同的敏感度。JPEG壓縮是有損壓縮，但損失的部分是人類視覺不容易察覺到的部分，利用眼睛對色彩域中的高頻信息部分不敏感的特點，節(jié)省大量需要處理的數(shù)據(jù)信息。一幀原始圖像數(shù)據(jù)對其進行JPEG算法編碼過程分兩大部分：

① 空間冗余度，去除視覺上的多余信息；

② 結構（靜態(tài)）冗余度，去除數(shù)據(jù)本身的多余信息。

JPEG編碼中主要涉及包括：DCT、zigzag編碼、量化、RLE編碼、范式Huffman編碼、DC（直流分量）的編碼。JPEG編碼流程如圖4所示。

圖4 JPEG編碼流程

DCT（Discrete Cosine Transform）變換，又稱離散余弦變換是可逆的、離散的正交變換。它將原始圖像色彩空間域轉換為頻譜域。由于相鄰兩點像素色彩很多是接近的，壓縮這些不需要的數(shù)據(jù)必須利用圖像信號的頻譜特性。JPEG壓縮原理的理論依據(jù)是圖像信號頻譜線大都分布在0~6 MHz范圍內，而且一幅圖像內大多數(shù)為低頻頻譜線，而高頻的譜線只占圖像比例很低的圖像邊緣或者細微紋理細節(jié)的信號時才出現(xiàn)。根據(jù)這一特性，在做數(shù)字圖像處理時對包含信息量大的低頻譜區(qū)域分配較多的比特數(shù)，相反的對于包含信息量低的高頻譜區(qū)域分配較少的比特數(shù)，達到圖像壓縮的目的，而圖像質量并沒有肉眼可察覺的降低。除了DCT變換，常用的變化算法還有：WalshHadamard沃爾什哈達瑪變換、哈爾變換、傅氏變換等。

DCT變換公式為：

時C（u）=1，C（v）=1.f（i，j）經(jīng)過DCT變換之后，F(xiàn)（0，0）是直流系數(shù)，其他參數(shù)時為交流系數(shù)。經(jīng)過DCT變換后一幅圖像的DCT系數(shù)塊集中在8×8矩陣的左上方，這里直流DC系數(shù)幅度最大，這一矩陣區(qū)域集中了圖像的大部分低頻頻譜分量，離矩陣左上角越遠的高頻頻譜幾乎不含圖像信息。變換過程本身雖然并不產生壓縮作用，但是變換后的頻率系數(shù)卻非常有利于碼率壓縮。

量化是對DCT系數(shù)的一個優(yōu)化過程，利用了肉眼的高頻不敏感特性對數(shù)據(jù)進行大幅壓縮。整個過程是簡易的把頻率域的每個成份除以對應的常數(shù)，并對結果四舍五入取整，整個流程的目的是減少非零的系數(shù)以及增加零值系數(shù)數(shù)目。量化是有損運算，是圖像質量下降的主要因素。對于人眼對亮度與色差的敏感性不一致，分別使用亮度量化表與色度量化表。對量化后的數(shù)據(jù)采用zigzag蛇形編碼，這是因為交流分量中含有大量的零值，zigzag編碼可以產生更多連續(xù)的零值，對下一步使用行程編碼非常有利。

行程編碼（Run Length Coding）是一種根據(jù)相同數(shù)據(jù)連續(xù)重復多次的情況簡化表示的算法。例如，5555333333999按照行程編碼表示為（5，4）（3，6）（9，3）可以對數(shù)據(jù)，尤其是大量的零值壓縮數(shù)據(jù)長度。

編碼后的數(shù)據(jù)還須通過Huffman編碼來壓縮，Huffman編碼的最大特點是使出現(xiàn)頻率較高的數(shù)字小于8位，而出現(xiàn)頻率低的數(shù)字大于8位，這使得數(shù)據(jù)大幅壓縮。

到此數(shù)據(jù)的壓縮過程結束，對壓縮后的數(shù)據(jù)按照JPEG文件格式要求進行保存，加上文件開始標記Start Of Image=FFD8，文件結束標記End Of Image = FFD9，量化表標記Define Quantization Table=FFDB，霍夫曼編碼表標記Ddfine Huffman Table=FFC4，幀開始標記Start Of Frame=FFC0等標記，再加上圖片識別信息字節(jié)標記就最終形成完整的可用于傳輸或存儲的JPEG幀圖像，通過套接字接口不間斷地發(fā)送JPEG圖像即形成MJPEG視頻流。

為提高CPU效率，減少進程間切換產生的開銷，將壓縮算法函數(shù)集成到單一線程里。JPEG核心壓縮編碼函數(shù)MCUcode實現(xiàn)如下：

uint8_t *MCUcode（S_JPEG_ENCODER_STRUCTURE * enc，uint32_t image_format， uint8_t * output_ptr） {

DCT（enc﹥Y1）；//DCT離散余弦變換函數(shù)

quantization（enc，enc﹥Y1， enc﹥ILqt）；//量化函數(shù)，亮度量化表量化并按照zigzag排列存儲

output_ptr = huffman（enc， COMPONENT_Y， output_ptr）；//霍夫曼編碼函數(shù)

DCT（enc﹥Y2）……

DCT（enc﹥Y3）……

DCT（enc﹥Y4）……

DCT（enc﹥CB）；//DCT離散余弦變換函數(shù)

quantization（enc，enc﹥CB， enc﹥ICqt）；//量化函數(shù)，色度量化表量化

output_ptr=huffman（enc， COMPONENT_CB， output_ptr）；//色度霍夫曼編碼函數(shù)

DCT（enc﹥CR）……

return output_ptr;

}

其中Y1、Y2、Y3、Y4對應水平排列的4像素亮度值，CB、CR是水平排列以2像素為1單位像素的色度值。

3 、Android客戶端設計

Android是Google公司推出的針對移動設備的操作系統(tǒng)，底層采用Linux內核，應用程序采用類Java語言編寫，并運行于類JVM虛擬機的Dalvik虛擬機之上。該系統(tǒng)具有開放源碼免費授權的優(yōu)勢，功能完善和成熟，已獲得廠商的廣泛支持和大量市場份額。eclipse IDE開發(fā)環(huán)境友善，因此選用Android系統(tǒng)作為物聯(lián)網(wǎng)攝像機客戶端開發(fā)平臺。

Android程序一般由多個Activity、Intent、Content Provider、Service等程序框架組成，其中最基礎的是Activity活動類，該類相當于軟件運行時的一個頁面，在頁面之上可添加各種控件，如button按鍵、ImageView圖片、Text boxes、Lists列表等。除此以外還負責監(jiān)聽系統(tǒng)事件，負責啟動其他的Activity類。在多個Activity類之間跳轉就需要用到Intent類，Intent類有兩個重要部分：動作和動作對應的數(shù)據(jù)。常用的動作有MAIN、VIEW、PICK、EDIT等，動作數(shù)據(jù)則以URI形式表示。通過Intent類還能傳遞參數(shù)，作用類似鏈條串起Activity類，Activity類跳轉圖如圖5所示。

圖5 Activity類跳轉圖

解析視頻流須先由網(wǎng)絡獲取數(shù)據(jù)流，實現(xiàn)的方法代碼如下：

public static VideoInputStream read（String url） {

HttpResponse res；

DefaultHttpClient httpclient=new DefaultHttpClient（）；//http客戶端

try {

resource=httpclient.execute（new HttpGet（URI.create（url）））；

return new VideoInputStream（resource.getEntity（）。getContent（））；

……

}}//從響應中獲取消息實體內容

對已獲取的數(shù)據(jù)流按照JPEG標準文件頭分段，實現(xiàn)的方法代碼如下：

public Bitmap readFrame（） throws IOException {

mark（FRAME_MAX_LENGTH）；//在數(shù)據(jù)流中設置標記，調用mark方法

int headerLength=getStart（this， START_MARKER）；//計算文件頭長度

reset（）；//reset方法重置數(shù)據(jù)流指向最后一個標志位置

byte［］ header=new byte［headerLength］;

readFully（header）；

try {

ContentLength=countContentLength（header）；//計算數(shù)據(jù)內容長度

}

catch （NumberFormatException nfe） {

ContentLength=getEnd（this， END_MARKER）；

}

byte［］ frameData=new byte［ContentLength］;//存取幀字節(jié)數(shù)據(jù)

skipBytes（headerLength）；//跳過文件頭字節(jié)

readFully（frameData）；

return BitmapFactory.decodeStream（new ByteArrayInputStream（frameData））；

}

需要注意的是，在AndroidManifest.xml文件中需加上語句，表示程序擁有網(wǎng)絡的完整訪問權限。獲取每幀數(shù)據(jù)后繼承Android SDK中提供的view.SurfaceView類與graphics.Canvas類，將收到的完整幀圖像按隊列順序不間斷地顯示在視窗框架類中，對人眼視覺幀率超過5 fps時即有視頻效果，到25 fps即是電影流暢度。對于定點定位監(jiān)控，經(jīng)過測試出于節(jié)省帶寬費用考慮設定5 fps即能滿足基本需求，10 fps是較為合理參數(shù)。將編譯后應用程序安裝到手機中，Android實時監(jiān)控截圖如圖6所示。

圖6 Android實時監(jiān)控截圖

4、結語

本文描述了網(wǎng)絡攝像機的軟件設計與MJPEG算法原理，結合Android移動技術，開發(fā)了整套系統(tǒng)；并實際應用于驗證系統(tǒng)，取得了良好結果。期望在后續(xù)工作中涉足圖像識別算法、物體追蹤算法、人體行為偵測算法等圖像領域，使網(wǎng)絡攝像機變得更智能。

責任編輯：gt