怎樣在嵌入式Linux系統(tǒng)中使用攝像頭

　　簡(jiǎn)介

　　本文主要基于ARM嵌入式模塊系統(tǒng)展示在嵌入式Linux中使用攝像頭示例，所采用的模塊為T(mén)oradex VF61，是一款性價(jià)比極高但不包含硬件視頻編解碼加速的模塊，核心處理器為NXP/Freescale Vybrid，Cortex-A5和M4異構(gòu)雙核架構(gòu)。

　　1）。 目前越來(lái)越多的嵌入式系統(tǒng)采用攝像頭應(yīng)用，其中主要有下面幾種方式

　　遠(yuǎn)程監(jiān)控：如閉路電視系統(tǒng)，操作人員通過(guò)攝像頭遠(yuǎn)程監(jiān)控某個(gè)特定區(qū)域，小到一個(gè)小區(qū)，達(dá)到市政公共場(chǎng)所，都可能有這樣的應(yīng)用。

　　監(jiān)控視頻錄制：另外一些監(jiān)控系統(tǒng)不一定有操作人員一直監(jiān)控，則會(huì)通過(guò)錄制監(jiān)控視頻的方式在需要的時(shí)候調(diào)出相關(guān)視頻進(jìn)行查閱。

　　嵌入式視覺(jué)系統(tǒng)：嵌入式視覺(jué)系統(tǒng)會(huì)對(duì)視頻圖片進(jìn)行處理并提取更多復(fù)雜信息，如雷達(dá)和城市智能交通應(yīng)用。

　　視頻傳感器：如臨床診斷設(shè)備會(huì)對(duì)采集的視頻圖像進(jìn)行分析來(lái)診斷，智能購(gòu)物設(shè)備通過(guò)采集視頻圖像分析使用者特征來(lái)定向推廣銷(xiāo)售等等。

　　2）。 環(huán)境配置

　　。/ ARM嵌入式模塊系統(tǒng)：Toradex VF61 以及 Colibri Eva board，詳細(xì)的配置使用手冊(cè)請(qǐng)見(jiàn)這里

　　。/ 攝像頭

　　Logitech HD 720p USB攝像頭

　　D-Link DCS-930L IP 攝像頭

　　。/ 軟件：

　　Toradex 標(biāo)準(zhǔn)Embedded Linux發(fā)布版本V2.4（已預(yù)裝），詳細(xì)介紹請(qǐng)見(jiàn)這里

　　GStreamer框架，廣泛應(yīng)用于各種多媒體應(yīng)用開(kāi)發(fā)，可以實(shí)現(xiàn)如視頻編輯，媒體流以及媒體播放等多媒體應(yīng)用，同時(shí)配合各種插件（包含輸入輸出單元，過(guò)濾器，編解碼器等），GStreamer可以支持多種不同媒體庫(kù)如MP3，F(xiàn)Fmpeg等。所需安裝包如下：

　　$ opkg update

　　$ opkg install gst-plugins-base-meta gst-plugins-good-meta gst-ffmpeg

　　查看目前已經(jīng)安裝的插件和單元

　　$ gst-inspect

　　GStreamer元件（element）和管道（Pipeline）簡(jiǎn)介

　　根據(jù)《GStreamer Application Development Manual》章節(jié)3所述，元件是GStreamer最重要的對(duì)象類(lèi)，它可以被讀取，解碼以及顯示。管道為多個(gè)元件互聯(lián)一起形成的元件鏈，可以用于一些特定的任務(wù)，如視頻播放或捕捉。默認(rèn)情況下GStreamer 包含大量的元件集以便于開(kāi)發(fā)各種各樣的多媒體應(yīng)用。本文中我們會(huì)使用一些管道去展示一些元件的使用。

　　下圖是一個(gè)基本的用于Ogg播放的管道示例，使用一個(gè)分流器和兩個(gè)分支，一個(gè)處理音頻，另一個(gè)處理視頻?？梢钥吹揭恍┰挥衧rc 襯墊 （pad），另一些只有sink襯墊或者兩者都有。

　　在連接一個(gè)管道前，我們同樣需要通過(guò) “gst-inspect” 命令查看所需的插件是否兼容，如下示例查看ffmpegcolorspace 插件。

　　$ gst-inspect ffmpegcolorspace

　　基本信息描述

　　-----------------------------------------------------------

　　Factory Details：

　　Long name： FFMPEG Colorspace converter

　　Class： Filter/Converter/Video

　　Description： Converts video from one colorspace to another

　　Author（s）： GStreamer maintainers gstreamer-devel@lists.sourceforge.net

　　-----------------------------------------------------------

　　Src 和 sink 功能描述

　　-----------------------------------------------------------

　　SRC template： ‘src’

　　Availability： Always

　　Capabilities：

　　video/x-raw-yuv

　　video/x-raw-rgb

　　video/x-raw-gray

　　SINK template： ‘sink’

　　Availability： Always

　　Capabilities：

　　video/x-raw-yuv

　　video/x-raw-rgb

　　video/x-raw-gray

　　-----------------------------------------------------------

　　另如v4l2src元件，它只含有src襯墊功能，所以可以source一個(gè)視頻流到另一個(gè)元件；再有ximagesink元件，它含有rgb格式sink襯墊功能。關(guān)于這部分更多詳細(xì)介紹請(qǐng)關(guān)注這里。

　　顯示一個(gè)視頻測(cè)試圖案

　　使用下面管道來(lái)顯示一個(gè)視頻測(cè)試圖案

　　$ gst-launch videotestsrc ！ autovideosink

　　其中autovideosink元件自動(dòng)檢測(cè)視頻輸出，videotestsrc元件可利用“pattern”屬性生成多種格式的測(cè)試視頻，如下面為雪花圖案測(cè)試視頻

　　$ gst-launch videotestsrc pattern=snow ！ autovideosink

　　USB 攝像頭

　　1）。 從USB攝像頭顯示視頻

　　攝像頭接入系統(tǒng)后，會(huì)在/dev目錄下面顯示對(duì)應(yīng)的設(shè)備videox，x可以是0，1，2等等，取決于接入的攝像頭數(shù)量。

　　請(qǐng)使用下面管道來(lái)全屏顯示對(duì)應(yīng)的攝像頭視頻

　　$ gst-launch v4l2src device=/dev/videox ！ ffmpegcolorspace ！ ximagesink

　　// Video4Linux2插件是一個(gè)用于捕捉和播放視頻的API和驅(qū)動(dòng)框架，它支持多種USB攝像頭以及其他設(shè)備；元件v4l2src屬于 Video4Linux2插件，用于讀取Video4Linux2設(shè)備的視頻幀，這里即為USB攝像頭。Ffmpegcolorspace元件是一個(gè)用于轉(zhuǎn)換多種顏色格式的過(guò)濾器，攝像頭設(shè)備視頻數(shù)據(jù)通常使用YUV顏色格式，而顯示器通常使用RGB顏色格式。Ximagesink元件是一個(gè)X桌面標(biāo)準(zhǔn)的 videosink元件。

　　在當(dāng)前情況下，我們可以通過(guò)“top”命令看到目前CPU占有率為77.9%

　　另外，也可以通過(guò)設(shè)置一些參數(shù)來(lái)設(shè)定顯示效果如尺寸，幀率等，如下面示例限定顯示尺寸為320x240，此時(shí)CPU占有率下降為28.2%

　　$ gst-launch v4l2src device=/dev/videox ！ ‘video/x-raw-yuv，width=320，height=240，framerate=30/1’ ！ ffmpegcolorspace ！ ximagesink

　　2）。 同時(shí)顯示兩路USB攝像頭

　　使用下面通道來(lái)同時(shí)顯示兩路攝像頭，這里我們使用Logitech HD 720P攝像頭和另外一種普通的MJPEG攝像頭，在這種情況下CPU占用率為64.8%。

　　$ gst-launch v4l2src device=/dev/videox ！ ‘video/x-raw-yuv，width=320，height=240，framerate=30/1’ ！ ffmpegcolorspace ！ ximagesink v4l2src device=/dev/video1 ‘video/x-raw-yuv，width=320，height=240，framerate=30/1’ ！ ffmpegcolorspace ！ ximagesink

　　3）。 錄制USB攝像頭視頻

　　使用下面管道來(lái)錄制MP4格式攝像頭視頻

　　$ gst-launch --eos-on-shutdown v4l2src device=/dev/videox ！ ffenc_mjpeg ！ ffmux_mp4 ！ filesink location=video.mp4

　　//--eos- on-shutdown參數(shù)用于正確關(guān)閉文件。ffenc_mjpeg元件是MJPEG格式編碼器。ffmux_mp4是MP4格式合成器。 filesink元件聲明來(lái)自v4l2的源數(shù)據(jù)會(huì)被存儲(chǔ)為文件而不是顯示于ximagesink元件，另外也可以任意指定文件存儲(chǔ)位置。

　　在這種情況下錄制攝像頭視頻CPU占有率8%左右。

　　4）。 視頻播放

　　使用下面管道來(lái)播放上面錄制的視頻

　　$ gst-launch filesrc location=video.mp4 ！ qtdemux name=demux demux.video_00 ！ queue ！ ffdec_mjpeg ！ ffmpegcolorspace ！ ximagesink

　　//filesrc元件聲明視頻源數(shù)據(jù)來(lái)自于一個(gè)文件而不是視頻設(shè)備如攝像頭。ffdec_mjpeg元件為MJPEG格式解碼器。

　　在這種情況下，由于所錄制視頻為攝像頭最高分辨率，因此CPU占有率為95%左右。

　　5）。 通過(guò)HTTP播放視頻

　　使用下面管道播放特定URL視頻

　　$ gst-launch souphttpsrc location=http://upload.wikimedia.org/wikipedia/commons/4/4b/MS_Diana_genom_Bergs_slussar_16_maj_2014.webm ！ matroskademux name=demux demux.video_00 ！ queue ！ ffdec_vp8 ！ ffmpegcolorspace ！ ximagesink

　　// souphttpsrc元件用于通過(guò)HTTP接收網(wǎng)絡(luò)數(shù)據(jù)。和播放本地視頻不同，一個(gè)存放視頻文件的網(wǎng)絡(luò)地址制定給了location參數(shù)。ffdec_vp8元件是webm格式解碼器。

　　在這種情況下，CPU占用率為40%左右。

　　6）。 通過(guò)TCP串流攝像頭視頻

　　這里配置串流VF61攝像頭視頻到另外一臺(tái)運(yùn)行Ubuntu Linux主機(jī)

　　VF61 IP = 192.168.0.8

　　Ubuntu IP = 192.168.0.7

　　在VF61上面運(yùn)行下面管道

　　$ gst-launch v4l2src device=/dev/video1 ！ video/x-raw-yuv，width=320，height=240 ！ ffmpegcolorspace ！ ffenc_mjpeg ！ tcpserversink host=192.168.0.7 port=5000

　　然后在Ubuntu上面運(yùn)行下面管道來(lái)查看視頻流

　　$ gst-launch tcpclientsrc host=192.168.0.8 port=5000 ！ jpegdec ！ autovideosink

　　這里使用Logitech HD 720P攝像頭，CPU占有率為65%左右。

　　在VF61上面使用D-Link IP 攝像頭

　　1）。 顯示攝像頭視頻

　　這里使用D-Link DSC-930L 攝像頭，并設(shè)置視頻流為average quality JPEG格式，320x240分辨率，幀率為15/1‘，IP = 192.168.0.200

　　使用下面管道來(lái)顯示攝像頭視頻

　　$ gst-launch -v souphttpsrc location=’http://192.168.0.200/video.cgi‘ is-live=true ！ multipartdemux ！ decodebin2 ！ ffmpegcolorspace ！ ximagesink

　　2）。 視頻錄制

　　使用下面管道來(lái)錄制視頻

　　$ gst-launch --eos-on-shutdown –v souphttpsrc location=’http://192.168.0.200/video.cgi‘ is-live=true ！ multipartdemux ！ decodebin2 ！ ffmpegcolorspace ！ ffenc_mjpeg ！ ffmux_mp4 ！ filesink location=stream.mp4

　　在這種情況下，CPU占有率為40% 左右。

　　3）。 通過(guò)TCP串流視頻到另一個(gè)IP地址

　　這里配置串流IP攝像頭視頻到VF61，然后再到另外一臺(tái)運(yùn)行Ubuntu Linux主機(jī)

　　Ubuntu IP = 192.168.0.12

　　在VF61上面運(yùn)行下面管道

　　$ gst-launch --eos-on-shutdown –v souphttpsrc location=’http://192.168.0.200/video.cgi‘ is-live=true ！ multipartdemux ！ decodebin2 ！ ffmpegcolorspace ！ ffenc_mjpeg ！ Tcpserversink host=192.168.0.12 port 5000

　　然后在Ubuntu上面運(yùn)行下面管道來(lái)查看視頻流

　　$ gst-launch tcpclientsrc host=192.168.0.8 port=5000 ！ jpegdec ！ autovideosink

　　在這種情況下，VF61 CPU占用率為95% 左右。

　　總結(jié)

　　本文著重展示了通過(guò)GStreamer 元件，管道在Embedded Linux設(shè)備上面應(yīng)用USB或IP攝像頭，相關(guān)的更多管理使用示例還可以從網(wǎng)絡(luò)上面找到很多，可以結(jié)合本文一起來(lái)充分理解相關(guān)應(yīng)用。

　　本文所做示例下VF61 CPU和MEM占用率比較請(qǐng)見(jiàn)下圖，可見(jiàn)NXP/Freescale Vybrid VF61 處理器盡管沒(méi)有獨(dú)立的硬件視頻處理單元也基本上可以勝任基本的攝像頭視頻應(yīng)用，結(jié)合其非常有競(jìng)爭(zhēng)力的成本，使其成為性價(jià)比非常高的產(chǎn)品。但是如果對(duì)視頻處理有更高的要求如嵌入式視覺(jué)系統(tǒng)，則建議考慮處理能力更強(qiáng)勁并含有獨(dú)立GPU的基于NXP/Freescale i.MX6處理器的產(chǎn)品，如Toradex Colibri/Apalis i.MX6 模塊。