Firefly-RK3399-編碼api介紹

• Ubuntu 16.04 下，gstreamer 1.12 已經(jīng)安裝在/opt/目錄下。

• Ubuntu 18.04下， gstreamer 1.12 已經(jīng)安裝到系統(tǒng)中。

/usr/local/bin/h264dec.sh 測試硬件H264解碼。

/usr/local/bin/h264enc.sh 測試硬件H264編碼。

用戶可以參照這兩個腳本，配置自己的gstreamer應(yīng)用。

• Ubunut 系統(tǒng)下， mpp 相關(guān)dev包都已經(jīng)安裝到系統(tǒng)中。

  /opt/mpp/下分別是mpp 編解碼的相關(guān)demo 和 源文件。

系統(tǒng)自帶的音頻文件在 /usr/share/sound/alsa/ 目錄中，播放前請先查看聲卡設(shè)備：

然后指定聲卡播放音頻，其中聲卡 card0 的設(shè)備0對應(yīng)的是耳機口，card1 的設(shè)備0對應(yīng)的是 HDMI。一般播放音頻命令是 aplay -Dhw:0,0 Fornt_Center.wav，但系統(tǒng)自帶的音頻文件是單聲道的，所以為了防止播放失敗，可以按照下面的命令進行播放：

在圖形界面中，播放準(zhǔn)備好的音頻文件，然后點擊聲音圖標(biāo)，打開 Sound Setting，選擇到 Configuration ?？梢钥吹絻蓚€聲卡設(shè)備，例如設(shè)置為 HDMI 輸出音頻，則把 HDMI 的聲卡設(shè)備選擇為 Output，另一個聲卡設(shè)置為 Off。（如果 HDMI 無聲或者聲音小，可以試試按 HDMI 屏上的物理按鍵調(diào)高音量）

在 Ubuntu 系統(tǒng)中，執(zhí)行：

在內(nèi)核目錄下，打開內(nèi)核配置選項菜單：

進入內(nèi)核配置菜單后依次選擇：Device Drivers -> USB Support -> USB Gadget Support。

在 USB Gadget Driver 選項中選擇到 USB functions configurable through configfs。

同時再選擇上 Function filesystem (FunctionFS) 。

接著在 kernel 目錄下編譯內(nèi)核：

編譯完成后將內(nèi)核燒錄到開發(fā)板中,燒錄過程請參考維基教程：升級固件中的分區(qū)鏡像燒寫部分。

安裝了 ADB 后，用 Micro USB OTG 線連接開發(fā)板和 PC 機。然后通過命令 adb devices 查看是否有設(shè)備連接:

從返回的信息可以看到已經(jīng)查找到了設(shè)備，表明設(shè)備已經(jīng)成功連接。

設(shè)備連接成功后，輸入命令 adb shell 即可進入命令行模式：

此狀態(tài)下是看不到命令行當(dāng)前的路徑，同時 Tab 鍵補全功能失效，需要進入一個用戶中才可以正常操作。

用戶也可以使用命令 adb shell /bin/bash，也可以進入正常的命令行模式。

可以輸入 adb help 查看命令行幫助信息,注意并不是所有命令都可以使用，幫助信息只做參考。

以 ttyS4 為例，查看串口波特率命令：

設(shè)置波特率命令：

在做環(huán)回收發(fā)測試的時候回顯功能會影響到我們的測試結(jié)果，所以在環(huán)回測試或者其他特殊情況下需要關(guān)閉回顯。以下是關(guān)閉回顯的命令：

在實際應(yīng)用中實際發(fā)送數(shù)據(jù)和我們希望發(fā)送的數(shù)據(jù)可能存在差別，例如多了回車或者其他特殊字符。利用 stty 可以把發(fā)送接收設(shè)置成 raw 模式確保發(fā)送接收的是原始數(shù)據(jù)，以下是設(shè)置命令：

串口有 2 種工作模式分別是中斷模式和 DMA 模式。

不管是中斷模式還有 DMA 模式都無法保證數(shù)據(jù)傳輸萬無一失，因為長時間傳輸大量數(shù)據(jù)的時候 DDR、CPU 變頻或者占用率過高都可能導(dǎo)致上層處理數(shù)據(jù)不及時導(dǎo)致丟包，這個時候就需要是用流控了。流控分兩種，一種是軟件流控另一種為硬件流控，下面只介紹硬件流控的使用。

以 rk3399-firefly-aiojd4.dts 為例，這些都是攝像頭需要打開的配置。由于內(nèi)核已經(jīng)添加了雙 MIPI 攝像頭的支持，所以這里配置了兩個攝像頭，如果只使用一個攝像只需要打開其中一個攝像頭就可以了。

注意： 如果使用的是 core-3399 核心板加上 DIY 底板，可能需要修改相應(yīng)的 GPIO 屬性。

在運行腳本之前先確認(rèn)一下 OV13850 設(shè)備是否注冊成功，下面是成功的內(nèi)核日志：

在 /dev 下應(yīng)該生成相關(guān)設(shè)備文件：

注意： 同理，如果只使用一個攝像頭，只需要注冊一個攝像頭設(shè)備就可以了。

在官方提供的 Ubuntu 系統(tǒng)中已經(jīng)添加了攝像頭測試腳本 /usr/local/bin/dual-camera-rkisp.sh，其內(nèi)容為：

運行腳本即可，結(jié)果如圖所示：

在內(nèi)核目錄下，打開內(nèi)核配置選項菜單：

進入內(nèi)核配置菜單后依次選擇：Device Drivers -> USB Support -> USB Gadget Support。

將 USB Gadget Driver 設(shè)置成編譯成模塊，然后可以在下邊找到 Ethernet Gadget (with CDC Ethernet support) 選項，同樣選擇編譯成模塊。同時要選擇上 RNDIS support。

接著在 kernel 目錄下編譯內(nèi)核：

編譯完成后將內(nèi)核燒錄到開發(fā)板中,燒錄過程請參考維基教程：升級固件中的分區(qū)鏡像燒寫部分。然后將內(nèi)核目錄下生成的下列模塊復(fù)制到開發(fā)板中：

• drivers/usb/gadget/function/u_ether.ko

• drivers/usb/gadget/function/usb_f_ecm_subset.ko

• drivers/usb/gadget/function/usb_f_ecm.ko

• drivers/usb/gadget/function/usb_f_rndis.ko

• drivers/usb/gadget/function/usb_f_eem.ko

• drivers/usb/gadget/legacy/g_ether.ko

• drivers/usb/gadget/libcomposite.ko

然后在開發(fā)板上，依次加載上述模塊：

注意： 要先加載 libcomposite.ko 和 u_ether.ko，后面的模塊才可以加載進去。

用數(shù)據(jù)線連接 PC 機和開發(fā)板的 OTG 接口，在 PC 機中執(zhí)行 lsusb 命令可以查看到 USB 以太網(wǎng)設(shè)備，即說明連接成功。

輸出信息中 ID 0525:a4a2 Netchip Technology, Inc. Linux-USB Ethernet/RNDIS Gadget 即為 USB 網(wǎng)卡設(shè)備。

開發(fā)板插入網(wǎng)線，使開發(fā)板可以連接外網(wǎng)。

• 在開發(fā)板中 IP 的設(shè)置：

輸入執(zhí)行 ifconfig -a 命令，可以查看到以下信息：

然后給 usb0 網(wǎng)卡自定義一個適當(dāng)?shù)?IP：

注意要設(shè)置 usb0 的 IP 和有線網(wǎng)卡 eth0 的 IP 不在同一網(wǎng)段?。?/p>

• 在 PC 機中 IP 的設(shè)置：

設(shè)置完開發(fā)板和 PC 機的 IP 后，互相是可以 ping 通的，PC 機也可以用 ssh 命令登錄到開發(fā)板。

在開發(fā)板上：首先打開 IPv4 的轉(zhuǎn)發(fā)功能：

如果希望每次重啟開發(fā)板后都自動打開轉(zhuǎn)發(fā)功能，請直接修改 /etc/sysctl.conf 文件的 net.ipv4.ip_forward 值為1。修改文件參數(shù)后要執(zhí)行 sysctl -p 命令重新載入 /etc/sysctl.conf 文件，使 IPv4 轉(zhuǎn)發(fā)功能生效。

添加規(guī)則進行流量轉(zhuǎn)發(fā)：

現(xiàn)在 PC 主機就可以訪問網(wǎng)絡(luò)了。如果 PC 機可以 ping 通開發(fā)板的 usb0 和 eth0，但是無法上外網(wǎng)，則需要修改 PC 機的 DNS，在 /etc/resolv.conf 中做以下添加：

配置過程中要注意以下幾點：

• 對應(yīng)好上述步驟中自己設(shè)備上的各個 IP 地址,注意開發(fā)板上的 USB 虛擬網(wǎng)卡 IP 和有線網(wǎng)絡(luò) IP 不在同一網(wǎng)段;

• PC 機虛擬 USB 網(wǎng)卡的網(wǎng)關(guān)要設(shè)置為開發(fā)板虛擬 USB 網(wǎng)卡的 IP 地址;

• 開發(fā)板上的虛擬網(wǎng)卡 IP 地址、IP 轉(zhuǎn)發(fā)功能、流量轉(zhuǎn)發(fā)規(guī)則等設(shè)置會在設(shè)備重啟后恢復(fù)，用戶可以自行查找資料如何開機自動設(shè)置這些配置。

在 PC 機上插入 SD 卡，用 gdisk 工具分出一個裝載根文件系統(tǒng)的分區(qū)：

把新創(chuàng)建的分區(qū)進行格式化。

格式化完成后，使用 dd 命令，將制作好的根文件系統(tǒng)燒寫到 SD 卡剛新建的分區(qū)中。（根文件系統(tǒng)的制作可以參考Ubuntu 根文件系統(tǒng)的制作）

首先要修改設(shè)備樹文件，打開對應(yīng)的 dts 文件，在根節(jié)點下重寫 chosen 節(jié)點下的 bootargs 參數(shù)的 root 值為寫入了根文件系統(tǒng)的 SD 卡分區(qū)的 unique GUID：

修改完成后編譯并燒錄至開發(fā)板中。

SD 卡的根文件系統(tǒng)燒錄完成后，插入開發(fā)板的 TF 卡槽中，開機即可進入到 SD 的根文件系統(tǒng)中。

注意事項：

• 在操作前請注意備份 U 盤或者 SD 卡內(nèi)的重要文件，避免丟失；

• 操作時請確認(rèn)自己的 SD 卡對應(yīng)的設(shè)備名；

• dts 文件中 root 參數(shù)的值使用的是 unique GUID，記下前12位即可。用戶也可以根據(jù) gdisk 的幫助信息自行修改這個值。

1、在服務(wù)器上部署 TFTP 服務(wù)：

安裝 TFTP 服務(wù)：

創(chuàng)建 /tftpboot 目錄并賦予權(quán)限：

然后修改 TFTP 服務(wù)器的配置文件 /etc/default/tftpd-hpa，修改內(nèi)容為：

退出修改后重啟 TFTP 服務(wù)器：

在 /tftpboot 目錄中創(chuàng)建一個文件，測試 TFTP 服務(wù)是否可用：

查看 /tmp 目錄中的文件，如果看到了 test 文件表示 TFTP 服務(wù)器是可用的。

2、在服務(wù)器上部署 NFS 服務(wù)：

安裝 NFS 服務(wù)器：

創(chuàng)建共享目錄：

然后將制作好的根文件系統(tǒng)復(fù)制到 /nfs/rootfs 目錄中。（根文件系統(tǒng)的制作可以參考：Ubuntu 根文件系統(tǒng)的制作）

接著配置 NFS，在 /etc/exports 中添加共享目錄位置：

共享的目錄根據(jù)用戶實際情況設(shè)置，其中的”*”代表的是所有用戶可訪問。

重啟 NFS 服務(wù)器：

本地掛載共享目錄，測試 NFS 服務(wù)器是否可用：

在 /mnt 目錄下查看到了與 /nfs/rootfs 一致的內(nèi)容，則說明 NFS 服務(wù)器部署成功。然后可以解除掛載：

如果要做到掛載網(wǎng)絡(luò)根文件系統(tǒng)，需要在內(nèi)核中做相關(guān)配置，并在 dts 中修改相關(guān)掛載根文件系統(tǒng)的配置。

首先進行內(nèi)核配置，在內(nèi)核目錄中執(zhí)行 make menuconfig，選擇相關(guān)配置：

修改 rk3399-firefly.dts 配置，在 dts 文件中修改 chosen 節(jié)點下的 bootargs 參數(shù)，選擇使用 NFS 掛載遠(yuǎn)程根文件系統(tǒng)，內(nèi)容如下。

編譯內(nèi)核：

編譯完成后，將編譯好的內(nèi)核文件 boot.img 和 rk3399-firefly.dtb 文件復(fù)制到 /tftpboot 目錄中：

詳細(xì)說明可以參考內(nèi)核目錄中的 kernel/Documentation/filesystems/nfs/nfsroot.txt

請先確保目標(biāo)機網(wǎng)線已插入，接入到服務(wù)器的局域網(wǎng)內(nèi)。

目標(biāo)機啟動進入 U-Boot 命令行模式，設(shè)置以下參數(shù)：

在開機內(nèi)核日志中可見：

說明已經(jīng)掛載上了網(wǎng)絡(luò)根文件系統(tǒng)。

注意事項

• 確保 TFTP 服務(wù)器、NFS 服務(wù)器可用;

• 確保目標(biāo)機先插入網(wǎng)線后在開機，且和服務(wù)器在同一局域網(wǎng)內(nèi)，如果是直連目標(biāo)機和服務(wù)器，請使用交叉網(wǎng)線;

• 內(nèi)核配置中，Root file system on NFS 依賴于 IP: kernel level autoconfiguration 選項，請先選擇 IP: kernel level autoconfiguration，之后才可以找到 Root file system on NFS 選項;

• 在 U-Boot 命令行中，請確認(rèn) boot.img 燒錄地址和 dtb 文件燒錄地址。（提示：boot.img 的文件結(jié)構(gòu)中，開頭有2k的頭文件，然后才是 kernel。所以在 TFTP 下載內(nèi)核到目標(biāo)機時，要下載到對應(yīng) kernel 地址減去0x0800的地址上）;

• 在設(shè)置掛載遠(yuǎn)程根文件系統(tǒng)時，nfsroot=192.168.31.106:/nfs/rootfs,v3 中的 v3 代表 NFS 版本信息，請?zhí)砑由弦员苊獬霈F(xiàn)掛載不成功的問題。

操作中需要升級內(nèi)核和 U-Boot，事先已經(jīng)準(zhǔn)備好了修改好的相關(guān)文件：uboot.img 、trust.img 、boot.img 。

deb 是 Debian Linux 的軟件包格式，打包最關(guān)鍵的是在 DEBIAN 目錄下創(chuàng)建一個 control 文件。首先創(chuàng)建 deb 工作目錄，然后在 deb 目錄中創(chuàng)建相應(yīng)的目錄和文件：

DEBIAN 目錄下存放的文件是 deb 包安裝的控制文件以及相應(yīng)的腳本文件。

在 DEBIAN 目錄下創(chuàng)建控制文件 control 和腳本文件 postinst。

control 文件內(nèi)容如下,用于記錄軟件標(biāo)識，版本號，平臺，依賴信息等數(shù)據(jù)。

postinst 文件內(nèi)容如下,就是將需要更新的內(nèi)核和 U-Boot 文件用 dd 命令寫進對應(yīng)分區(qū)的腳本：

說明：postinst 腳本，是在解包數(shù)據(jù)后運行的腳本，對應(yīng)的還有:

• preinst：在解包數(shù)據(jù)前運行的腳本;

• prerm：卸載時，在刪除文件之前運行的腳本;

• postrm：在刪除文件之后運行的腳本;

其他相關(guān)知識點用戶可以自行了解。這里只用到了 preinst 腳本。

以下是創(chuàng)建好的目錄樹：

進入 deb 目錄，用 dpkg 命令生成 deb 包：

生成 deb 包時，一般按照這種規(guī)范進行命名：package_version-reversion_arch.deb 。

首先安裝需要的包：

然后用 GnuPG 工具生成一個 GPG 密匙，執(zhí)行命令后請根據(jù)提示操作：

執(zhí)行 sudo gpg --list-keys 可以查看剛剛生成的密匙信息:

接下來創(chuàng)建包倉庫，首先創(chuàng)建目錄:

把前面生成的密匙導(dǎo)出到倉庫文件夾，請用戶對應(yīng)好自己創(chuàng)建的用戶名和郵箱地址。

在 conf 目錄下創(chuàng)建 distributions 文件，其內(nèi)容如下：

建立倉庫樹：

將第2步做好的 deb 包加入到倉庫中：

可以查看庫中添加的文件：

你的包已經(jīng)加入了倉庫，如果要移除它的話采用如下命令:

安裝 nginx 服務(wù)器：

修改nginx的配置文件 /etc/nginx/sites-available/default 為：

重啟 nginx 服務(wù)器：

在客戶端開發(fā)板中，首先要添加本地包倉庫的源，在目錄 /etc/apt/sources.list.d 下添加一個新的配置文件 bionic.list，內(nèi)容如下：

IP 地址是服務(wù)器地址, bionic 是倉庫發(fā)布代碼名， main 是組件名。

從服務(wù)器中獲取并添加 GPG 密匙：

更新后即可安裝自定義軟件源里的 firefly-firmware_1.0_arm64 包：

可以看到安裝過程中執(zhí)行了 deb 包中的 poinst 腳本。安裝完成后，重啟開發(fā)板，更新完成。

在 /usr/share 目錄中還可以看到 kernel 和 uboot 目錄，分別存放了 boot.img，uboot.img 和 trust.img 。

注意事項

• 在制作 deb 包中，與 DEBIAN 同級的目錄視為根目錄，即放在與 DEBIAN 同目錄下的文件，在客戶端安裝 deb 包后，可以在客戶端的根目錄下找到；

• deb 包中的文件和腳本，用戶要根據(jù)自己的實際情況做調(diào)整；

• 每次在倉庫中修改了配置文件后，都要重新導(dǎo)入倉庫目錄樹 ；

• nginx 服務(wù)器配置中，root 參數(shù)配置的是倉庫的地址，請用戶根據(jù)自己的實際情況修改；

• 客戶端添加的新下載源的文件時，注意核對正確的服務(wù)器地址，包倉庫代碼名和組件名。注意客戶端要連通服務(wù)器；

• 客戶端要用 apt-key add 命令添加 GPG 密匙之后，才可以獲取本地的倉庫的信息。

• 兩塊 Firefly-RK3399 開發(fā)板；

• 路由器、網(wǎng)線；

• PC 機。

將兩塊開發(fā)板和 PC 機都連接到同一個局域網(wǎng)內(nèi)。連接好后對應(yīng)的 IP 地址別是：

• PC 機：192.168.1.100

• 開發(fā)板 A：192.168.1.101

• 開發(fā)板 B：192.168.1.102

使用腳本安裝 Docker ：

為了可以使當(dāng)前普通用戶可以執(zhí)行 docker 相關(guān)命令，需要將當(dāng)前用戶添加到 dokcer 用戶組中：

啟動 Docker 后臺服務(wù)：

新建一個 Dockerfile_distcc.x86_64 文件。其文件內(nèi)容如下：

生成 Docker 鏡像：

可以用命令 docker images 查看生成的 Docker 鏡像：

用新建的鏡像啟動 Docker 容器，在主機網(wǎng)絡(luò)的 3632 TCP 端口提供 distcc 服務(wù)：

用命令 docker ps 可以查看正在運行中的容器：

Firefly-RK3399 內(nèi)核默認(rèn)是不支持 Docker 的，需要進行相關(guān)內(nèi)核的配置。可以在 Firefly Github 中查看修改后的 /kernel/arch/arm64/configs/firefly_linux_defconfig 文件。

修改好后編譯內(nèi)核并更新到所有用到的開發(fā)板。

內(nèi)核更新完成后，在開發(fā)板上使用腳本安裝 Docker ：

將當(dāng)前用戶添加到 dokcer 用戶組中：

啟動 Docker 后臺服務(wù)：

新建 Dockerfile_distcc.arm64 文件，內(nèi)容如下：

生成 Docker 鏡像：

用新建的鏡像啟動 Docker 容器，在主機網(wǎng)絡(luò)的 3632 TCP 端口提供 distcc 服務(wù)：

用 docker save 命令導(dǎo)出新建的鏡像：

將生成的 distcc_server.tar 文件復(fù)制到另一塊開發(fā)板上，然后導(dǎo)入鏡像：

導(dǎo)入鏡像后，在這個開發(fā)板上也有了 distcc_server:arm64 鏡像，然后可以運行一個容器：

提示： 用戶如果注冊了 Docker Hub 帳號，可以用 docker push 推送鏡像到遠(yuǎn)程倉庫，在另一開發(fā)板上用 docker pull 拉取遠(yuǎn)程倉庫的鏡像。用戶可以自行了解相關(guān)操作。

到這里，三個機器都部署了分布式編譯環(huán)境。可以選擇任意一臺機器作為客戶端，剩下兩個機器作為服務(wù)器。這里選擇其中一個開發(fā)板作為客戶端。

在客戶端中創(chuàng)建 Dockerfile_compile.arm64 文件，生成一個編譯內(nèi)核的 Docker 鏡像，文件內(nèi)容如下：

然后生成鏡像：

在啟動容器前先將內(nèi)核文件拉到客戶端中。然后創(chuàng)建 /etc/distcc/hosts 文件，其內(nèi)容是列舉出所有提供 distcc 服務(wù)的機器的 IP 地址。內(nèi)容如下：

為了測試結(jié)果更準(zhǔn)確，先清除客戶端開發(fā)板上的緩存：

用 compile:arm64 鏡像啟動一個 Docker 容器，同時將主機當(dāng)前內(nèi)核目錄掛載到容器中的 /mnt 目錄，將主機的 /etc/distcc/hosts 文件掛載到容器的 /etc/distcc/hosts 中，并用參數(shù) -it 以交互模式啟動容器：

進入到容器中的 /mnt 目錄，然后開始用 distcc 編譯內(nèi)核，加入 time 命令可以查看編譯命令執(zhí)行耗時，CC 參數(shù)指明用 distcc 進行編譯：

注意： 如果用 PC 機作為客戶端，則需要用以下命令進行編譯：

編譯過程中，可以在用于編譯的容器內(nèi)新的窗口中用命令 distccmon-text 1 查看編譯情況：

最后編譯命令完成后可以看到編譯所用時間：

下邊是單獨使用一塊開發(fā)板進行內(nèi)核編譯所耗費的時間:

對比可見，用采用 distcc 實現(xiàn)的分布式編譯可以有效提高編譯速度。

注意：

• 平臺不同，所需的編譯器也不同。如在 x86_64 平臺上，需要安裝對應(yīng)的交叉編譯工具 gcc-aarch64-linux-gnu。在 arm64 平臺則只需要安裝 gcc 編譯工具即可。用戶需要根據(jù)實際情況在對應(yīng)的 Dockerfile 文件里指定安裝正確的工具。

• 如果用 PC 機做客戶端，則在用于編譯的容器中編譯內(nèi)核的時候，要用參數(shù) CC="distcc aarch64-linux-gnu-gcc" 指明用 aarch64-linux-gnu-gcc 交叉編譯工具編譯。