項目分享|基于ELF 1開發(fā)板的遠程監(jiān)測及人臉識別項目

今天非常榮幸地向各位小伙伴分享一個由共創(chuàng)社成員完成的遠程監(jiān)測及人臉識別項目，該項目依托ELF 1開發(fā)板為核心硬件平臺，構建了一套完整的視頻監(jiān)控系統(tǒng)，并在此基礎上集成了人臉識別功能。接下來，就為各位小伙伴詳盡展示這一項目的相關細節(jié)。

項目實現(xiàn)步驟

1.視頻監(jiān)控

這一步驟中需要實現(xiàn)兩個程序：

（1）在連接攝像頭的ELF 1開發(fā)板上實現(xiàn)一個服務器程序：它一邊讀取攝像頭數(shù)據(jù)，一邊等待客戶端連接并發(fā)送數(shù)據(jù)。可以用兩個線程實現(xiàn)，一個負責采集圖像信息；一個負責等待鏈接，并發(fā)送數(shù)據(jù)。

（2）在手機或電腦上，編寫客戶端程序，它會從ELF 1開發(fā)板上獲得數(shù)據(jù)并顯示出來。同樣，也可以用兩個線程來實現(xiàn)。一個負責接受數(shù)據(jù)，一個負責顯示數(shù)據(jù)。這2個程序之間，并不需要實現(xiàn)復雜的協(xié)議。

MJPG‐streamer是一個開源軟件。MJPG-streamer從Linux UVC兼容的網(wǎng)絡攝像頭、文件系統(tǒng)或其他輸入插件獲取JPG，并通過HTTP、RTSP、UDP等將其作為M-JPEG流式傳輸?shù)絎ebBrowser、VLC和其他軟件。

MJPG-streamer 需要很少的CPU和內存資源就可以工作，大部分編碼工作都是攝像頭完成的，所以對于內存和性能都有限的嵌入式系統(tǒng)十分適用。

將MJPG-streamer移植并運行在ARM板上，在同一局域網(wǎng)內的設備輸入正確的ip地址即可直接觀看到視頻畫面。對ARM板的性能要求不高，主頻200MHz的ARM芯片也能實現(xiàn)。

下載MJPG-streamer：

git clone https://github.com/shrkey/mjpg-streamer

啟動MJPG-streamer后，輸入ip地址以及端口號即可看到攝像頭內容如下圖：

同時后續(xù)人臉識別功能中需要能夠從視屏流中提取出照片，需要修改MJPG-streamer源碼，使其支持拍照功能。具體修改如下：

修改完成之后只要向有名管道/tmp/webcom寫入相應的字符串就能實現(xiàn)拍照功能。

# cd mjpg-streamer-rc63/plugins/output_file # vim output_file.c //在96行 函數(shù) void*worker_thread(void *arg) 體中加入以下代碼： charbuf[10]; // intflags = 0; // intfd_com = 0; //打開管道 stop_num = 0; //拍照計數(shù) if ( access(“/tmp/webcom”,F_OK) < 0 ) //創(chuàng)建有名管道用于接收拍照命令 { if ( mkfifo(“/tmp/webcom”,0666 ) < 0) { Printf(“ photo fifo create failed\n”); } } fd_com = open (“/tmp/webcom”,O_RDONLY,0666); if (fd < 0) { perror (“open the file webcom error”); } //在while( ok >= 0 && !pglobal->stop){ 后加入 if (flags == 0) { while(1) { reade(fd_com,buf,sizeof(buf)); if(strncmp(buf,”danger”,6) == 0) //拍11張照片 { flags = 1; bzero(buf,sizeof(buf)); break; } if(strncmp(buf,”one”,3) == 0) //拍1張照片 { flags = 2; bzero(buf,sizeof(buf)); break; } } } //在if (delay > 0){ usleep(1000*delay); }后加入 stop_num++ if(flags == 1) //判斷拍照的數(shù)量 { if ( stop_num > 9) { stop_num= 0; flsgs= 0; } } elseif (flags == 2) { stop_num= 0; flags= 0; }

2.人臉檢測

'haarcascade_frontalface_default.xml'是Opencv中已經(jīng)訓練好的人臉分類器文件。它是基于Haar特征的級聯(lián)分類器，可以用于檢測正面的人臉。該文件是通過大量的正負樣本訓練而成，可以用于人臉檢測的應用中。具體調用代碼如下：

#! user/bin/python #- * -coding:UTF-8 - * - import cv2 import numpy as np def myfilter(img): # 圖像轉化為灰度格式 gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) # 導入人臉級聯(lián)分類器引擎，'xml'文件包含訓練好的人臉特征 face_cascade=cv2.CascadeClassifier(' \ /home/xuyang/test1/haarcascade_frontalface_default.xml') #為防止報錯使用該文件在opencv下的絕對路徑 # 用人臉級聯(lián)分類器引擎進行人臉識別，返回的faces為人臉坐標列表 faces = face_cascade.detectMultiScale(gray) return faces def myfaces_count(img,faces): count = 0 #人臉計數(shù)初值 # 對每張臉，操作如下 for (x,y,w,h) in faces: '''畫矩形圈出人臉 輸入參數(shù)依次為：圖片，右上角的點坐標，矩形大小，線條顏色，寬度 ''' cv2.rectangle(img,(x,y),(x+w,y+h),(255,255,255),2) count += 1 # 累計人數(shù) # 把統(tǒng)計人數(shù)顯示出來 cv2.putText(img,'{}'.format(count),(x,y-7),3,1.2,(0,0,255),2) return img #打開mjpg-streamer視頻流（通過URL） #cap = cv2.VideoCapture('http://192.168.106.128:8080/?action=stream') #打開視頻 cap = cv2.VideoCapture('video.mp4') y = 0 #獲取視頻相關數(shù)據(jù)以便于保存視頻 width = int(cap.get(3)) height = int(cap.get(4)) fps = cap.get(5) fourcc = cv2.VideoWriter_fourcc(*'MJPG') output_file = 'output_video.mp4' video_writer = cv2.VideoWriter(output_file,fourcc,fps,(width,height),isColor = True) while True: # 讀取每一幀圖像 ret, frame = cap.read() if not ret: break if y == 0: faces = myfilter(frame) #人臉識別特征每10次循環(huán)做一次 不然運行速度太慢了 y = y + 1 if y == 10: y =0 frame = myfaces_count(frame,faces) # 在窗口上顯示當前幀的圖像 cv2.imshow("Frame", frame) video_writer.write(frame) #保存視頻 # 按下 'q' 退出循環(huán) if cv2.waitKey(1) & 0xFF == ord('q'): break # 關閉所有窗口及釋放對象 cap.release() video_writer.release() cv2.destroyAllWindows()

3.人臉識別

鑒于開發(fā)板運行人臉檢測模型已經(jīng)有一定的運算壓力，同時為了豐富項目內容，人臉識別部分我們通過傳送照片在云端完成。

本文通過libcurl庫調用云端API實現(xiàn)人臉識別。需要libcurl庫支持https協(xié)議。要讓LibCurl庫支持https協(xié)議實現(xiàn)人臉識別，就需要安裝移植Openssl這個庫。此篇人臉識別介紹主要目的是判斷兩張人臉圖片的相似程度或者接近程度。安裝移植LibCurl庫和Openssl庫不多贅述。

首先是注冊一個OCR云識別平臺賬號如圖：

詢對應平臺的API和接口地址：

下面是調用人臉識別API的代碼：

#include #include #include #include #include #include #include #include #include typedef unsigned int bool; #define true 1 #define false 0 char buf[1024]={'\0'}; size_t readData(void *ptr, size_t size, size_t nmemb, void *stream) { strncpy(buf,ptr,1024); } char* getPic(char *pic) { char cmd[128]={'\0'}; memset(cmd,'\0',128); sprintf(cmd,"base64 %s > tmpFile",pic); system(cmd); int fd = open("./tmpFile",O_RDWR); int filelen = lseek(fd,0,SEEK_END); lseek(fd,0,SEEK_SET); char *base64Buf = (char*)malloc(filelen + 8); memset(base64Buf,'\0',filelen + 8); read(fd,base64Buf,filelen+8); close(fd); system("rm -f tmpFile"); return base64Buf; } bool postUrl()//POST請求 { char buf1[1024] = {0},buf2[1024] = {0}; unsigned long long counter = 0; static char *folder = "/tmp"; time_t t; struct tm *now; t = time(NULL); now = localtime(&t); system("echo one > /tmp/webcom"); //向有名管道webcom寫入字符串實現(xiàn)拍照 strftime(buf1, sizeof(buf1), "%%s/%Y_%m_%d_%H_%M_%S_picture_%%09llu.jpg", now); snprintf(buf2, sizeof(buf2), buf1,"/tmp", counter); sleep(1); CURL *curl; CURLcode res; char *postString = NULL; char *base64Buf1 = getPic(buf2); char *base64Buf2 = getPic("./me5.jpg"); char *key = "xxxxxxxxxxxxxxxxxxxxxxx"; char *secret = "xxxxxxxxxxxxxxxxxxxxxxx"; int typeld = 21; char *format = "xml"; int len = strlen(key)+strlen(secret)+strlen(format)+ \ strlen(base64Buf1)+strlen(base64Buf2)+128; printf("%d",len); postString = (char *)malloc(len); sprintf(postString,"img1=%s&img2=%s&key=%s&secret=%s&typeId=%d&format=%s",\ base64Buf1,base64Buf2,key,secret,typeld,format); curl = curl_easy_init(); if (curl) { curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "/tmp/cookie.txt"); // 指定cookie文件 curl_easy_setopt(curl, CURLOPT_POSTFIELDS, postString); // 指定post內容 curl_easy_setopt(curl, CURLOPT_URL, "https://netocr.com/api/faceliu.do"); //指定url curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, readData); res = curl_easy_perform(curl);//執(zhí)行 //printf("res = %d\n",res); if(strstr(buf,"是")!=NULL) { printf("is same people\n"); } else { printf("not the same people\n"); } curl_easy_cleanup(curl); } return true; } int main(void) { postUrl(); }

本項目的工作流程設計邏輯是，首先系統(tǒng)啟動視頻監(jiān)控機制，智能判斷畫面中是否存在人臉；一旦檢測到人臉，則觸發(fā)拍照動作，然后通過調用云端API進行人臉識別對比并返回結果，上述視頻的對比結果如下：

左圖為提前準備好的相關人臉的照片，右圖為拍照得到的照片，下面為對比結果判定為是同一個人。同時開發(fā)板返回結果也正確：

至此，關于基于ELF 1開發(fā)板實現(xiàn)的遠程監(jiān)測及人臉識別項目的介紹告一段落。衷心期待這項案例能夠對正在鉆研嵌入式開發(fā)的小伙伴帶來啟示與借鑒，助力各位的學習之旅。