使用Xbox Kinect和OpenCV進(jìn)行面部識(shí)別

描述

背景

當(dāng)我在我的衣櫥里翻找時(shí)，我偶然發(fā)現(xiàn)了一件過去的遺物……原來的 XBox 360 Kinect！

它被高度贊揚(yáng)為當(dāng)時(shí)最復(fù)雜的傳感器陣列之一，人們一直在破解它來制作一些非?？岬捻?xiàng)目。

老實(shí)說，當(dāng)我第一次看示例代碼時(shí)，我不知所措……

在我能找到的所有示例中，每個(gè)人都從以下內(nèi)容開始：

using namespace cv;
using namespace Freenect;
using namespace std;

我討厭這個(gè)^^^ 。

當(dāng)您不了解正在使用的任何框架或庫時(shí)，它會(huì)將任何示例代碼轉(zhuǎn)換為 API 湯。此外，很難判斷多個(gè)庫是如何相互交互的。

我做的第一件事是逐行瀏覽 中的示例代碼glview.c，研究和記錄每個(gè) API 調(diào)用。這非常乏味，但它確實(shí)讓我了解了邏輯是如何流動(dòng)的，我終于能夠區(qū)分對(duì)libfreenect的調(diào)用和對(duì)OpenGL的調(diào)用。

如果有幫助，我將記錄的代碼添加到存儲(chǔ)庫中。它在功能上等同于其原始對(duì)應(yīng)物，但有大量文檔。

通過 Kinect 的眼睛

我知道硬件現(xiàn)在已經(jīng)過時(shí)了，但 Kinect 仍然是一個(gè)令人難以置信的令人印象深刻的硬件。我被吹走了！

Kinect 上的攝像頭能夠達(dá)到 1280 x 1024，這沒什么值得大書特書的——但它仍然是一款堅(jiān)固的攝像頭。

然而，真正令人印象深刻的功能是深度傳感器。

仔細(xì)看，你可以看到面部特征（眼睛、鼻子、臉頰、嘴巴、額頭）

?

讓我看看你的微笑

。。。不幸的是，API 和包裝器的可擴(kuò)展性不是很好。它們需要完全重寫，以允許使用參數(shù)化分辨率創(chuàng)建對(duì)象。創(chuàng)建這樣的組合將是 CRTP （奇怪重復(fù)的模板模式）的一個(gè)有趣用例。但是，我將把重構(gòu)留到另一天。我計(jì)劃按原樣提供我創(chuàng)建的示例，并選擇在相應(yīng)的博客文章中記下缺點(diǎn)。

2020 年 5 月 28 日——當(dāng)我最終確定源代碼并準(zhǔn)備分享時(shí)，我在筆記中注意到我原本打算讓它在 Raspberry Pi 上運(yùn)行。幸運(yùn)的是，我已經(jīng)創(chuàng)建了 Dockerfile，所以這實(shí)際上只是在 ARM 上重建映像——或者我是這么認(rèn)為的……結(jié)果我將 Raspberry Pi 配置為沒有 GUI。所以我創(chuàng)建了一個(gè)無頭版本的程序。這需要重寫cv::waitKey，因?yàn)樗蕾囉?HighGUI 庫，即 OpenCV 窗口框架。