人體存在檢測(HPD)是視覺傳感的一種應(yīng)用,是了解一個人何時在場,確定其狀態(tài)和環(huán)境的藝術(shù)。如果有效實施,與傳統(tǒng)方法相比,它有可能獲得許多好處,特別是在安全性和降低功耗方面。
這項技術(shù)以各種形式存在了一段時間?,F(xiàn)在,精度已經(jīng)達(dá)到足以用于筆記本電腦、PC 或汽車應(yīng)用(如駕駛員警覺性檢測)的程度??梢岳眠@項技術(shù)的其他領(lǐng)域包括智能家居和工業(yè)安全。
具有計算機視覺算法的傳統(tǒng)相機通常用于此應(yīng)用,但這樣的設(shè)置可能矯枉過正,提供的信息遠(yuǎn)遠(yuǎn)超過必要的信息,并且為邊緣物聯(lián)網(wǎng)應(yīng)用消耗太多功率。集成傳感器模塊也可以顯著降低成本,因為帶寬大大降低,允許使用低成本MCU,剛好足以處理一些簡單的AI算法。然后可以使用微小的ML代碼處理部署。
該模塊確定人或事物的存在位置以及它們相對于筆記本電腦的位置。它應(yīng)該提供足夠的信息,以便直接在設(shè)備級別做出實時決策。
模塊中的 HPD
物聯(lián)網(wǎng)的一個可用的HPD解決方案來自Synaptics,以Emza Visual Sense的形式出現(xiàn)。優(yōu)化的機器學(xué)習(xí) (ML) 計算機視覺算法在超低功耗邊緣 AI SoC 上運行。典型應(yīng)用需要的內(nèi)存不到 1 MB。
這些算法處理來自低功耗CMOS傳感器的數(shù)據(jù),通常將功耗保持在5至15 mW的范圍內(nèi)。這可以根據(jù)實際需要進(jìn)一步減少。這些功率水平正在接近現(xiàn)代筆記本電腦的電源噪聲本底。所有三個元素——Emza Visual Sense算法、低功耗邊緣AI處理器和CMOS傳感器——都可以駐留在同一個模塊中。
對于筆記本電腦,此模塊將在筆記本電腦打開時立即打開,只要筆記本電腦正在運行,該模塊就會保持打開狀態(tài)。當(dāng)用戶離開時,會檢測到不存在,將筆記本電腦置于鎖定睡眠或掛起模式,直到用戶返回。
在開機和關(guān)機之間,有更多有趣的選項可以提供安全性和延長電池壽命。例如,當(dāng)附近的人正在查看筆記本電腦屏幕時,用戶會收到安全威脅警報(稱為“旁觀者檢測”),并且可以降低顯示可見性,直到威脅過去。
為了節(jié)省功耗,Synaptics的HPD可以在用戶移開視線時調(diào)暗顯示屏(稱為“移開檢測”)。因為 ML 算法可以使用更準(zhǔn)確的用戶習(xí)慣模型進(jìn)行更新。隨著時間的推移,HPD 功能在速度、準(zhǔn)確性、響應(yīng)能力和實用性方面不斷改進(jìn)。
可以使用飛行時間(ToF)傳感器設(shè)計類似的配置,而不是傳感器模塊。但是這樣的設(shè)備不能執(zhí)行面部識別或確定人與附近寵物之間的區(qū)別。
實際上,CMOS傳感器輸出不會持續(xù)記錄。相反,處理器每秒拍攝兩個快照或幀。該信息被存儲,然后與其他幀進(jìn)行比較。
這些信息足以感知環(huán)境并確定人類的存在和運動,以及眼動追蹤,這反過來可以觸發(fā)另一種算法來處理面部識別。這是計算密集型的。
鑒于所檢測信息的性質(zhì),實施必須在邊緣執(zhí)行必要的處理,以確保不會將個人身份信息 (PII) 發(fā)送到上游云。
復(fù)雜的軟件設(shè)計
雖然處理此應(yīng)用程序的硬件隨時可用,但算法開發(fā)方面并非易事。谷歌的AutoML向前邁出了一步,簡化了流程。AutoML 允許開發(fā)人員以有效的方式針對特定需求訓(xùn)練其 AI 模型。
Synaptics Emza Visual Sense HPD技術(shù)已經(jīng)在戴爾和松下的筆記本電腦中實施。解決方案也正在圍繞該公司的KatanaAI SoC平臺構(gòu)建,使HPD的優(yōu)勢能夠為家用電器和消費電子產(chǎn)品帶來好處。例如,電視可以知道誰在觀看并在不被詢問的情況下提供適當(dāng)?shù)膬?nèi)容,甚至可以鎖定未成年人或其他未經(jīng)授權(quán)的用戶。
當(dāng)Synaptics設(shè)計團隊首次開始這個項目時,一切都是為了滿足邊緣AI設(shè)計非常嚴(yán)格的超低功耗需求。該模型將所有必要的鉤子構(gòu)建到芯片和軟件中,包括為圖像處理構(gòu)建IP,從而避免了啟動主CPU的需要。
然后,算法需要縮小,通過減少所涉及的層數(shù)使其盡可能高效。由于傳感器采用相對較低的分辨率,因此必須進(jìn)行適當(dāng)?shù)呐嘤?xùn),包括獲取必要的數(shù)據(jù)集。
隨著新數(shù)據(jù)集的出現(xiàn),該技術(shù)不斷發(fā)展非常重要。
審核編輯:郭婷
-
mcu
+關(guān)注
關(guān)注
146文章
17229瀏覽量
351967 -
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2911文章
44840瀏覽量
375256 -
機器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8428瀏覽量
132850
發(fā)布評論請先 登錄
相關(guān)推薦
評論