【虹科】探秘空間AI平臺(tái)：輕松使用深度AI相機(jī)構(gòu)建應(yīng)用

1

什么是HK DepthAI？

讓虹科帶你一同領(lǐng)略AI深度平臺(tái)的強(qiáng)大功能。HK DepthAI是一個(gè)空間AI平臺(tái)，借助它結(jié)合相機(jī)可以讓機(jī)器人、計(jì)算機(jī)等像人類(lèi)一樣感知世界，認(rèn)識(shí)他們所看到的對(duì)象或特征是什么，以及知道它們自己在物理世界中的位置。它集五個(gè)關(guān)鍵功能為一體：人工智能 （AI）、計(jì)算機(jī)視覺(jué) （CV）、深度感知、高性能（高分辨率和高幀率）和嵌入式（小型低功耗解決方案）。

通過(guò)調(diào)用HK DepthAI API ，您可以深入應(yīng)用OpenCV AI套件，該套件可以讓您在相機(jī)節(jié)點(diǎn)、圖形系統(tǒng)中使用神經(jīng)推理 （AI）、深度處理和計(jì)算機(jī)視覺(jué) （CV） 功能。并且可以構(gòu)建 AI、深度和 CV 的復(fù)雜組合，如下所示：

使用HK DepthAI API，您可以了解如何同時(shí)執(zhí)行多個(gè)神經(jīng)模型和 CV 功能以實(shí)現(xiàn)所需的功能：

比如，從遠(yuǎn)處讀取手勢(shì)。

標(biāo)準(zhǔn)手掌探測(cè)器只能檢測(cè)最遠(yuǎn) 2 米左右的手部動(dòng)作。在上面的示例中，用戶距離相機(jī) 5 米依然可以精確檢測(cè)手勢(shì)。那么他是怎么做到的呢？

他使用HK DepthAI API構(gòu)建了一系列神經(jīng)模型和計(jì)算機(jī)視覺(jué)功能，首先找到人的區(qū)域，然后找到人的姿勢(shì)，接著將手部區(qū)域輸入手掌檢測(cè)器模型。接下來(lái)，它將檢測(cè)到的手掌圖像送到手部姿勢(shì)模型中，該模型根據(jù)手部姿勢(shì)的關(guān)鍵點(diǎn)，就可以識(shí)別對(duì)應(yīng)的手勢(shì)動(dòng)作。

此 API 非常適合想要全面和深入開(kāi)發(fā)的資深程序員，以便他可以完成各種復(fù)雜的應(yīng)用，HK DepthAI API可以滿足他們的需求。

但是，隨著技術(shù)不斷發(fā)展，許多步驟和配置，只是為了讓某些東西運(yùn)行。你可能不需要關(guān)心（至少一開(kāi)始上手是這樣）。這就是HK DepthAI SDK的用武之地，它依然可以讓你輕松快捷地跑通整個(gè)AI應(yīng)用。

2

什么是HK DepthAI SDK？

HK DepthAI SDK提供了常用設(shè)置函數(shù)和高級(jí)功能函數(shù)，使您能夠更快地實(shí)現(xiàn)應(yīng)用。它將大量 API 調(diào)用打包到簡(jiǎn)單易用的函數(shù)方法中，從而更輕松地執(zhí)行常見(jiàn)任務(wù)，例如設(shè)置相機(jī)、運(yùn)行神經(jīng)網(wǎng)絡(luò)、獲取深度輸出等。

HK DepthAI SDK運(yùn)行在HK DepthAI API之上 - 兩者都是開(kāi)源的。因此，您可以從 H K DepthAI SDK 開(kāi)始，然后查看給定的SDK管理器中有哪些 API 調(diào)用，用來(lái)構(gòu)建您自己的自定義任務(wù)。

下面是一個(gè)示例，僅需短短幾行代碼，您就可以顯示HK OAK-D-Lite型號(hào)相機(jī)的彩色視頻流：

只需幾乎同樣少的代碼量，您就可以在HK OAK-D-Lite相機(jī)上啟動(dòng)并運(yùn)行實(shí)時(shí) AI：

因此，縱使你不是一個(gè)專(zhuān)業(yè)精通編程的開(kāi)發(fā)人員，您也可以輕松上手！自己在代碼中嘗試實(shí)現(xiàn)一些復(fù)雜應(yīng)用。不想編碼？虹科也提供圖形化編程，通過(guò)拼接代碼方塊，實(shí)現(xiàn)無(wú)代碼編程。如下圖：

3

使用深度AI相機(jī)構(gòu)建應(yīng)用的方法

虹科提供 3 種使用HK OAK-D-Lite 相機(jī)構(gòu)建應(yīng)用的方法：

1、圖形化編程：HK OAK-D-Lite相機(jī)的無(wú)代碼編程。

2、HK DepthAI SDK：HK OAK-D-Lite相機(jī)的低代碼量編程。

3、HK DepthAI API：可全面深度底層使用及訪問(wèn)HK OAK-D-Lite相機(jī)的所有功能。

虹科還在不斷添加更多的應(yīng)用到HK DepthAI SDK 資源庫(kù)中，里面包含了大量的客戶應(yīng)用開(kāi)源代碼，現(xiàn)在依然在不斷更新中。如果你有任何功能需求，也歡迎你隨時(shí)與我們聯(lián)系，我們?yōu)槟銓?shí)現(xiàn)應(yīng)用需求！

4

虹科深度AI相機(jī)

邊緣智能與視覺(jué)聯(lián)盟2022年度最佳產(chǎn)品HK OAK-D Lite相機(jī)將高性能和經(jīng)濟(jì)性的概念結(jié)合在一起，提供我們的HK DepthAI API的所有超級(jí)功能，讓您解鎖各種應(yīng)用。

主要特點(diǎn)

• 4 TOPS算力（1.4 TOPS用于人工智能）

• 運(yùn)行任何AI模型，甚至是自定義架構(gòu)/構(gòu)建的模型

• 編碼: H.264、H.265、MJPEG-4K/30FPS、1080P/60FPS

• 計(jì)算機(jī)視覺(jué)：扭曲/去毛刺、調(diào)整大小、裁剪、邊緣檢測(cè)、特征跟蹤

• 帶濾波的120 FPS立體深度感知

• 目標(biāo)跟蹤：2D和3D跟蹤

• 用于電源和通信的USB-C連接器，支持USB2和USB3協(xié)議（5Gbps/10Gbps）

• BMI270 IMU，6軸傳感器，結(jié)合加速度計(jì)和陀螺儀

• 尺寸: 91x28x17.5mm。重量：61g。

HK OAK-D Lite有兩種版本：固定焦距和自動(dòng)對(duì)焦。這些版本僅在中心彩色攝像頭的配置上有所不同。固定焦距版本具有機(jī)械固定的鏡頭，而自動(dòng)聚焦具有動(dòng)態(tài)控制鏡頭位置的電磁鐵。這兩種版本都可以清楚地看到50厘米及以上的物體。

自動(dòng)對(duì)焦：建議在距離設(shè)備10厘米到50厘米的近距離物體上使用相機(jī)。也可以使用DepthAI API將它們手動(dòng)設(shè)置為特定的焦點(diǎn)位置。

固定焦距：建議將攝像頭用于重型振動(dòng)應(yīng)用，如無(wú)人機(jī)、割草機(jī)或車(chē)輛。