花卉分類識別模型設(shè)計

導(dǎo)讀

2023年以ChatGPT為代表的大語言模型橫空出世，它的出現(xiàn)標(biāo)志著自然語言處理領(lǐng)域取得了重大突破。它在文本生成、對話系統(tǒng)和語言理解等方面展現(xiàn)出了強(qiáng)大的能力，為人工智能技術(shù)的發(fā)展開辟了新的可能性。同時，人工智能技術(shù)正在進(jìn)入各種應(yīng)用領(lǐng)域，在智慧城市、智能制造、智慧醫(yī)療、智慧農(nóng)業(yè)等領(lǐng)域發(fā)揮著重要作用。

柴火創(chuàng)客2024年將依托母公司Seeed矽遞科技在人工智能領(lǐng)域的創(chuàng)新硬件，與全球創(chuàng)客愛好者共建“模型倉”，通過“SenseCraft AI”平臺可以讓使用者快速部署應(yīng)用體驗人工智能技術(shù)！

本期介紹：模型案例：|花卉分類識別模型！

FCOS

FCOS?（Fully Convolutional One-Stage Object Detection）是一種基于全卷積的單階段目標(biāo)檢測算法，它是一種無Anchor box的算法，實現(xiàn)了無Anchor、無Proposal，并且提出了Center-ness的思想，極大地提升了Anchor-Free目標(biāo)檢測算法的性能。

FCOS的優(yōu)點包括避免了Anchor Box帶來的復(fù)雜計算，如計算重合度IoU，避免了Anchor Box相關(guān)的超參數(shù)設(shè)置，這些設(shè)置對性能影響較大。

因此，F(xiàn)COS可以與其他使用FCN結(jié)構(gòu)的任務(wù)相統(tǒng)一，方便其他任務(wù)方法之間的re-use，減少了超參數(shù)數(shù)量，更簡單，同時也減少了計算復(fù)雜度，如IoU計算。

FCOS網(wǎng)絡(luò)結(jié)構(gòu)

FCOS的網(wǎng)絡(luò)結(jié)構(gòu)主要由三部分組成：Backbone、FPN（Feature Pyramid Networks）和Classification+Center-ness+Regression Head。

Backbone

Backbone是FCOS網(wǎng)絡(luò)的特征提取部分，通常采用深度卷積神經(jīng)網(wǎng)絡(luò)（如ResNet、VGG等）來提取圖像的多尺度特征。這些特征圖不僅包含了豐富的語義信息，還保留了足夠的空間信息，為后續(xù)的目標(biāo)檢測提供了有力的支持。

在FCOS中，Backbone輸出的特征圖尺寸逐層減半，形成金字塔結(jié)構(gòu)。對于特征圖上的每一個點(x, y)，其映射回原圖的坐標(biāo)可以通過公式(?s/2?+xs, ?s/2?+ys)計算得到，其中s為特征圖相對于原圖的下采樣倍數(shù)。這種映射關(guān)系使得FCOS能夠直接利用特征圖上的點進(jìn)行目標(biāo)預(yù)測，而無需預(yù)設(shè)Anchor boxes。

FPN

FPN（Feature Pyramid Networks）是一種用于多尺度目標(biāo)檢測的網(wǎng)絡(luò)結(jié)構(gòu)，它通過融合不同尺度的特征圖來增強(qiáng)網(wǎng)絡(luò)對不同尺寸目標(biāo)的檢測能力。在FCOS中，F(xiàn)PN同樣扮演著重要的角色。

與Anchor Based的檢測器不同，F(xiàn)COS通過限制不同層級特征圖上的邊界框回歸范圍來分配檢測任務(wù)。具體來說，F(xiàn)COS將每個特征圖上的點分配給其最近的目標(biāo)（如果存在的話），并根據(jù)目標(biāo)的大小將其分配到不同的特征層級上。這種分配策略不僅提高了檢測效率，還使得網(wǎng)絡(luò)能夠更專注于處理與其層級相匹配的目標(biāo)尺寸。

Classification+Center-ness+Regression Head

在FCOS中，每個特征圖上的點都被視為一個潛在的訓(xùn)練樣本，用于進(jìn)行目標(biāo)分類、Center-ness預(yù)測和邊界框回歸。為了實現(xiàn)這些任務(wù)，F(xiàn)COS在特征圖后接入了三個并行的卷積頭：Classification Head、Center-ness Head和Regression Head。

Classification Head：用于預(yù)測特征圖上每個點所屬的目標(biāo)類別。在訓(xùn)練過程中，只有當(dāng)特征點位于某個目標(biāo)的有效區(qū)域內(nèi)時（即與目標(biāo)的邊界框有足夠的重疊），才會被標(biāo)記為正樣本并參與分類訓(xùn)練。否則，該點被視為負(fù)樣本。

Center-ness Head：是FCOS的一個創(chuàng)新點，用于預(yù)測特征點上目標(biāo)中心區(qū)域的相對位置。具體來說，Center-ness是一個0到1之間的值，表示該點到其所屬目標(biāo)中心的距離遠(yuǎn)近。在訓(xùn)練過程中，Center-ness的值會根據(jù)點到目標(biāo)中心的距離進(jìn)行計算和標(biāo)注。在推理過程中，Center-ness的值會與分類得分相乘作為最終的預(yù)測得分，以降低遠(yuǎn)離目標(biāo)中心的預(yù)測框的得分從而提高檢測性能。

Regression Head：用于預(yù)測特征圖上每個點到其所屬目標(biāo)邊界框四條邊的距離。與許多Anchor-based的方法不同，F(xiàn)COS直接回歸這些距離值而無需預(yù)設(shè)Anchor boxes。這種回歸方式不僅簡化了檢測流程還減少了計算量?！?/p>

FCOS性能優(yōu)勢

減少了計算復(fù)雜度，由于摒棄了Anchor boxes機(jī)制FCOS避免了與之相關(guān)的復(fù)雜計算如計算重合度IoU等從而減少了計算量提高了檢測效率。同時FCOS還減少了與Anchor相關(guān)的超參數(shù)數(shù)量簡化了算法設(shè)計并降低了超參數(shù)調(diào)整的難度。

提高了檢測精度，通過引入Center-ness優(yōu)化機(jī)制FCOS能夠降低遠(yuǎn)離目標(biāo)中心的預(yù)測框的得分從而提高檢測精度。此外FCOS還采用了多尺度預(yù)測與層級分配策略來處理不同尺寸的目標(biāo)進(jìn)一步提高了檢測性能。

增強(qiáng)了與其他任務(wù)的兼容性，由于FCOS采用了全卷積網(wǎng)絡(luò)結(jié)構(gòu)因此它可以與其他使用FCN結(jié)構(gòu)的任務(wù)相統(tǒng)一方便其他任務(wù)方法之間的re-use。這種兼容性不僅有助于實現(xiàn)多任務(wù)學(xué)習(xí)還能夠促進(jìn)不同領(lǐng)域之間的知識共享和遷移學(xué)習(xí)。

花卉分類識別模型

該模型用來檢測花卉，可以識別郁金香（tulips）、向日葵（sunflowers）和粉玫瑰（roses）三種花卉。

花卉識別數(shù)據(jù)集

數(shù)據(jù)集下載地址

在Grove - VisionAIV2模塊上訓(xùn)練和部署模型

SenseCraft Al平臺提供和簡單、方便的AI模型訓(xùn)練和部署功能，可以讓技術(shù)小白也能快速進(jìn)行特定場景的AI模型訓(xùn)練和部署。

1、打開SenseCraft AI平臺，如果第一次使用請先注冊一個會員賬號，還可以設(shè)置語言為中文，在頂部菜單欄單擊【模型訓(xùn)練】選項，如下圖所示。

平臺地址：https://sensecraft.seeed.cc/ai/#/model

2、進(jìn)入【模型訓(xùn)練】頁面后單擊左側(cè)的【分類識別類別】選項，如下圖所示。

3、單擊Class1和Class2右邊的修改分類名稱圖標(biāo)，修改兩個類別名稱為roses（粉玫瑰）和sunflowers（向日葵）兩個圖像分類類別，再單擊底部的“添加類別”選項并修改類別名稱為tulips（郁金香），如下圖所示。

4、在每個分類選項中，單擊右邊的【...】圖標(biāo)，單擊【導(dǎo)入圖片】打開導(dǎo)入圖像窗口，將下載好的數(shù)據(jù)圖片導(dǎo)入到每個類別中，這樣就導(dǎo)入了一定數(shù)量的數(shù)據(jù)集（至少100張），如下圖所示。

5、接著進(jìn)行第二步：模型訓(xùn)練，先選中“Grove（V2）”然后單擊【開始訓(xùn)練】按鈕，如下圖所示。經(jīng)過一段時間的訓(xùn)練后，即可生成花卉分類圖像識別模型。

6、第三步是部署，先選中“Grove（V2）”選項，單擊【部署到設(shè)備】如下圖所示，按提示連接Grove vision AI V2硬件后開始進(jìn)行模型部署。

7、部署完成后進(jìn)入工作窗口，這時會打開攝像頭預(yù)覽功能，對郁金香（tulips）、向日葵（sunflowers）和粉玫瑰（roses）圖像，預(yù)覽窗口底部會看到預(yù)測的類別名稱和置信率，如下圖所示。

推理結(jié)果演示

Grove Al視覺模塊 V2套裝介紹

Grove Al視覺模塊 V2

OV5647-62攝像頭

Grove - Vision Al Module V2是一款拇指大小的人工智能視覺模塊, 配備Himax WiseEye2 HX6538處理器和Arm Ethos-U55嵌入式神經(jīng)網(wǎng)絡(luò)加速單元（NPU）, 該處理器采用 ArmCortex-M55雙核架構(gòu)。

Arm Ethos-U55 嵌入式神經(jīng)網(wǎng)絡(luò)處理器（NPU）

嵌入式神經(jīng)網(wǎng)絡(luò)處理器（NPU）是一種特別設(shè)計用于執(zhí)行神經(jīng)網(wǎng)絡(luò)計算的高效率處理器。它主要基于數(shù)據(jù)驅(qū)動并行計算架構(gòu)，特別擅長處理視頻、圖像等大量的多媒體數(shù)據(jù)。NPU模仿了生物神經(jīng)網(wǎng)絡(luò)的架構(gòu)，與CPU、GPU相比，它能夠通過更少的指令（一條或幾條）完成神經(jīng)元的處理，因此在深度學(xué)習(xí)的處理效率方面具有明顯優(yōu)勢。

它具有標(biāo)準(zhǔn)的CSI接口, 并與樹莓派相機(jī)兼容。它有一個內(nèi)置的數(shù)字麥克風(fēng)和SD卡插槽。它非常適用于各種嵌入式視覺項目。

有了SenseCraft Al算法平臺, 經(jīng)過訓(xùn)練的ML模型可以部署到傳感器, 而不需要編碼。它兼容XIAO系列和Arduino生態(tài)系統(tǒng), 是各種物體檢測應(yīng)用的理想選擇。

主要硬件配置

- 板卡基于WiseEye2 HX6538處理器, 采用雙核ARM Cortex-M55架構(gòu)

- 配備集成Arm Ethos-U55嵌入式神經(jīng)網(wǎng)絡(luò)處理器（NPU）, 兼容的樹莓派相機(jī)

- 板載PDM麥克風(fēng), SD卡插槽, Type-C, Grove接口, 豐富的外設(shè)支持樣機(jī)開發(fā)

- Seeed Studio XIAO的可擴(kuò)展性, SenseCraft Al的現(xiàn)成AI模型用于無代碼部署。

- 支持各種有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

寫在最后

SenseCraft-AI平臺的模型倉數(shù)量還很少，但是好消息是它支持自定義模型上傳并輸出推理結(jié)果，平臺會逐漸增加模型倉的數(shù)量和分享愛好者設(shè)計的模型倉原型，敬請關(guān)注！