構(gòu)建一個具有人工智能的農(nóng)業(yè)監(jiān)測系統(tǒng)

import matplotlib.pyplot as plt
import cv2
plt.figure(figsize=(20,20))
tama?o = 50
for i, (imagen, etiqueta) in enumerate(datos['train'].take(25)):
imagen = cv2.resize(imagen.numpy(), (tama?o, tama?o))
plt.subplot(5, 5, i+1)
plt.imshow(imagen)

?

3.拆分數(shù)據(jù)庫進行訓(xùn)練

train_data = []
for i, (imagen, etiqueta) in enumerate(datos['train']):
imagen = cv2.resize(imagen.numpy(), (tama?o, tama?o))
imagen = imagen.reshape(tama?o, tama?o, 3)
train_data.append([imagen, etiqueta])

#Prepare my variables X (inputs) and y (labels) separately
X_data = [] #imagenes de entrada (pixeles)
y_data = [] #etiquetas
for imagen, etiqueta in train_data:
X_data.append(imagen)
y_data.append(etiqueta)

4.將Xdata和Ydata轉(zhuǎn)換為數(shù)組

import numpy as np
X_data = np.array(X_data).astype(float) / 255

y_data = np.array(y_data)

5. 構(gòu)建神經(jīng)網(wǎng)絡(luò)：初始層、隱藏層和輸出層具有各自的激活函數(shù)

modeloCNN = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(50, 50, 3)),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Conv2D(64, (3,3), activation='relu'),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Conv2D(128, (3,3), activation='relu'),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(100, activation='relu'),
tf.keras.layers.Dense(38, activation='softmax')
])

?

6.我們編譯模型：

modeloCNN.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
modeloCNN2.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])

7.我們重新訓(xùn)練模型：

from tensorflow.keras.callbacks import TensorBoard
from tensorflow.keras.preprocessing.image import ImageDataGenerator
datagen = ImageDataGenerator(
rotation_range=30,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=15,
zoom_range=[0.7, 1.4],
horizontal_flip=True,
vertical_flip=True
)
datagen.fit(X_data)
plt.figure(figsize=(20,8))
for imagen, etiqueta in datagen.flow(X_data, y_data, batch_size=10, shuffle=False):
for i in range(10):
plt.subplot(2, 5, i+1)
plt.xticks([])
plt.yticks([])
plt.imshow(imagen[i].reshape(50, 50, 3))
break

from keras.models import Sequential
from keras.layers import Convolution2D, MaxPooling2D, Dropout
from keras.layers import Flatten, Dense
from keras.layers import Conv2D, GlobalAveragePooling2D
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras.layers import Conv2D, MaxPooling2D, GlobalAveragePooling2D
from keras.layers import Dropout, Flatten, Dense
from keras.models import Sequential

8. 我們創(chuàng)建初始模型：

modeloCNN_AD = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(50, 50, 3)),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Conv2D(64, (3,3), activation='relu'),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Conv2D(128, (3,3), activation='relu'),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(100, activation='relu'),
tf.keras.layers.Dense(38, activation='softmax')
])
X_train = X_data[:40000]
X_valid = X_data[40000:]
y_train = y_data[:40000]
y_valid = y_data[40000:]

modeloCNN_AD.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])

data_gen_train = datagen.flow(X_train, y_train, batch_size=32)

tensorboardCNN_AD = TensorBoard(log_dir='logs/cnn_AD')
modeloCNN_AD.fit(
data_gen_train,
epochs=100, batch_size=32,
validation_data=(X_valid, y_valid),
steps_per_epoch=int(np.ceil(len(X_train) / float(32))),
validation_steps=int(np.ceil(len(X_valid) / float(32))),
callbacks=[tensorboardCNN_AD]
)

9、訓(xùn)練結(jié)果：

?

10.我們下載模型：

modeloCNN_AD.save('my_model-cnn-ad.h5')

模型量化

1. 將訓(xùn)練和數(shù)據(jù)庫產(chǎn)生的模型導(dǎo)入 Vitis AI 中創(chuàng)建的量化代碼。

2.我們定義我們的量化模型：

def quantize(train_generator, model):
    
    # run quantization
    quantizer = vitis_quantize.VitisQuantizer(model)
    #quantizer = tfmot.quantization.keras.quantize_model(model)
    quantized_model = quantizer.quantize_model(calib_dataset=train_generator, calib_batch_size=10)

3.我們保存量化模型：

# save quantized model
    quantized_model.save('quantized_model.h5')
    return (quantized_model)

匯編

1. 創(chuàng)建 unarchivo llamado arch.json donde asignamos la configuración de la DPU

{
    "fingerprint":"0x1000020F6014406"
}

2. Aplicamos el comando source compile.sh donde aparece la ubicación del archivo arch.json。

compile() {
      vai_c_tensorflow2 \
            --model           quantized_model.h5 \
            --arch            $ARCH \
            --output_dir      build/compiled_$TARGET \
            --net_name        customcnn
}


compile 2>&1 | tee build/logs/compile_$TARGET.log

3.我們的模型生成的這些.xmodel文件通過SFTP連接上傳到板子。

sftp petalinux@ 

4.我們執(zhí)行以下命令：

lcd ..
put -r compiled_$TARGET

5. 接下來，在開發(fā)板上啟動 petalinux，我們繼續(xù)創(chuàng)建以下文件：

• aiiference.json
• 繪制結(jié)果.json
• 預(yù)處理.json

6.這三個文件必須位于目錄中：

sudo cp yolov2tiny/aiinference.json /opt/xilinx/share/ivas/smartcam/ssd/aiinference.json
sudo cp yolov2tiny/preprocess.json /opt/xilinx/share/ivas/smartcam/ssd/preproces.json
sudo cp yolov2tiny/drawresult.json /opt/xilinx/share/ivas/smartcam/ssd/drawresult.json

7. 我們測試我們的項目在相機上運行良好，并且我們的機器學(xué)習(xí)模型運行良好：

sudo xmutil unloadapp
sudo xmutil loadapp kv260-smartcam
sudo smartcam --usb 0 -W 1920 -H 1080 --target rtsp --aitask ssd

?

使用 Pynq 配置傳感器

對于這個項目，我們需要啟用和使用 Pmod 端口并將傳感器與Pynq Grove 適配器連接。

我們將初步分析：

• 溫度
• 濕度
• 水位

?

?

?

?

1.創(chuàng)建一個目錄來包含我們需要的所有文件：

project-spec/meta-user/recipes-apps

2.創(chuàng)建一個.bb文件：

> vim python3-pynq-temp&hum.bb

3. 我們直接從根目錄安裝傳感器的包。

SRC_URI = "https://pynq.readthedocs.io/en/v2.0/_modules/pynq/lib/pmod/pmod_tmp2.html#:~:text=lib.pmod.pmod_tmp2-,Edit%20on%20GitHub,-Note" 
SRC_URI[md5sum] = "ac1bfe94a18301b26ae5110ea26ca596"
SRC_URI[sha256sum] = "f522c54c9418d1b1fdb6098cd7139439d47b041900000812c51200482d423460" 
SRCREV = "0e10a7ee06c3e7d873f4468e06e523e2d58d07f8"S = "${WORKDIR}/git"

inherit xilinx-pynq setuptools3

4. Xilinx-pynqclass 將創(chuàng)建一個PYNQ_NOTEBOOK_DIR變量，該變量將被打包在 notebook 子包中，但我們?nèi)匀恍枰_保環(huán)境正確，配方才能正確運行。在這種情況下，我們需要設(shè)置PYNQ_JUPYTER_NOTEBOOK環(huán)境變量。 BOARD setup.py還期望筆記本目錄存在，因此我們需要創(chuàng)建它。為此，我們可以在編譯的不同步驟之前添加說明。

do_compile_prepend() {   export BOARD=KV260   export PYNQ_JUPYTER_NOTEBOOKS=${D}${PYNQ_NOTEBOOK_DIR}}  
do_install_prepend() {   export BOARD=KV260   export PYNQ_JUPYTER_NOTEBOOKS=${D}${PYNQ_NOTEBOOK_DIR}  install -d ${PYNQ_JUPYTER_NOTEBOOKS}}  
do_configure_prepend() {   export BOARD=KV260   export PYNQ_JUPYTER_NOTEBOOKS=${D}${PYNQ_NOTEBOOK_DIR}  install -d ${PYNQ_JUPYTER_NOTEBOOKS}}

5. 我們需要定義獨立性。

RDEPENDS_${PN} += "\         
python3-pynq \         
python3-pillow \         
pynq-overlay \         
libstdc++ \         "  

RDEPENDS_${PN}-notebooks += "\         
python3-jupyter \ "

6. 運行：

> petalinux-build -c python3-pynq-temp&hum

7. 我們可能會遇到需要修復(fù)的兼容性錯誤，方法是創(chuàng)建一個用簡單添加替換格式字符串的補丁。

8. 我們必須將補丁放在一個子文件夾中才能被識別。

> mkdir python3-pynq-temp&hum 
> cp $patch_file python3-pynq-temp?hum/build-fixes.patch

有必要用一個頁面來告訴我們。

?

9. 現(xiàn)在我們必須執(zhí)行命令，以便 Petalinux 識別新安裝的軟件包。

> cd ../../ 
> vim conf/user-rootfsconfig
CONFIG_python3-pynq-temp?hum 
CONFIG_python3-pynq-temp?hum-notebooks

> petalinux-config -c rootfs

10. 現(xiàn)在我們可以創(chuàng)建完整的圖像了：

> petalinux-build
> petalinux-package --boot --u-boot --atf --pmufw

11. 我們可以測試板子，它會給我們終端地址來直接啟動 Jupyter。

12. 我們?yōu)槲覀兊膫鞲衅鬟\行代碼，它們可以在這個項目的最后找到。

谷歌云物聯(lián)網(wǎng)配置

為了實時可視化我們的作物并獲取傳感器記錄的圖表，我們使用 Jupyter Notebook 配置了 Google Cloud。

?

?

?

?

?

1 / 2

?

?

https://cloud.google.com/sql/docs/mysql/high-availability#normal

?

?

驚厥神經(jīng)網(wǎng)絡(luò)模型的表格數(shù)據(jù)庫

它使用了 20 多種不同類型農(nóng)作物的 5000 多張參考圖像，您可以在此處獲取。

?

賽后進展：我們希望能夠整合用于噴灑除草劑的電動泵系統(tǒng)、用于作物灌溉的水以及開發(fā)與谷歌云集成的移動應(yīng)用程序，從而使農(nóng)場實現(xiàn)自動化。

同樣，我們希望與賽靈思一起，通過 Pynq 實現(xiàn)更多對極端條件具有更強抵抗力的傳感器，以實時和持續(xù)監(jiān)測新變量，例如磷、鉀的水平、氣體的存在、我們系統(tǒng)中的紅外攝像機。農(nóng)業(yè)氣候監(jiān)測。

非常感謝整個 Xilinx 團隊有機會使用最先進的產(chǎn)品開發(fā)項目，并隨時為我們提供支持，使該項目的開發(fā)得以實現(xiàn)。

?