基于Intel Analytics Zoo上分布式TensorFlow的美的/KUKA工業(yè)檢測平臺

背景

工業(yè)檢查（用于產(chǎn)品缺陷檢測）是現(xiàn)代制造業(yè)的重要組成部分。隨著人工智能，計(jì)算機(jī)視覺和大數(shù)據(jù)技術(shù)的發(fā)展，我們可以建立先進(jìn)的工業(yè)檢測系統(tǒng)以實(shí)現(xiàn)和人類水平媲美的準(zhǔn)確性，并具有更高的效率和更低的成本。在本文中，我們將分享我們在美的/ KUKA，使用英特爾Analytics Zoo（一個(gè)基于Apache Spark、TensorFlow和BigDL的開源數(shù)據(jù)分析+ AI平臺），來建立基于深度學(xué)習(xí)的工業(yè)檢測平臺的經(jīng)驗(yàn)。

基于Analytics Zoo的端到端的解決方案

為了便于構(gòu)建和生成大數(shù)據(jù)的深度學(xué)習(xí)應(yīng)用程序，AnalyticsZoo（https://github.com/intel-analytics/analytics-zoo）提供了統(tǒng)一的數(shù)據(jù)分析+AI平臺，可將Spark，TensorFlow和BigDL程序無縫集成到一個(gè)統(tǒng)一的數(shù)據(jù)分析流水線中；然后，整個(gè)流水線可以透明地?cái)U(kuò)展到（運(yùn)行在標(biāo)準(zhǔn)的Intel至強(qiáng)服務(wù)器上的）Hadoop/Spark集群，以進(jìn)行分布式訓(xùn)練或推理。

如上圖所示，美的 / KUKA的工業(yè)檢測平臺是一個(gè)建立在Analytics Zoo之上的端到端數(shù)據(jù)分析流水線，包括

（1）使用Spark以分布式方式處理從制造流水線獲取的大量圖像。

（2）使用Tensorflow Object Detection API直接構(gòu)建對象檢測（例如，SSDLite + MobileNet V2）模型

（3）直接使用在第一步中預(yù)處理的圖像RDD，以分布式方式在Spark集群上訓(xùn)練（或微調(diào)）對象檢測模型。

（4）直接使用評估圖像集的RDD，以分布式方式在Spark集群上評估（或推斷）訓(xùn)練模型。

（5）使用Analytics-Zoo中POJO模式的API, 將整個(gè)Pipeline 部署在低延遲的、在線Web 服務(wù)中。

在檢測時(shí)間期間，具有相機(jī)的工業(yè)機(jī)器人可以自動拍攝產(chǎn)品的照片，并通過HTTP將圖像發(fā)送到網(wǎng)絡(luò)服務(wù)以檢測各種缺陷（例如，缺失標(biāo)簽或螺栓等），如下所示。

Spark，TensorFlow和BigDL的統(tǒng)一集成

如前所述，Analytics Zoo提供了“集成數(shù)據(jù)分析”的深度學(xué)習(xí)編程模型，因此用戶可以輕松開發(fā)端到端的數(shù)據(jù)分析+ AI 流水線（使用Spark，TensorFlow，Keras等），然后透明地運(yùn)行在大型Hadoop / Spark集群上、使用BigDL和Spark進(jìn)行分布式訓(xùn)練和推理。此外，用戶還可以輕松部署端到端的流水線，以實(shí)現(xiàn)低延遲的在線服務(wù)（使用Analytics Zoo提供的POJO風(fēng)格的模型服務(wù)API）。

例如，為了以分布式方式處理缺陷檢測流水線的訓(xùn)練數(shù)據(jù)，我們可以使用PySpark將原始圖像數(shù)據(jù)讀取到RDD中，然后應(yīng)用一些變換來解碼圖像，并提取邊界框和類標(biāo)簽，如下所示。

<<<

train_rdd = sc.parallelize(examples_list)

.map(lambda x: read_image_and_label(x))

.map(lambda image: decode_to_ndarrays(image))

<<<

返回的RDD（train_rdd）中的每條記錄都包含一個(gè)NumPy ndarray的列表（即圖像，邊界框，類和檢測到的框的數(shù)量），它可以直接用于創(chuàng)建TensorFlow模型，并在Analytics Zoo上進(jìn)行分布式訓(xùn)練。我們可以通過創(chuàng)建TFDataset （如下所示）來實(shí)現(xiàn)這一功能。

<<<

dataset = TFDataset.from_rdd(train_rdd,

names=["images", "bbox", "classes", "num_detections"],

shapes=[[300, 300, 3],[None, 4], [None], [1)]],

types=[tf.float32, tf.float32, tf.int32, tf.int32],

batch_size=BATCH_SIZE,

hard_code_batch_size=True)

<<<

在Analytics Zoo中，TFDataset表示一個(gè)分布式存儲的記錄集合，其中每條記錄包含一個(gè)或多個(gè)Tensorflow Tensor對象。然后我們可以直接將這些Tensor作為輸入構(gòu)建Tensorflow模型。例如，我們使用

了Tensorflow Object Detection API構(gòu)建了SSDLite + MobileNet V2模型（如下圖所示）：

<<<

# using tensorflow object detection api to construct model

# https://github.com/tensorflow/models/tree/master/research/object_detection

from object_detection.builders import model_builder

images, bbox, classes, num_detections = dataset.tensors

detection_model = model_builder.build(model_config, is_training=True)

resized_images, true_image_shapes = detection_model.preprocess(images)

detection_model.provide_groundtruth(bbox, classes)

prediction_dict = detection_model.predict(resized_images, true_image_shapes)

losses = detection_model.loss(prediction_dict, true_image_shapes)

total_loss = tf.add_n(losses.values())

>>>>

在模型構(gòu)建之后，我們首先加載預(yù)先訓(xùn)練的Tensoflow模型，然后使用Analytics Zoo中的TFOptimizer（如下所示）對模型進(jìn)行微調(diào)訓(xùn)練；最終我們在驗(yàn)證數(shù)據(jù)集上達(dá)到0.97 mAP@0.5。

>>>>

with tf.Session() as sess:

init_from_checkpoint(sess, CHECKPOINT_PATH)

optimizer = TFOptimizer(total_loss, RMSprop(LR), sess)

optimizer.optimize(end_trigger=MaxEpoch(20))

save_to_new_checkpoint(sess, NEW_CHEKCPOINT_PATH)

>>>>

在運(yùn)行過程中，Analytics-Zoo使用PySpark從磁盤中讀取了輸入數(shù)據(jù)并進(jìn)行預(yù)處理，并構(gòu)造了一個(gè)Tensorflow Tensor的RDD。然后，基于BigDL和Spark 對Tensorflow 模型進(jìn)行分布式訓(xùn)練（如BigDL技術(shù)報(bào)告所述）。無需修改代碼或手動配置， 整個(gè)訓(xùn)練流程就可以自動從單個(gè)節(jié)點(diǎn)擴(kuò)展到基于Intel至強(qiáng)服務(wù)器的大型Hadoop / Spark集群。

模型訓(xùn)練結(jié)束后，我們還可以基于與訓(xùn)練流程類似的流水線，使用PySpark，TensorFlow和BigDL在Analytics Zoo上執(zhí)行大規(guī)模的分布式評估/推斷。

低延遲的在線服務(wù)

如下所示，我們也可以使用Analytics Zoo提供的POJO風(fēng)格的模型服務(wù)API輕松部署推理流水線，以實(shí)現(xiàn)低延遲的在線服務(wù)（例如，Web服務(wù)，Apache Storm，Apache Flink等等）。有關(guān)詳細(xì)信息，請參閱 https://analytics-zoo.github.io/master/#ProgrammingGuide/inference/

<<<

AbstractInferenceModel model = new AbstractInferenceModel(){};

model.loadTF(modelPath, 0, 0, false);

List<List<JTensor>> output = model.predict(inputs);

<<<

結(jié)論

Midea / KUKA通過結(jié)合人工智能，計(jì)算機(jī)視覺和大數(shù)據(jù)技術(shù)，在Analytics Zoo（https://github.com/intel-analytics/analytics-zoo）上成功構(gòu)建了先進(jìn)的工業(yè)檢測系統(tǒng)。它使用了工業(yè)機(jī)器人，相機(jī)和英特爾至強(qiáng)服務(wù)器等工具對產(chǎn)品的缺陷進(jìn)行自動檢測。尤其是Analytics Zoo提供統(tǒng)一的數(shù)據(jù)分析 + AI平臺，可將Spark，BigDL和TensorFlow程序無縫集成到一個(gè)數(shù)據(jù)分析流水線中，從而可以輕松構(gòu)建和生產(chǎn)化部署基于大數(shù)據(jù)的深度學(xué)習(xí)應(yīng)用程序（包括分布式訓(xùn)練和推理，以及低延遲在線服務(wù)）。您可以參考Github上的示例了解更多詳細(xì)信息。