由TensorFlow Lite構(gòu)建無人駕駛微型汽車，可感應(yīng)車道、讀取交通標志

文 /Miguel de Andrés-Clavera，產(chǎn)品經(jīng)理，Google PI

在本文中，我想與大家分享我們用 TensorFlow Lite 為今年 Google I/O 大會構(gòu)建并展示的演示。很遺憾今年沒能夠進行現(xiàn)場演示，期待這篇文章能為您帶來樂趣與啟發(fā)！

TensorFlow Lite
https://tensorflow.google.cn/lite

Pixelopolis 概覽

Pixelopolis 是一套由 TensorFlow Lite 構(gòu)建的無人駕駛微型汽車。每輛微型汽車都裝配有一部 Pixel 手機，使用手機上的攝像頭檢測和理解周圍的信號。手機使用了Pixel Neural Core 芯片（Edge TPU 支持的端側(cè)機器學(xué)習(xí)），可感應(yīng)車道、避免碰撞和讀取交通標志。

Pixel Neural Core 芯片
https://blog.google/products/pixel/pixel-4/

Edge TPU
https://cloud.google.com/edge-tpu/

邊緣計算是這類項目的理想實現(xiàn)選擇。由于延遲問題，不推薦使用基于云來進行視頻處理和檢測物體。而設(shè)備端操作將大幅提升速度。

用戶可以通過“站點”（手機端的一個應(yīng)用）與 Pixelopolis 進行交互，選擇車輛的目的地。車輛將自動導(dǎo)航到該目的地，并在應(yīng)用顯示車輛行程的實時視頻流，這樣用戶便可以查看車輛周圍及所檢測到的物體。

△ 站點應(yīng)用界面（Pixelopolis 還內(nèi)置了多語言支持）

△ 車輛應(yīng)用

工作原理

使用設(shè)備端的前置攝像頭，我們可以實時保持車道、進行定位和目標檢測。不僅如此，示例中的 Pixel 4 還支持通過 USB-C 接口的擴展，如控制電機或其他電子元件，車輛可在檢測到其他車輛時停車，或者以正確的交互方式實現(xiàn)轉(zhuǎn)向。

如果您對技術(shù)細節(jié)感興趣，下文將繼續(xù)為您介紹車輛的主要組件以及我們的構(gòu)建過程。

保持車道

我們探索用于保持車道的多種模型 。作為基線，我們使用卷積神經(jīng)網(wǎng)絡(luò) (CNN) 來檢測每幀圖像內(nèi)的交通指示線，并以每幀為一個單位調(diào)整方向盤，這種方案效果良好。我們還通過添加了 LSTM 并使用前期拍攝的多個幀改進了方案。經(jīng)過更多實驗后，我們采用了與這篇論文類似的模型架構(gòu)。

論文
https://images.nvidia.com/content/tegra/automotive/images/2016/solutions/pdf/end-to-end-dl-using-px.pdf

△ CNN 模型的輸入和輸出

模型架構(gòu)

net_in = Input(shape = (80, 120, 3)) x = Lambda(lambda x: x/127.5 - 1.0)(net_in) x = Conv2D(24, (5, 5), strides=(2, 2),padding="same", activation='elu')(x) x = Conv2D(36, (5, 5), strides=(2, 2),padding="same", activation='elu')(x) x = Conv2D(48, (5, 5), strides=(2, 2),padding="same", activation='elu')(x) x = Conv2D(64, (3, 3), padding="same",activation='elu')(x) x = Conv2D(64, (3, 3), padding="same",activation='elu')(x) x = Dropout(0.3)(x) x = Flatten()(x) x = Dense(100, activation='elu')(x) x = Dense(50, activation='elu')(x) x = Dense(10, activation='elu')(x) net_out = Dense(1, name='net_out')(x) model = Model(inputs=net_in, outputs=net_out)

數(shù)據(jù)收集

在使用此模型之前，我們需要為訓(xùn)練車輛收集圖像數(shù)據(jù)。但當(dāng)時我們并沒有汽車或軌道可以使用。因此，我們決定使用模擬器。我們使用 Unity 以及 Udacity 中的模擬器項目來收集車道保持數(shù)據(jù)。

△ 模擬器中的軌道中上設(shè)有多個路徑點

通過在軌道上設(shè)置多個路徑點，微型汽車可以行駛到不同的地點，并從中收集數(shù)據(jù)。在此模擬器中，我們每 50 毫秒收集一次圖像數(shù)據(jù)和轉(zhuǎn)角數(shù)據(jù)。

微型汽車
https://assetstore.unity.com/packages/essentials/asset-packs/standard-assets-for-unity-2017-3-32351

圖像增強

△ 各種環(huán)境下的數(shù)據(jù)增強

由于所有數(shù)據(jù)收集工作都是在模擬器內(nèi)完成，我們需要在場景中創(chuàng)建各種不同的環(huán)境，因為我們希望模型能夠應(yīng)對不同的光照、背景環(huán)境和其他噪聲的影響。

我們將以下變量添加到場景中：隨機的 HDRI 球體（具有不同的旋轉(zhuǎn)模式和曝光值）、隨機的環(huán)境亮度和顏色以及隨機出現(xiàn)的車輛。

訓(xùn)練

△ 第一層神經(jīng)網(wǎng)絡(luò)的輸出

由于我們僅使用模擬器來訓(xùn)練機器學(xué)習(xí)模型，方案有可能在現(xiàn)實環(huán)境中無法奏效，或無法一次嘗試就成功。在我們的實驗中，車輛在軌道上行駛數(shù)秒后便會因各種原因偏離軌道。

△ 早期版本中玩具車偏離了軌道

后來，我們發(fā)現(xiàn)這是由于我們大多使用直線軌道訓(xùn)練模型。為解決這種數(shù)據(jù)不均衡的問題，我們在場景中添加了各種形狀的曲線。

△（左）方形軌道與（右）彎曲軌道

修正數(shù)據(jù)集不均衡的問題后，車輛便開始能夠在彎道處正確轉(zhuǎn)向。

△車輛在彎道處成功轉(zhuǎn)彎

使用最終軌道設(shè)計進行訓(xùn)練

△ 最終的軌道設(shè)計

我們開始為車輛設(shè)計更復(fù)雜的路況，如：在軌道上添加多個路口，更多可選擇的路線，我們希望車輛能夠應(yīng)對這些新路況。但是，我們立即遇到了新的問題：當(dāng)車輛試圖在路口處轉(zhuǎn)彎時，由于看到軌道外的隨機出現(xiàn)的物體而轉(zhuǎn)向并撞到了側(cè)方軌道。

△ 在具有多種路線的軌道中訓(xùn)練模型

我們測試了多種解決方案，并選擇了最為簡單有效的一種。我們僅裁剪圖像底部 ? 的部分，并將其錄入到車道保持模型中，然后將模型輸入尺寸調(diào)整為 120x40，有效地化解了上述問題。

△ 裁剪圖像底部以實現(xiàn)車道保持

目標檢測

我們使用目標檢測是出于兩個目的。一是定位。每輛車都需要通過檢測周圍環(huán)境中的物體來獲知其在城市中的位置（在本例中，我們所檢測的是城市中的交通標志）。另一個則是檢測其他車輛，以免車輛相撞。

選擇目標檢測器模型時，TensorFlow 目標檢測模型庫中已提供了許多模型。但針對 Pixel 4 Edge TPU 設(shè)備，我們使用了 ssd_mobilenet_edgetpu 模型。

提供
https://github.com/tensorflow/models/tree/master/research/object_detection

Pixel 4 的“Neural Core” Edge TPU 上使用 ssd_mobilenet_edgetpu 模型可實現(xiàn)目前最快的 MobileNet 目標檢測。每幀僅用時 6.6 毫秒，該檢測速度對于實時應(yīng)用的要求而言已綽綽有余。

ssd_mobilenet_edgetpu
https://storage.cloud.google.com/mobilenet_edgetpu/checkpoints/ssdlite_mobilenet_edgetpu_coco_quant.tar.gz

△ Pixel 4 Edge TPU 模型性能

數(shù)據(jù)標注和模擬

我們使用模擬器和真實場景中的圖像數(shù)據(jù)來訓(xùn)練模型。接下來，我們使用 Unreal Engine 4 開發(fā)了自己的模擬器。模擬器會生成隨機物體和隨機背景，以及可在 TensorFlow 目標檢測 API中使用的 Pascal VOC 格式注解文件。

Unreal Engine 4
https://www.unrealengine.com/

TensorFlow 目標檢測 API
https://github.com/tensorflow/models/tree/master/research/object_detection

△ 使用 UE4 的目標檢測模擬器

對于從真實場景拍攝的圖像，我們需要使用 labelImg 工具進行手動標注。

△ 使用 labelImg 執(zhí)行數(shù)據(jù)標注

訓(xùn)練

△ 損失報告

我們使用 TensorBoard來監(jiān)控訓(xùn)練進度及評估 mAP（平均精度，需要手動執(zhí)行該步驟）。

TensorBoard
https://tensorflow.google.cn/tensorboard

△ TensorBoard 界面

△ 檢測結(jié)果和實際標簽

TensorFlow Lite

由于我們希望在運行 Android 的 Pixel 4 設(shè)備上運行機器學(xué)習(xí)模型，需將模型轉(zhuǎn)換為 .tflite 格式。當(dāng)然，對于 iOS 和其他設(shè)備（包括微控制器）也可使用 TensorFlow Lite。以下是我們執(zhí)行的步驟：

車道保持

首先，我們使用以下代碼將車道保持模型從 .h5 格式轉(zhuǎn)換為 .tflite 格式：

import tensorflow as tf converter = tf.lite.TFLiteConverter.from_keras_model_file("lane_keeping.h5") model = converter.convert() file = open("lane_keeping.tflite",'wb') file.write( model ) file.close()

現(xiàn)在，模型已經(jīng)為該 Android 項目準備就緒。接下來，我們在應(yīng)用中建立車道保持類。我們從此處的示例 Android 項目著手。

目標檢測我們必須將模型 checkpoint (.ckpt) 轉(zhuǎn)換為 TensorFlow Lite 格式 (.tflite)

使用 export_tflite_ssd_graph.py 腳本將 .ckpt 轉(zhuǎn)換為 .pb 文件（TensorFlow 目標檢測 API 中已提供該腳本）

使用 toco: TensorFlow Lite Converter 將 .pb 轉(zhuǎn)換為 .tflite 格式

export_tflite_ssd_graph.py
https://github.com/tensorflow/models/blob/master/research/object_detection/export_tflite_ssd_graph.py

使用 Neural Core

我們使用此處提供的 Android 示例項目。然后，我們使用以下代碼修改了 delegate 以使用 Pixel 4 Edge TPU。

Interpreter.Options tfliteOptions = new Interpreter.Options(); nnApiDelegate = new NnApiDelegate(); tfliteOptions.addDelegate(nnApiDelegate); tfLite = new Interpreter(loadModelFile(assetManager, modelFilename),tfliteOptions);

此處
https://tensorflow.google.cn/lite/models/object_detection/overview

實時視頻流

在用戶選擇目的地后，車輛將開始無人駕駛。車輛行駛期間會將其周圍影像以視頻流傳輸?shù)健罢军c”手機。剛開始實現(xiàn)此部分時，我們意識到無法流式傳輸原始的視頻流，因為需要在多部車載手機和“站點”手機之間傳輸，數(shù)據(jù)量很大。因此我們將原始圖像幀壓縮為 JPEG 格式，然后以 HTTP Content-type：multipart/x-mixed-replace 的 http 協(xié)議流式傳輸 JPEG。這樣，我們就可以同時傳輸多個視頻流，且設(shè)備之間無明顯延遲。

服務(wù)器應(yīng)用

服務(wù)器堆棧

服務(wù)器端使用 NodeJS 與 MongoDB。

叫車

由于站點和車輛數(shù)量眾多，我們需要找到匹配兩者的有效方案。我們構(gòu)建了類似熱門打車應(yīng)用的預(yù)訂系統(tǒng)。我們的預(yù)訂系統(tǒng)包含 3 個步驟。首先，車輛連接到服務(wù)器，并告知服務(wù)器車輛已準備好，可供預(yù)訂。然后，站點 App 連接到服務(wù)器，并向服務(wù)器查詢車輛。最后，服務(wù)器將查找準備就緒的車輛并將兩者匹配，并為匹配好的站點 App 和車輛 App 儲存設(shè)備 ID。

導(dǎo)航

△ 節(jié)點/連線

由于將有多輛車穿梭于城市各處，我們需要找到一種有效的導(dǎo)航方法。我們采用了“節(jié)點/連線”的概念。節(jié)點是地圖上的一處地點，連線是兩個節(jié)點之間的路徑。然后，我們將每個節(jié)點映射到城市中的實際標志處。

△ 軌道和標志位置俯視圖

在站點應(yīng)用中選擇目的地后，站點便會向服務(wù)器發(fā)送節(jié)點 ID，接著，服務(wù)器將返回一個包含節(jié)點及其屬性列表的對象，以便車輛知道行程目的地以及將看到的預(yù)期標志。

電子設(shè)備

部件

我們首先使用 NUCLEO-F411RE 作為開發(fā)板。我們選擇使用 Dynamixel 配置電機。

△ NUCLEO-F411RE

我們設(shè)計并開發(fā)了用于諸如電機等其他組件的屏蔽罩，以精簡車輛底盤內(nèi)的布線量。屏蔽罩包含三個部分：1) 電池電壓測量電路，2) 帶 MOSFET 的 On/Off 開關(guān)，3) 按鈕。

△（左）屏蔽罩和電機，（右）電源插座、電源開關(guān)、電機啟動按鈕、電機重置按鈕、開發(fā)板狀態(tài) LED、電機狀態(tài) LED

在后面的階段中，我們希望縮減車輛尺寸，因此我們從 NUCLEO-F411RE 遷移到 NUCLEO-L432KC，因為其尺寸更小。

△ NUCLEO-L432KC

車輛底盤和外觀

第一代

△ 第一代設(shè)計

我們設(shè)計并使用 PLA 材料 3D 打印了車輛底盤。前輪為腳輪。

第二代

△ 第二代設(shè)計

我們在開發(fā)板上添加了電池測量電路，在手機拆下后開發(fā)板后將切斷電源。

第三代

△ 第三代設(shè)計

我們添加了狀態(tài) LED 指示燈，以實現(xiàn)輕松調(diào)試。在上一版本中，我們遇到了電機過熱的問題，因此在此版本中，我們在電機上添加風(fēng)扇來改善通風(fēng)效果。我們還在開發(fā)板上添加了 USB Type-C 電力傳輸電路，使手機可以使用車載電池。

第四代

△ 第四代設(shè)計

我們將所有控制按鈕和狀態(tài) LED 指示燈都移動到了車輛后部，以方便操作。

第五代

△ 第五代設(shè)計

此為最終版本，我們需要盡可能縮小車輛尺寸。首先，我們將開發(fā)板從 NUCLEO-F411RE 改為 NUCLEO-L432KC，以實現(xiàn)更小占用空間。然后，我們將前輪更改為球形腳輪。接下來，我們將開發(fā)板的位置重新調(diào)整到車輛頂部，并將電池疊放到開發(fā)板下方。最后，我們?nèi)∠?USB Type-C 電力傳輸電路，因為我們希望電池電量能夠全部供應(yīng)給開發(fā)板和電機而非手機，從而延長行駛時間。

性能指標

未來計劃

我們計劃在多個方面改善體驗：

電池

目前，電機和控制器驅(qū)動板由三組 3000mAh 鋰離子電池供電，我們設(shè)計了一個充電電路來充電。充電時，車輛需移動到充電站，并將電源適配器插入車輛后部進行充電。這種設(shè)計有很多不足：車輛在充電時無法行駛，且充電時間長達數(shù)小時。

△ 3000mAh 鋰離子電池（左）與 18650 鋰離子電池（右）

我們希望通過更換為 18650 鋰電池來縮短充電過程。后者因容量大、體積小的特點，廣泛用于筆記本電腦、工具和電動自行車等電子產(chǎn)品中。這樣，當(dāng)車子沒電時僅需更換電池，并用電池充電器為舊電池充電，而無需將車輛一直停放在充電站。

定位

△ SLAM 定位

定位過程對于此裝置而言至關(guān)重要，我們希望在應(yīng)用內(nèi)加入 SLAM 技術(shù)來提高定位的穩(wěn)定性。我們相信這將大大改善轉(zhuǎn)彎機制。

了解詳情

非常感謝您的閱讀！手機攝像頭配合 TensorFlow，再加上一點點想象力，可以實現(xiàn)萬千可能。希望這篇文章能夠帶給您靈感并將其應(yīng)用于自己的項目 - 我們在本項目中收獲了很多知識與經(jīng)驗，希望您也能在您的項目中有所收獲。本文提供了多項資源的鏈接，供您深入研究不同領(lǐng)域，您也可以從 TensorFlow Hub的開發(fā)者學(xué)習(xí)社區(qū)中提供的大量機器學(xué)習(xí)模型和教程來進一步學(xué)習(xí)相關(guān)知識。

TensorFlow Hub
https://tfhub.dev/

如果您對制造無人駕駛汽車興趣濃厚，并且想要深入了解機器學(xué)習(xí)和深度學(xué)習(xí)如何推動無人駕駛汽車行業(yè)的發(fā)展，請查看 Udacity 中的無人駕駛汽車納米學(xué)位項目。對于希望在無人駕駛汽車的各個方面（包括計算機視覺、傳感器融合與定位）獲得全面培訓(xùn)的工程師和學(xué)生而言，此項目是理想的選擇。

無人駕駛汽車納米學(xué)位項目
https://www.udacity.com/course/self-driving-car-engineer-nanodegree--nd013

致謝

本項目的實現(xiàn)離不開以下杰出才干的專業(yè)與付出：Sina Hassani、Ashok Halambi、Pohung Chen、Eddie Azadi、Shigeki Hanawa、Clara Tan Su Yi、Daniel Bactol、Kiattiyot Panichprecha Praiya Chinagarn、Pittayathorn Nomrak、Nonthakorn Seelapun、Jirat Nakarit、Phatchara Pongsakorntorn、Tarit Nakavajara、Witsarut Buadit、Nithi Aiempongpaiboon、Witaya Junma、Taksapon Jaionnom 和 Watthanasuk Shuaytong。

責(zé)任編輯：xj

原文標題：Pixelopolis：由 TensorFlow Lite 構(gòu)建無人駕駛微型汽車

文章出處：【微信公眾號：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。