在Android移動設備上應用機器學習

　　介紹

　　在現(xiàn)代世界中，機器學習被用于各個領域：圖像分類、消費者需求預測、針對特定人群的電影和音樂推薦、聚類。同時，對于相當大的模型，結果計算（以及更大程度的模型訓練）可能是一項資源密集型操作。

　　為了在最強大的設備以外的設備上使用經(jīng)過訓練的模型，谷歌推出了其 TensorFlow Lite 框架。要使用它，您需要訓練使用 TensorFlow 框架（不是 Lite！）構建的模型，然后將其轉換為 TensorFlow Lite 格式。之后，該模型可以很容易地在嵌入式或移動設備上使用。

　　在本文中，我們將描述在 Android 上運行模型的所有步驟。

　　模型的訓練和遷移

　　例如，采用標準 MobileNet 模型之一。培訓將在一組圖片 ILSVRC-2012-CLS 上進行。

　　為了訓練，我們將在一個相當強大的 Linux OS 機器上下載一組模型：

　　git 克隆https://github.com/tensorflow/models.git

　　根據(jù)網(wǎng)站https://docs.bazel.build/versions/master/install.html上的說明安裝名為 Bazel的構建系統(tǒng)。

　　啟動模型訓練：

　　bazel build -c opt mobilenet_v1_{eval，train}

　　。/bazel-bin/mobilenet_v1_train --dataset_dir 圖片集的路徑

　　--checkpoint_dir 檢查點的路徑

　　這些命令將執(zhí)行模型的訓練并創(chuàng)建帶有 * .tflite 擴展名的文件，以供 TensorFlow Lite 解釋器使用。

　　在更一般的情況下，如果需要使用使用 TensorFlow 框架描述的模型，那么在訓練之后，應該使用轉換器將其保存并轉換為 TensorFlow Lite 格式：https://www.tensorflow.org/lite /轉換/索引。在我們的例子中，這一步不是必需的。

　　安卓應用

　　該應用程序將包含以下功能：

　　實時從相機捕獲圖像

　　使用 TensorFlow Lite 模型進行圖像分類

　　在屏幕上顯示分類結果

　　來自https://github.com/tensorflow/examples/網(wǎng)站的“image_classification”示例的源代碼可用作此應用程序的模板。

　　實時圖像捕捉

　　將使用“android.hardware.camera2”框架，從 Android 5 開始可用。使用 CameraManager 系統(tǒng)服務，我們將通過實現(xiàn) OnImageAvailableListener 接口在 onImageAvailable 方法中訪問相機并接收幀。

　　幀每秒會出現(xiàn)幾次，頻率取決于內置攝像頭的硬件實現(xiàn)。為了清楚起見，我們還將通過將 TextureView 組件放置在尺寸與屏幕尺寸匹配的布局中，將從相機接收到的圖像顯示在屏幕上（除了 TextureView 底部的一小部分，我們將在其中放置信息關于對象分類的結果）。為此，我們將此組件與相機的輸出相關聯(lián)。

　　在onImageAvailable方法中，我們會首先通過調用acquireLatestImage（）獲取最后一個可用幀?？赡軙霈F(xiàn)幀分類耗時較長的情況，在此期間，相機可能會發(fā)出多幀。這就是為什么我們取最后一幀，跳過未處理的幀?？蚣懿捎?YUV420 格式。讓我們通過將 convertYUV420 調用到 ImageUtils 庫來將其轉換為 ARGB8888 格式。由于我們需要的格式是范圍從 -1 到 1 的單精度浮點數(shù)數(shù)組，因此我們也將執(zhí)行此轉換。

　　圖像分類

　　在執(zhí)行分類之前，在應用程序執(zhí)行開始時，需要從存儲在 Assets 目錄中的應用程序本身的連線文件中加載模型。需要將“模型的訓練與遷移”階段獲得的模型文件mobilenet_v1_1.0_224.tflite復制到該目錄，以及分類對象的描述label.txt。

　　之后，將創(chuàng)建一個 TensorFlow Lite 解釋器對象。模型作為構造函數(shù)參數(shù)傳遞。

　　通過簡單地調用解釋器的 run 方法來執(zhí)行分類。該方法的第一個參數(shù)是一個可識別的幀，格式為浮點數(shù)數(shù)組，我們從相機中獲得。第二個參數(shù)是一個浮點數(shù)組。這些數(shù)組將填充模型的性能結果。在我們的例子中，結果是一個概率數(shù)組。索引為 i 的數(shù)組的每個元素是第 i 個對象在幀中的概率。

　　在屏幕上顯示分類結果

　　讓我們在屏幕上顯示最可能的對象的名稱，使用文件中預加載的對象名稱，名稱存儲在 Assets 中。在我們使用的模型中，名稱是英文的，但您可以通過更改文件 labels.txt 預先將它們翻譯成俄文。

　　或者，您不僅可以顯示最可能對象的名稱，還可以顯示 3-5 個最可能對象的列表以及相應的概率。

　　結論

　　我們考慮了如何在 Android 操作系統(tǒng)中使用預訓練的圖像分類模型。此外，模型的使用也可以在嵌入式設備上使用，因為 TensorFlow Lite 解釋器還具有 C++ 接口并占用約 300 KB 的內存。

　　審核編輯：郭婷