使用TensorFlow Model Analysis提升模型質(zhì)量

簡介

在開發(fā)過程中調(diào)整模型時，您需要檢查所做的更改是否對模型性能有所改善。只檢查準(zhǔn)確度可能不夠。例如，如果您擁有關(guān)于某個問題的分類器，并且對于該問題，95% 的實例為陽性，那么您可能只需一直預(yù)測陽性即可提高準(zhǔn)確度，但您無法擁有一個非常穩(wěn)健的分類器。

概述

TensorFlow Model Analysis 的目標(biāo)是為在 TFX 中開展模型評估提供機制。使用 TensorFlow Model Analysis，您可以在 TFX 管道中開展模型評估，并在 Jupyter 筆記本中查看結(jié)果指標(biāo)和圖表。具體來說，它能夠提供：

根據(jù)整個訓(xùn)練過程、預(yù)留數(shù)據(jù)集以及次日評估計算出的指標(biāo)

指標(biāo)實時追蹤功能

不同功能切片的模型質(zhì)量性能

從您的模型中導(dǎo)出 EvalSavedModel

為在 TFX 管道中安裝 TensorFlow Model Analysis，您需要在訓(xùn)練過程中導(dǎo)出 EvalSavedModel，這是一種特殊的 SavedModel，包含對您模型中指標(biāo)、功能、標(biāo)簽等內(nèi)容的注釋。TensorFlow Model Analysis 使用此 EvalSavedModel 來計算指標(biāo)。

作為計算過程的一部分，您需要提供一個特殊的 eval_input_receiver_fn，其與 serving_input_receiver_fn 類似，能夠從輸入數(shù)據(jù)中提取功能和標(biāo)簽。與使用 serving_input_receiver_fn 一樣，我們會提供效用函數(shù)幫助您完成此項操作。大多數(shù)情況下，您需要增加少于 20 行的代碼。

在 Jupyter 筆記本中可視化

評估結(jié)果在 Jupyter 筆記本中呈現(xiàn)。

評估標(biāo)簽

界面由三部分組成：

指標(biāo)選擇器

默認(rèn)情況下，Jupyter 筆記本會顯示所有計算出的指標(biāo)，并按字母順序分列展示。指標(biāo)選擇器使用戶能夠添加 / 移除 / 重新排列指標(biāo)。您只需在下拉列表中勾選 / 取消選中指標(biāo)（按住 Ctrl 鍵進(jìn)行多選）或直接在輸入框中鍵入 / 重新排列指標(biāo)

時間序列圖表

時間序列圖表使您可以根據(jù)數(shù)據(jù)跨度或模型運行情況輕松發(fā)現(xiàn)特定指標(biāo)的趨勢。如要呈現(xiàn)感興趣指標(biāo)的圖表，只需在下拉列表中點擊該指標(biāo)。若要關(guān)閉圖表，請點擊右上角的 “X”

將鼠標(biāo)懸停在圖表中的任意一個數(shù)據(jù)點，即會出現(xiàn)一個提示框，顯示模型運行情況、數(shù)據(jù)跨度和指標(biāo)數(shù)值

指標(biāo)表格

指標(biāo)表格匯總指標(biāo)選擇器中選中的所有指標(biāo)的結(jié)果。您可以點擊指標(biāo)名稱對其進(jìn)行排序

切分指標(biāo)標(biāo)簽

切分指標(biāo)標(biāo)簽展示特定評估運行中不同切片的執(zhí)行方式。請選擇所需配置（評估、功能等）并點擊刷新。

網(wǎng)址會在刷新時更新，并包含一個對所選配置進(jìn)行編碼的深層鏈接，該鏈接可共享。

界面由三部分組成：

指標(biāo)選擇器

參見上文

指標(biāo)可視化

指標(biāo)可視化旨在為所選功能的切片提供直觀反饋。您可以使用快速過濾功能濾除加權(quán)樣本數(shù)較小的切片

Jupyter 筆記本支持兩種可視化方式：

切片概覽

在此視圖中，Jupyter 筆記本針對每個切片呈現(xiàn)所選指標(biāo)的數(shù)值，并可根據(jù)切片名稱或其他指標(biāo)數(shù)值對切片進(jìn)行排序。

當(dāng)切片數(shù)量很小時，此為默認(rèn)視圖。

指標(biāo)直方圖

在此視圖中，Jupyter 筆記本根據(jù)切片的指標(biāo)數(shù)值將其分為不同的存儲分區(qū)。每個存儲分區(qū)中顯示的數(shù)值 value(s) 可能是該存儲分區(qū)的切片數(shù)量，也可能是總加權(quán)樣本數(shù)，抑或二者皆有。

點擊齒輪圖標(biāo)，即可更改存儲分區(qū)的數(shù)量，并可在設(shè)置菜單中應(yīng)用對數(shù)縮放。

您也可以在直方圖視圖中濾除離群值。如下方屏幕截圖所示，只需在直方圖中拖動所需范圍即可。

當(dāng)切片數(shù)量很大時，此為默認(rèn)視圖。