TensorFlow 2.0中關(guān)于Keras的一些新功能和重大變化

【導(dǎo)語】早在今年 8 月的時候，谷歌開源戰(zhàn)略師 Edd Wilder-James 在一封公開郵件中表示正在研發(fā) TensorFlow 2.0，并將于今年晚些時候發(fā)布預(yù)覽版。在 2018 年最后半個月的日子里，我們就要迎來了新版本的發(fā)布。

在之前的公開郵件中，Edd Wilder-James 曾提到過一些 TensorFlow 2.0 的設(shè)計思想和重大改變：易用性將成為重點、Eager Execution 將會是核心功能、支持更多的平臺和語言等。

而且未來所有的 tf.contrib 都會被棄用，對于每個 contrib 模塊，要么 a）將項目集成到 TensorFlow 中；b）將其移至單獨(dú)的存儲庫；c）完全將其移除。

在這篇文章中，我們將預(yù)覽 TensorFlow 中高級 API 的未來方向，并回答大家常問的一些問題。

Keras 是廣受開發(fā)者社區(qū)歡迎的高級 API，主要用于構(gòu)建和訓(xùn)練深度學(xué)習(xí)模型。它可以用于快速原型設(shè)計、最先進(jìn)的研究以及實際生產(chǎn)。雖然 TensorFlow 已經(jīng)支持 Keras，但是 2.0 版本將實現(xiàn)更加緊密的集成。

Keras有以下幾大關(guān)鍵優(yōu)點：用戶友好、模塊化、可組合、容易擴(kuò)展，既適合新手，也適合專家。這些優(yōu)點加起來?？梢宰寣W(xué)習(xí)、研究、開發(fā)、部署的工作流更加容易，效率更高。通過將 Keras 構(gòu)建為 TensorFlow 的高級 API，機(jī)器學(xué)習(xí)領(lǐng)域的新手可以更容易上手。通過單一的高級 API 可以減少混淆，讓我們能夠?qū)Ｗ⒂跒檠芯咳藛T提供高級功能。

TensorFlow 2.0 版本發(fā)布在即。我們會先解答下大家比較關(guān)注的幾個問題，然后我們會介紹 TensorFlow2.0中關(guān)于Keras 的一些新功能和重大變化，如Sequential API、Functional API、Model Subclassing API 與 Estimators 等。

FAQ

▌1、問：Keras 是否是一個獨(dú)立的庫？

答：其實，更應(yīng)該把 Keras 視為一個 API。Keras 一直作為一個開源項目進(jìn)行維護(hù)，大家可以在 （www.keras.io.）中找到。這個項目一直獨(dú)立于 TensorFlow，并且擁有一個活躍的貢獻(xiàn)者社區(qū)和用戶社區(qū)。在 tf.keras 模塊里，TensorFlow 有一個特定增強(qiáng)功能的完整 Keras API 實現(xiàn)。

▌2、問：Keras 只是 TensorFlow 或其他庫的一個包裝器嗎？

答：不，這是一個常見的（但可以理解的）錯誤觀念。 Keras 用于定義和訓(xùn)練機(jī)器學(xué)習(xí)模型的 API 標(biāo)準(zhǔn)，它與特定實現(xiàn)無關(guān)：除了 TensorFlow，Keras API 還可以用于 MXNet，TypeScript，JavaScript，CNTK，Theano，PlaidML，Scala，CoreML 和其他庫的實現(xiàn)。

▌3、問：TensorFlow 內(nèi)置的 Keras 版本與 keras.io 上的版本有什么區(qū)別？

答：TensorFlow 包含 Keras API（在 tf.kerasmodule 中）的實現(xiàn)，具有 TensorFlow 特定的增強(qiáng)功能，包括支持EagerExecution，方便直觀調(diào)試和快速迭代，支持 TensorFlow SavedModel模型交換格式，以及分布式訓(xùn)練（包括 TPU）。

當(dāng)用到 tf.keras 模塊的子類 API 時，Eager Execution 特別有用。這類 API 受到 Chainer 的啟發(fā)，大家通過命令行就可以編寫模型。tf.keras 與 TensorFlow 的生態(tài)系統(tǒng)緊密結(jié)合，可以支持：

tf.data 用于構(gòu)建高性能的輸入流。你可以用 Numpy 處理的數(shù)據(jù)來訓(xùn)練模型，或者用 tf.data 來衡量規(guī)模和性能。

分布策略。在跨各種計算平臺時進(jìn)行分布式訓(xùn)練，包括分布在很多機(jī)器上的 GPU 和 TPU。

輸出模型。通過 tf.keras APIs 創(chuàng)建的模型可以在 TensorFlow SavedModel 格式下進(jìn)行序列化，并且可以使用 TensorFlow Serving 或通過其他語言（Java、Go、Rust、C#等）進(jìn)行綁定。

模型可以使用 TensorFlow Lite 部署在移動或嵌入式設(shè)備上，也可以使用 TensorFlow.js。（也可以使用與此相同的 Keras API 直接在 JavaScript 中開發(fā)模型。）

特征列，用于有效地表示和分類結(jié)構(gòu)化數(shù)據(jù)。

如何安裝 tf.keras？我是否需要先通過 pip 安裝 Keras ？

因為 tf.keras 是包含在 TensorFlow 內(nèi)的，所以，大家不用單獨(dú)安裝 Keras。如果在 Colab 中你可以直接運(yùn)行下面的代碼：

然后你就可以使用 tf.keras 了。如果你是安裝新手，可以通過近期教程中的一些例子來檢查是否導(dǎo)入成功。

▌5、TensorFlow 為專家和新手提供了不同 API，如何使用？

TensorFlow 的開發(fā)者們經(jīng)驗、層次都不同，有剛接觸 ML 的學(xué)生們、也有 ML 領(lǐng)域的專家或研究者。而 TensorFlow 的一個優(yōu)點就是它提供了不同的 APIs 支持不同的工作流和目標(biāo)。這也是 TensorFlow 的 Keras 集成的一個主要目標(biāo)，可以讓用戶選擇對自己更有益處的部分，而無需采用 Keras 的整體框架。

Sequential API

如果你正在學(xué)習(xí)機(jī)器學(xué)習(xí)，我們 建議你從 tf.keras Sequential API 開始，它非常直觀、簡潔，適用于機(jī)器學(xué)習(xí)中 95% 的問題。使用這個 API，10 行代碼就能搭建一個神經(jīng)網(wǎng)絡(luò)。

參考案例：

https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/tutorials/_index.ipynb

定義模型的最常用方法是構(gòu)建神經(jīng)網(wǎng)絡(luò)的層圖，最簡單的模型類型是把這些層堆疊起來。 你可以使用 Sequential API 來定義這樣的模型，如下所示：

在 “Learn and UseML”章節(jié)下面，你可以找到更多使用 the Sequential API 的教程，參考鏈接：

https://www.tensorflow.org/tutorials/

Functional API

當(dāng)然，順序模型是一個簡單的神經(jīng)網(wǎng)絡(luò)層堆棧，不能代表任何模型。不過，你可以使用 Functional API 來構(gòu)建更高級的模型，定義復(fù)雜的拓?fù)浣Y(jié)構(gòu)，包括多輸入和多輸出模型，具有共享層的模型以及具有殘差連接的模型。

使用 Functional API 構(gòu)建模型時，神經(jīng)層是可調(diào)用的，并可以返回張量作為輸出。然后可以使用這些輸入張量和輸出張量來定義模型。 例如：

上面的模型同樣可以使用簡單的代碼來進(jìn)行編譯和訓(xùn)練。

Model Subclassing API

如果你想搭建完全可自定義的模型，那么可以使用 Model Subclassing API。在類方法（class method）的主體中，你必須以這種方式定義前向傳播。

這樣的模型更靈活，但是也更難調(diào)試。所有這三種類型的模型三種類型的模型都可以使用前面顯示的簡單編譯和調(diào)整命令來編譯和訓(xùn)練，或者你可以編寫自己的定制訓(xùn)練循環(huán)來實現(xiàn)完全控制。

例如:

更多 the Model Subclassing 的案例，可以在“research and experimentation”章節(jié)中查看教程，參考鏈接：

https://www.tensorflow.org/tutorials/

使用 the Model Subclassing API 實現(xiàn)的 Neural Machine Translation with Attention

使用the Model Subclassing API實現(xiàn)的 GAN

如果這些模型都無法滿足你的研究？

如果你發(fā)現(xiàn) tf.keras 限制了你的應(yīng)用領(lǐng)域，你還有其他選擇：

使用獨(dú)立于 Keras 模型定義的 tf.keras 神經(jīng)層，并編寫自己的梯度和訓(xùn)練代碼。類似地，你可以單獨(dú)使用tf.keras.optimizers，tf.keras.initializers，tf.keras.losses或tf.keras.metrics。

同時，你也可以完全忽略 tf.keras，使用較低層級的 TensorFlow，Python 和 AutoGraph 來獲得你想要的結(jié)果。

這完全取決于你！請注意，tf.layers 中的非面向?qū)ο髮訉⒈粭売茫瑃f.contribution（包括高級API，如 tf.contribution.slim 和 tf.contribution.learn）在 TF 2.0 中將不可用。

Estimators會發(fā)生哪些變化？

Estimator 在 Google 和 TensorFlow 社區(qū)的應(yīng)用都十分廣泛。 我們已經(jīng)將幾種模型打包為 Premade Estimators，包括線性分類器，DNN 分類器，組合 DNN 線性分類器（又名 寬深模型）和梯度增強(qiáng)樹。 這些模型已經(jīng)投入生產(chǎn)并得到廣泛部署，由于這些原因，包括 Premade Estimators 在內(nèi)的Estimator API 將包含在 TensorFlow 2.0 中。

對于 Premade Estimators 的用戶來說，Keras 和EagerExecution 焦點變化帶來的的影響將是微乎其微的。我們可能會更改 Premade Estimators 的實現(xiàn)，同時保持 API 的界面相同。我們還將努力添加作為 Premade Estimators 實現(xiàn)的模型的 Keras 版本，并擴(kuò)展 Keras 以更好地滿足大規(guī)模生產(chǎn)的要求。

也就是說，如果你正在開發(fā)自定義體系結(jié)構(gòu)，那我們建議使用 tf.keras 來構(gòu)建模型而不是Estimator。如果你正在構(gòu)建需要用到 Estimators 的基礎(chǔ)架構(gòu)，那么可以使用model_to_estimator() 來轉(zhuǎn)換模型，同時我們也努力確保Keras可以跨TensorFlow生態(tài)系統(tǒng)工作。

進(jìn)擊到TensorFlow 2.0!

希望大家可以和我們一樣喜歡使用 tf.keras 。在接下來幾個月的時間，TensorFlow 團(tuán)隊將關(guān)注于提升開發(fā)者們的體驗。在我們的文檔和教程里也將會體現(xiàn)這點。我們也期待您的想法和反饋，并通過 Github issues 和 PRs 為項目作出貢獻(xiàn)。感謝大家！