TensorFlow 2.0有什么樣的新功能

TensorFlow 已經(jīng)發(fā)展為世界上最受歡迎和被廣泛采用的機(jī)器學(xué)習(xí)平臺(tái)之一，我們衷心感謝一直以來(lái)支持我們的各界的開發(fā)者和他們的貢獻(xiàn)：

研究人員：（預(yù)測(cè)地震余震、檢測(cè)前列腺癌……）

開發(fā)人員：（識(shí)別患病植物、幫助人們減肥的應(yīng)用 …… ）

企業(yè)應(yīng)用：（中國(guó)電信、浙江移動(dòng)、金山、扇貝……，通過(guò) AI 改善客戶體驗(yàn)）

還有很多 ……

2018 年 11 月，TensorFlow 迎來(lái)了它的 3 歲生日，我們回顧了幾年來(lái)它增加的功能，進(jìn)而對(duì)另一個(gè)重要里程碑 TensorFlow 2.0 感到興奮！

TensorFlow 2.0 將專注于簡(jiǎn)單性和易用性，具有以下更新：

使用 Keras 和 eager execution，輕松構(gòu)建模型

在任意平臺(tái)上實(shí)現(xiàn)生產(chǎn)環(huán)境的穩(wěn)健模型部署

為研究提供強(qiáng)大的實(shí)驗(yàn)工具

通過(guò)清理廢棄的 API 和減少重復(fù)來(lái)簡(jiǎn)化 API

在過(guò)去的幾年里，我們?yōu)?TensorFlow 添加了許多組件。在 TensorFlow 2.0 中，它們將被打包成一個(gè)全面的平臺(tái)，支持從訓(xùn)練到部署的機(jī)器學(xué)習(xí)工作流程。讓我們使用如下所示的簡(jiǎn)化概念圖來(lái)了解 TensorFlow 2.0 的新架構(gòu)：

注：上圖的訓(xùn)練部分雖然側(cè)重于 Python API，但 TensorFlow.js 也支持訓(xùn)練模型。

也支持其他語(yǔ)言，包括 Swift，R 和 Julia

簡(jiǎn)單的模型構(gòu)建

在最近的文章中，我們宣布 Keras API 將成為 TensorFlow 中構(gòu)建和訓(xùn)練模型的核心高級(jí) API。Keras API 使得使用 TensorFlow 開啟項(xiàng)目變得簡(jiǎn)單。重要的是，Keras 提供了幾個(gè)模型構(gòu)建 API ( Sequential, Functional, 和 Subclassing )，因此您可以選擇適合的抽象級(jí)別。TensorFlow 的實(shí)現(xiàn)包含多項(xiàng)增強(qiáng)功能，包括即時(shí)迭代和直觀調(diào)試，以及 tf.data，用于構(gòu)建可擴(kuò)展的輸入管道。

下面是一個(gè)工作流程示例( 在接下來(lái)的幾個(gè)月里，我們將更新下面所述內(nèi)容的指南 )：

使用 tf.data 加載數(shù)據(jù)。使用輸入管道讀取訓(xùn)練數(shù)據(jù)，用 tf.data 創(chuàng)建的輸入線程讀取訓(xùn)練數(shù)據(jù)。使用 tf.feature_column 描述特征，例如嵌套和特征交叉。還支持從內(nèi)存數(shù)據(jù)（例如 NumPy）中方便地輸入

使用 tf.Keras 或 Premade Estimators 構(gòu)建、訓(xùn)練和驗(yàn)證模型。Keras 與 TensorFlow 的其余部分緊密集成，因此您可以隨時(shí)訪問(wèn) TensorFlow 的功能。一組標(biāo)準(zhǔn)的打包模型 ( 例如，線性或邏輯回歸、梯度增強(qiáng)樹、隨機(jī)森林 ) 也可以直接使用 ( 利用 tf.estimator API 實(shí)現(xiàn) )。如果你不想從頭開始訓(xùn)練一個(gè)模型，你很快就能通過(guò) TensorFlow Hub 的模塊利用遷移學(xué)習(xí)來(lái)訓(xùn)練 Keras 或 Estimator 模型

使用 eager execution 運(yùn)行和調(diào)試，然后在圖形上使用 tf.function。TensorFlow 2.0 在默認(rèn)情況下以 eager execution 方式運(yùn)行，以便于使用和順利調(diào)試。此外，tf.function annotation 透明地將 Python 程序轉(zhuǎn)換成 TensorFlow 圖。這個(gè)過(guò)程保留了 1.x TensorFlow 基于圖執(zhí)行的所有優(yōu)點(diǎn)：性能優(yōu)化、遠(yuǎn)程執(zhí)行以及輕松序列化、導(dǎo)出和部署的能力，同時(shí)增加了使用簡(jiǎn)單的 Python 表達(dá)程序的靈活性和易用性

使用分布策略進(jìn)行分布式訓(xùn)練。對(duì)于大型機(jī)器學(xué)習(xí)訓(xùn)練任務(wù)來(lái)講，Distribution Strategy API 使得在不更改模型定義的情況下，在不同硬件配置上分布和訓(xùn)練模型變得很容易。由于 TensorFlow 提供了對(duì) CPU、GPU 和 TPU 等一系列硬件加速器的支持，因此可以將訓(xùn)練工作負(fù)載分布到單節(jié)點(diǎn) / 多加速器以及多節(jié)點(diǎn) / 多加速器配置，包括 TPU Pods。雖然此 API 支持各種集群配置，但還提供了在本地或云環(huán)境中部署 Kubernetes 集群訓(xùn)練的模板

導(dǎo)出到 SavedModel。TensorFlow 將在 SavedModel 上標(biāo)準(zhǔn)化，作為 TensorFlowServing、TensorFlow Lite、TensorFlow.js、TensorFlow Hub 等的交換格式

想要了解 TensorFlow 指南詳細(xì)信息，請(qǐng)參閱：

https://tensorflow.google.cn/guide/?hl=zh-CN

在任何平臺(tái)上的生產(chǎn)環(huán)境中進(jìn)行穩(wěn)健的模型部署

TensorFlow 始終為生產(chǎn)提供了直接途徑。無(wú)論是在服務(wù)器、邊緣設(shè)備或者 web上，無(wú)論您使用哪種語(yǔ)言或平臺(tái)，TensorFlow 都可以讓您輕松地訓(xùn)練和部署模型。在 TensorFlow 2.0 中，我們通過(guò)標(biāo)準(zhǔn)化交換格式和調(diào)整 API 來(lái)提高平臺(tái)和組件之間的兼容性和一致性。

一旦您訓(xùn)練并保存了模型，就可以直接在應(yīng)用程序中執(zhí)行它，或者使用以下部署庫(kù)之一為它提供服務(wù)：

TensorFlow Serving：TensorFlow 庫(kù)允許模型通過(guò) HTTP / REST 或 gRPC / 協(xié)議緩沖區(qū)提供服務(wù)

TensorFlow Lite：TensorFlow 針對(duì)移動(dòng)和嵌入式設(shè)備的輕量級(jí)解決方案提供了在 Android、iOS 和 Raspberry Pi 和 Edge tpu 等嵌入式系統(tǒng)上部署模型的能力

TensorFlow.js：支持在 JavaScript 環(huán)境中部署模型，例如通過(guò) Node.js 在 web 瀏覽器或服務(wù)器端部署模型。TensorFlow.js 還支持用 JavaScript 定義模型，并使用類似于 keras 的 API 直接在 web 瀏覽器中進(jìn)行訓(xùn)練

TensorFlow 還支持其他語(yǔ)言( 一些由更廣泛的社區(qū)維護(hù) )，包括 C,Java,Go,C#,Rust,Julia,R 等。

為研究提供強(qiáng)大的實(shí)驗(yàn)工具

TensorFlow 使從概念到代碼、從模型到發(fā)布的新思想變得容易。TensorFlow 2.0 集成了許多功能，可以在不犧牲速度或性能的情況下定義和訓(xùn)練最新模型：

Keras Functional API和Model Subclassing API：允許創(chuàng)建復(fù)雜的拓?fù)洌ㄊ褂檬Ｓ鄬?、自定義的多輸入 / 輸出模型和強(qiáng)制寫入的正向傳遞

自定義訓(xùn)練邏輯：使用 tf.GradientTape 和 tf.custom_gradient 對(duì)梯度計(jì)算進(jìn)行細(xì)粒度控制

為了獲得更大的靈活性和更好的控制，低級(jí)別 TensorFlow API 始終可用，并與高級(jí)別抽象結(jié)合在一起，以實(shí)現(xiàn)完全可定制的邏輯

TensorFlow 2.0 帶來(lái)了一些新功能，允許研究人員和高級(jí)用戶使用豐富的擴(kuò)展( 如 Ragged Tensors, TensorFlow Probability, Tensor2Tensor 等) 進(jìn)行實(shí)驗(yàn)。

除了這些功能外，TensorFlow 提供 eager excution，便于原型制作和調(diào)試，Distribution Strategy API 和 AutoGraph進(jìn)行規(guī)?；?xùn)練,以及對(duì) TPU 的支持, 使 TensorFlow 2.0 成為一個(gè)易于使用、可定制和高度可擴(kuò)展的平臺(tái)，用于進(jìn)行最先進(jìn)的機(jī)器學(xué)習(xí)研究并將研究轉(zhuǎn)化為生產(chǎn)流水線。

TensorFlow 1.x 和 2.0 的區(qū)別

自從我們最初開源 TensorFlow 以來(lái)，已經(jīng)有了許多版本和 API 迭代。隨著機(jī)器學(xué)習(xí)的快速發(fā)展，該平臺(tái)得到了極大的發(fā)展，現(xiàn)在支持具有不同需求的不同用戶組合。使用 TensorFlow 2.0，我們有機(jī)會(huì)清理和模塊化基于語(yǔ)義版本控制的平臺(tái)。

以下是一些較大的變化：

刪除 queue runner以支持 tf.data

刪除圖形集合

改變變量的處理方式

符號(hào)的移動(dòng)和重命名

此外，tf_contrib 將從 TensorFlow 核心存儲(chǔ)庫(kù)和構(gòu)建流程中刪除。TensorFlow 的 contrib 模塊已經(jīng)超出了單個(gè)存儲(chǔ)庫(kù)所能維護(hù)和支持的范圍。較大的項(xiàng)目最好單獨(dú)維護(hù)，而較小的擴(kuò)展將逐步過(guò)渡到核心 TensorFlow 代碼。一個(gè)特別興趣小組( SIG ) 已經(jīng)成立，以維持和進(jìn)一步發(fā)展未來(lái)一些更重要的 contrib 項(xiàng)目。

如果您有興趣貢獻(xiàn)，請(qǐng)回復(fù)此貼：

https://github.com/tensorflow/community/pull/37

兼容性和連續(xù)性

為了簡(jiǎn)化向 TensorFlow 2.0 的過(guò)渡，將有一個(gè)轉(zhuǎn)換工具，它可以更新 TensorFlow 1.x Python 代碼以使用 TensorFlow 2.0 兼容 API，或者標(biāo)記代碼無(wú)法自動(dòng)轉(zhuǎn)換的情況。

并非所有更改都可以完全自動(dòng)完成。例如，某些已棄用的 API 沒(méi)有直接等效項(xiàng)。這就是我們引入 tensorflow.compat.v1 兼容性模塊的原因，該模塊保留了對(duì)完整 TensorFlow 1.x API（不包括 tf.contrib）的支持。 該模塊將在 TensorFlow 2.x 的生命周期內(nèi)維護(hù)，并允許使用 TensorFlow 1.x 編寫的代碼保持功能。

此外，SavedModels 或存儲(chǔ)的 GraphDefs 將向后兼容。 使用 1.x 保存的 SavedModels 將繼續(xù)在 2.x 中加載和執(zhí)行。 但是，2.0 中的更改將意味著原始檢查點(diǎn)中的變量名稱可能會(huì)更改，因此使用 2.0 之前的檢查點(diǎn)而具有已轉(zhuǎn)換為 2.0 的代碼時(shí)可能無(wú)法保證正常工作。 有關(guān)詳細(xì)信息，請(qǐng)參閱 TensorFlow 2.0 指南：

https://github.com/tensorflow/docs/blob/master/site/en/r2/guide/effective_tf2.md

我們相信TensorFlow 2.0 將為應(yīng)用開發(fā)帶來(lái)巨大的益處，我們已投入大量精力使轉(zhuǎn)換變得盡可能簡(jiǎn)單。但是，我們也認(rèn)識(shí)到遷過(guò)渡當(dāng)前的線程需要時(shí)間，我們非常關(guān)心社區(qū)目前對(duì)學(xué)習(xí)和使用 TensorFlow 的投資。 我們將在最后的 1.x 版本中提供 12 個(gè)月的安全補(bǔ)丁，以便為現(xiàn)有用戶提供充足的時(shí)間進(jìn)行過(guò)渡并獲得 TensorFlow 2.0 的所有優(yōu)勢(shì)。

TensorFlow 2.0 的時(shí)間表

TensorFlow 2.0 預(yù)覽版將于今年年初發(fā)布。

何必要等？ 您已經(jīng)可以通過(guò)使用 tf.keras 和 eager execution，預(yù)打包模型和部署庫(kù)來(lái)開發(fā) TensorFlow 2.0 了。Distribution Strategy API 目前已部分可用。

我們對(duì) TensorFlow 2.0 以及即將到來(lái)的變化感到非常興奮。TensorFlow 已經(jīng)從一個(gè)用于深度學(xué)習(xí)的軟件庫(kù)成長(zhǎng)為一個(gè)適用于所有機(jī)器學(xué)習(xí)類型的完整生態(tài)系統(tǒng)。TensorFlow 2.0 將簡(jiǎn)單易用，適用于所有平臺(tái)上的所有用戶。