TensorFlow和PyTorch框架的幾個(gè)重要發(fā)展

我們最近看到了TensorFlow和PyTorch框架的幾個(gè)重要發(fā)展。

PyTorch v1.0于2018年10月發(fā)布，與此同時(shí)，fastai v1.0也發(fā)布了。這兩個(gè)版本都標(biāo)志著框架成熟度的重要里程碑。

TensorFlow 2.0 Alpha于2019年3月4日發(fā)布。它增加了新的功能和改進(jìn)了用戶體驗(yàn)。它還更緊密地集成了Keras及其高級(jí)API。

方法

在本文中，我們將Keras和fastai包括在比較中，因?yàn)樗鼈兣cTensorFlow和PyTorch緊密集成。

在本文中，我們不會(huì)探討其他的深度學(xué)習(xí)框架。比如：Caffe、Theano、MXNET、CNTK、DeepLearning4J或Chainer。雖然這些框架都有各自的優(yōu)點(diǎn)，但它們似乎都沒有處于增長(zhǎng)軌道，不太可能接近TensorFlow或PyTorch。它們也不是與這兩個(gè)框架緊密耦合的。

在線求職列表變化

為了確定在當(dāng)今的就業(yè)市場(chǎng)上哪些深度學(xué)習(xí)庫(kù)是有需求的，在Indeed、LinkedIn、Monster和SimplyHired上搜索了職位列表。

搜索了“機(jī)器學(xué)習(xí)”這個(gè)詞，然后是庫(kù)名。因此，使用machine learning TensorFlow對(duì)TensorFlow進(jìn)行了評(píng)估。由于歷史比較的原因，使用了這種方法。沒有machine learning的搜索不會(huì)產(chǎn)生明顯不同的結(jié)果。搜索區(qū)域是美國(guó)。

從2019年3月的數(shù)量中減去了6個(gè)月前的數(shù)量。以下是我們的發(fā)現(xiàn)：

TensorFlow的增長(zhǎng)略高于PyTorch。Keras的增長(zhǎng)大約是TensorFlow的一半。Fastai仍然沒有出現(xiàn)在幾乎所有的工作列表中。

請(qǐng)注意，PyTorch在除LinkedIn以外的所有求職網(wǎng)站上看到的新增職位列表數(shù)量都超過了TensorFlow。還請(qǐng)注意，按絕對(duì)值計(jì)算，TensorFlow出現(xiàn)在職位列表中的數(shù)量幾乎是PyTorch或Keras的三倍。

谷歌平均搜索變化

在最大的搜索引擎上進(jìn)行網(wǎng)絡(luò)搜索是衡量受歡迎程度的一個(gè)標(biāo)準(zhǔn)。我們查看了過去一年谷歌趨勢(shì)的搜索歷史。我們搜索了全世界對(duì)機(jī)器學(xué)習(xí)和人工智能領(lǐng)域的興趣。谷歌沒有提供絕對(duì)的搜索數(shù)字，但是它提供了相對(duì)的數(shù)字。

取過去6個(gè)月的平均興趣得分，并將其與之前6個(gè)月的平均興趣得分進(jìn)行比較。

在過去的六個(gè)月中，TensorFlow的相對(duì)搜索量有所下降，而PyTorch的相對(duì)搜索量有所增長(zhǎng)。

下圖直接顯示了過去一年的搜索興趣。

Medium文章

Medium是數(shù)據(jù)科學(xué)文章和教程的流行位置。

在過去的六個(gè)月里，對(duì)其Medium網(wǎng)站搜索，發(fā)現(xiàn)TensorFlow和Keras發(fā)表的文章數(shù)量差不多。PyTorch的數(shù)量相對(duì)較少。

作為高級(jí)API，Keras和fastai在新的深度學(xué)習(xí)實(shí)踐者中很受歡迎。Medium有很多教程介紹如何使用這些框架。

arXiv文章

arXiv是大多數(shù)學(xué)術(shù)深度學(xué)習(xí)文章發(fā)布的在線資源庫(kù)。在過去的六個(gè)月中，使用谷歌站點(diǎn)搜索結(jié)果搜索了關(guān)于arXiv上每個(gè)框架的新文章。

TensorFlow有最多的新文章出現(xiàn)，遠(yuǎn)遠(yuǎn)超過其他網(wǎng)站。

GitHub

GitHub是另一個(gè)展示框架受歡迎程度的指標(biāo)。我們?cè)谙旅娴膱D表中列出了stars，forks，watchers和contributors。

每個(gè)類別中，TensorFlow的GitHub活動(dòng)最多。然而，就watchers和contributors的增長(zhǎng)而言，PyTorch非常接近。此外，F(xiàn)astai也看到了許多新的貢獻(xiàn)者。

Keras的一些貢獻(xiàn)者無(wú)疑正在TensorFlow庫(kù)中對(duì)此進(jìn)行研究。值得注意的是，TensorFlow和Keras都是由google人帶頭開發(fā)的開源產(chǎn)品。

Quora

我們還添加了Quora話題的關(guān)注者數(shù)量，一個(gè)以前沒有的新類別。

TensorFlow在過去六個(gè)月里增加了最多的新話題關(guān)注者。PyTorch和Keras的添加量都要少得多。

一旦我有了所有的數(shù)據(jù)，我們就把它合并成一個(gè)度量標(biāo)準(zhǔn)。

成長(zhǎng)評(píng)分解析

下面是我們?nèi)绾蝿?chuàng)建成長(zhǎng)評(píng)分:

1、在0和1之間縮放所有特征；

2、聚合了在線工作列表和GitHub子類別；

3、按以下百分比加權(quán)類別；

4、將可加性分?jǐn)?shù)乘以100得出可理解性；

5、將每個(gè)框架的類別得分匯總為單個(gè)增長(zhǎng)得分。

工作列表占總分的三分之一多一點(diǎn)。與我們?cè)?018年得分分析不同，我們沒有包括KDNuggets使用情況調(diào)查數(shù)據(jù)（沒有新數(shù)據(jù)）或書籍?dāng)?shù)（六個(gè)月內(nèi)出版的不多）。

分類和最終得分：

成長(zhǎng)評(píng)分：

TensorFlow是目前需求最多、增長(zhǎng)最快的框架。短期內(nèi)不會(huì)有任何進(jìn)展。PyTorch正在迅速增長(zhǎng)。Keras在過去的六個(gè)月里也有了很大的增長(zhǎng)。最后，fastai從一個(gè)較低的基線開始增長(zhǎng)。值得記住的是，它是這么多框架中最年輕的。

TensorFlow和PyTorch都是很好的學(xué)習(xí)框架

學(xué)習(xí)建議

如果你想學(xué)習(xí)TensorFlow，建議你從Keras開始。推薦這兩個(gè)學(xué)習(xí)教程：

1、https://www.amazon.com/Deep-Learning-Python-Francois-Chollet/dp/1617294438

2、https://www.datacamp.com/courses/deep-learning-in-python

Tensorflow 2.0通過tf.keras使用Keras作為其高級(jí)API。這是一個(gè)快速入門介紹TensorFlow 2.0的方式：

https://threader.app/thread/1105139360226140160

如果你想學(xué)習(xí)PyTorch，建議從fast.ai’s MOOC ：

https://course.fast.ai/

在這里你將學(xué)習(xí)深度學(xué)習(xí)基礎(chǔ)知識(shí)，fastai和PyTorch基礎(chǔ)知識(shí)。

TensorFlow和PyTorch的前景如何?

我一直聽說人們更喜歡使用PyTorch而不是TensorFlow。PyTorch更加Python化，并且具有更加一致的API。它還有本地ONNX模型導(dǎo)出，可以用來加速推理。此外，PyTorch與Numpy共享許多命令，這減少了學(xué)習(xí)它的障礙。

然而，正如谷歌的首席決策智能工程師Cassie Kozyrkov所說：

TensorFlow will now have a more straightforward API, a streamlined Keras integration, and an eager execution option.

這些變化以及TensorFlow的廣泛采用，應(yīng)該有助于該框架在未來幾年保持流行。

TensorFlow最近宣布了另一個(gè)激動(dòng)人心的計(jì)劃：Swift for TensorFlow。Swift是一種最初由蘋果開發(fā)的編程語(yǔ)言。在執(zhí)行和開發(fā)速度方面，Swift比Python有很多優(yōu)勢(shì)。Fast.ai將在部分高級(jí)MOOC中使用Swift for TensorFlow。這門語(yǔ)言可能一兩年內(nèi)都不會(huì)在黃金時(shí)段出現(xiàn)，但它可能比目前的深度學(xué)習(xí)框架有所改進(jìn)。

https://www.tensorflow.org/swift

影響深度學(xué)習(xí)框架的另一個(gè)進(jìn)步是量子計(jì)算。一臺(tái)可用的量子計(jì)算機(jī)可能還需要幾年的時(shí)間，但谷歌、IBM、微軟和其他公司正在考慮如何將量子計(jì)算與深度學(xué)習(xí)結(jié)合起來。需要調(diào)整框架以適應(yīng)這種新技術(shù)。