Uber一個跨多臺機器的分布式深度學習訓練框架引入開源項目LF深度學習基金會

世界頂尖科技公司的工程師常常發(fā)現(xiàn)，為了滿足公司的獨特需求，他們不得不為現(xiàn)有軟件基礎上開發(fā)定制替代方案。

近日，Uber將自己的Horovod(一個跨多臺機器的分布式深度學習訓練框架)引入開源項目LF深度學習基金會。Uber利用Horovod支持自動駕駛汽車、欺詐檢測和出行預測，該項目的貢獻者包括Amazon、IBM、Intel和Nvidia。

Horovod是一個分布式的TensorFlow訓練框架，目標是使分布式深度學習快速且易于使用。在Uber內(nèi)部，他們發(fā)現(xiàn)MPI模型比帶參數(shù)服務器的分布式TensorFlow簡單得多，所需的代碼更改也少得多。

除了Uber，阿里巴巴、亞馬遜和Nvidia也在使用Horovod。Horovod項目可以與TensorFlow、Keras和PyTorch等流行框架一起使用。

Uber上個月加入了Linux基金會，并加入了AT&T和諾基亞等其他科技公司的行列，支持LF深度學習基金會的開源項目。LF深度學習基金會成立于3月，旨在支持針對深度學習和機器學習的開源項目，是Linux基金會的一部分。

自該基金會成立以來，其他項目還包括機器學習平臺Angel和彈性深度學習(Elastic Deep learning)，這是一個幫助云服務提供商利用TensorFlow等框架制作云集群服務的項目。

根據(jù)Uber的說法，Horovod讓開發(fā)人員只需幾行代碼就可以完成任務。這不僅加快了初始修改過程，而且進一步簡化了調試。考慮到深度學習項目的高度迭代性，這同樣可以節(jié)省大量時間。

在過去的幾年里，深度學習的進步推動了圖像處理、語音識別和預測的巨大進步。在Uber，深度學習應用于整個業(yè)務，從自動駕駛研究到出行預測和欺詐預防，并為用戶創(chuàng)造更好的體驗。

由于種種原因，TensorFlow已經(jīng)成為Uber首選的深度學習庫。首先，該框架是用于深度學習的最廣泛使用的開源框架之一，這使得新用戶很容易上手。

它還結合了高性能和修補低級模型細節(jié)的能力——例如，可以同時使用高級api，如Keras，并使用NVIDIA的CUDA工具包實現(xiàn)自己的自定義操作符。

此外，TensorFlow還支持各種深度學習用例的端到端支持，從進行探索性研究到將模型部署到云服務器、移動應用程序甚至自動駕駛汽車上。

去年，Uber Engineering推出了米開朗基羅(Michelangelo)，這是一個內(nèi)部的“mvc即服務”(mvc -as-a-service)平臺，它讓機器學習自主化，讓大規(guī)模構建和部署這些系統(tǒng)變得容易。

Horovod正是這個米開朗基羅復雜平臺的組成部分，Uber開發(fā)這個平臺是為了為其內(nèi)部的深度學習努力奠定基礎。該公司將該軟件描述為管理AI開發(fā)生命周期各個方面的端到端系統(tǒng)。

鑒于Uber此次宣布開放Horovod，它可能還會隨著時間的推移發(fā)布米開朗基羅其他組件的代碼。

Horovod的出現(xiàn)，也反應不同企業(yè)在縱深涉及深度學習時遇到了不少問題。

隨著Uber使用越來越多的機器學習模型，它們的規(guī)模和數(shù)據(jù)消耗顯著增長。在大多數(shù)情況下，模型仍然足夠小，可以容納一個服務器中的一個或多個GPU，但是隨著數(shù)據(jù)集的增長，訓練時間也在增加，有時需要一周甚至更長時間。

此后，Uber轉向了分布式深度學習訓練。標準的分布式TensorFlow包引入了許多新概念：workers、參數(shù)服務器、tf.Server()、tf.ClusterSpec()、tf.train. syncreasoptimizer()和tf.train.replicas_device_setter()等等。雖然對某些場景有益，但這也引入了難以診斷的bug，從而減慢了訓練速度。

第二個問題是關于Uber規(guī)模計算的挑戰(zhàn)。在運行了一些基準測試之后，他們發(fā)現(xiàn)不能使標準的分布式TensorFlow按比例擴展，以及需要的服務。例如，在128個GPU上進行訓練時，由于效率低下，損失了大約一半的資源。

當Uber在128個NVIDIA Pascal GPU上運行標準的TensorFlow基準測試套件時，他們發(fā)現(xiàn)Inception V3和ResNet-101模型都無法利用將近一半的GPU資源。

標準的分布式TensorFlow包使用參數(shù)服務器方法來平均梯度。在這種方法中，每個流程都有兩個潛在角色之一：Worker或參數(shù)服務器。Worker用于處理訓練數(shù)據(jù)，計算梯度，并將它們發(fā)送到參數(shù)服務器進行平均。

Uber認為，雖然這種方法提高了性能，但遇到了兩個挑戰(zhàn)：確定Worker與參數(shù)服務器的正確比例。

如果使用一個參數(shù)服務器，它可能會成為網(wǎng)絡或計算瓶頸。如果使用多個參數(shù)服務器，通信模式將變成“all-to-all”，這可能會使網(wǎng)絡互連飽和。

處理增加TensorFlow程序復雜性：在測試中，每個用戶的分布式TensorFlow必須顯式啟動每個Worker和參數(shù)服務器，通過服務發(fā)現(xiàn)周圍信息，如所有的Worker和參數(shù)服務器的主機和端口，并修改培訓計劃構建tf.Server()和一個適當?shù)膖f.ClusterSpec()。

此外，用戶必須確保使用tf.train.device_replica_setter()適當?shù)胤胖盟胁僮?，并修改代碼以使用towers來利用服務器中的多個GPU。這通常會導致陡峭的學習曲線和大量的代碼重構，從而占用實際建模的時間。

2017年初，百度發(fā)表了一篇文章《將HPC技術深度學習》,涉及到不同的算法平均梯度和溝通這些梯度(上面的第2步和第3步)，該算法基于Patarasuk和Yuan在2009年的論文《工作站集群帶寬最優(yōu)全約算法》中引入的方法。

在環(huán)約簡算法中，每個N個節(jié)點與兩個節(jié)點通信2*(N-1)次。在此通信過程中，節(jié)點發(fā)送和接收數(shù)據(jù)緩沖區(qū)的塊。在前N-1次迭代中，接收到的值被添加到節(jié)點緩沖區(qū)的值中。在第二次N-1迭代中，接收到的值替換節(jié)點緩沖區(qū)中保存的值。

百度的論文認為，該算法是帶寬最優(yōu)的，這意味著如果緩沖區(qū)足夠大，它將最優(yōu)地利用可用網(wǎng)絡。

Uber也意識到，采用環(huán)減少(ring-allreduce)方法可以提高可用性和性能，這促使我們自己開發(fā)實現(xiàn)，以滿足Uber的TensorFlow需求。隨后，Uber采用了百度的TensorFlow ring-allreduce算法，并在此基礎上進行了構建。

Uber將代碼轉換為一個名為Horovod的獨立Python包，這個包是以俄羅斯傳統(tǒng)的民間舞蹈命名的，在這種舞蹈中，表演者挽著手臂繞圈跳舞，就像分布式TensorFlow進程使用Horovod彼此通信一樣。

Uber目前的不同團隊都可能使用不同版本的TensorFlow，但他們希望所有團隊都能夠利用ring-allreduce算法，而不需要升級到TensorFlow的最新版本，對自己的版本應用補丁，甚至不需要花時間構建框架。

有了一個獨立的包，Uber表示就可以根據(jù)硬件的不同，將安裝Horovod所需的時間從大約1小時縮短到幾分鐘。Horovod在Inception V3和ResNet-101中都達到了90%的縮放效率，在VGG-16中達到了79%的縮放效率。

此外，Uber用NCCL替換了百度ring-allreduce實現(xiàn)，NCCL是NVIDIA的集合通信庫，它提供了高度優(yōu)化的ring-allreduce版本。NCCL 2引入了跨多臺機器運行ring-allreduce的能力，能夠利用它的許多性能提升優(yōu)化。

Uber還在此基礎上增加了對適合單個服務器模型的支持，可能是在多個GPU上，而原來的版本只支持適合單個GPU的模型。

Horovod項目負責人亞歷克斯?瑟蓋夫(Alex Sergeev)表示，Horovod是為了讓各行各業(yè)的人工智能研究人員能夠更快、更直觀地進行深度學習模型訓練。后續(xù)隨著Horovod在功能和應用方面的不斷成熟，加入LF將使我們能夠進一步擴大它在開源生態(tài)系統(tǒng)中的影響。