NVIDIA RAPIDS加速器可將工作分配集群中各節(jié)點(diǎn)

借助適用于 Apache Spark 的 NVIDIA RAPIDS 加速器，團(tuán)隊(duì)能夠更快處理數(shù)萬億條記錄，在降低成本的同時(shí)優(yōu)化網(wǎng)絡(luò)并提高客戶滿意度。

AT&T 通過無線網(wǎng)絡(luò)連接了從阿留申群島到佛羅里達(dá)礁島群的 1 億多名用戶，催生出一片大數(shù)據(jù)海洋。

Abhay Dabholkar 管理著一個(gè)研究小組，他們?nèi)缤W耀的燈塔，在數(shù)據(jù)海洋中尋找最佳導(dǎo)航工具。

作為在 AT&T 工作十余年的杰出 AI 架構(gòu)師，Dabholkar 表示：“我們可以使用新工具來改變?cè)?AT&T 的日常工作，這一過程十分有趣，并且當(dāng)我們?yōu)閱T工提供最新的核心工具時(shí)，他們會(huì)對(duì)自己的工作感到更滿意?！?/p>

近期，該團(tuán)隊(duì)在 GPU 助力的服務(wù)器上測(cè)試了適用于 Apache Spark 的 NVIDIA RAPIDS 加速器，該軟件可將工作分配到集群中的各節(jié)點(diǎn)。

在本次測(cè)試中，僅 5 小時(shí)便處理完一個(gè)月的移動(dòng)數(shù)據(jù) - 2.8 萬億行信息。相較于先前的測(cè)試，速度提升 3.3 倍，而成本則降低 60%。

驚嘆時(shí)刻

Dabholkar 表示：“這真是令人驚嘆，因?yàn)樵?CPU 集群上，僅處理 7 天的數(shù)據(jù)我們就需要耗費(fèi)超過 48 小時(shí)的時(shí)間。過去盡管我們擁有數(shù)據(jù)，但卻無法充分利用，因?yàn)樘幚磉@些數(shù)據(jù)需要很長(zhǎng)時(shí)間?！?/p>

具體而言，該測(cè)試對(duì)所謂的 ETL（即提取、轉(zhuǎn)換和加載流程）進(jìn)行了基準(zhǔn)測(cè)試，以便篩選出無用數(shù)據(jù)，然后再用篩選后的數(shù)據(jù)訓(xùn)練 AI 模型，發(fā)現(xiàn)全新見解。

他還表示：“目前我們認(rèn)為 GPU 可用于 ETL 以及我們?cè)?Spark 中執(zhí)行的所有批處理工作負(fù)載，因此我們正在探索其他 RAPIDS 庫(kù)，將工作從特征工程擴(kuò)展到 ETL 和機(jī)器學(xué)習(xí)?！?/p>

目前 AT&T 在 CPU 服務(wù)器上運(yùn)行 ETL，然后將數(shù)據(jù)轉(zhuǎn)移至 GPU 服務(wù)器進(jìn)行訓(xùn)練。他補(bǔ)充道，在單個(gè) GPU 工作流中完成所有工作可以節(jié)省時(shí)間和成本。

提高客戶滿意度，加速網(wǎng)絡(luò)設(shè)計(jì)

時(shí)間和成本的節(jié)省在眾多用例中都有所體現(xiàn)。

例如，用戶可以更快獲取最佳連接，從而提高客戶滿意度并減少客戶流失率。Dabholkar 表示：“我們還能更快確定 5G 信號(hào)塔和天線的參數(shù)?！?/p>

負(fù)責(zé)監(jiān)督 RAPIDS 測(cè)試的團(tuán)隊(duì)高級(jí)成員 Chris Vo 表示，要確定在哪些 AT&T 光纖覆蓋區(qū)域推出支持卡車，需要進(jìn)行耗時(shí)的地理空間計(jì)算，而 RAPIDS 和 GPU 可以加速這一過程。

Dabholkar 說：“這項(xiàng)技術(shù)給我們帶來極大影響，我們每天可能會(huì)收到 300-400TB 的新數(shù)據(jù)，先前需要耗費(fèi)兩三周以上的時(shí)間制作報(bào)告，而現(xiàn)在只需幾小時(shí)便可完成。”

三個(gè)用例和統(tǒng)計(jì)結(jié)果

研究人員正在與 AT&T 數(shù)據(jù)平臺(tái)團(tuán)隊(duì)成員分享他們的研究成果。

他說：“如果作業(yè)時(shí)間過長(zhǎng)，且您擁有大量數(shù)據(jù)，我們建議您開啟 GPU ，并借助 Spark，讓在 CPU 上運(yùn)行的代碼也可以在 GPU 上運(yùn)行?！?/p>

目前為止，各個(gè)團(tuán)隊(duì)在三個(gè)不同的用例中各有收獲；其他團(tuán)隊(duì)也計(jì)劃著測(cè)試其工作負(fù)載。

Dabholkar 樂觀地表示，業(yè)務(wù)部門會(huì)將其測(cè)試結(jié)果引入生產(chǎn)系統(tǒng)中。

他說：“我們是一家擁有各類數(shù)據(jù)集的電信公司，每天都需要處理 PB 級(jí)數(shù)的數(shù)據(jù)，這種方法可以大大節(jié)省我們的時(shí)間和成本。”

此外，包括美國(guó)國(guó)家稅務(wù)局在內(nèi)的其他企業(yè)用戶也紛紛選擇使用這項(xiàng)技術(shù)。現(xiàn)有超過 13000 家公司（包括 400 家《財(cái)富》500 強(qiáng)公司）使用 Apache Spark，這表明大多數(shù)公司都愿意選擇這種方式。