Apache Spark作為全球最流行的數(shù)據(jù)分析應(yīng)用

Apache Spark作為全球最流行的數(shù)據(jù)分析應(yīng)用，現(xiàn)已通過此前發(fā)布的Spark 3.0版本為超過50萬用戶提供革命性的GPU加速。

Databricks為用戶提供了先進的企業(yè)云平臺Spark，每天有超過100萬臺虛擬機運行該平臺。在Spark + AI Summit峰會上，Databricks宣布其用于機器學(xué)習(xí)的Databricks Runtime 7.0將配備內(nèi)置Spark 3.0的GPU加速器感知調(diào)度功能。該功能由Databricks與NVIDIA和其他社區(qū)成員合作開發(fā)。

Google Cloud近期宣布在Dataproc image 2.0版本上提供Spark 3.0預(yù)覽版，同時指出在開源社區(qū)的協(xié)作下，現(xiàn)在已獲得強大的NVIDIA GPU加速。NVIDIA將于7月16日與Google Cloud共同舉辦一場網(wǎng)絡(luò)研討會，深入探討這些令數(shù)據(jù)科學(xué)家感到興奮的新功能。

此外，用于Apache Spark的新開源RAPIDS 加速器現(xiàn)在可以加速ETL（提取、轉(zhuǎn)換、加載）和數(shù)據(jù)傳輸，在無需更改任何代碼的情況下提高端到端分析性能。

Spark性能的加速不僅意味著能夠更快獲得洞見，而且由于企業(yè)可以使用更少的基礎(chǔ)設(shè)施來完成工作負載，因此還可以幫助企業(yè)降低成本。

加速數(shù)據(jù)分析：科學(xué)計算賦予AI更強大的力量

Spark有充分的理由成為新聞媒體報導(dǎo)的焦點。

數(shù)據(jù)對于幫助企業(yè)機構(gòu)應(yīng)對不斷變化的機遇和潛在威脅至關(guān)重要。為此，他們需要破譯隱藏在數(shù)據(jù)中的關(guān)鍵線索。

每當(dāng)客戶點擊網(wǎng)站、撥打客戶服務(wù)電話或生成每日銷售報告時，就會給企業(yè)機構(gòu)貢獻大量的信息。隨著AI的興起，數(shù)據(jù)分析對于幫助公司發(fā)現(xiàn)趨勢并保持市場領(lǐng)先地位所起到的作用日益重要。

前不久，數(shù)據(jù)分析還依靠小型數(shù)據(jù)集來收集歷史數(shù)據(jù)和洞見，通過ETL對存儲在傳統(tǒng)數(shù)據(jù)倉庫中的高度結(jié)構(gòu)化數(shù)據(jù)進行分析。

ETL常常成為數(shù)據(jù)科學(xué)家在獲取AI預(yù)測和建議時的瓶頸。ETL預(yù)計會占用數(shù)據(jù)科學(xué)家70％至90％的時間，這會減慢工作流程并將炙手可熱的人才束縛在最普通的工作上。

當(dāng)數(shù)據(jù)科學(xué)家在等待ETL時，他們無法重新訓(xùn)練模型來獲取更好的商業(yè)洞見。傳統(tǒng)的CPU基礎(chǔ)設(shè)施無法通過有效的擴展來適應(yīng)這些工作任務(wù)，這通常會大幅增加成本。

憑借GPU加速的Spark，ETL就不會再產(chǎn)生這樣的麻煩。醫(yī)療、娛樂、能源、金融、零售等行業(yè)現(xiàn)在可以經(jīng)濟、高效地為其數(shù)據(jù)分析提速，更快地獲取洞見。

并行處理助力數(shù)據(jù)分析

GPU并行處理使計算機可以一次執(zhí)行多項操作。數(shù)據(jù)中心通過大規(guī)模橫向擴展這些功能來支持復(fù)雜的數(shù)據(jù)分析項目。隨著運用AI和機器學(xué)習(xí)工具的企業(yè)機構(gòu)日益增加，并行處理已成為加速海量數(shù)據(jù)分析和ETL管道，進而驅(qū)動這些工作負載的關(guān)鍵。

比如有一家零售商希望預(yù)測下一個季節(jié)的庫存。該零售商需要檢查近期的銷售量以及去年的數(shù)據(jù)。數(shù)據(jù)科學(xué)家還可可以此分析中添加天氣模型，從而了解雨季或旱季對結(jié)果產(chǎn)生的影響。零售商還可以整合情緒分析數(shù)據(jù)，評估今年最流行的趨勢。

由于需要分析的數(shù)據(jù)源太多，因此在對不同變量可能對銷售量產(chǎn)生的影響進行建模時，速度就顯得尤為重要。這就需要將分析加入到機器學(xué)習(xí)中，而且GPU也因此變得十分重要。

RAPIDS加速器為Apache Spark 3.0提速

隨著數(shù)據(jù)科學(xué)家從使用傳統(tǒng)的分析轉(zhuǎn)而采用可以更好地對復(fù)雜市場需求進行建模的AI應(yīng)用，如果繼續(xù)采用CPU，則必須犧牲速度或增加成本才能跟上由此產(chǎn)生的處理需求。而隨著AI在分析中的應(yīng)用日益增加，需要有新的框架來通過GPU快速、經(jīng)濟高效地處理數(shù)據(jù)。

用于Apache Spark的全新RAPIDS加速器將Spark分布式計算框架與功能強大的RAPIDS cuDF庫相連接，實現(xiàn)了GPU對Spark DataFrame和Spark SQL的運行提速。RAPIDS加速器還通過搜索在Spark節(jié)點之間移動數(shù)據(jù)的最快路徑來加快Spark Shuffle的運行速度。
責(zé)任編輯：tzh