0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA助力百度提升數(shù)據(jù)分析效能

NVIDIA英偉達企業(yè)解決方案 ? 來源:NVIDIA英偉達企業(yè)解決方案 ? 2024-11-20 10:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在現(xiàn)代商業(yè)環(huán)境中,數(shù)據(jù)分析已然成為企業(yè)獲取成功的關(guān)鍵所在。長期以來,百度廣告數(shù)據(jù)團隊始終面臨著極為復(fù)雜的數(shù)據(jù)分析挑戰(zhàn),其需要為逾千名用戶提供在線廣告業(yè)務(wù)分析服務(wù),而這些用戶涵蓋策略工程師、產(chǎn)品經(jīng)理、數(shù)據(jù)分析師、運營團隊以及銷售人員等。過去他們不得不編寫繁雜的查詢語句,由此耗費掉大量的時間與精力。百度廣告業(yè)務(wù)的重要性和復(fù)雜性,致使相關(guān)的業(yè)務(wù)數(shù)據(jù)每月會有超過 200 個迭代更新,用戶唯有掌握豐富的業(yè)務(wù)領(lǐng)域知識方可成功實施數(shù)據(jù)分析。

直面這些挑戰(zhàn),百度廣告數(shù)據(jù)團隊開發(fā)了一個全新平臺“DATAPILOT”,促使數(shù)據(jù)分析朝著更為簡單且高效的方向發(fā)展。百度憑借與 NVIDIA RAPIDS for Apache Spark 團隊的緊密協(xié)作,優(yōu)化大模型以及 NVIDIA GPU 加速計算技術(shù),為數(shù)據(jù)分析賦予了全新的表現(xiàn)形態(tài)。

DATAPILOT 平臺——

自然語言與 SQL 高效執(zhí)行的完美融合

DATAPILOT 的核心優(yōu)勢體現(xiàn)于其卓越的自然語言交互能力以及底層 SQL 的高效快速執(zhí)行能力。此前的數(shù)據(jù)分析平臺極為復(fù)雜,涵蓋了超過十萬個各異的字段以及三千余個繁雜的表格,其中部分字段存在于十幾個表格之中,并且有著不同的字段名稱和近似的業(yè)務(wù)含義,這致使銷售、產(chǎn)品經(jīng)理以及研發(fā)人員于該平臺進行數(shù)據(jù)分析時面臨極大困難。

場景一:需要統(tǒng)計過去一周的信息流廣告消費數(shù)據(jù)。在以往的數(shù)據(jù)分析平臺中,有超過五張表包含與信息流業(yè)務(wù)消費相關(guān)的數(shù)據(jù),包括流量、廣告、轉(zhuǎn)化等不同業(yè)務(wù)層級,以及 CPC、CPM、OCPC 等不同業(yè)務(wù)形態(tài)。此外,還涉及消費金額和現(xiàn)金金額的差異。為了完成從“需求理解”到“表格篩選”、“口徑梳理”、“SQL 編寫”以及“獲取結(jié)果”的全流程,用戶需要具備非常強的業(yè)務(wù)領(lǐng)域知識和專業(yè)的 SQL 能力。

場景二:需要分析昨天搜索廣告收入為什么下跌。在實際經(jīng)驗中,廣告收入下跌可能受自然流量、行業(yè)政策、客戶行為、系統(tǒng)異常等多方面因素影響。分析人員首先不僅需要了解搜索廣告的業(yè)務(wù)知識,而且需要掌握收入分析的專家經(jīng)驗,同時往往需要基于多個表格,編寫不同的 SQL 統(tǒng)計不同維度的指標數(shù)據(jù),最終基于一定的歸因邏輯才能得出對應(yīng)的潛在結(jié)論。

而 DATAPILOT 平臺將復(fù)雜的 SQL 編寫過程成功轉(zhuǎn)化為自然語言交互,用戶僅需以自然語言與平臺展開對話,仿若與舊友閑談一般,平臺能夠迅速領(lǐng)會用戶意圖并即刻做出回應(yīng)。過去用戶或許需要等候數(shù)分鐘乃至數(shù)小時方可看到結(jié)果,而如今新平臺可在短短幾秒內(nèi)完成整個流程,顯著提升了速度,且讓交互過程如聊天般流暢自然。此外,平臺還提供自動洞察功能,借助先進的大型語言模型來應(yīng)對復(fù)雜的業(yè)務(wù)場景分析難題。用戶僅需簡單點擊一次即可獲取格式化的智能分析結(jié)果以及詳盡的數(shù)據(jù)報告。

為能更優(yōu)地理解 DATAPILOT 平臺的優(yōu)勢,下述為一個實際的用戶案例。某一用戶想獲知昨天收入下降的原因,借助 DATAPILOT 平臺,用戶僅需鍵入問題,平臺即可自動生成所需的 SQL 查詢,并于數(shù)秒內(nèi)返回結(jié)果。此過程涵蓋三個步驟:表選擇、SQL 生成以及數(shù)據(jù)洞察。首先,平臺會依據(jù)用戶的輸入選取相關(guān)的表,而后生成相應(yīng)的 SQL 查詢,最后提供數(shù)據(jù)洞察報告。這一過程不但快速高效,還極大地簡化了用戶的操作。

經(jīng)由這一創(chuàng)新解決方案,百度廣告數(shù)據(jù)團隊大幅提高了數(shù)據(jù)分析的效率與準確性。用戶不再需要精通繁雜的查詢語法,僅通過自然語言輸入問題,即可迅速獲取所需的分析結(jié)果。這種創(chuàng)新不但極大地優(yōu)化了用戶體驗,還顯著提升了工作效率。在整個過程中,從自然語言到 SQL 生成以及 SQL 的執(zhí)行操作極為關(guān)鍵。百度匯集了大量私域知識,在百度的文心大模型上進行預(yù)訓練與微調(diào),使得模型具備了出色的用戶意圖理解、表格理解以及 SQL 生成能力。

在具備了卓越的 SQL 生成能力和數(shù)據(jù)智能洞察能力之后,為了匹配自然語言表達、對話式的交互體驗,SQL 的執(zhí)行速度成為了制約平臺表現(xiàn)的瓶頸。自然語言對話式交互成為未來,后端計算效率也必須跟上對話節(jié)奏。過去,百度廣告數(shù)據(jù)團隊一直專注于軟件層面的優(yōu)化,但現(xiàn)在軟件優(yōu)化已達到瓶頸,需要全新的軟硬件協(xié)同加速能力來突破 SQL 執(zhí)行效率的限制。

百度的探索:Spark-RAPIDS+GPU

軟硬件結(jié)合突破速度瓶頸

NVIDIA RAPIDS 是由一系列開源軟件庫和 API 組成,用于完全在 GPU 上執(zhí)行數(shù)據(jù)科學流程,從而可將訓練時間從幾天縮短到幾分鐘。通過隱藏 GPU 的工作復(fù)雜性,甚至隱藏數(shù)據(jù)中心架構(gòu)內(nèi)的后臺通信協(xié)議,RAPIDS 提供了完成數(shù)據(jù)科學的簡單方法,同時 RAPIDS 的運行位置不受限制,在云端或本地均可,因此可以在任何位置大規(guī)模運行,大大縮短任務(wù)的執(zhí)行時間。RAPIDS 可以使用 NVIDIA GPU 加速所有主要的 Apache Spark 3 平臺,無需更改代碼。RAPIDS 由用于生產(chǎn)部署的NVIDIA AI Enterprise軟件套件提供支持。軟件及電信行業(yè)領(lǐng)導者通過 RAPIDS 加速他們的 Spark 業(yè)務(wù),平均加速提升 40%,成本降低 60% 以上。

百度對多種技術(shù)方案進行了嘗試以提升速度,如 Spark CPU 優(yōu)化,然而該方案性能天花板較低,難以突破 CPU 架構(gòu)的物理限制;ClickHouse 這類方案無法處理完整且復(fù)雜的 SQL 連接,純硬件的 AEP 加固態(tài)硬盤優(yōu)化僅局限于 I/O 層面,因此采用 Spark-rapids 與 GPU 這種軟硬件結(jié)合的方式成為當前的最優(yōu)選擇。

百度廣告數(shù)據(jù)團隊構(gòu)建起了一個涵蓋 CPU 和 GPU 的異構(gòu)計算環(huán)境,充分發(fā)揮 GPU 的加速計算能力,精心設(shè)計了 SQL 識別與調(diào)度機制,通過對 SQL 進行分析以判定其是否能夠被加速,并將可加速的 SQL 分配至 GPU 執(zhí)行,在NVIDIA RAPIDS Accelerator for Apache Spark和 NVIDIA 加速計算的軟硬件結(jié)合方案的有力支持下,底層確保了速度的提升以及資源的平衡利用:

該主導架構(gòu)包括交互層、調(diào)度層和計算基礎(chǔ)設(shè)施層,交互層直接為用戶服務(wù),實現(xiàn)文本到 SQL 轉(zhuǎn)換;調(diào)度層負責將 SQL 任務(wù)分發(fā)到不同的硬件引擎;計算和基礎(chǔ)設(shè)施層負責實際的計算工作,確保數(shù)據(jù)處理的高效和準確。

NVIDIA 助力百度廣告數(shù)據(jù)團隊:

創(chuàng)新方案提升數(shù)據(jù)分析效能

通過與 NVIDIA 工程師的緊密協(xié)作和助力,百度廣告數(shù)據(jù)團隊此前在實際業(yè)務(wù)中遭遇的諸多問題均獲得了有效的解決辦法。譬如,針對 20% 的數(shù)據(jù)滿足了 80% 的數(shù)據(jù)需求這一情況,提出了數(shù)據(jù)冷熱分層存儲的解決方案,依據(jù)不同場景間的數(shù)據(jù)特征,選取適宜 GPU 批次的數(shù)據(jù)分布以獲取最佳的吞吐量,借助 Parquet sub-rowgroup reading 解決高壓縮比掃描數(shù)據(jù)所產(chǎn)生的 OOM 問題,并優(yōu)化 GPU 的 parquet 解碼以處理部分 IO 性能瓶頸,這些為百度提升 SQL 的速度執(zhí)行優(yōu)化給予了極大的助力,最終助力百度廣告數(shù)據(jù)團隊顯著提高了業(yè)務(wù)計算效率。

NVIDIA RAPIDS融合了 RAPIDS cuDF 庫的強大數(shù)據(jù)處理能力和 Apache Spark 分布式計算框架的規(guī)?;瘍?yōu)勢。RAPIDS 配備了基于 UCX 的內(nèi)置加速數(shù)據(jù)混洗功能,該功能可針對 GPU 間的通信和 RDMA 進行優(yōu)化配置。此外,RAPIDS 為 Spark 提供了經(jīng)過優(yōu)化的 Shuffle 實現(xiàn),通過 UCX 技術(shù)優(yōu)化 GPU 數(shù)據(jù)傳輸,確保數(shù)據(jù)盡可能保留在 GPU 上,并直接實現(xiàn) GPU 到 GPU 的數(shù)據(jù)傳輸,有效繞過了 CPU 的瓶頸。

在過去的數(shù)月中,憑借 NVIDIA RAPIDS for Apache 團隊的技術(shù)支持,百度廣告數(shù)據(jù)團隊在數(shù)據(jù)分析的效率方面取得了顯著進展:

首先,整體上在用戶即席查詢數(shù)據(jù)分析場景,實現(xiàn)了 35% 的業(yè)務(wù)覆蓋,并達到了平均 2 倍+的加速比,并且在部分場景加速比達到 5 倍,SQL 執(zhí)行效率和用戶體驗得到明顯改善;其次,在收入分析等復(fù)雜業(yè)務(wù)場景,數(shù)據(jù)分析效率從天級別降低到分鐘級別;同時由于 SQL 執(zhí)行效率的提升,用戶進行策略調(diào)研和 A/B 實驗效果分析的節(jié)奏也大幅加快。

伴隨技術(shù)的進一步發(fā)展與應(yīng)用的深入,未來百度廣告數(shù)據(jù)團隊還計劃在軟硬件的定制部署上開展更多的創(chuàng)新,包含探尋 GPU、CPU、MEM 和 SSD 之間的最佳配置,以最大化發(fā)揮軟硬協(xié)同、深度優(yōu)化之后的資源利用效率,達成全局 50% 的 IT 成本降低目標。百度計劃繼續(xù)與 NVIDIA 合作,進一步提升其在數(shù)據(jù)分析方面的能力。

NVIDIA 的技術(shù)支持使得百度能夠在復(fù)雜的數(shù)據(jù)環(huán)境中更有效地應(yīng)對挑戰(zhàn),提高了數(shù)據(jù)處理的速度與準確性,同時也提升了用戶體驗。通過這些創(chuàng)新解決方案,百度廣告數(shù)據(jù)團隊不但可以提升實際業(yè)務(wù)價值,也推動了整個數(shù)據(jù)分析行業(yè)的技術(shù)進步。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5304

    瀏覽量

    106328
  • 百度
    +關(guān)注

    關(guān)注

    9

    文章

    2334

    瀏覽量

    92183
  • 數(shù)據(jù)分析
    +關(guān)注

    關(guān)注

    2

    文章

    1472

    瀏覽量

    35019

原文標題:百度利用 DATAPILOT 及 NVIDIA RAPIDS Accelerator 實現(xiàn)數(shù)據(jù)分析變革

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    百度地圖重磅發(fā)布地圖AI開放平臺

    近日,在WGDC25全球時空智能大會上,百度地圖重磅發(fā)布地圖AI開放平臺。百度地圖深耕20年的數(shù)據(jù)能力、引擎能力與AI技術(shù)全面開放,向開發(fā)者深度開放四大核心能力和五大場景解決方案。
    的頭像 發(fā)表于 05-26 11:26 ?567次閱讀

    百度在AI領(lǐng)域的最新進展

    近日,我們在武漢舉辦了Create2025百度AI開發(fā)者大會,與全球各地的5000多名開發(fā)者,分享了百度在AI領(lǐng)域的新進展。
    的頭像 發(fā)表于 04-30 10:14 ?607次閱讀

    上汽大眾與百度地圖達成戰(zhàn)略合作

    近日,上海國際車展期間,百度地圖與上汽大眾舉行科技X生態(tài)戰(zhàn)略合作伙伴簽約儀式,雙方將基于百度領(lǐng)先的車道級地圖產(chǎn)品,為上汽大眾千萬車主打造更安全、高效的智能化出行體驗。上汽大眾總經(jīng)理陶海龍、百度副總裁尚國斌等出席簽約儀式。
    的頭像 發(fā)表于 04-29 17:28 ?534次閱讀

    百度地圖在汽車智能化領(lǐng)域的應(yīng)用實踐

    進一步加速,智駕是絕對的競爭焦點。百度地圖基于覆蓋全國的車道級地圖數(shù)據(jù)(簡稱LD),經(jīng)多家頭部車企實踐,在提升智駕安全性和效率上具有顯著價值。百度地圖LD是真正為全民智駕而生!”
    的頭像 發(fā)表于 04-03 15:02 ?1605次閱讀

    百度AI手語數(shù)字人助力聽障人士“聽見”聲音

    近幾年,百度先后與天津理工大學、鯨言科技合作,共同研發(fā)出百度智能云曦靈AI手語平臺與雙向手語翻譯機,讓手語的“聲音”,被更多人聽見。
    的頭像 發(fā)表于 02-21 11:29 ?832次閱讀

    百度2024財報亮點:營收破千億,凈利潤增21%

    百度近日發(fā)布了其2024年第四季度及全年財報,亮點紛呈。數(shù)據(jù)顯示,百度在2024年的總營收達到了1331億元,顯示出強勁的增長勢頭。 其中,歸屬百度核心的凈利潤更是高達234億元,與去
    的頭像 發(fā)表于 02-19 13:47 ?455次閱讀

    智能焊接數(shù)據(jù)分析設(shè)備提升工業(yè)效率與精度

    如何通過數(shù)據(jù)采集、分析與應(yīng)用,實現(xiàn)對焊接過程的精確控制,從而提升工業(yè)生產(chǎn)的整體水平。 首先,智能焊接數(shù)據(jù)分析設(shè)備的核心在于其強大的數(shù)據(jù)
    的頭像 發(fā)表于 01-15 14:11 ?432次閱讀

    凌智電子榮獲“百度AI技術(shù)生態(tài)伙伴”認證

    )有限公司共建,致力于打造配套齊全、服務(wù)完善的人工智能協(xié)同創(chuàng)新中心,助力優(yōu)化提升廈門市市人工智能產(chǎn)業(yè)生態(tài)。中心基于飛槳深度學習平臺+文心大模型,整合百度AI技術(shù)服務(wù)
    的頭像 發(fā)表于 01-04 14:10 ?597次閱讀
    凌智電子榮獲“<b class='flag-5'>百度</b>AI技術(shù)生態(tài)伙伴”認證

    百度科啟動“繁星計劃”

    近日,百度科攜手中國科協(xié)、中國科學院大學共同舉辦了史記2024·科學科100詞發(fā)布會,并在此盛會上正式啟動了“繁星計劃”。這一計劃的核心目標在于利用前沿的AI技術(shù),包括數(shù)字人、智能體等,以及
    的頭像 發(fā)表于 12-31 10:26 ?694次閱讀

    百度正式回應(yīng)進軍短劇領(lǐng)域

    近日,百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司在知識產(chǎn)權(quán)領(lǐng)域有了新的動作,據(jù)天眼查信息顯示,該公司已申請注冊“百度短劇”商標,涵蓋網(wǎng)站服務(wù)、科學儀器、教育娛樂等多個國際分類,目前這些商標均處于等待實質(zhì)審查
    的頭像 發(fā)表于 12-17 14:19 ?583次閱讀

    百度文心大模型日均調(diào)用量超15億

    近日,百度在上海世博中心舉辦了主題為“應(yīng)用來了”的百度世界2024大會。會上,百度董事長李彥宏分享了關(guān)于大模型行業(yè)的最新動態(tài)和百度文心大模型的顯著進展。
    的頭像 發(fā)表于 11-12 15:28 ?696次閱讀

    李彥宏宣布:百度文心大模型日調(diào)用量超15億

    百度世界2024大會上,百度公司創(chuàng)始人李彥宏宣布了一項令人矚目的數(shù)據(jù)百度文心大模型的日調(diào)用量已經(jīng)超過15億次。這一數(shù)據(jù)不僅彰顯了
    的頭像 發(fā)表于 11-12 10:40 ?571次閱讀

    百度將發(fā)布AI智能眼鏡

    近日,有知情人士透露,百度旗下的人工智能品牌小計劃在即將舉行的百度世界大會上推出一款全新的AI智能眼鏡。這款眼鏡將內(nèi)置先進的人工智能助手,并配備攝像頭,為用戶提供前所未有的智能體驗。
    的頭像 發(fā)表于 11-11 14:50 ?926次閱讀

    百度市值被低估?分析師看好其長期發(fā)展?jié)摿?/a>

    近期,盡管微軟和Meta公布了超預(yù)期的財報,但市場對人工智能領(lǐng)域的熱情似乎有所減退。在此背景下,中概股也普遍走低,百度同樣未能幸免。然而,多位分析師對百度的長期發(fā)展?jié)摿Ρ硎究春茫J為其市值被低估。
    的頭像 發(fā)表于 11-05 11:16 ?1661次閱讀

    百度舸AI計算平臺4.0震撼發(fā)布

    在2024年百度云智大會的璀璨舞臺上,百度智能云重磅推出了舸AI異構(gòu)計算平臺的全新力作——4.0版本。此次升級,標志著百度在AI基礎(chǔ)設(shè)施領(lǐng)域邁出了堅實的一步,致力于為行業(yè)提供更為強大
    的頭像 發(fā)表于 09-26 14:46 ?884次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品