Databricks利用NVIDIA全棧解決方案加速生成式AI應(yīng)用

Databricks 將利用 NVIDIA 全棧解決方案，加速生成式 AI，提高數(shù)據(jù)處理效率。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 2024 年 Databricks Data + AI 峰會上與 Databricks 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Ali Ghodsi 進(jìn)行臺上交談時表示，加速計算正在深入改變企業(yè)的數(shù)據(jù)處理和分析方式。

黃仁勛表示：“每家公司的商業(yè)數(shù)據(jù)都是他們自己的金礦?！彼忉尩?，每家公司都有著海量的數(shù)據(jù)，但如何從中獲得洞察和提煉智能一直是一個難題。

Databricks 利用 NVIDIA 全棧解決方案

加速生成式 AI 應(yīng)用

為了釋放所有這些智能，黃仁勛和 Ghodsi 宣布整合 NVIDIA 的加速計算與 Databricks Photon。Databricks Photon 是 Databricks 的快速數(shù)據(jù)處理引擎，旨在為 Databricks SQL 提供一流的性能與成本效益。

黃仁勛表示“此次合作意義重大”，并補(bǔ)充道，加速計算和生成式 AI 是當(dāng)今最重要的兩大技術(shù)趨勢，“NVIDIA 與 Databricks 將攜手合作，整合雙方在這些領(lǐng)域的技能，并帶給所有人?！?/p>

黃仁勛分享道，NVIDIA 花了五年時間構(gòu)建了一套可以加速 Photon 的程序庫，讓用戶能夠“更快、更經(jīng)濟(jì)高效地處理數(shù)據(jù)，并大幅減少能耗?！?/p>

Ghodsi 表示：“我們非常高興能與 NVIDIA 合作，一起在 Photon 引擎上使用 GPU 加速功能來增強(qiáng)核心數(shù)據(jù)處理，并使其也能在 NVIDIA GPU 上運行?！?/p>

利用 NVIDIA NIM

創(chuàng)建生成式 AI 工廠

NVIDIA 和 Databricks 還宣布，Databricks 的開源模型 DBRX 現(xiàn)已作為一項NVIDIA NIM微服務(wù)托管在 NVIDIA API 目錄上。

NVIDIA NIM 推理微服務(wù)提供的模型是經(jīng)過完全優(yōu)化的預(yù)構(gòu)建容器，可以在任何地方進(jìn)行部署。

黃仁勛解釋道：“創(chuàng)建這些端點十分復(fù)雜。我們將所有內(nèi)容都優(yōu)化成一項微服務(wù)，它可以在任何云端和本地系統(tǒng)上運行?！?/p>

微服務(wù)提供了一種簡單、標(biāo)準(zhǔn)化的方式，將生成式 AI 模型添加到應(yīng)用中，顯著提高了企業(yè)開發(fā)者的生產(chǎn)力。

DBRX 于今年 3 月推出，完全建立在 Databricks 的基礎(chǔ)上，充分利用了 Databricks 客戶與合作伙伴可用的所有工具和技術(shù)，并且使用NVIDIA DGX Cloud（面向開發(fā)者的可擴(kuò)展端到端 AI 平臺）訓(xùn)練而成。

企業(yè)可以利用企業(yè)數(shù)據(jù)定制 DBRX，以創(chuàng)建專屬于企業(yè)的高質(zhì)量模型，或使用它構(gòu)建定制的 DBRX 式混合專家模型作為參考架構(gòu)。

黃仁勛表示，加速數(shù)據(jù)處理是一個巨大的機(jī)遇，他鼓勵每個人都將加速計算和生成式 AI 應(yīng)用到工作中。

他表示：“無論你做什么，先開始做起來。你必須登上這班快到令人難以置信的列車。記住，生成式 AI 正在以指數(shù)級的速度增長。千萬不要等在原地觀察這一趨勢，因為再過幾年，你就會遠(yuǎn)遠(yuǎn)落后?！?/p>

加入對話

此次峰會的與會者能夠參與各場會議，并與 NVIDIA 專家互動，進(jìn)一步了解 NVIDIA 和 Databricks 如何推動 AI 與數(shù)據(jù)智能的未來發(fā)展。