0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Oracle 云基礎(chǔ)設(shè)施提供新的 NVIDIA GPU 加速計算實例

NVIDIA英偉達(dá) ? 來源:未知 ? 2023-09-25 20:40 ? 次閱讀

生成式 AI 和大語言模型(LLM)不斷推動突破性創(chuàng)新,訓(xùn)練和推理對算力的需求也隨之急劇上升。

這些現(xiàn)代生成式 AI 應(yīng)用需要全棧加速計算,首先要有能夠快速、準(zhǔn)確處理大量工作負(fù)載的先進(jìn)基礎(chǔ)設(shè)施。為了幫助滿足這一需求,Oracle 云基礎(chǔ)設(shè)施(OCI)于近日宣布,在 OCI Compute 上全面提供 NVIDIA H100 Tensor Core GPU,同時 NVIDIA L40S GPU 也即將在 OCI Compute 上推出。

wKgaomUo-1mAfOR9AACyoa3iSyI779.png

OCI 上的 NVIDIA

H100 Tensor Core GPU 實例

OCI Compute 裸機實例配備了具有NVIDIA Hopper架構(gòu)的 NVIDIA H100 GPU,不僅大幅提升了大規(guī)模 AI 和高性能計算的性能,也為各種工作負(fù)載提供了前所未有的性能、可擴展性和通用性。

相比于NVIDIA A100 Tensor Core GPU,使用 NVIDIA H100 GPU 的企業(yè)可提升 30 倍的 AI 推理性能和 4 倍的 AI 訓(xùn)練性能。H100 GPU 專為資源密集型計算任務(wù)構(gòu)建,包括訓(xùn)練 LLM 和在運行 LLM 的同時進(jìn)行推理等。

BM.GPU.H100.8 OCI Compute 機型配置(Shape)包含 8 顆 NVIDIA H100 GPU,每顆都具有 80GB 的 HBM2 GPU 內(nèi)存。8 顆 GPU 之間的 3.2TB/s 雙向帶寬使每顆 GPU 都能通過 NVIDIA NVSwitchNVLink 4.0 技術(shù)與其他 7 顆 GPU 直接通信。該配置還包含 16 塊容量為 3.84TB 的本地 NVMe 硬盤、112 個內(nèi)核的第四代英特爾至強 CPU 處理器以及 2TB 系統(tǒng)內(nèi)存。

簡而言之,該機型配置針對企業(yè)最具挑戰(zhàn)性的工作負(fù)載進(jìn)行了優(yōu)化。

根據(jù)工作負(fù)載的時間線和規(guī)模,OCI Supercluster 使企業(yè)能夠通過高性能、超低延遲的網(wǎng)絡(luò),將所使用的 NVIDIA H100 GPU 從單個節(jié)點擴展到多達(dá)數(shù)萬顆 H100 GPU。

OCI 上的 NVIDIA L40S GPU 實例

NVIDIA L40S GPU 基于 NVIDIA Ada Lovelace 架構(gòu)構(gòu)建而成,是一款數(shù)據(jù)中心的通用 GPU,可以為 LLM 推理和訓(xùn)練、視覺計算以及視頻應(yīng)用提供驚人的多負(fù)載加速。搭載 NVIDIA L40S GPU 的 OCI Compute 裸機實將于今年晚些時候推出搶先體驗版本,并于 2024 年初全面上市。 這些實例將作為 NVIDIA H100 和 A100 GPU 實例的替代方案,用于處理中小型 AI 工作負(fù)載以及圖形和視頻計算任務(wù)。相比于 NVIDIA A100,NVIDIA L40S GPU 可將生成式 AI 工作負(fù)載的性能提升 20%,將微調(diào) AI 模型方面的性能提升 70%。 BM.GPU.L40S.4 OCI Compute 機型配置包含 4 顆 NVIDIA L40S GPU,以及多達(dá) 112 個核的最新一代英特爾至強 CPU、1TB 系統(tǒng)內(nèi)存、15.36TB 用于緩存數(shù)據(jù)的低延遲 NVMe 本地存儲和 400GB/s 集群網(wǎng)絡(luò)帶寬。創(chuàng)建該實例的目的是應(yīng)對從 LLM 訓(xùn)練、微調(diào)和推理一直到 NVIDIA Omniverse 工作負(fù)載以及工業(yè)數(shù)字化、3D 圖形和渲染、視頻轉(zhuǎn)碼和 FP32 HPC 等各種用例。

NVIDIA 與 OCI:企業(yè)級 AI

OCI 與 NVIDIA 的協(xié)作,將為各種規(guī)模的企業(yè)帶來最先進(jìn)的 NVIDIA H100 和 L40S GPU 加速基礎(chǔ)設(shè)施,助力企業(yè)加入到這場生成式 AI 革命。僅訪問 NVIDIA GPU 加速實例可能還不夠。若要在 OCI Compute 上釋放 NVIDIA GPU 的最大潛能,就必須擁有一個最好的軟件層。NVIDIA AI Enterprise 通過專為底層 NVIDIA GPU 基礎(chǔ)設(shè)施優(yōu)化的開源容器和框架,簡化了企業(yè)級加速 AI 軟件的開發(fā)和部署,所有這一切都離不開支持服務(wù)的幫助。

如要了解更多信息,歡迎訪問有關(guān) Oracle 云基礎(chǔ)設(shè)施(OCI)、OCI Compute、Oracle 如何邁向 AI 以及 NVIDIA AI Platform 網(wǎng)頁。

Oracle 云基礎(chǔ)設(shè)施(OCI):https://www.oracle.com/cloud/

OCI Compute:https://www.oracle.com/cloud/compute/

Oracle 如何邁向 AI:https://www.oracle.com/artificial-intelligence/

NVIDIA AI Platform:https://www.nvidia.cn/ai-data-science/

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行,線上大會也將同期開放。點擊“閱讀原文”掃描下方海報二維碼,關(guān)注更多會議及活動信息。

wKgaomUo-1qAVDoQAAFtccdApf0800.jpg


原文標(biāo)題:Oracle 云基礎(chǔ)設(shè)施提供新的 NVIDIA GPU 加速計算實例

文章出處:【微信公眾號:NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 英偉達(dá)
    +關(guān)注

    關(guān)注

    22

    文章

    3893

    瀏覽量

    92602

原文標(biāo)題:Oracle 云基礎(chǔ)設(shè)施提供新的 NVIDIA GPU 加速計算實例

文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏

    評論

    相關(guān)推薦

    英偉達(dá)GTC2025亮點:OracleNVIDIA合作助力企業(yè)加速代理式AI推理

    基礎(chǔ)設(shè)施以及生成式 AI 服務(wù)首次實現(xiàn)集成,以幫助全球企業(yè)組織加速創(chuàng)建代理式 AI 應(yīng)用。 此次 Oracle Cloud Infrastructure (OCI) 與 NVIDIA
    的頭像 發(fā)表于 03-21 12:01 ?336次閱讀
    英偉達(dá)GTC2025亮點:<b class='flag-5'>Oracle</b>與<b class='flag-5'>NVIDIA</b>合作助力企業(yè)<b class='flag-5'>加速</b>代理式AI推理

    英偉達(dá)GTC2025亮點:NVIDIA與行業(yè)領(lǐng)先存儲企業(yè)共同推出面向AI時代的新型企業(yè)基礎(chǔ)設(shè)施

    的參考設(shè)計,領(lǐng)先的存儲提供商可用來構(gòu)建全新的 AI 基礎(chǔ)設(shè)施,以滿足 AI 推理工作負(fù)載的嚴(yán)苛要求:即企業(yè)存儲平臺,搭載由 NVIDIA 加速計算
    的頭像 發(fā)表于 03-21 09:42 ?274次閱讀

    OracleNVIDIA 合作助力企業(yè)加速代理式 AI 推理

    ——OracleNVIDIA 今日宣布,NVIDIA 加速計算和推理軟件與 Oracle
    發(fā)表于 03-19 15:24 ?221次閱讀
    <b class='flag-5'>Oracle</b> 與 <b class='flag-5'>NVIDIA</b> 合作助力企業(yè)<b class='flag-5'>加速</b>代理式 AI 推理

    NVIDIA 與行業(yè)領(lǐng)先的存儲企業(yè)共同推出面向 AI 時代的新型企業(yè)基礎(chǔ)設(shè)施

    存儲提供商構(gòu)建搭載 AI 查詢智能體的基礎(chǔ)設(shè)施,利用 NVIDIA 計算、網(wǎng)絡(luò)和軟件,針對復(fù)雜查詢進(jìn)行推理并快速生成準(zhǔn)確響應(yīng) ? 美國加利福尼亞州圣何塞 —— GTC —— 太平洋時間
    發(fā)表于 03-19 10:11 ?114次閱讀
    <b class='flag-5'>NVIDIA</b> 與行業(yè)領(lǐng)先的存儲企業(yè)共同推出面向 AI 時代的新型企業(yè)<b class='flag-5'>基礎(chǔ)設(shè)施</b>

    利用NVIDIA DPF引領(lǐng)DPU加速計算的未來

    越來越多的企業(yè)開始采用加速計算,從而滿足生成式 AI、5G 電信和主權(quán)的需求。NVIDIA 推出了 DOCA 平臺框架(DPF),該框架提供
    的頭像 發(fā)表于 01-24 09:29 ?390次閱讀
    利用<b class='flag-5'>NVIDIA</b> DPF引領(lǐng)DPU<b class='flag-5'>加速</b><b class='flag-5'>云</b><b class='flag-5'>計算</b>的未來

    RAKsmart公司介紹:全球領(lǐng)先的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施服務(wù)提供

    RAKsmart公司介紹:全球領(lǐng)先的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施服務(wù)提供商。
    的頭像 發(fā)表于 01-13 16:24 ?365次閱讀

    華為Flexus X實例,Redis性能加速評測及對比

    隨著計算技術(shù)的飛速發(fā)展,Redis 作為一種高性能的內(nèi)存數(shù)據(jù)庫,在各種應(yīng)用場景中發(fā)揮著越來越重要的作用。為了滿足不同用戶對 Redis 性能的高要求,華為推出了 Flexus X 實例
    的頭像 發(fā)表于 12-29 15:47 ?330次閱讀
    華為<b class='flag-5'>云</b>Flexus X<b class='flag-5'>實例</b>,Redis性能<b class='flag-5'>加速</b>評測及對比

    GPU加速服務(wù)器怎么用的

    GPU加速服務(wù)器是將GPU硬件與計算服務(wù)相結(jié)合,通過
    的頭像 發(fā)表于 12-26 11:58 ?244次閱讀

    《CST Studio Suite 2024 GPU加速計算指南》

    的各個方面,包括硬件支持、操作系統(tǒng)支持、許可證、GPU計算的啟用、NVIDIA和AMD GPU的詳細(xì)信息以及相關(guān)的使用指南和故障排除等內(nèi)容。 1. 硬件支持 -
    發(fā)表于 12-16 14:25

    NVIDIA SuperNIC推進(jìn)現(xiàn)代AI基礎(chǔ)設(shè)施發(fā)展

    在生成式 AI 時代,加速網(wǎng)絡(luò)對于為大規(guī)模分布式 AI 工作負(fù)載構(gòu)建高性能計算平臺至關(guān)重要。NVIDIA加速網(wǎng)絡(luò)領(lǐng)域繼續(xù)保持領(lǐng)先地位,提供
    的頭像 發(fā)表于 11-06 13:59 ?457次閱讀

    NVIDIA助力印度打造AI基礎(chǔ)設(shè)施

    在孟買舉辦的 NVIDIA AI Summit 上,黃仁勛和穆克什·安巴尼(Mukesh Ambani)探討了關(guān)于 AI 基礎(chǔ)設(shè)施的投資,這些投資有望為各行各業(yè)帶來變革。
    的頭像 發(fā)表于 10-27 09:44 ?433次閱讀

    GPU加速計算平臺是什么

    GPU加速計算平臺,簡而言之,是利用圖形處理器(GPU)的強大并行計算能力來加速科學(xué)
    的頭像 發(fā)表于 10-25 09:23 ?412次閱讀

    Oracle與亞馬遜科技宣布建立戰(zhàn)略合作伙伴關(guān)系

    科技中訪問基于專屬基礎(chǔ)設(shè)施Oracle Autonomous Database和Oracle Exadata Database Service。Oracle Database@Ama
    的頭像 發(fā)表于 10-08 17:25 ?754次閱讀

    如何理解計算?

    和硬件資源。 在數(shù)字化時代,互聯(lián)網(wǎng)已經(jīng)成為基礎(chǔ)設(shè)施計算使得數(shù)據(jù)中心能夠像一臺計算機一樣去工作。通過互聯(lián)網(wǎng)將算力以按需使用、按量付費的形式提供
    發(fā)表于 08-16 17:02

    應(yīng)用NVIDIA Spectrum-X網(wǎng)絡(luò)構(gòu)建新型主權(quán)AI

    、Hugging Face、Golem.ai 等。Scaleway 提供一站式的服務(wù),以開發(fā)創(chuàng)新解決方案并幫助用戶從零開始構(gòu)建和擴展 AI 項目,目前 Scaleway 正在構(gòu)建區(qū)域 AI ,
    的頭像 發(fā)表于 07-26 18:58 ?1309次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品