0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA 在 Hot Chips 大會(huì)展示提升數(shù)據(jù)中心性能和能效的創(chuàng)新技術(shù)

半導(dǎo)體芯科技SiSC ? 來(lái)源:半導(dǎo)體芯科技SiSC ? 作者:半導(dǎo)體芯科技SiS ? 2024-08-28 16:38 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

來(lái)源: NVIDIA

在此次大會(huì)期間舉行的四場(chǎng)演講中,NVIDIA 工程師詳細(xì)介紹了 NVIDIA Blackwell 平臺(tái)、新的液冷研究成果以及支持芯片設(shè)計(jì)的 AI 代理。

wKgZombO4h6AflHlAAEIfgYck7I686.jpg

作為面向產(chǎn)業(yè)界和學(xué)術(shù)界、在處理器及系統(tǒng)架構(gòu)師領(lǐng)域的深度技術(shù)盛會(huì),Hot Chips 已經(jīng)成為價(jià)值萬(wàn)億美元的數(shù)據(jù)中心計(jì)算市場(chǎng)的一個(gè)重要論壇

在本周舉行的 Hot Chips 2024 上,NVIDIA 的高級(jí)工程師們展示了為 NVIDIA Blackwell 平臺(tái)提供動(dòng)力的最新技術(shù)進(jìn)展,以及新的數(shù)據(jù)中心液冷研究成果和用于芯片設(shè)計(jì)的 AI 代理。

他們圍繞如下內(nèi)容展開了介紹:

NVIDIA Blackwell 集合了多種芯片、系統(tǒng)和 NVIDIA CUDA 軟件,為跨應(yīng)用場(chǎng)景、行業(yè)和國(guó)家的新一代 AI 提供動(dòng)力。

NVIDIA GB200 NVL72——一個(gè)多節(jié)點(diǎn)、液冷、機(jī)架級(jí)擴(kuò)展解決方案,可連接72個(gè)Blackwell GPU 和36個(gè) Grace CPU——提升了AI系統(tǒng)設(shè)計(jì)的標(biāo)準(zhǔn)。

NVLink 互連技術(shù)提供多對(duì)多 GPU 間的通信,為生成式 AI 實(shí)現(xiàn)創(chuàng)紀(jì)錄的高吞吐量和低延遲推理。

NVIDIA Quasar 量化系統(tǒng)突破物理極限,加速 AI 計(jì)算。

NVIDIA 研究人員正在構(gòu)建 AI 模型,此模型將協(xié)助打造用于 AI 的處理器。

在一場(chǎng)關(guān)于 NVIDIA Blackwell 的演講中,重點(diǎn)介紹了新架構(gòu)的細(xì)節(jié)以及在 Blackwell 芯片上運(yùn)行的生成式 AI 模型的示例。

另外的三場(chǎng)講座,內(nèi)容涵蓋混合液冷解決方案如何幫助數(shù)據(jù)中心過(guò)渡到能效更高的基礎(chǔ)設(shè)施,以及包括大語(yǔ)言模型驅(qū)動(dòng)的 AI 代理在內(nèi)的模型如何幫助工程師設(shè)計(jì)下一代處理器。

這些演講共同展示了 NVIDIA 工程師們?cè)跀?shù)據(jù)中心計(jì)算和設(shè)計(jì)的每一個(gè)領(lǐng)域都在進(jìn)行創(chuàng)新,以提供前所未有的性能、能效和優(yōu)化。

為 Blackwell 做好準(zhǔn)備

NVIDIA Blackwell 是全棧計(jì)算的極限挑戰(zhàn)。它由多個(gè) NVIDIA 芯片組成,包括 Blackwell GPU、Grace CPU、BlueField 數(shù)據(jù)處理器、ConnectX 智能網(wǎng)卡、NVLink Switch、Spectrum 以太網(wǎng)交換機(jī)和 Quantum InfiniBand 交換機(jī)。

wKgZombO4h6AW1BvAAEvOMccuF4786.jpg

NVIDIA 架構(gòu)總監(jiān) Ajay Tirumala 和 Raymond Wong 現(xiàn)場(chǎng)首次展示了該平臺(tái),并解釋了這些技術(shù)是如何協(xié)同配合,在提高能效的同時(shí)為 AI 和加速計(jì)算的性能確立新的標(biāo)準(zhǔn)。

多節(jié)點(diǎn) NVIDIA GB200 NVL72 解決方案正是一個(gè)恰如其分的例子。LLM 推理需要低延遲、高吞吐量的 token 生成。GB200 NVL72 作為一個(gè)統(tǒng)一的系統(tǒng),為 LLM 工作負(fù)載提供最多至 30 倍的推理速度提升,使得實(shí)時(shí)運(yùn)行萬(wàn)億參數(shù)模型成為可能。

Tirumala 和 Wong 還探討了 NVIDIA Quasar 量化系統(tǒng)如何在低精度模型上實(shí)現(xiàn)高準(zhǔn)確度,并重點(diǎn)介紹了使用 LLM 和視覺(jué)生成式 AI 的例子。NVIDIA Quasar 量化系統(tǒng)結(jié)合了算法創(chuàng)新、NVIDIA 軟件庫(kù)和工具以及 Blackwell 的第二代 Transformer 引擎。

讓數(shù)據(jù)中心保持“涼爽”

通過(guò)風(fēng)冷和液冷結(jié)合的混合冷卻,研究人員開發(fā)出了更高效和可持續(xù)的解決方案,有望讓傳統(tǒng)風(fēng)冷數(shù)據(jù)中心的嗡嗡作響成為歷史。

與風(fēng)冷技術(shù)相比,液冷技術(shù)能夠更高效地為系統(tǒng)散熱,從而使計(jì)算系統(tǒng)即使在處理大型工作負(fù)載時(shí)也更容易保持低溫狀態(tài)。液冷設(shè)備也比風(fēng)冷系統(tǒng)占用更少的空間,耗電量更低,從而使數(shù)據(jù)中心可以在其設(shè)施中添加更多服務(wù)器機(jī)架,以增加更多算力。

NVIDIA 數(shù)據(jù)中心冷卻和基礎(chǔ)設(shè)施總監(jiān) Ali Heydari 介紹了幾種混合冷卻數(shù)據(jù)中心的設(shè)計(jì)方案。

有些設(shè)計(jì)方案利用液冷單元改造現(xiàn)有的風(fēng)冷數(shù)據(jù)中心,為現(xiàn)有機(jī)架增加液冷功能提供了一種快速、便捷的解決方案。其它設(shè)計(jì)方案則需要使用冷卻液分配單元,安裝管道以直接對(duì)芯片進(jìn)行液體冷卻,或者將服務(wù)器完全浸入到冷卻水箱中。盡管這些設(shè)計(jì)需要較大的前期投資,但卻能夠大幅降低能耗和運(yùn)營(yíng)成本。

Heydari 還介紹了其團(tuán)隊(duì)在 COOLERCHIPS 項(xiàng)目中的工作,這個(gè)項(xiàng)目旨在開發(fā)先進(jìn)的數(shù)據(jù)中心冷卻技術(shù)。作為該項(xiàng)目的一部分,Heydari 的團(tuán)隊(duì)正在使用 NVIDIA Omniverse 平臺(tái)來(lái)創(chuàng)建基于物理的數(shù)字孿生,這將幫助他們對(duì)能耗和冷卻效率進(jìn)行建模,以優(yōu)化數(shù)據(jù)中心設(shè)計(jì)。

AI 代理助力處理器設(shè)計(jì)

半導(dǎo)體設(shè)計(jì)在微觀尺度上是一個(gè)巨大的挑戰(zhàn)。開發(fā)尖端處理器的工程師們努力在一個(gè)幾英寸大的芯片上裝進(jìn)盡可能多的算力,測(cè)試物理上可以實(shí)現(xiàn)的極限。

通過(guò)提高設(shè)計(jì)質(zhì)量和生產(chǎn)力、提高人工流程的效率以及自動(dòng)化處理一些耗時(shí)的任務(wù),AI 模型正在為工程師們的工作提供支持。這些模型包括幫助工程師快速分析和改進(jìn)設(shè)計(jì)的預(yù)測(cè)和優(yōu)化工具,以及可以幫助解答工程師的問(wèn)題、生成代碼、調(diào)試設(shè)計(jì)問(wèn)題等的 LLM。

NVIDIA 設(shè)計(jì)自動(dòng)化研究總監(jiān) Mark Ren 在一場(chǎng)講座中對(duì)上述這些模型及其應(yīng)用進(jìn)行了總體介紹。在另一場(chǎng)會(huì)議中,他還重點(diǎn)介紹了用于芯片設(shè)計(jì)的基于 AI 代理的系統(tǒng)。

由 LLM 驅(qū)動(dòng)的 AI 代理可以被引導(dǎo)自主完成任務(wù),從而在各行各業(yè)解鎖廣泛的應(yīng)用。在微處理器設(shè)計(jì)方面,NVIDIA 研究人員正在開發(fā)基于代理的系統(tǒng),這種系統(tǒng)可以使用定制的電路設(shè)計(jì)工具進(jìn)行推理和采取行動(dòng),與經(jīng)驗(yàn)豐富的設(shè)計(jì)師互動(dòng),并從人類和代理積累的經(jīng)驗(yàn)的數(shù)據(jù)庫(kù)中學(xué)習(xí)。

NVIDIA 專家們不僅正在打造這項(xiàng)技術(shù),也在使用它。Mark Ren 分享了幾個(gè)例子,包括工程師如何將 AI 代理用于時(shí)序報(bào)告分析、單元集群優(yōu)化流程和代碼生成。在第一屆 IEEE 大語(yǔ)言模型輔助設(shè)計(jì)國(guó)際研討會(huì)(LAD'24)上,這項(xiàng)單元集群優(yōu)化工作榮膺最佳論文。

【近期會(huì)議】

10月30-31日,由寬禁帶半導(dǎo)體國(guó)家工程研究中心主辦的“化合物半導(dǎo)體先進(jìn)技術(shù)及應(yīng)用大會(huì)”將首次與大家在江蘇·常州相見,邀您齊聚常州新城希爾頓酒店,解耦產(chǎn)業(yè)鏈?zhǔn)袌?chǎng)布局!https://w.lwc.cn/s/uueAru

11月28-29日,“第二屆半導(dǎo)體先進(jìn)封測(cè)產(chǎn)業(yè)技術(shù)創(chuàng)新大會(huì)”將再次與各位相見于廈門,秉承“延續(xù)去年,創(chuàng)新今年”的思想,仍將由云天半導(dǎo)體與廈門大學(xué)聯(lián)合主辦,雅時(shí)國(guó)際商訊承辦,邀您齊聚廈門·海滄融信華邑酒店共探行業(yè)發(fā)展!誠(chéng)邀您報(bào)名參會(huì):https://w.lwc.cn/s/n6FFne


聲明:本網(wǎng)站部分文章轉(zhuǎn)載自網(wǎng)絡(luò),轉(zhuǎn)發(fā)僅為更大范圍傳播。 轉(zhuǎn)載文章版權(quán)歸原作者所有,如有異議,請(qǐng)聯(lián)系我們修改或刪除。聯(lián)系郵箱:viviz@actintl.com.hk, 電話:0755-25988573

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5308

    瀏覽量

    106342
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    16

    文章

    5226

    瀏覽量

    73499
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    西門子G120XA變頻器:數(shù)據(jù)中心革命的核心引擎

    提升的關(guān)鍵突破口。西門子G120XA變頻器,以專為流體設(shè)備優(yōu)化的矢量控制技術(shù)與智能節(jié)能設(shè)計(jì),為數(shù)據(jù)中心的冷凍水泵、冷卻水泵及風(fēng)機(jī)系統(tǒng)注入革新動(dòng)力,保障設(shè)備穩(wěn)定運(yùn)行的同時(shí),開啟PUE值
    的頭像 發(fā)表于 07-03 17:44 ?202次閱讀
    西門子G120XA變頻器:<b class='flag-5'>數(shù)據(jù)中心</b><b class='flag-5'>能</b><b class='flag-5'>效</b>革命的核心引擎

    曙光數(shù)創(chuàng)亮相2025中國(guó)智算中心全棧技術(shù)大會(huì)

    近日,曙光數(shù)創(chuàng)副總裁兼CTO張鵬攜三大液冷新品,正式亮相『2025中國(guó)智算中心全棧技術(shù)大會(huì)』暨第六屆中國(guó)數(shù)據(jù)中心綠色能源大會(huì)。曙光數(shù)創(chuàng)作為液
    的頭像 發(fā)表于 06-13 14:40 ?460次閱讀

    如何破解數(shù)據(jù)中心難題?該方案提供創(chuàng)新策略

    ,占總能耗的 86% 左右,但傳統(tǒng)管理手段難以追蹤實(shí)時(shí)。高昂的能源消耗不僅增加了運(yùn)營(yíng)成本,也給能源供應(yīng)帶來(lái)了巨大壓力。 政策法規(guī)推動(dòng): ? ? ? 2021 年 10 月,《數(shù)據(jù)中心
    的頭像 發(fā)表于 04-14 11:38 ?419次閱讀
    如何破解<b class='flag-5'>數(shù)據(jù)中心</b><b class='flag-5'>能</b><b class='flag-5'>效</b>難題?該方案提供<b class='flag-5'>創(chuàng)新</b>策略

    數(shù)據(jù)中心困局怎么解?安科瑞電氣提供解決方案

    非常復(fù)雜,能源密度大,容易引發(fā)火災(zāi)等安全問(wèn),需要采取安全用電監(jiān)測(cè),以確保供電系統(tǒng)不受非授權(quán)人員干擾。 3、精細(xì)管理 數(shù)據(jù)中心能源消耗大,PUE壓力大,電費(fèi)成本高,通過(guò)搭建能源計(jì)量體系,可以實(shí)現(xiàn)精細(xì)化管理,
    的頭像 發(fā)表于 04-01 14:01 ?248次閱讀
    <b class='flag-5'>數(shù)據(jù)中心</b><b class='flag-5'>能</b><b class='flag-5'>效</b>困局怎么解?安科瑞電氣提供解決方案

    適用于數(shù)據(jù)中心和AI時(shí)代的800G網(wǎng)絡(luò)

    選擇無(wú)擁塞路徑,提高數(shù)據(jù)傳輸效率。 多租戶性能隔離:確保不同用戶任務(wù)之間帶寬分配合理。 飛速(FS)800G光模塊AI數(shù)據(jù)中心中的作用 為滿足AI和大規(guī)模
    發(fā)表于 03-25 17:35

    優(yōu)化800G數(shù)據(jù)中心:高速線纜、有源光纜和光纖跳線解決方案

    。這種光纖跳線專為需要節(jié)省空間和簡(jiǎn)化布線管理的200/400/800G數(shù)據(jù)中心設(shè)計(jì)。此外,該線纜體積更小,重量更輕,便于安裝和維護(hù),能夠顯著提升整體網(wǎng)絡(luò)性能。下圖展示了具備不同連接器的
    發(fā)表于 03-24 14:20

    施耐德電氣即將亮相2025中國(guó)數(shù)據(jù)中心液冷技術(shù)大會(huì)

    以“液冷深融合”為主題,由CDCC與益企研究院共同主辦的第三屆中國(guó)數(shù)據(jù)中心液冷技術(shù)大會(huì)即將召開。會(huì)上將匯集多方數(shù)據(jù)中心行業(yè)的資深專家、研究學(xué)者與技術(shù)
    的頭像 發(fā)表于 03-21 16:47 ?1734次閱讀

    數(shù)據(jù)中心困局怎么解?這份方案給出妙方

    數(shù)據(jù)中心困局怎么解?這份方案給出妙方
    的頭像 發(fā)表于 03-14 08:05 ?232次閱讀
    <b class='flag-5'>數(shù)據(jù)中心</b><b class='flag-5'>能</b><b class='flag-5'>效</b>困局怎么解?這份方案給出妙方

    解鎖數(shù)據(jù)中心效能密碼:一站式綜合管理方案

    解鎖數(shù)據(jù)中心效能密碼:一站式綜合管理方案
    的頭像 發(fā)表于 03-08 08:13 ?259次閱讀
    解鎖<b class='flag-5'>數(shù)據(jù)中心</b>效能密碼:一站式綜合<b class='flag-5'>能</b><b class='flag-5'>效</b>管理方案

    超云亮相2024數(shù)據(jù)中心標(biāo)準(zhǔn)大會(huì),展示AI全棧推理硬件創(chuàng)新成果

    技術(shù)領(lǐng)袖,共同探討數(shù)據(jù)中心領(lǐng)域的最新趨勢(shì)與實(shí)踐成果。 作為專業(yè)的數(shù)據(jù)中心產(chǎn)品和服務(wù)提供商,超云受邀參會(huì),展示了全新升級(jí)的AI全棧推理硬件創(chuàng)新
    的頭像 發(fā)表于 11-22 09:54 ?475次閱讀
    超云亮相2024<b class='flag-5'>數(shù)據(jù)中心</b>標(biāo)準(zhǔn)<b class='flag-5'>大會(huì)</b>,<b class='flag-5'>展示</b>AI全棧推理硬件<b class='flag-5'>創(chuàng)新</b>成果

    安森美推動(dòng)數(shù)據(jù)中心革新

    隨著數(shù)據(jù)中心為了滿足人工智能(AI)計(jì)算的龐大處理需求而變得越來(lái)越耗電,提高能變得至關(guān)重要。與一般的搜索引擎請(qǐng)求相比,搭載AI的引擎需要消耗超過(guò)10倍的電力。加快功率半導(dǎo)體的創(chuàng)新以改善
    的頭像 發(fā)表于 11-14 09:41 ?583次閱讀

    愛(ài)立信2024進(jìn)博會(huì)展示5G及6G創(chuàng)新技術(shù)

    第七屆中國(guó)國(guó)際進(jìn)口博覽會(huì)(進(jìn)博會(huì))上,全球領(lǐng)先的通信技術(shù)企業(yè)愛(ài)立信再次亮相,展示了其新一代5G網(wǎng)絡(luò)硬件、5G-A賦可編程網(wǎng)絡(luò)、智慧工廠
    的頭像 發(fā)表于 11-11 15:16 ?1020次閱讀

    當(dāng)今數(shù)據(jù)中心新技術(shù)趨勢(shì)

    當(dāng)今數(shù)據(jù)中心新技術(shù)趨勢(shì)正以前所未有的速度推動(dòng)著行業(yè)的變革與創(chuàng)新。隨著云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)的快速發(fā)展,
    的頭像 發(fā)表于 10-24 15:15 ?982次閱讀

    數(shù)據(jù)中心管理系統(tǒng)對(duì)配電系統(tǒng)、能耗、溫度、蓄電池等運(yùn)行狀態(tài)實(shí)時(shí)監(jiān)測(cè)

    數(shù)據(jù)中心綜合管理系統(tǒng)采集數(shù)據(jù)中心中低壓配電系統(tǒng)、環(huán)境等數(shù)據(jù),通過(guò)實(shí)時(shí)監(jiān)測(cè)、控制和預(yù)警可以幫助數(shù)據(jù)中心
    的頭像 發(fā)表于 08-22 10:09 ?972次閱讀
    <b class='flag-5'>數(shù)據(jù)中心</b><b class='flag-5'>能</b><b class='flag-5'>效</b>管理系統(tǒng)對(duì)配電系統(tǒng)、能耗、溫度、蓄電池等運(yùn)行狀態(tài)實(shí)時(shí)監(jiān)測(cè)

    安森美引領(lǐng)數(shù)據(jù)中心革命

    在當(dāng)今數(shù)字化轉(zhuǎn)型的浪潮中,數(shù)據(jù)中心作為支撐人工智能、云計(jì)算等關(guān)鍵技術(shù)的基礎(chǔ)設(shè)施,其能耗問(wèn)題日益凸顯。特別是隨著AI計(jì)算的蓬勃發(fā)展,數(shù)據(jù)中心對(duì)電力的需求急劇增加,傳統(tǒng)搜索引擎請(qǐng)求相比,AI引擎的電力消耗更是高達(dá)十倍以上。因此,
    的頭像 發(fā)表于 08-12 11:13 ?787次閱讀

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品