3月19日上午,英偉達(dá)2024 GTC AI大會(huì),黃仁勛發(fā)布了英偉達(dá)最新一代AI芯片Blackwell GPU,AI算力能力較上代提升30倍!
黃仁勛說:"我們已經(jīng)來到了一個(gè)臨界點(diǎn),因此需要一種新的計(jì)算方式來加速整個(gè)行業(yè)的發(fā)展效率。那么英偉達(dá)能夠做什么?當(dāng)然,答案就是——更大的芯片?!苯又?,英偉達(dá)新一代圖形計(jì)算平臺(tái)Blackwell正式登場(chǎng),它被英偉達(dá)稱為 “新工業(yè)革命的引擎”。
采用全新Blackwell架構(gòu)的B200和GB200系列芯片正式到來。
Blackwell以第一位入選美國(guó)國(guó)家科學(xué)院的黑人學(xué)者、數(shù)學(xué)家David Harold Blackwell的名字命名,它將允許客戶能夠在萬億參數(shù)大型語言模型上構(gòu)建和運(yùn)行實(shí)時(shí)生成人工智能。
Blackwell平臺(tái)引入了六項(xiàng)開創(chuàng)性技術(shù)來支持高達(dá)10萬億參數(shù)的AI模型訓(xùn)練和大語言模型的實(shí)時(shí)推理。有望在數(shù)據(jù)處理、工程模擬、電子設(shè)計(jì)自動(dòng)化、計(jì)算機(jī)輔助藥物設(shè)計(jì)、量子計(jì)算和生成人工智能等領(lǐng)域?qū)崿F(xiàn)新的突破。用黃仁勛的原話來說,它就是“當(dāng)今世界上最強(qiáng)大的芯片”。這六項(xiàng)技術(shù)分別為:
更大芯片:Blackwell 架構(gòu) GPU 擁有2080億個(gè)晶體管,尺寸是Hopper(800億晶體管)的兩倍多。Blackwell B200不是傳統(tǒng)的單一GPU,而是由兩個(gè)緊密耦合的芯片組成,這兩個(gè)芯片通過10 TB/秒的芯片到芯片鏈路連接成了一個(gè)統(tǒng)一的GPU 。
第二代Transformer引擎:配備了新的微張量縮放支持和先進(jìn)的動(dòng)態(tài)范圍管理算法,通過創(chuàng)新的4位浮點(diǎn)AI推理功能使計(jì)算和模型大小加倍。
第五代 NVLink 網(wǎng)絡(luò)技術(shù):最新的NVLink迭代增強(qiáng)了數(shù)萬億參數(shù)AI模型的性能,為每個(gè)GPU提供了高達(dá)1.8TB/s的雙向吞吐量,確保當(dāng)今最復(fù)雜的大語言模型能在多達(dá)576個(gè)GPU之間實(shí)現(xiàn)無縫高速通信。
RAS引擎:Blackwell驅(qū)動(dòng)的GPU集成了專用引擎和基于人工智能的預(yù)防性維護(hù)功能,可確??煽啃?、可用性和可維護(hù)性,從而最大限度地延長(zhǎng)系統(tǒng)運(yùn)行時(shí)間并最大限度地降低運(yùn)營(yíng)成本。
安全人工智能:全新的機(jī)密計(jì)算功能可在不影響性能的情況下保護(hù)人工智能模型和客戶數(shù)據(jù),并支持新的本機(jī)接口加密協(xié)議,在傳輸過程中、靜止?fàn)顟B(tài)和計(jì)算時(shí)都能保證安全。
解壓縮引擎:通過支持最新格式加速數(shù)據(jù)庫查詢,增強(qiáng)數(shù)據(jù)分析和數(shù)據(jù)科學(xué)性能,徹底改變數(shù)據(jù)處理。
英偉達(dá)表示,此前訓(xùn)練一個(gè)1.8萬億參數(shù)模型需要用到8000個(gè)Hopper GPU和 15兆瓦的功率。而如今,同樣的訓(xùn)練量2000個(gè)Blackwell GPU就可以做到,功耗僅為4兆瓦。
基于Blackwell,此次英偉達(dá)還推出了其AI超級(jí)芯片GB2000。GB2000由兩個(gè)B200 Blackwell GPU和一個(gè)基于Arm的Grace CPU組成,可以為大語言模型推理工作負(fù)載提供30倍的性能,而成本能耗要比其“前輩”Hopper低25倍。在具有1750億個(gè)參數(shù)的GPT-3 LLM基準(zhǔn)測(cè)試中,GB200的性能是H100的7倍,訓(xùn)練速度是H100的4倍。
GB200還將成為英偉達(dá)全新大型機(jī)架系統(tǒng)GB200 NVL72的基石。該系統(tǒng)擁有72個(gè)Blackwell GPU和36個(gè)Grace GPU,擁有1.4 exaflops的AI性能和30TB的快速內(nèi)存。英偉達(dá)表示,該系統(tǒng)可以部署27萬億參數(shù)的模型,而目前最大的模型GPT-4僅約有1.7萬億個(gè)參數(shù),因此能夠加快釋放生成式AI的能力。
審核編輯:劉清
-
人工智能
+關(guān)注
關(guān)注
1804文章
48418瀏覽量
244720 -
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3900瀏覽量
92869 -
AI芯片
+關(guān)注
關(guān)注
17文章
1955瀏覽量
35595 -
大模型
+關(guān)注
關(guān)注
2文章
2926瀏覽量
3678
原文標(biāo)題:剛剛!英偉達(dá)發(fā)布“AI核彈”!
文章出處:【微信號(hào):CSF211ic,微信公眾號(hào):中國(guó)半導(dǎo)體論壇】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論