電子發(fā)燒友網(wǎng)報道(文/黃山明)近日,有媒體報道,小米正在著手搭建自家的GPU萬卡集群,將對AI大模型加大投入。該計劃已進(jìn)行數(shù)月,據(jù)悉小米大模型團(tuán)隊(duì)在成立之初便已擁有6500張GPU資源,小米創(chuàng)始人兼董事長雷軍在該團(tuán)隊(duì)扮演重要的領(lǐng)導(dǎo)角色。
高性能計算是大模型發(fā)展的基礎(chǔ),而GPU在其中扮演重要作用。隨著AI在如今社會中發(fā)揮著越來越重要的作用,應(yīng)用領(lǐng)域不斷擴(kuò)展,需要的計算資源也越來越多,因此對于GPU的需求也在不斷上升。
小米搭建萬卡GPU集群,加大AI大模型投入
如今我們生活中已經(jīng)有不少領(lǐng)域開始充斥著AI的身影,包括AI配音、AI影像、AI圖片、AI導(dǎo)航,以及不少人正在使用的免費(fèi)AI大模型等。但相比ChatGPT、豆包、Kimi、通義千問等知名度不小的大模型,小米的MiLM顯得相對低調(diào)。
這是一款在今年5月份才正式通過大模型備案的小米大預(yù)言模型,小米宣布將把相關(guān)模型逐步應(yīng)用于小米汽車、手機(jī)、智能家居等產(chǎn)品中,后續(xù)“將面向更多用戶開放體驗(yàn)”。
而到了近期,市場更是傳出小米準(zhǔn)備搭建GPU萬卡集群,決心加大對AI的投入。但搭建GPU的萬卡集群并不容易,一方面在于昂貴的成本。訓(xùn)練AI大模型通常需要使用高性能的GPU芯片,如英偉達(dá)的A100、H100等。
這些高端芯片的單價本身就非常高,A100芯片價格約9萬元一張,H100閹割后的HGX H20渠道價格約11萬一張,而萬卡集群需要至少一萬張以上的GPU卡,僅芯片采購成本就可能達(dá)到數(shù)十億元。
并且除了GPU芯片本身,構(gòu)建萬卡集群還需要大量的配套硬件設(shè)備,如服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備等。這些設(shè)備的采購和安裝成本也相當(dāng)恐怖,進(jìn)一步增加了總體投入。
而之所以需要GPU萬卡集群,是因?yàn)锳I大模型通常包含數(shù)十億乃至數(shù)萬億的參數(shù),例如GPT-3就有1750億個參數(shù),訓(xùn)練和推理過程中需要進(jìn)行海量的矩陣運(yùn)算和復(fù)雜的數(shù)學(xué)計算。如此大規(guī)模的計算任務(wù),單張GPU的計算能力遠(yuǎn)遠(yuǎn)無法滿足,需要借助GPU萬卡集群并行計算來加速。
當(dāng)然,這些技術(shù)的出現(xiàn),其實(shí)并非突然,而是早有布局。小米早在2016年便開始組建第一只視覺AI團(tuán)隊(duì),逐步建立了視覺、語音、聲學(xué)、知識圖譜、NLP、機(jī)器學(xué)習(xí)、多模態(tài)等AI技術(shù)能力。
到2017年,小米正式發(fā)布了智能語音助手“小愛同學(xué)”。盡管當(dāng)時的AI技術(shù)和現(xiàn)在相比可能顯得較為基礎(chǔ),但小愛同學(xué)已經(jīng)運(yùn)用了語音識別、NLP、機(jī)器學(xué)習(xí)等核心技術(shù)來實(shí)現(xiàn)人機(jī)交互。
去年4月份,小米成立AI實(shí)驗(yàn)室大模型團(tuán)隊(duì),初始團(tuán)隊(duì)便擁有6500張GPU資源。并認(rèn)為欒劍擔(dān)任該團(tuán)隊(duì)的負(fù)責(zé)人,欒劍此前曾任東芝(中國)研究院研究員、微軟(中國)工程院高級語音科學(xué)家、微軟小冰首席語音科學(xué)家及語音團(tuán)隊(duì)負(fù)責(zé)人等職位。
并且在近期,有消息稱DeepSeek開源大模型DeepSeek-V2的關(guān)鍵開發(fā)者之一羅福莉?qū)⒓尤胄∶祝型M(jìn)一步加強(qiáng)小米AI大模型團(tuán)隊(duì)實(shí)力。
端側(cè)擁抱AI已成共識,小米具備重大優(yōu)勢
國內(nèi)目前已經(jīng)有多家企業(yè)開展了萬卡集群的建設(shè),例如華為昇騰、科大訊飛、中國電信、中國移動等,其中中國電信在上海、北京兩個萬卡集群已經(jīng)投產(chǎn),而中國移動位于呼和浩特、哈爾濱兩大萬卡級別的智算中心也已經(jīng)先后投產(chǎn)運(yùn)行。
更別說百度等公司已經(jīng)在探討構(gòu)建十萬卡集群,有業(yè)內(nèi)人士認(rèn)為,市場中很快便會有更多的十萬卡集群出現(xiàn)。
另一方面,海外則更加激進(jìn)。例如由馬斯克旗下xAI公司打造的xAI Colossus 超級AI集群,擁有10萬個英偉達(dá)H100 GPU。其第一階段建設(shè)已完成并全面上線,未來計劃增加5萬張H100 GPU和5萬張下一代H200 GPU,屆時GPU總數(shù)將翻倍。
OpenAI正在設(shè)計能夠?qū)?000萬塊GPU連在一起的計算模型,Meta CEO扎克伯格曾在年初宣布,計劃購買35萬塊英偉達(dá)H100 GPU,將Meta的算力擴(kuò)展到相當(dāng)于60萬塊英偉達(dá)H100 GPU的水平。
與此同時,越來越多的企業(yè)開始更為注重AI,包括理想汽車創(chuàng)始人李想此前公開表示,理想汽車不僅是一家汽車制造企業(yè),更是一家AI企業(yè)。
加上如今的AI手機(jī)、AI手表、AIPC甚至智能汽車等,這些端側(cè)產(chǎn)品均在積極擁抱AI,AI的加入也為這些產(chǎn)品帶來了更多的差異化與個性化,甚至有望成為未來產(chǎn)品體驗(yàn)差異的分水嶺。
而相比其他企業(yè),小米擁有一項(xiàng)重大的優(yōu)勢,其AI大模型可以與自身的“人車家”戰(zhàn)略完美契合,甚至可以說AI大模型的加入,讓小米“人車家”全生態(tài)完成了最后一項(xiàng)閉環(huán)。
從手機(jī)到智能家居,再到新能源汽車,小米均有涉獵,并且大多已經(jīng)成為行業(yè)中的主要參與者,例如小米為全球第三大手機(jī)廠商,米家更是全球最大的智能家居平臺,其中小愛音箱以超過40%的市場份額穩(wěn)居中國智能音箱榜首。
小米汽車更是后來居上,不僅屢屢出圈,自今年3月份發(fā)布以來,有望在今年內(nèi)實(shí)現(xiàn)超過13萬輛的交付成績,為小米集團(tuán)貢獻(xiàn)近百億元的營收。同時小米汽車更是小米集團(tuán)獨(dú)資控股,保證了小米汽車能夠貫徹未來小米集團(tuán)的發(fā)展方向。
另一方面,雷軍不僅是小米的創(chuàng)始人,如今依然是金山軟件的董事長,意味著未來小米AI大模型有望在WPS等辦公軟件中布局。
從硬件端的互聯(lián)網(wǎng)入口,到辦公軟件、游戲等領(lǐng)域,都已經(jīng)為小米的MiLM大模型預(yù)留足夠的發(fā)展空間,這是許多AI大模型企業(yè)沒有的巨大優(yōu)勢。不僅保障了未來小米AI大模型的迭代升級,同時也解決了其數(shù)據(jù)歸屬問題,進(jìn)一步加速AI大模型的升級。
總結(jié)
從小米過往布局新賽道的步伐來看,通常是確定了某個賽道已經(jīng)得到市場驗(yàn)證,并相對成熟再決定進(jìn)入。進(jìn)入賽道后,再利用小米集團(tuán)的自身優(yōu)勢,迅速做大做強(qiáng)。如今小米采用萬卡集群,加大投入到AI大模型領(lǐng)域,意味著不久后便有望看到該模型的普及。也期待未來市場中小米AI大模型的表現(xiàn)。
高性能計算是大模型發(fā)展的基礎(chǔ),而GPU在其中扮演重要作用。隨著AI在如今社會中發(fā)揮著越來越重要的作用,應(yīng)用領(lǐng)域不斷擴(kuò)展,需要的計算資源也越來越多,因此對于GPU的需求也在不斷上升。
小米搭建萬卡GPU集群,加大AI大模型投入
如今我們生活中已經(jīng)有不少領(lǐng)域開始充斥著AI的身影,包括AI配音、AI影像、AI圖片、AI導(dǎo)航,以及不少人正在使用的免費(fèi)AI大模型等。但相比ChatGPT、豆包、Kimi、通義千問等知名度不小的大模型,小米的MiLM顯得相對低調(diào)。
這是一款在今年5月份才正式通過大模型備案的小米大預(yù)言模型,小米宣布將把相關(guān)模型逐步應(yīng)用于小米汽車、手機(jī)、智能家居等產(chǎn)品中,后續(xù)“將面向更多用戶開放體驗(yàn)”。
而到了近期,市場更是傳出小米準(zhǔn)備搭建GPU萬卡集群,決心加大對AI的投入。但搭建GPU的萬卡集群并不容易,一方面在于昂貴的成本。訓(xùn)練AI大模型通常需要使用高性能的GPU芯片,如英偉達(dá)的A100、H100等。
這些高端芯片的單價本身就非常高,A100芯片價格約9萬元一張,H100閹割后的HGX H20渠道價格約11萬一張,而萬卡集群需要至少一萬張以上的GPU卡,僅芯片采購成本就可能達(dá)到數(shù)十億元。
并且除了GPU芯片本身,構(gòu)建萬卡集群還需要大量的配套硬件設(shè)備,如服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備等。這些設(shè)備的采購和安裝成本也相當(dāng)恐怖,進(jìn)一步增加了總體投入。
而之所以需要GPU萬卡集群,是因?yàn)锳I大模型通常包含數(shù)十億乃至數(shù)萬億的參數(shù),例如GPT-3就有1750億個參數(shù),訓(xùn)練和推理過程中需要進(jìn)行海量的矩陣運(yùn)算和復(fù)雜的數(shù)學(xué)計算。如此大規(guī)模的計算任務(wù),單張GPU的計算能力遠(yuǎn)遠(yuǎn)無法滿足,需要借助GPU萬卡集群并行計算來加速。
當(dāng)然,這些技術(shù)的出現(xiàn),其實(shí)并非突然,而是早有布局。小米早在2016年便開始組建第一只視覺AI團(tuán)隊(duì),逐步建立了視覺、語音、聲學(xué)、知識圖譜、NLP、機(jī)器學(xué)習(xí)、多模態(tài)等AI技術(shù)能力。
到2017年,小米正式發(fā)布了智能語音助手“小愛同學(xué)”。盡管當(dāng)時的AI技術(shù)和現(xiàn)在相比可能顯得較為基礎(chǔ),但小愛同學(xué)已經(jīng)運(yùn)用了語音識別、NLP、機(jī)器學(xué)習(xí)等核心技術(shù)來實(shí)現(xiàn)人機(jī)交互。
去年4月份,小米成立AI實(shí)驗(yàn)室大模型團(tuán)隊(duì),初始團(tuán)隊(duì)便擁有6500張GPU資源。并認(rèn)為欒劍擔(dān)任該團(tuán)隊(duì)的負(fù)責(zé)人,欒劍此前曾任東芝(中國)研究院研究員、微軟(中國)工程院高級語音科學(xué)家、微軟小冰首席語音科學(xué)家及語音團(tuán)隊(duì)負(fù)責(zé)人等職位。
并且在近期,有消息稱DeepSeek開源大模型DeepSeek-V2的關(guān)鍵開發(fā)者之一羅福莉?qū)⒓尤胄∶祝型M(jìn)一步加強(qiáng)小米AI大模型團(tuán)隊(duì)實(shí)力。
端側(cè)擁抱AI已成共識,小米具備重大優(yōu)勢
國內(nèi)目前已經(jīng)有多家企業(yè)開展了萬卡集群的建設(shè),例如華為昇騰、科大訊飛、中國電信、中國移動等,其中中國電信在上海、北京兩個萬卡集群已經(jīng)投產(chǎn),而中國移動位于呼和浩特、哈爾濱兩大萬卡級別的智算中心也已經(jīng)先后投產(chǎn)運(yùn)行。
更別說百度等公司已經(jīng)在探討構(gòu)建十萬卡集群,有業(yè)內(nèi)人士認(rèn)為,市場中很快便會有更多的十萬卡集群出現(xiàn)。
另一方面,海外則更加激進(jìn)。例如由馬斯克旗下xAI公司打造的xAI Colossus 超級AI集群,擁有10萬個英偉達(dá)H100 GPU。其第一階段建設(shè)已完成并全面上線,未來計劃增加5萬張H100 GPU和5萬張下一代H200 GPU,屆時GPU總數(shù)將翻倍。
OpenAI正在設(shè)計能夠?qū)?000萬塊GPU連在一起的計算模型,Meta CEO扎克伯格曾在年初宣布,計劃購買35萬塊英偉達(dá)H100 GPU,將Meta的算力擴(kuò)展到相當(dāng)于60萬塊英偉達(dá)H100 GPU的水平。
與此同時,越來越多的企業(yè)開始更為注重AI,包括理想汽車創(chuàng)始人李想此前公開表示,理想汽車不僅是一家汽車制造企業(yè),更是一家AI企業(yè)。
加上如今的AI手機(jī)、AI手表、AIPC甚至智能汽車等,這些端側(cè)產(chǎn)品均在積極擁抱AI,AI的加入也為這些產(chǎn)品帶來了更多的差異化與個性化,甚至有望成為未來產(chǎn)品體驗(yàn)差異的分水嶺。
而相比其他企業(yè),小米擁有一項(xiàng)重大的優(yōu)勢,其AI大模型可以與自身的“人車家”戰(zhàn)略完美契合,甚至可以說AI大模型的加入,讓小米“人車家”全生態(tài)完成了最后一項(xiàng)閉環(huán)。
從手機(jī)到智能家居,再到新能源汽車,小米均有涉獵,并且大多已經(jīng)成為行業(yè)中的主要參與者,例如小米為全球第三大手機(jī)廠商,米家更是全球最大的智能家居平臺,其中小愛音箱以超過40%的市場份額穩(wěn)居中國智能音箱榜首。
小米汽車更是后來居上,不僅屢屢出圈,自今年3月份發(fā)布以來,有望在今年內(nèi)實(shí)現(xiàn)超過13萬輛的交付成績,為小米集團(tuán)貢獻(xiàn)近百億元的營收。同時小米汽車更是小米集團(tuán)獨(dú)資控股,保證了小米汽車能夠貫徹未來小米集團(tuán)的發(fā)展方向。
另一方面,雷軍不僅是小米的創(chuàng)始人,如今依然是金山軟件的董事長,意味著未來小米AI大模型有望在WPS等辦公軟件中布局。
從硬件端的互聯(lián)網(wǎng)入口,到辦公軟件、游戲等領(lǐng)域,都已經(jīng)為小米的MiLM大模型預(yù)留足夠的發(fā)展空間,這是許多AI大模型企業(yè)沒有的巨大優(yōu)勢。不僅保障了未來小米AI大模型的迭代升級,同時也解決了其數(shù)據(jù)歸屬問題,進(jìn)一步加速AI大模型的升級。
總結(jié)
從小米過往布局新賽道的步伐來看,通常是確定了某個賽道已經(jīng)得到市場驗(yàn)證,并相對成熟再決定進(jìn)入。進(jìn)入賽道后,再利用小米集團(tuán)的自身優(yōu)勢,迅速做大做強(qiáng)。如今小米采用萬卡集群,加大投入到AI大模型領(lǐng)域,意味著不久后便有望看到該模型的普及。也期待未來市場中小米AI大模型的表現(xiàn)。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
gpu
+關(guān)注
關(guān)注
28文章
4740瀏覽量
128953 -
小米
+關(guān)注
關(guān)注
70文章
14355瀏覽量
144213 -
AI大模型
+關(guān)注
關(guān)注
0文章
316瀏覽量
310
發(fā)布評論請先 登錄
相關(guān)推薦
國產(chǎn)千卡GPU集群完成大模型訓(xùn)練測試,極具高兼容性和穩(wěn)定性
卡集群的方式成為了必然的選擇。 ? 2023年底,摩爾線程推出首個全國產(chǎn)千卡千億模型訓(xùn)練平臺“摩爾線程KUAE智算中心”。摩爾線程相關(guān)負(fù)責(zé)人此前談到,百
GPU是如何訓(xùn)練AI大模型的
在AI模型的訓(xùn)練過程中,大量的計算工作集中在矩陣乘法、向量加法和激活函數(shù)等運(yùn)算上。這些運(yùn)算正是GPU所擅長的。接下來,AI部落小編帶您了解GPU
Meta萬卡GPU集群穩(wěn)定性剖析與最佳實(shí)踐
一、背景 本文中我們將具體介紹 Meta 對其萬卡 AI 集群穩(wěn)定性的剖析和刻畫,以及在其中遇到的各種挑戰(zhàn),并在其中補(bǔ)充了一些真實(shí)場景中遇到的 Case,便于理解。 對應(yīng)的論文為
GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)設(shè)計
眾所周知,在大型模型訓(xùn)練中,通常采用每臺服務(wù)器配備多個GPU的集群架構(gòu)。在上一篇文章《高性能GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)(上篇)》中,我們對
NVIDIA Colossus超級計算機(jī)集群突破10萬顆Hopper GPU
NVIDIA近日宣布,其位于田納西州孟菲斯市的xAI Colossus超級計算機(jī)集群規(guī)模已壯大至10萬顆NVIDIA Hopper GPU。這一里程碑式的成就,再次彰顯了NVIDIA在AI
為什么ai模型訓(xùn)練要用gpu
GPU憑借其強(qiáng)大的并行處理能力和高效的內(nèi)存系統(tǒng),已成為AI模型訓(xùn)練不可或缺的重要工具。
【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗(yàn)】+ 未知領(lǐng)域的感受
”,好奇于這種大模型算力中心到底是如何建設(shè)的,用什么設(shè)備、什么架構(gòu)建設(shè)的?對這些問題真是一無所知,甚至都沒有想過,帶著這份好奇開始閱讀。
先瀏覽目錄,共分十三章,目錄中出現(xiàn)最多的就是GPU,比如機(jī)器學(xué)習(xí)
發(fā)表于 10-08 10:40
從千卡集群卡到萬卡集群,燧原科技打造更好的AI算力底座
:WAIC 2024)上,不僅有國內(nèi)各大模型廠商同場競技,也有豐富的算力基礎(chǔ)設(shè)施展示,其中包括專注人工智能領(lǐng)域云端算力產(chǎn)品的燧原科技。 ? 燧原科技展臺 從千卡集群到萬
摩爾線程與智譜AI完成大模型性能測試與適配
近日,摩爾線程與智譜AI在人工智能領(lǐng)域開展了一輪深入的合作,共同對GPU大模型進(jìn)行了適配及性能測試。此次測試不僅涵蓋了大模型的推理能力,還涉及了基于摩爾線程夸娥(KUAE)千
摩爾線程與師者AI攜手完成70億參數(shù)教育AI大模型訓(xùn)練測試
近日,國內(nèi)知名的GPU制造商摩爾線程與全學(xué)科教育AI大模型“師者AI”聯(lián)合宣布,雙方已成功完成了一項(xiàng)重要的大模型訓(xùn)練測試。此次測試依托摩爾線
萬卡集群解決大模型訓(xùn)算力需求,建設(shè)面臨哪些挑戰(zhàn)
? 電子發(fā)燒友網(wǎng)報道(文/李彎彎)萬卡集群是指由一萬張及以上的加速卡(包括GPU、TPU及其他專用AI
國產(chǎn)GPU可替代!摩爾線程千卡集群點(diǎn)亮新成就
摩爾線程、無問芯穹聯(lián)合宣布,雙方已經(jīng)正式完成MT-infini-3B 3B(30億參數(shù))規(guī)模大模型的實(shí)訓(xùn),基于摩爾線程國產(chǎn)全功能GPU MTT S4000組成的千卡集群,以及無問芯穹的
摩爾線程與無問芯穹宣布完成基于GPU千卡集群的3B規(guī)模大模型實(shí)訓(xùn)
摩爾線程聯(lián)合無問芯穹宣布,雙方已在本周正式完成基于國產(chǎn)全功能GPU千卡集群的3B規(guī)模大模型實(shí)訓(xùn)。
中國移動將商用三個自主可控萬卡集群
中國移動在近日舉辦的2024年算力網(wǎng)絡(luò)大會上宣布了重要計劃。據(jù)中國移動副總經(jīng)理高同慶透露,公司今年將正式商用三個具有完全自主控制權(quán)的萬卡集群,分別位于哈爾濱、呼和浩特和貴陽。這三個集群
評論