0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

談?wù)凞eepSeek-v3提到的基礎(chǔ)設(shè)施演進(jìn)

OSC開源社區(qū) ? 來源:OSC開源社區(qū) ? 2025-01-02 10:04 ? 次閱讀

看DeepSeek-v3的感受是, 算法和Infra的非常緊密結(jié)合. 其實(shí)很多大模型團(tuán)隊(duì)的算法和Infra是非常割裂的, 完全同時(shí)懂算法和Infra的人并不多, DeepSeek這個(gè)團(tuán)隊(duì)就是其中之一, DeepSeek團(tuán)隊(duì)中應(yīng)該有不少OI競(jìng)賽獲獎(jiǎng)選手, 其實(shí)對(duì)于我們這些搞過OI的人, 對(duì)于計(jì)算上的優(yōu)化策略基本上都是手到擒來,很多時(shí)候把處理器的體系結(jié)構(gòu)也研究的很深, 所以同時(shí)做算法和Infra是非常自然的一件事情, 而如今很多算法崗的新人大多數(shù)人的代碼能力是非常有限的....

當(dāng)然渣B稍微再得瑟一下, 比DeepSeek他們還更懂更底層的芯片以及它們的互聯(lián), Maybe再多懂一點(diǎn)數(shù)學(xué)... 昨天還跟一朋友講了一個(gè)冷玩笑, FP8訓(xùn)練這些Quantization不就是Quant變?cè)?"za"tion)么,^o^.

1. 算力不再應(yīng)當(dāng)只是約束,而是一個(gè)可以聯(lián)合優(yōu)化的變量

其實(shí)很多年前, 阿里媽媽團(tuán)隊(duì)就在推薦系統(tǒng)引入深度學(xué)習(xí)時(shí)做過大量的算法和算力Infra協(xié)同的工作, 非常認(rèn)同周國睿老師的一句話:“算力不再應(yīng)當(dāng)只是約束,而是一個(gè)可以聯(lián)合優(yōu)化的變量”

9d8c0c86-c659-11ef-9310-92fbcf53809c.png

今年年初還把這一系列的算法和算力的協(xié)同發(fā)展整理了一下, 可以參考

《談?wù)?a href="http://wenjunhu.com/tags/ai/" target="_blank">AI落地容易的業(yè)務(wù)-搜廣推》

其實(shí)再來說說量化交易這一塊, 它和搜廣推很類似的也是需要在一個(gè)時(shí)間約束下做到算力和算法的平衡, 對(duì)于很多高頻交易策略其實(shí)就更難了, 涉及到一系列硬件上和算法算力的協(xié)同了, 有些時(shí)候還可以犧牲穩(wěn)定性為代價(jià), 舉個(gè)例子有些高頻交易的團(tuán)隊(duì)還在用家用CPU超頻的方式來獲得更快的運(yùn)算速度, 另一個(gè)例子在很多網(wǎng)卡上連一個(gè)寄存器都要省....

對(duì)于DeepSeek/幻方有了這樣的主營業(yè)務(wù)做大模型時(shí),整個(gè)團(tuán)隊(duì)的火力自然是滿滿的...當(dāng)然渣B這樣的參與了國內(nèi)幾乎所有交易所的交易網(wǎng)絡(luò)設(shè)計(jì)有合規(guī)問題和自身的職業(yè)操守就沒有去趟高頻這塊...

另一方面渣B對(duì)現(xiàn)在的大模型Transformer架構(gòu)還是有更多的不認(rèn)同, 它一定不是通往AGI的終態(tài), 因?yàn)檫@樣的依賴極大算力的ScalingLaw的算法本質(zhì)上應(yīng)該是一個(gè)錯(cuò)誤, 所以渣B更多的時(shí)間是在底層優(yōu)化算力和頂層算法背后的數(shù)學(xué)原理上花了更多的精力.

在底層算力方面, 主要是GPU微架構(gòu)的分析和Tensor運(yùn)算相關(guān)的工作以及AI加速器高速互聯(lián)等

《GPU架構(gòu)演化史》

《Tensor運(yùn)算》

《AI加速器互聯(lián)》

在數(shù)學(xué)方面(嗯,學(xué)習(xí)J神“數(shù)學(xué)方面”), 渣B一直有一個(gè)暴論:這一次人工智能革命的數(shù)學(xué)基礎(chǔ)是:范疇論/代數(shù)拓?fù)?代數(shù)幾何這些二十世紀(jì)的數(shù)學(xué)第一登上商用計(jì)算的舞臺(tái)。, 因此一直也在做一些專題的研究

《大模型的數(shù)學(xué)基礎(chǔ)》

最近看到一些論文, 例如TOPOS的視角來看待多模態(tài)大模型, 還有一些Grothendieck圖神經(jīng)網(wǎng)絡(luò)一類的東西, 似乎看到一些光了,但是這些東西是這個(gè)世界上為數(shù)不多英雄主義的存在, 一張紙一支筆的浪漫.

當(dāng)然很多人懷疑這些代數(shù)上的東西以及GNN本身的一些稀疏計(jì)算的效率問題似乎跟AGI毫無關(guān)系. 但事實(shí)上它們可能是人腦里最精彩的存在. 昨天也到MTP時(shí)有一個(gè)觀點(diǎn):

MTP讓我想到了Zen5的2-Ahead Branch Predictor 非常有趣的工作, 其實(shí)對(duì)于o3這樣的模型, 本質(zhì)上是token as an intruction.

原來GPT是一個(gè)順序執(zhí)行結(jié)果predic next token 類似于 pc++, 然后在棧上(historical tokens as stack)操作. 順序預(yù)測(cè)下一個(gè)token

o1/o3 Large Reasoning Model 無論是MoE或者是強(qiáng)化學(xué)習(xí)一類的PRM, 實(shí)質(zhì)上是在Token Predict上做了Divergence, 例如跳轉(zhuǎn)/循環(huán)/回溯 等, PRM可以看作是一個(gè)CPU分支預(yù)測(cè)器. 從體系架構(gòu)上漸漸的可以讓大模型做到類似于圖靈完備的處理能力.

基于這個(gè)觀點(diǎn), 那么當(dāng)前的GPU的TensorCore/Cuda Core實(shí)際上就構(gòu)成了一個(gè)執(zhí)行引擎, 外面還需要一系列控制, 分支預(yù)測(cè), 譯碼器, LSU來配合, 對(duì)于基礎(chǔ)設(shè)施帶來的演進(jìn)還是有很多有趣的話題可以去探索的

另外一個(gè)暴論:當(dāng)前的Transformer模型本身作為一種生成Token的數(shù)據(jù)路徑, 而Grothendieck圖神經(jīng)網(wǎng)絡(luò)一類的東西和相關(guān)的代數(shù)結(jié)構(gòu)本身作為模型的控制路徑, 這是跑通LRM的一條路

2. 硬件和體系架構(gòu)的演進(jìn)

DeepSeek-v3的實(shí)現(xiàn)也非常優(yōu)雅, 例如考慮H800被閹割的影響, 訓(xùn)練沒有采用TP并行. 然后針對(duì)MoE的AlltoAll做了極致的優(yōu)化, 例如PXN和IBGDA等, 還有warp specialization以及dualpipe等.

相反我們看看Meta那群人, AlltoAll去年的OCP還在叫喚著Call for Action, 然后Llama3的MoE聽李沐講了一個(gè)八卦他們訓(xùn)練失敗了...也難怪要多花10倍的錢...

回到DS團(tuán)隊(duì)提到的一些未來硬件的需求, 例如當(dāng)前H800的132個(gè)SM中被分配了20個(gè)SM用于通信, 需要通信協(xié)處理器,以及為了減少應(yīng)用程序編程的復(fù)雜性,希望這種硬件能夠從計(jì)算單元的角度統(tǒng)一ScaleOut和ScaleUp網(wǎng)絡(luò)。通過這種統(tǒng)一接口, 計(jì)算單元可以通過提交基于簡(jiǎn)單原語的通信請(qǐng)求.

其實(shí)這些東西渣B幾年前就全部講清楚并做了一系列POC. 在2018年的時(shí)候, 看到Transformer出來以及模型開始越來越大通信成為瓶頸時(shí), 渣B當(dāng)時(shí)在Cisco就在做AI Infra相關(guān)的預(yù)研, 第一個(gè)把深度學(xué)習(xí)模型引入到Cisco路由器中做一系列Performance Assurance和Security Assurance相關(guān)的業(yè)務(wù).

然后2020年的時(shí)候和第四范式的一些研討后, 然后設(shè)計(jì)和實(shí)現(xiàn)了NetDAM. 到如今你會(huì)發(fā)現(xiàn)Tesla TTPoE也是在做同樣的事情.

《NetDAM專題》

9dab63d8-c659-11ef-9310-92fbcf53809c.png

時(shí)至今日, 你會(huì)發(fā)現(xiàn)DeepSeek對(duì)未來硬件的演進(jìn), 都在這一套框架內(nèi)完全實(shí)現(xiàn).

9dc7f390-c659-11ef-9310-92fbcf53809c.png

首先, 它對(duì)GPU側(cè)是一個(gè)標(biāo)準(zhǔn)的內(nèi)存接口, 通過在NetDAM上的一片內(nèi)存, 基于內(nèi)存語義把ScaleOut(Inter-Host)和ScaleUP(Intra-host)的通信完全融合了. 然后DS提到的Read/Write/multicast/reduce這些也是NetDAM一開始就做的功能, 例如RoCE需要多次訪問GPU內(nèi)存并引入CPU控制流

9ddfa01c-c659-11ef-9310-92fbcf53809c.png

而NetDAM直接進(jìn)行了卸載:

9df7c084-c659-11ef-9310-92fbcf53809c.png

而對(duì)于DS后面提到的一系列量化和Scale相關(guān)的近內(nèi)存計(jì)算, 本質(zhì)上在NetDAM上是最好的附著點(diǎn). 例如很多人說Mellanox延遲低, NetDAM直接bypass PCIe延遲輕松秒殺

9e090b3c-c659-11ef-9310-92fbcf53809c.png

但是這個(gè)世界并不是完美的, 因?yàn)槿丝倸w是有屁股的. 例如思科當(dāng)時(shí)的重心全部放在了Silicon One上, Intel守著自己的UPI在CXL上扣扣搜搜的, 而同樣Nvidia在B200這一代雖然把IB和NVSwitch融合在一起做交換芯片, 但最終在未來還是分開了...

而如今呢?當(dāng)一切的事情越來越清晰的時(shí)候, 或許這些廠商們會(huì)明白這個(gè)問題了...

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 芯片
    +關(guān)注

    關(guān)注

    456

    文章

    50907

    瀏覽量

    424432
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4615

    瀏覽量

    93005
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2477

    瀏覽量

    2828

原文標(biāo)題:談?wù)凞eepSeek-v3提到的基礎(chǔ)設(shè)施演進(jìn)

文章出處:【微信號(hào):OSC開源社區(qū),微信公眾號(hào):OSC開源社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    國產(chǎn)大模型DeepSeek推出DeepSeek-V3

    眾所周知,過去一年間,大語言模型(LLM)領(lǐng)域經(jīng)歷了翻天覆地的變化... 回望2023年底,OpenAI的GPT-4還是一座難以逾越的高峰,其他AI實(shí)驗(yàn)室都在思考同一個(gè)問題:OpenAI究竟掌握了哪些獨(dú)特的技術(shù)秘密? 一年后的今天,形勢(shì)已發(fā)生根本性轉(zhuǎn)變,據(jù)Chatbot Arena排行榜顯示,原始版本的GPT-4(GPT-4-0314)已跌至第70位左右。目前,已有18家機(jī)構(gòu)的70個(gè)模型在性能上超越了這個(gè)曾經(jīng)的標(biāo)桿。 圖源:Chatbot Arena 隨著2025年的嶄新啟航,是否意味著AI圈的一顆“王炸”已悄然“
    的頭像 發(fā)表于 01-06 10:51 ?49次閱讀
    國產(chǎn)大模型<b class='flag-5'>DeepSeek</b>推出<b class='flag-5'>DeepSeek-V3</b>

    全球首個(gè)光電融合算網(wǎng)基礎(chǔ)設(shè)施正式開通

    近日,未來網(wǎng)絡(luò)試驗(yàn)設(shè)施國家重大科技基礎(chǔ)設(shè)施(CENI)宣布了一項(xiàng)重大進(jìn)展——全球首個(gè)光電融合確定性新型算網(wǎng)基礎(chǔ)設(shè)施正式開通。1月3日,該基礎(chǔ)設(shè)施
    的頭像 發(fā)表于 01-06 10:33 ?51次閱讀

    雷軍千萬年薪挖角95后AI天才少女 DeepSeek開源大模型DeepSeek-V2關(guān)鍵開發(fā)者之一羅福莉

    95后AI“天才少女”刷屏;原因是雷軍千萬年薪挖角。人工智能時(shí)代最貴的依然是人才! 這位?95后AI“天才少女”是DeepSeek開源大模型DeepSeek-V2的關(guān)鍵開發(fā)者之一羅福莉。 羅福莉本科
    的頭像 發(fā)表于 12-30 10:58 ?428次閱讀

    智能駕駛所需的基礎(chǔ)設(shè)施

    智能駕駛所需的基礎(chǔ)設(shè)施主要包括以下幾個(gè)方面: 一、通信網(wǎng)絡(luò)基礎(chǔ)設(shè)施 5G/6G網(wǎng)絡(luò) :高速、低延遲的通信網(wǎng)絡(luò)是實(shí)現(xiàn)智能駕駛的重要基礎(chǔ)。5G網(wǎng)絡(luò)已經(jīng)能夠提供足夠的帶寬和低延遲,支持車輛與云端、其他車輛
    的頭像 發(fā)表于 10-23 16:05 ?823次閱讀

    TDA3xx ISS調(diào)優(yōu)和調(diào)試基礎(chǔ)設(shè)施

    電子發(fā)燒友網(wǎng)站提供《TDA3xx ISS調(diào)優(yōu)和調(diào)試基礎(chǔ)設(shè)施.pdf》資料免費(fèi)下載
    發(fā)表于 10-11 10:16 ?0次下載
    TDA<b class='flag-5'>3</b>xx ISS調(diào)優(yōu)和調(diào)試<b class='flag-5'>基礎(chǔ)設(shè)施</b>

    微軟貝萊德成立AI基礎(chǔ)設(shè)施投資基金

    微軟與全球頂尖資產(chǎn)管理公司貝萊德攜手,共同發(fā)起了一項(xiàng)名為“全球人工智能基礎(chǔ)設(shè)施投資伙伴關(guān)系”的宏偉計(jì)劃。該基金旨在匯聚超過300億美元的私募股權(quán)力量,以撬動(dòng)高達(dá)1000億美元的巨額投資,專注于構(gòu)建支撐人工智能發(fā)展的基礎(chǔ)設(shè)施
    的頭像 發(fā)表于 09-19 16:55 ?363次閱讀

    BAW電網(wǎng)基礎(chǔ)設(shè)施振蕩器解決方案應(yīng)用簡(jiǎn)介

    電子發(fā)燒友網(wǎng)站提供《BAW電網(wǎng)基礎(chǔ)設(shè)施振蕩器解決方案應(yīng)用簡(jiǎn)介.pdf》資料免費(fèi)下載
    發(fā)表于 09-09 14:49 ?0次下載
    BAW電網(wǎng)<b class='flag-5'>基礎(chǔ)設(shè)施</b>振蕩器解決方案應(yīng)用簡(jiǎn)介

    通信基礎(chǔ)設(shè)施設(shè)備的電流檢測(cè)應(yīng)用

    電子發(fā)燒友網(wǎng)站提供《通信基礎(chǔ)設(shè)施設(shè)備的電流檢測(cè)應(yīng)用.pdf》資料免費(fèi)下載
    發(fā)表于 09-03 10:03 ?0次下載
    通信<b class='flag-5'>基礎(chǔ)設(shè)施</b>設(shè)備的電流檢測(cè)應(yīng)用

    PerfXCloud順利接入MOE大模型DeepSeek-V2

    今日,在 PerfXCloud 重磅更新支持 llama 3.1 之后,其平臺(tái)再度實(shí)現(xiàn)重大升級(jí)!目前,已順利接入被譽(yù)為全球最強(qiáng)的 MOE 大模型 DeepSeek-V2 ,已在 PerfXCloud(澎峰云)官網(wǎng)的體驗(yàn)中心對(duì)平臺(tái)用戶免費(fèi)開放體驗(yàn)。
    的頭像 發(fā)表于 07-27 10:08 ?650次閱讀
    PerfXCloud順利接入MOE大模型<b class='flag-5'>DeepSeek-V</b>2

    中國電動(dòng)汽車充電基礎(chǔ)設(shè)施發(fā)展年報(bào)

    電子發(fā)燒友網(wǎng)站提供《中國電動(dòng)汽車充電基礎(chǔ)設(shè)施發(fā)展年報(bào).pdf》資料免費(fèi)下載
    發(fā)表于 04-18 14:24 ?19次下載

    大模型時(shí)代,商湯大裝置重構(gòu)AI基礎(chǔ)設(shè)施與服務(wù)

    大模型時(shí)代,怎樣的基礎(chǔ)設(shè)施與服務(wù)才能滿足行業(yè)所需?
    的頭像 發(fā)表于 04-12 11:47 ?762次閱讀
    大模型時(shí)代,商湯大裝置重構(gòu)AI<b class='flag-5'>基礎(chǔ)設(shè)施</b>與服務(wù)

    Arm Neoverse S3 系統(tǒng) IP 為打造機(jī)密計(jì)算和多芯粒基礎(chǔ)設(shè)施 SoC 夯實(shí)根基

    Arm 基礎(chǔ)設(shè)施事業(yè)部高級(jí)產(chǎn)品經(jīng)理 Mohit Taneja ? Arm Neoverse S3 是 Arm 專門面向基礎(chǔ)設(shè)施的第三代系統(tǒng) IP,應(yīng)用范圍涵蓋高性能計(jì)算 (HPC)、機(jī)器學(xué)習(xí) (ML
    發(fā)表于 03-26 16:33 ?792次閱讀
    Arm Neoverse S<b class='flag-5'>3</b> 系統(tǒng) IP 為打造機(jī)密計(jì)算和多芯粒<b class='flag-5'>基礎(chǔ)設(shè)施</b> SoC 夯實(shí)根基

    展望2024數(shù)據(jù)中心基礎(chǔ)設(shè)施

    前陣子,DeLL'ORO GROUP發(fā)布預(yù)測(cè)報(bào)告,回顧了23年數(shù)據(jù)中心基礎(chǔ)設(shè)施報(bào)告中的突出趨勢(shì),及展望了2024年數(shù)據(jù)中心基礎(chǔ)設(shè)施的發(fā)展情況,以下是報(bào)告內(nèi)容。
    的頭像 發(fā)表于 03-25 15:59 ?412次閱讀

    垂直起降機(jī)場(chǎng):飛行基礎(chǔ)設(shè)施的未來是綠色的

    電動(dòng)垂直起降(eVTOL)飛機(jī)的日益發(fā)展為建立一個(gè)新的網(wǎng)絡(luò)來支持它們提供了理由,這將推動(dòng)開發(fā)綠色基礎(chǔ)設(shè)施新模式的機(jī)會(huì)。這些電氣化的“短途”客運(yùn)和貨運(yùn)飛機(jī)通常被描述為飛行汽車,是區(qū)域飛行和城市出租車
    發(fā)表于 03-25 06:59

    Neoverse S3系統(tǒng)IP為打造機(jī)密計(jì)算和多芯粒基礎(chǔ)設(shè)施SoC夯實(shí)根基

    Arm Neoverse S3 是 Arm 專門面向基礎(chǔ)設(shè)施的第三代系統(tǒng) IP,應(yīng)用范圍涵蓋高性能計(jì)算 (HPC) 、機(jī)器學(xué)習(xí) (ML)、邊緣和顯示處理單元,是新一代基礎(chǔ)設(shè)施系統(tǒng)級(jí)芯片 (SoC) 的理想技術(shù)根基。
    的頭像 發(fā)表于 03-22 11:30 ?567次閱讀
    Neoverse S<b class='flag-5'>3</b>系統(tǒng)IP為打造機(jī)密計(jì)算和多芯粒<b class='flag-5'>基礎(chǔ)設(shè)施</b>SoC夯實(shí)根基