DeepSeek扔的第二枚開源王炸是什么

在DeepSeek啟動(dòng)的“開源周”上（Open Source Week）DeepSeek將陸續(xù)開源5個(gè)代碼庫，大家關(guān)心的DeepSeek扔的第二枚開源王炸是什么？我們這里來簡單介紹一下。

DeepSeek在其開源周活動(dòng)中連續(xù)扔出了兩枚震撼業(yè)界的“開源王炸”--FlashMLA與DeepEP。

在25日，也就是DeepSeek開源周的第二天，DeepSeek發(fā)布了名為DeepEP的開源代碼庫。DeepEP是全球首個(gè)專為MoE(混合專家)模型訓(xùn)練和推理設(shè)計(jì)的通信庫，它的出現(xiàn)填補(bǔ)了該領(lǐng)域?qū)Ｓ霉ぞ叩目瞻?。MoE模型作為一種能夠有效提升AI模型性能和擴(kuò)展性的架構(gòu)，近年來在自然語言處理、計(jì)算機(jī)視覺等領(lǐng)域得到了廣泛應(yīng)用。然而，MoE模型在訓(xùn)練和推理過程中，面臨著通信開銷大、算力需求高等挑戰(zhàn)。DeepEP正是針對這些痛點(diǎn)，通過優(yōu)化GPU之間的信息傳輸效率，極大地緩解了從業(yè)者的算力焦慮。

業(yè)界人士多認(rèn)為DeepEP是首個(gè)用于 MoE 模型訓(xùn)練和推理的開源 EP 通信庫，它填補(bǔ)了MoE模型專用通信工具的空白，為大規(guī)模分布式AI訓(xùn)練和實(shí)時(shí)推理場景提供了更高效的底層支持。

DeepEP的核心優(yōu)勢在于其高效的通信機(jī)制。在傳統(tǒng)的分布式AI訓(xùn)練中，GPU之間的通信往往成為性能瓶頸。DeepEP通過一系列創(chuàng)新技術(shù)，如低延遲通信協(xié)議、智能數(shù)據(jù)調(diào)度等，顯著提升了GPU之間的通信效率。這意味著，原本需要龐大算力支持的重型任務(wù)，現(xiàn)在可以在更少的GPU上高效完成。據(jù)DeepSeek官方介紹，使用DeepEP后，某些MoE模型的訓(xùn)練速度可提升數(shù)倍，同時(shí)降低了對硬件資源的依賴。

DeepEP的技術(shù)性能特點(diǎn)概述：

EP為Expert Parallelism（專家并行），是一種在大規(guī)模分布式AI模型訓(xùn)練中使用的技術(shù)，能用于提升模型并行處理能力和訓(xùn)練效率。

1、高效通信架構(gòu)

支持優(yōu)化的全對全通信模式，實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間的NVLink與RDMA互聯(lián)，提升數(shù)據(jù)傳輸效率

2、多精度與調(diào)度優(yōu)化

原生支持FP8低精度運(yùn)算調(diào)度，降低計(jì)算資源消耗。

3、重性能內(nèi)核

據(jù)介紹，高吞吐量內(nèi)核可適用于訓(xùn)練和推理預(yù)填充場景，最大化數(shù)據(jù)處理能力；

4、低延遲內(nèi)核

它針對推理解碼場景設(shè)計(jì)，采用純RDMA通信和自適應(yīng)路由技術(shù)，減少延遲。

5、資源控制與重疊機(jī)制

通過靈活的GPU資源控制策略，實(shí)現(xiàn)計(jì)算與通信過程的高效重疊，避免資源閑置。

6、深度優(yōu)化場景

針對NVLink到RDMA的非對稱帶寬轉(zhuǎn)發(fā)場景進(jìn)行專項(xiàng)優(yōu)化，提升異構(gòu)網(wǎng)絡(luò)下的傳輸性能；

支持SM（Streaming Multiprocessors）數(shù)量動(dòng)態(tài)控制，平衡不同任務(wù)（如訓(xùn)練與推理）的吞吐量需求。

DeepEP與FlashMLA的對比

DeepSeek在其開源周活動(dòng)中首個(gè)開源的項(xiàng)目是FlashMLA；FlashMLA讓AI大模型低成本卻有高性能。

DeepSeek扔的第二枚開源王炸是全棧通信庫DeepEP。與第一枚開源王炸FlashMLA相比，兩者在多個(gè)方面存在顯著差異。以下是對這兩者的詳細(xì)對比以及外媒的熱議：

1. 功能定位：

● DeepEP：它是全球首個(gè)面向MoE（Mixture of Experts）模型的全棧通信庫，旨在優(yōu)化GPU之間的信息傳輸效率，從而極大提升AI模型的訓(xùn)練與推理效率。

● FlashMLA：專為英偉達(dá)Hopper架構(gòu)GPU（如H800/H100）優(yōu)化的高效MLA解碼內(nèi)核，旨在顯著提升AI的加速能力，特別是在處理長短句子并行任務(wù)時(shí)能夠動(dòng)態(tài)調(diào)整計(jì)算資源分配，避免算力浪費(fèi)。

2. 技術(shù)特點(diǎn)：

● DeepEP：具備高效的全員通信能力，支持NVLink與RDMA技術(shù)，提供高吞吐量的訓(xùn)練預(yù)填充內(nèi)核以及低延遲的推理解碼內(nèi)核。原生支持FP8調(diào)度，靈活的GPU資源管理能力使得計(jì)算和通信可以重疊進(jìn)行。

● FlashMLA：專為高性能顯卡設(shè)計(jì)，能夠充分挖掘顯卡性能潛力，被視為AI加速的“渦輪增壓器”。

3. 硬件兼容性：

● DeepEP：具有更廣泛的硬件兼容性，不受特定GPU架構(gòu)的限制。

● FlashMLA：目前僅適配Hopper架構(gòu)GPU，國產(chǎn)GPU的兼容性尚待驗(yàn)證。

DeepSeek的這兩枚開源王炸在國際上引起了廣泛關(guān)注。外媒對DeepSeek的評價(jià)普遍較高，認(rèn)為其打破了人們對人工智能研發(fā)需要“高投入、長周期”的傳統(tǒng)認(rèn)知，提供了低成本、高效能的解決方案。同時(shí)，DeepSeek的開源策略也被視為一種促進(jìn)全球科技進(jìn)步的積極舉措。

具體來說，外媒對DeepEP和FlashMLA的關(guān)注點(diǎn)有所不同。對于DeepEP，外媒主要關(guān)注其在優(yōu)化GPU通信效率、提升AI模型訓(xùn)練與推理效率方面的潛力。而對于FlashMLA，外媒則更側(cè)重于其在提升AI加速能力、挖掘顯卡性能潛力方面的表現(xiàn)。

DeepSeek的第二枚開源王炸DeepEP與第一枚開源王炸FlashMLA在功能定位、技術(shù)特點(diǎn)、硬件兼容性和開源時(shí)間等方面存在顯著差異。外媒對這兩者的評價(jià)普遍積極，認(rèn)為它們?yōu)槿斯ぶ悄茴I(lǐng)域帶來了新的突破和進(jìn)步。

我們知道每一次技術(shù)的突破都可能成為推動(dòng)行業(yè)發(fā)展的關(guān)鍵力量。也能夠帶來更多產(chǎn)業(yè)鏈的機(jī)遇。比如AI 能力和性能不斷提升，模型的規(guī)模和復(fù)雜度持續(xù)增長，面對信息速率和密度不斷提升的AI，技術(shù)進(jìn)步也會(huì)遵循摩爾定律，那硬件互連準(zhǔn)備好了嗎？

DeepSeek啟動(dòng)的“開源周”連續(xù)5天（2月24日至28日）；歡迎大家繼續(xù)關(guān)注DeepSeek的大招。期待更多讓我們驚喜的東西能夠面世。