0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

超異構帶來的算力指數級提升,使得Chiplet的價值得到更加充分的發(fā)揮

ruikundianzi ? 來源:IP與SoC設計 ? 作者:IP與SoC設計 ? 2022-11-02 12:51 ? 次閱讀

編者按

Chiplet標準UCIe已經得到很多主流大廠的認可,席卷之勢愈發(fā)明顯。但就Chiplet的價值挖掘,目前可見的,都還停留在如何降成本和簡單地擴大設計規(guī)模方面。我們覺得,Chiplet的價值還沒有得到充分挖掘。 Chiplet帶來的價值,不應該是線性增長,而應該是指數增長:

一方面,量變會引起質變,Chiplet的流行,快速增加的單芯片設計規(guī)模,會給系統(tǒng)架構創(chuàng)新提供更大的發(fā)揮空間,使得計算的架構,從異構走向超異構。

另一方面,超異構帶來的算力指數級提升,使得Chiplet的價值得到更加充分的發(fā)揮,反過來會促進Chiplet的大范圍流行。

1 背景知識

1.1 單DIE性能和成本

6c87c174-5a64-11ed-a3b6-dac502259ad0.png

單DIE的性能和成本,是正相關的關系。通常的芯片DIE設計,一定是在保證系統(tǒng)所需性能的條件下,選擇最合適的工藝,達到最合適的面積(成本),達到在性能約束條件下的性能成本比最優(yōu)?;蛘哒f:

在系統(tǒng)性能成本最優(yōu)的狀態(tài)下,受邊際效應影響,想再想增加單DIE性能,所需要付出的成本代價非常高,會顯著影響性價比。

在系統(tǒng)性能成本最優(yōu)的狀態(tài)下,想要再優(yōu)化單DIE成本,可能會引起性能的大比例下降,反而不是性價比最優(yōu)。

1.2 Chiplet協(xié)議UCIe

英特爾AMD、ARM、高通三星、臺積電、日月光等大廠,以及Google Cloud、Meta、微軟于2022年3月2日宣布了一項新技術標準UCIe(Universal Chiplet Interconnect Express)。UCIe是一個開放的行業(yè)互連標準,可以實現小芯片之間的封裝級互連,具有高帶寬、低延遲、經濟節(jié)能的優(yōu)點。 UCIe能夠滿足幾乎所有計算領域,包括云端、邊緣端、企業(yè)、5G、汽車、高性能計算和移動設備等,對算力、內存、存儲和互連不斷增長的需求。UCIe 具有封裝集成不同Die的能力,這些Die可以來自不同的晶圓廠、采用不同的設計和封裝方式。

6c9c0fbc-5a64-11ed-a3b6-dac502259ad0.png

UCIe白皮書中給出的Chiplets封裝集成的價值:

首先是面積的影響。為了滿足不斷增長的性能需求,芯片面積增加,有些設計甚至會超出掩模版面積的限制。即使不超過面積限制,改用多個小芯片也更有利于提升良率。另外,多個相同Die的集成封裝能夠適用于更大規(guī)模的場景。

另一個價值體現在降低成本。例如,處理器核心可以采用先進的工藝,用更高的成本換取極致的性能,而內存和I/O控制器則可以復用非先進工藝。隨著工藝節(jié)點的進步,成本增長非常迅速。若采用多Die集成模式,有些Die的功能不變,我們不必對其采用先進工藝,可在節(jié)省成本的同時快速搶占市場。Chiplet封裝集成模式還可以使用戶能夠自主選擇Die的數量和類型。例如,用戶可以根據需求挑選任意數量的計算、內存和I/O Die,并無需進行Die的定制設計,可降低產品的SKU成本。

允許廠商能夠以快速且經濟的方式提供定制解決方案。如圖1所示,不同的應用場景可能需要不同的計算加速能力,但可以使用同一種核心、內存和I/O。Chiplet方式允許廠商根據功能需求對不同的功能單元應用不同的工藝節(jié)點,并實現共同封裝。相比板級互連,封裝級互連具有線長更短、布線更緊密的優(yōu)點。

1.3 超異構計算

系統(tǒng)變得越來越龐大,系統(tǒng)可以分解成很多個子系統(tǒng),子系統(tǒng)的規(guī)模已經達到傳統(tǒng)單系統(tǒng)的規(guī)模。因此,都升級一下:系統(tǒng)變成了宏系統(tǒng),子系統(tǒng)變成了系統(tǒng)。 系統(tǒng)足夠龐大,場景綜合,單類型架構無法包打天下:

CPU靈活性最好,但性能較差;

DSA性能很好,但靈活性差;

GPU介于兩者之間,可以說能較好的平衡性能和靈活性,也可以說,性能和靈活性都不夠極致。

規(guī)模龐大的復雜系統(tǒng)存在很多硬件加速的空間:

復雜系統(tǒng)最核心的一個特征是二八定律。用戶只關心自己的應用,而應用通常只占系統(tǒng)的20%,另外80%用戶不關心的也相對確定的部分,一般稱為基礎設施,這些是可以通過硬件加速來優(yōu)化性能的。

系統(tǒng)是逐步發(fā)展和沉淀的。很多原本屬于應用層的工作任務,隨著時間推移,越來越成熟,逐漸地沉淀成了基礎設施。這些沉淀的工作任務可以通過硬件加速來優(yōu)化性能。最典型的場景是AI推理,現在已經成為了基礎的服務,供不同的應用調用。

云計算、邊緣計算等形式的綜合計算模式下,單個用戶應用的規(guī)模可能不大,但因為云計算的超大規(guī)模和多租戶,很多相似的用戶應用其總和規(guī)模足夠龐大,因此,也可以通過GPU、FPGA或專用芯片的方式進行加速優(yōu)化。

6cd8b4a8-5a64-11ed-a3b6-dac502259ad0.png

那么,要做的就是揚長避短,把不同類型的處理引擎協(xié)作起來,把各種引擎的優(yōu)勢充分利用起來,形成超異構計算架構:

DSA負責相對確定的大計算量的工作;

GPU負責應用層有一些性能敏感的并且有一定彈性的工作;

CPU啥都能干,負責兜底。

于是整個系統(tǒng)架構就變成了超異構架構。

6cffbad0-5a64-11ed-a3b6-dac502259ad0.png

總結一下計算架構發(fā)展的四個階段:

第一階段,單CPU串行計算;

第二極端,多核CPU的并行計算;

第三階段,CPU+xPU的異構計算;

第四階段,CPU+GPU+DSA+etc.的超異構計算。

2 Chiplet技術方案

2.1 方案1:設計規(guī)模不變,優(yōu)化單DIE面積和良率等

6d111488-5a64-11ed-a3b6-dac502259ad0.png

一般情況下,在同等工藝同等功耗技術下,我們可以簡單地認為,面積和成本成正比的。Chiplet實現用面積更小的DIE,實現同等規(guī)模設計,其優(yōu)勢主要為:

單DIE面積變小,增加芯片良率。而通常,單DIE的面積是已經平衡好良率的情況下的,再減小面積優(yōu)化良率,可能效果并不是很明顯。并且,多DIE封裝會帶來額外的良率風險。這樣,一里一外的問題,通過多DIE來優(yōu)化良率的效果可能就不會很明顯。

可以讓一些DIE不采用先進工藝,通過較低一些的工藝降低成本。

在不改變性能的條件下,通過Chiplet封裝可以降低成本;也可以反過來說,在同樣成本條件下,通過Chiplet封裝可以提升性能。

2.2 方案2:單DIE設計規(guī)模不變,多DIE集成

6d243f9a-5a64-11ed-a3b6-dac502259ad0.png

當我們確定好單個DIE的性能和面積(功耗)的時候,這個時候相當于是把工藝的價值挖掘到了最優(yōu)。需要Chiplet的價值,也同樣需要工藝的價值,都不能少。 我們要做的是在工藝價值的基礎上,再疊加Chiplet封裝的價值。而不是如方案1一樣,為了Chiplet而Chiplet,反而放棄工藝的價值。 因此,我們可以在原有DIE的基礎上,通過多DIE封裝來立竿見影地提升性能。

2.3 方案3:多DIE集成設計規(guī)模倍增,并且重構系統(tǒng)

6d331ace-5a64-11ed-a3b6-dac502259ad0.png

通常,CPU組成的芯片,性能不夠;而GPU、DSA組成的芯片無法單獨工作,需要外掛CPU,形成CPU+XPU的異構計算架構;而SOC本質上是CPU+xPU的多個異構系統(tǒng)的集成。 異構計算和SOC,本質上都是以CPU為中心的系統(tǒng),XPU是一個個孤島,所有的事情都需要CPU的參與才能把這些處理引串起來。 超異構完全打破不同處理引擎之間的界限,CPU和其他XPU同樣的地位,XPU間可以非常充分的交互,達到系統(tǒng)充分的整合。超異構計算可以做到:

性能和靈活性兼顧。因為二八定律的緣故,絕大部分計算是在DSA級別的處理引擎中完成,所以性能效率很好。而用戶關心的應用依然是在CPU級別的處理引擎完成,又兼顧了靈活可編程性。

因為超異構計算架構可以駕馭更大的系統(tǒng),因此,可以做到,在性能效率和DSA同量級的情況下,性能相比DSA再數量級的提升。

2.4 方案性能提升對比

6d43f308-5a64-11ed-a3b6-dac502259ad0.png

注意:本節(jié)內容是定性分析,還無法做到定量分析。 方案1,可以實現性能的百分比增長。方案1的道理很好理解,本來的目標是優(yōu)化成本,在同等性能情況下,能夠百分比地優(yōu)化成本。我們相應地折算一下,在同等成本下,方案1可以做到性能的百分比提升。 方案2,可以實現性能的線性增長。方案2也很好理解,通過增加更多數量的DIE來提升并行度,以此來提升性能。集成多少個DIE,性能就增加到多少倍。 方案3,可以實現性能的指數增長。方案3通過整個系統(tǒng)重構,挖掘系統(tǒng)的一些可加速的點,然后再實現整個系統(tǒng)的充分整合重構。以此來提升性能??梢赃_到數量級的性能增長。

3 總結

3.1 設計規(guī)模的量變,引起系統(tǒng)架構的質變

規(guī)模是一個很重要的因素。 云計算百萬臺的超大規(guī)模,其軟硬件架構和運營模式跟傳統(tǒng)的數百臺的私有機房是完全迥異的。深度神經網絡,通過更大量數據、更深層次網絡的量變,成就了AI的“智”變。 芯片也是同樣的道理,隨著規(guī)模的增長,很多設計方案考慮的問題會跟以前完全不一樣。在小規(guī)模的時候,我們強調定制,極度優(yōu)化性能和功耗等;但等到超大規(guī)模IC設計,我們更多關注的是通用性、可編程性、易用性、生態(tài)等。 Chiplet機制,提供了立竿見影讓芯片設計規(guī)模數量級增加的能力。如果我們不在系統(tǒng)架構層次創(chuàng)新,充分利用芯片規(guī)模數量級增加的這個優(yōu)勢,只是簡單的平行擴展,那真是暴殄天物,浪費Chiplet給系統(tǒng)架構師們的饋贈。 換個角度,現有的異構計算也好,SOC也好,無法駕馭Chiplet提供的超大規(guī)模芯片系統(tǒng)。需要本質的、體系性的系統(tǒng)架構創(chuàng)新,來更好地駕馭Chiplet的價值。

3.2 超異構,讓Chiplet價值得到更大的發(fā)揮

超異構集成更多的處理引擎,提供更高的并行性,實現更分布式的系統(tǒng),可以更好地駕馭數量級增加的芯片設計規(guī)模。 此外,Chiplet更好地容納現有宏系統(tǒng)的承載,通過超異構,使得很多性能優(yōu)化措施得到落實,從而使得性能指數級增長(而不是根據面積的增加,線性增長)。 可以說,超異構,成就了Chiplet更大的價值,使得Chiplet方案得到更大范圍的落地,促進Chiplet技術的成熟和市場繁榮。

3.3 Chiplet和超異構的關系:雙劍合璧,相互成就

6d625c26-5a64-11ed-a3b6-dac502259ad0.png

超異構計算和Chiplet技術是相互協(xié)同、相互成就的關系:

系統(tǒng)越大,設計規(guī)模越大,超異構的性能優(yōu)勢就越明顯。

超異構計算,需要數量級提升的晶體管資源,而Chiplet可以在芯片層次提供如此規(guī)模的晶體管資源,實現超異構計算方案和價值落地。

超異構計算的價值得到充分體現,超異構不斷落地,會帶動Chiplet的價值發(fā)揮、更廣泛的落地以及市場繁榮。

隨著超異構的發(fā)展,對Chiplet的要求會不斷提高,需要Chiplet技術向更高的能力邁進。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 單芯片
    +關注

    關注

    3

    文章

    422

    瀏覽量

    34608
  • chiplet
    +關注

    關注

    6

    文章

    434

    瀏覽量

    12609
  • UCIe
    +關注

    關注

    0

    文章

    47

    瀏覽量

    1636

原文標題:超異構 x Chiplet:雙劍合璧,實現算力指數級提升

文章出處:【微信號:IP與SoC設計,微信公眾號:IP與SoC設計】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    融合 南京信易達發(fā)布全新“智能融合平臺”

    四大系統(tǒng)模塊,為集群提供全面的運營運維管理服務與用戶自助服務。 通過資源監(jiān)控、作業(yè)調度、應用中心、數據中心等功能,一站式解決多元的管理復雜性、資源
    的頭像 發(fā)表于 01-08 10:56 ?120次閱讀
    <b class='flag-5'>超</b><b class='flag-5'>算</b>智<b class='flag-5'>算</b>融合 南京信易達發(fā)布全新“智能<b class='flag-5'>算</b><b class='flag-5'>力</b>融合平臺”

    芯片 高性能 CPU/GPU/NPU 微架構分析》第1-4章閱讀心得——之巔:從基準測試到CPU微架構的深度探索

    。這一方法突顯了現代的核心優(yōu)勢——并行計算能力。舉一個具體實例來說,天河二號采用了異構架構,集成了英特爾至強處理器和中國自主研發(fā)的申威眾核加速器。這種CPU與協(xié)處理器的結合不僅提升
    發(fā)表于 10-19 01:21

    中國智能汽車騰飛,為什么異構是第一生產?

    智能時代的“世紀之車”,異構是第一驅動力
    的頭像 發(fā)表于 09-14 10:32 ?3767次閱讀
    中國智能汽車騰飛,為什么<b class='flag-5'>異構</b><b class='flag-5'>算</b><b class='flag-5'>力</b>是第一生產<b class='flag-5'>力</b>?

    的分類與現代生活

    提升使得用戶能夠享受到更加流暢和豐富的數字體驗。 個人通常指的是個人使用的計算設備,如智
    的頭像 發(fā)表于 08-26 15:05 ?241次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>的分類與現代生活

    安謀科技異構組合,破局生成式AI挑戰(zhàn)

    ,“此芯P1”不僅異構集成了Armv9 CPU核心與Arm Immortalis GPU,還搭載了安謀科技(中國)有限公司(以下簡稱“安謀科技”)“周易”NPU等自研業(yè)務產品。憑借高能效的異構
    的頭像 發(fā)表于 08-13 09:12 ?601次閱讀

    異構,打贏智時代「牧野之戰(zhàn)」

    商周大戰(zhàn)?周武王用「異構」拿下戰(zhàn)場!
    的頭像 發(fā)表于 07-24 14:13 ?1809次閱讀
    <b class='flag-5'>異構</b>智<b class='flag-5'>算</b>,打贏智<b class='flag-5'>算</b>時代「牧野之戰(zhàn)」

    神州鯤泰亮相北京數字安全大會,以智能構筑數據安全的堅實底座

    正成為賦能各行各業(yè)數字化轉型的基礎技術要素,神州鯤泰面對智時代多云、異構、綠色計算等現實需求,智集群間以及集群內復雜
    的頭像 發(fā)表于 07-18 16:06 ?460次閱讀
    神州鯤泰亮相北京數字安全大會,以智能<b class='flag-5'>算</b><b class='flag-5'>力</b>構筑數據安全的堅實底座

    異構混訓整合不同架構芯片資源,提高利用率

    的解決方案。通過混合使用多種異構芯片,可以充分利用不同芯片的優(yōu)勢,提高利用率,降低成本,
    的頭像 發(fā)表于 07-18 00:11 ?3545次閱讀

    商湯科技采購40000顆英偉達芯片,縮小中美差距

    徐冰認為,國產芯片崛起以及商品化帶來的投資價值,使中美差距有望逐步縮小。只要中國持續(xù)在
    的頭像 發(fā)表于 05-28 11:25 ?1334次閱讀

    鯤泰新聞|神州鯤泰創(chuàng)新智之旅北京站開幕,發(fā)布全新智架構和液冷整機柜產品應對 “多云、異構、綠色

    加速平臺HICA以及一體化交付的神州鯤泰全液冷整機柜產品。幫助企業(yè)客戶在整個異構資源池中匹配更優(yōu)組合、有效
    的頭像 發(fā)表于 05-22 10:56 ?400次閱讀
    鯤泰新聞|神州鯤泰創(chuàng)新智<b class='flag-5'>算</b>之旅北京站開幕,發(fā)布全新智<b class='flag-5'>算</b>架構和液冷整機柜產品應對 “多云、<b class='flag-5'>異構</b>、綠色

    全志科技T527高八核異構芯片獲“年度最佳SoC”榮譽

    全志科技T527高八核異構芯片獲“年度最佳SoC”榮譽
    的頭像 發(fā)表于 04-08 10:29 ?1710次閱讀
    全志科技T527高<b class='flag-5'>算</b><b class='flag-5'>力</b>八核<b class='flag-5'>異構</b>芯片獲“年度最佳SoC”榮譽

    聚焦全國一體化體系構建,憶聯以強大存“引擎”釋放潛能

    ”,充分體現了國家推進數字基建、提升一體化的決心。數據存儲是建設中的重要一環(huán),也是數字經
    的頭像 發(fā)表于 03-22 18:13 ?555次閱讀
    聚焦全國一體化<b class='flag-5'>算</b><b class='flag-5'>力</b>體系構建,憶聯以強大存<b class='flag-5'>力</b>“引擎”釋放<b class='flag-5'>算</b><b class='flag-5'>力</b>潛能

    到底什么是價值在哪里?

    的字面意思,大家都懂,就是計算能力(ComputingPower)。所謂“計算”,我們可以有多種定義。狹義的定義,是對數學問題進行運算的過程,例如完成“1+1=?”的過程,或者對“哥德巴赫猜想
    的頭像 發(fā)表于 03-13 08:26 ?1816次閱讀
    到底什么是<b class='flag-5'>算</b><b class='flag-5'>力</b>?<b class='flag-5'>算</b><b class='flag-5'>力</b>的<b class='flag-5'>價值</b>在哪里?

    智能規(guī)模通用,大模型對智能提出高要求

    的縮寫,即每秒所能夠進行的浮點運算數目(每秒浮點運算量)。 ? 可以分為通用、智能
    的頭像 發(fā)表于 02-06 00:08 ?6452次閱讀

    大茉莉X16-P,5800M大稱王稱霸

    Rykj365
    發(fā)布于 :2024年01月25日 14:54:52