0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

激光封裝技術在人工智能發(fā)展中的作用

半導體芯科技SiSC ? 來源:逍遙科技 逍遙設計自動化 ? 作者:逍遙科技 逍遙設計 ? 2024-08-20 16:42 ? 次閱讀

來源:逍遙科技 逍遙設計自動化

簡介

隨著人工智能AI)應用的迅速發(fā)展,對大帶寬、高效率數(shù)據(jù)傳輸解決方案的需求日益突出。目前用于AI訓練和推理的成千上萬個GPU正面臨傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡互聯(lián)方案所帶來的性能瓶頸。這些傳統(tǒng)方案增加了功耗和成本,凸顯了創(chuàng)新解決方案的迫切需求。
光I/O和光電共封裝(CPO)解決方案是最有前途的技術進展之一。通過優(yōu)化數(shù)據(jù)吞吐量和系統(tǒng)性能,促進了大型互聯(lián)AI集群的發(fā)展。這些光學I/O和光電共封裝解決方案需要創(chuàng)新和高度先進的激光封裝策略,以提高系統(tǒng)的性能、可擴展性和可靠性,這對于當前盈利的AI基礎設施部署非常重要。

wKgaombEVu-AYMvjAABUUhzoDpE645.jpg

硅基光電子中的激光封裝硅基光電子通過使用光信號而非電信號,改變了邏輯芯片和存儲芯片內(nèi)部及之間的數(shù)據(jù)傳輸方式。這一技術對針對生成式AI的部署變得越來越重要。傳統(tǒng)的基于銅的解決方案日益限制了這些系統(tǒng)的數(shù)據(jù)流,制約了計算設備和存儲容量的集群規(guī)模和數(shù)據(jù)速率。
可插拔光模塊一直是將電信號轉換為光信號(反之亦然)的最常見方法。CPO技術成功地將I/O模塊從面板上移開,將模塊組件與計算或交換芯片集成到一個封裝中。協(xié)同封裝將可插拔收發(fā)器的功能直接集成到應用專用集成電路ASIC)旁邊,減少了高帶寬下銅鏈路的信號損失。
光I/O為分布式計算系統(tǒng)(如需要高帶寬密度、低能耗和低互連延遲的AI集群)提供了一種更集成、更節(jié)能的解決方案。這是通過將單個電光芯片與計算ASIC封裝在一起來實現(xiàn)的,該芯片執(zhí)行由分立模塊構建的收發(fā)器的發(fā)送、接收和數(shù)據(jù)轉換功能。

CPO和光學I/O解決方案可以使用集成或遠程光源為其協(xié)同封裝模塊或芯片提供光學輸入。讓我們來研究這兩種選擇,并探討它們的優(yōu)勢和權衡。
集成光源集成光源指的是光源與CPO模塊或光I/O芯片共同定位,靠近GPU或其他計算ASIC的方法。這可以通過將激光器單獨制造并與光電子集成芯片(PIC)共同封裝,或者與PIC單片集成制造來實現(xiàn)。另一方面,遠程光源(也稱為分離式或外部激光器)是獨立封裝的,與CPO模塊、光I/O芯片和ASIC物理分離。
現(xiàn)代AI系統(tǒng)需要非常高功耗的GPU或ASIC芯片,這會導致其周圍環(huán)境溫度很高。由于物理接近,集成光源會經(jīng)歷這些非常高的溫度,而使用遠程光源的系統(tǒng)可以設計為經(jīng)歷更好的熱環(huán)境。
激光器,特別是在先進數(shù)據(jù)速率所需的高輸出功率下,是光連接解決方案中在高溫下最容易失效的組件,可能會導致整個鏈路失效。遠程光源的優(yōu)勢在于其所處的熱環(huán)境要求較低,延長了其使用壽命,大大降低了故障率和系統(tǒng)停機時間。
此外,遠程激光器可以輕松移除、維修或更換,而不會干擾其他系統(tǒng)組件,如協(xié)同封裝的GPU和CPO或光I/O芯片。集成光源可能無法維修,或需要對昂貴的ASIC封裝進行重大修改,從而增加成本和系統(tǒng)停機時間。
業(yè)界已經(jīng)制定了外部激光器小型可插拔(ELSFP)規(guī)范,認識到了外部激光器的重要性。這種通用外形因子利用了可插拔模塊的可維修性、可更換性和易部署性優(yōu)勢,以及CPO解決方案的成本、延遲和信道損耗優(yōu)勢,同時將供應商和客戶生態(tài)系統(tǒng)統(tǒng)一到一個單一的外形因子上。

wKgZombEVvGAHNGzAACdSKpa5vk959.jpg

需要考慮的因素從成本和可靠性的角度來看,光源通常是光連接解決方案中最敏感的組件。設計師和架構師應優(yōu)先考慮多樣化的供應商和標準化的波長網(wǎng)格,如使用了二十多年的O波段LR4網(wǎng)格。這種方法確保了低設計和供應風險,并建立了一個具有吸引力的大批量成本結構,這對于成功部署光學I/O重要。
連續(xù)波波分復用多源協(xié)議(CW-WDM MSA)匯集了廣泛的行業(yè)利益相關者,包括激光器供應商、收發(fā)器制造商、CPO和光學I/O連接供應商等,以促進解決方案之間的互操作性,減少對任何單一供應商或技術的依賴。這種標準化努力對于支持AI、HPC和其他高價值、大批量應用的解決方案重要。
遠程光源的作用AI技術的進步和大型語言模型(LLM)的指數(shù)級增長,要求在計算和存儲元素之間有新的數(shù)據(jù)傳輸解決方案,來適應模型規(guī)模和令牌數(shù)量的指數(shù)級增長。遠程光源是解決這些瓶頸的光學I/O解決方案的關鍵使能技術。
傳統(tǒng)的網(wǎng)絡系統(tǒng)在大型系統(tǒng)內(nèi)部的連接高度依賴交換機,這會引入延遲并限制高帶寬域的大小。光學I/O解決方案中通常具有的多波長、多端口功能使得在多個設備之間提供直接、低延遲、高帶寬的連接成為可能。這種方法通過消除交換機簡化了系統(tǒng)架構,提高了網(wǎng)絡中數(shù)據(jù)交換的速度和可擴展性,從而增加了高帶寬域的大小。
AI架構中最大的挑戰(zhàn)之一是"內(nèi)存墻",即快速增加的內(nèi)存與計算比率導致操作效率受到與處理器芯片一起封裝的高帶寬內(nèi)存(HBM)數(shù)量的限制。當遠程光源作為光I/O解決方案的一部分時,通過啟用通過超低延遲、高帶寬鏈路連接到GPU的分離式內(nèi)存集群,緩解了這一瓶頸。
激光封裝技術現(xiàn)在是克服阻礙AI潛力發(fā)揮的瓶頸的關鍵構建塊。遠程光源在這一進程中發(fā)揮著重要作用,為未來AI系統(tǒng)的發(fā)展提供了強有力的支持。
參考來源
https://www.lightwaveonline.com/home/article/55131827/the-role-of-laser-packaging-in-advancing-ai-technologies?utm_content=303385105&utm_medium=social&utm_source=linkedin&hss_channel=lcp-6627049

【近期會議】

10月30-31日,由寬禁帶半導體國家工程研究中心主辦的“化合物半導體先進技術及應用大會”將首次與大家在江蘇·常州相見,邀您齊聚常州新城希爾頓酒店,解耦產(chǎn)業(yè)鏈市場布局!https://w.lwc.cn/s/uueAru

11月28-29日,“第二屆半導體先進封測產(chǎn)業(yè)技術創(chuàng)新大會”將再次與各位相見于廈門,秉承“延續(xù)去年,創(chuàng)新今年”的思想,仍將由云天半導體與廈門大學聯(lián)合主辦,雅時國際商訊承辦,邀您齊聚廈門·海滄融信華邑酒店共探行業(yè)發(fā)展!誠邀您報名參會:https://w.lwc.cn/s/n6FFne

聲明:本網(wǎng)站部分文章轉載自網(wǎng)絡,轉發(fā)僅為更大范圍傳播。 轉載文章版權歸原作者所有,如有異議,請聯(lián)系我們修改或刪除。聯(lián)系郵箱:viviz@actintl.com.hk, 電話:0755-25988573

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 激光
    +關注

    關注

    19

    文章

    3208

    瀏覽量

    64539
  • 封裝
    +關注

    關注

    126

    文章

    7933

    瀏覽量

    143048
  • 人工智能
    +關注

    關注

    1791

    文章

    47352

    瀏覽量

    238771
收藏 人收藏

    評論

    相關推薦

    編程語言人工智能的使用

    。編程語言AI的發(fā)展中扮演著至關重要的角色,它們?yōu)殚_發(fā)人員提供了構建和實現(xiàn)智能系統(tǒng)的工具和框架。 1. Python Python是人工智能領域最受歡迎的編程語言之一,原因有以下幾點
    的頭像 發(fā)表于 11-15 09:34 ?310次閱讀

    嵌入式和人工智能究竟是什么關系?

    人工智能的結合,無疑是科技發(fā)展中的一場革命。人工智能硬件加速,嵌入式系統(tǒng)以其獨特的優(yōu)勢和重要性,發(fā)揮著不可或缺的
    發(fā)表于 11-14 16:39

    soc人工智能的創(chuàng)新應用

    社會計算(Social Computing, SOC)是一個跨學科領域,它結合了社會科學、計算機科學和人工智能,以理解和設計社會互動技術系統(tǒng)。隨著人工智能(AI)
    的頭像 發(fā)表于 11-10 09:30 ?409次閱讀

    LLM技術人工智能發(fā)展的影響

    。 一、LLM技術人工智能領域的應用 自然語言處理(NLP) LLM技術自然語言處理領域發(fā)揮著重要
    的頭像 發(fā)表于 11-08 09:28 ?403次閱讀

    智慧城市可持續(xù)發(fā)展中的應用

    智慧城市可持續(xù)發(fā)展中的應用體現(xiàn)在多個方面,它利用大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等先進技術,實現(xiàn)城市資源的高效利用、環(huán)境的保護、社會的包容性和經(jīng)濟的可持續(xù)
    的頭像 發(fā)表于 10-24 15:25 ?730次閱讀

    《AI for Science:人工智能驅動科學創(chuàng)新》第6章人AI與能源科學讀后感

    不僅提高了能源的生產(chǎn)效率和管理水平,還為未來的可持續(xù)發(fā)展提供了有力保障。隨著技術的不斷進步和應用場景的不斷拓展,人工智能將在能源科學領域發(fā)揮更加重要的作用。 總結 《AI for Sc
    發(fā)表于 10-14 09:27

    AI for Science:人工智能驅動科學創(chuàng)新》第4章-AI與生命科學讀后感

    。 4. 對未來生命科學發(fā)展的展望 閱讀這一章后,我對未來生命科學的發(fā)展充滿了期待。我相信,人工智能技術的推動下,生命科學將取得更加顯著
    發(fā)表于 10-14 09:21

    《AI for Science:人工智能驅動科學創(chuàng)新》第二章AI for Science的技術支撐學習心得

    ,推動科學研究的深入發(fā)展。 總結 通過閱讀《AI for Science:人工智能驅動科學創(chuàng)新》第二章,我對AI for Science的技術支撐有了更加全面和深入的理解。我深刻認識到AI
    發(fā)表于 10-14 09:16

    《AI for Science:人工智能驅動科學創(chuàng)新》第一章人工智能驅動的科學創(chuàng)新學習心得

    ,無疑為讀者鋪設了一條探索人工智能(AI)如何深刻影響并推動科學創(chuàng)新的道路。閱讀這一章后,我深刻感受到了人工智能技術科學領域的廣泛應用潛力以及其帶來的革命性變化,以下是我個人的學習
    發(fā)表于 10-14 09:12

    risc-v人工智能圖像處理應用前景分析

    、RISC-V人工智能圖像處理的應用案例 目前,已有多個案例展示了RISC-V人工智能圖像處理
    發(fā)表于 09-28 11:00

    名單公布!【書籍評測活動NO.44】AI for Science:人工智能驅動科學創(chuàng)新

    大力發(fā)展AI for Science的原因。 第2章從科學研究底層的理論模式與主要困境,以及人工智能三要素(數(shù)據(jù)、算法、算力)出發(fā),對AI for Science的技術支撐進行解讀。 第3章介紹了
    發(fā)表于 09-09 13:54

    FPGA人工智能的應用有哪些?

    定制化的硬件設計,提高了硬件的靈活性和適應性。 綜上所述,F(xiàn)PGA人工智能領域的應用前景廣闊,不僅可以用于深度學習的加速和云計算的加速,還可以針對特定應用場景進行定制化計算,為人工智能技術
    發(fā)表于 07-29 17:05

    人工智能技術集成電路的應用

    隨著科技的飛速發(fā)展,人工智能(AI)與集成電路技術已成為推動現(xiàn)代電子工業(yè)進步的重要力量。兩者相輔相成,共同推動著電子產(chǎn)品的智能化、高效化和可靠化。本文將從多個角度詳細探討
    的頭像 發(fā)表于 07-15 09:43 ?3136次閱讀

    NLP技術人工智能領域的重要性

    自然語言處理(Natural Language Processing, NLP)與人工智能(Artificial Intelligence, AI)的交織發(fā)展中,NLP技術作為連接人
    的頭像 發(fā)表于 07-04 16:03 ?568次閱讀

    嵌入式人工智能的就業(yè)方向有哪些?

    于工業(yè)、農(nóng)業(yè)、醫(yī)療、城市建設、金融、航天軍工等多個領域。新時代發(fā)展背景下,嵌入式人工智能已是大勢所趨,成為當前最熱門的AI商業(yè)化途徑之一。
    發(fā)表于 02-26 10:17