0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

閃存破局“內(nèi)存焦慮”,AI微調(diào)訓(xùn)練增加閃存消耗

花茶晶晶 ? 來源:電子發(fā)燒友 ? 作者:黃晶晶 ? 2025-03-26 09:28 ? 次閱讀

電子發(fā)燒友網(wǎng)報道(文/黃晶晶)面對蓬勃發(fā)展的AI,在MemoryS 2025上,群聯(lián)電子執(zhí)行長潘健成表示,面對AI服務(wù)器成本太高、數(shù)據(jù)上云端不安全等挑戰(zhàn),在地端的AI微調(diào)訓(xùn)練對于解決問題而言是必須的。若一味增加GPU和內(nèi)存數(shù)量,無疑將導(dǎo)致本地AI訓(xùn)練的成本奇高,無法獲得普及效應(yīng)。

wKgZO2fiDHGASBv9AAJO4VKl5Gc569.jpg
圖:群聯(lián)電子執(zhí)行長潘健成


群聯(lián)電子推出了獨(dú)家發(fā)明且也是全球第一家將NAND應(yīng)用于AI服務(wù)器中的滿血版AI訓(xùn)推一體機(jī)平價方案aiDAPTIV+。通過aiDAPTIV+,企業(yè)可以在本地邊緣環(huán)境中執(zhí)行AI模型后微調(diào)訓(xùn)練,確保數(shù)據(jù)安全的同時顯著降低AI訓(xùn)練成本。

群聯(lián)電子aiDAPTIV+ 技術(shù)通過動態(tài)緩存,結(jié)合基于NAND 閃存“aiDAPTIVCache”緩存技術(shù),擴(kuò)展 HBM 和 GDDR 內(nèi)存,顯著提升性能。據(jù)悉,在 GTC 2025 大會上,群聯(lián)攜手 Maingear 公司推出了搭載 aiDAPTIV+ 技術(shù)的全球首款支援 LLMOps (Large Language Model Operations; 大型語言模型運(yùn)作) 的消費(fèi)級筆電,用戶將可使用自身企業(yè)或個人資料來微調(diào)(Post-training/Fine-tuning) 最多 80億 (8B) 參數(shù)的大型語言模型 (LLM),讓預(yù)訓(xùn)練 (Pre-trained) 的AI模型能依據(jù)邊緣應(yīng)用場景與使用者需求進(jìn)行客制化 (Post-training),以達(dá)到真正的AI落地普及化;此外,通過 aiDAPTIVLink 3.0 新版中間件 (Middleware),負(fù)責(zé) SSD 的 NAND 和 GPU 之間的數(shù)據(jù)傳輸,提供更快的首個 Token 時間(TTFT)回調(diào)響應(yīng),并支持更大的 LLM(大型語言模型)提示上下文。

“我們的地端AI模型微調(diào)方案aiDAPTIV+,與NVIDIA創(chuàng)辦人黃仁勛于CES演講中提及的地端推論 (Inference) 機(jī)器設(shè)備策略相呼應(yīng),將為AI應(yīng)用的地端模型微調(diào)訓(xùn)練以及推論帶來更廣泛的應(yīng)用場景及SSD有很大幫助?!迸私〕烧f道,本地AI微調(diào)訓(xùn)練將進(jìn)一步增加英偉達(dá)GPU的銷量,也將為閃存產(chǎn)業(yè)鏈打開新的市場空間,尤其是企業(yè)級SSD需求將從云端下沉到邊緣端市場。

群聯(lián)電子2024年業(yè)績表現(xiàn)亮眼,總營收金額達(dá)新臺幣589.36億元,較2023年增長達(dá)22%,創(chuàng)下歷史第三高紀(jì)錄。潘健成表示,2024年雖然面臨全球消費(fèi)市場疲軟的挑戰(zhàn),但群聯(lián)憑借堅(jiān)強(qiáng)的技術(shù)實(shí)力與多樣的產(chǎn)品布局,依舊在業(yè)界交出亮眼成績。我們的存儲解決方案在各大應(yīng)用領(lǐng)域持續(xù)受到市場肯定,展現(xiàn)出群聯(lián)的靈活應(yīng)對能力與市場競爭力。

潘健成在演講中指出,2024年群聯(lián)電子研發(fā)支出近30億元人民幣,巨額研發(fā)支出帶來了巨大壓力,同樣的,盈利難也導(dǎo)致NAND原廠資本支出開始放緩。

在他看來,若談NAND產(chǎn)業(yè)未來路在何方,如何協(xié)助NAND原廠創(chuàng)造價值是重要課題之一。渠道市場存儲產(chǎn)品需求快速下滑,“要能夠生存就要長進(jìn)”,系統(tǒng)整合廠要做NAND存儲差異化、要創(chuàng)造價值。如在PC應(yīng)用上,群聯(lián)開發(fā)了PQC防偽方案,安裝于PC的存儲,可辨識AI合成圖片、視頻、文件,強(qiáng)化PC資料防護(hù),價值是原來SSD的3倍。

他進(jìn)一步認(rèn)為,電子產(chǎn)業(yè)經(jīng)歷三大周期,從90年代的PC、到2000年左右的智能手機(jī),再到現(xiàn)在的AI走入端側(cè),回看過去每一次的產(chǎn)業(yè)大爆發(fā)都帶動半導(dǎo)體產(chǎn)業(yè)鏈10多年的成長動能。而這一次AI的到來也將產(chǎn)生新的長周期的半導(dǎo)體繁榮。毋庸置疑,端側(cè)AI將帶給存儲巨大的機(jī)會。




聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 閃存
    +關(guān)注

    關(guān)注

    16

    文章

    1823

    瀏覽量

    115440
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    32937

    瀏覽量

    272599
收藏 0人收藏

    評論

    相關(guān)推薦

    HBM不再是主戰(zhàn)場?256TB、QLC、企業(yè)級…閃存激蕩AI存力

    電子發(fā)燒友網(wǎng)綜合報道,在今年的MemoryS 2025上最熱的話題當(dāng)然是AI,DeepSeek徹底引爆存儲需求,例如企業(yè)級SSD不僅用于云端訓(xùn)練,還將拓展到AI訓(xùn)推一體機(jī)等場景。對數(shù)據(jù)中心AI
    發(fā)表于 03-17 09:14 ?463次閱讀

    NAND閃存的工作原理和結(jié)構(gòu)特點(diǎn)

    NAND閃存是一種非易失性存儲技術(shù),廣泛用于固態(tài)硬盤、USB閃存盤和手機(jī)存儲中,具有高速讀寫和耐用性強(qiáng)的特點(diǎn)。
    的頭像 發(fā)表于 03-12 10:21 ?573次閱讀
    NAND<b class='flag-5'>閃存</b>的工作原理和結(jié)構(gòu)特點(diǎn)

    使用OpenVINO?訓(xùn)練擴(kuò)展對水平文本檢測模型進(jìn)行微調(diào),收到錯誤信息是怎么回事?

    已針對水平文本檢測模型運(yùn)行OpenVINO?訓(xùn)練擴(kuò)展中的 微調(diào) 步驟,并收到錯誤消息: RuntimeError: Failed to find annotation files
    發(fā)表于 03-05 06:48

    DDR4內(nèi)存價格下跌,NAND閃存減產(chǎn)效果未顯

    TrendForce集邦咨詢最新發(fā)布的內(nèi)存現(xiàn)貨價格趨勢報告顯示,DRAM和NAND閃存市場近期呈現(xiàn)出不同的態(tài)勢。
    的頭像 發(fā)表于 02-08 16:41 ?411次閱讀

    為什么ai模型訓(xùn)練要用gpu

    GPU憑借其強(qiáng)大的并行處理能力和高效的內(nèi)存系統(tǒng),已成為AI模型訓(xùn)練不可或缺的重要工具。
    的頭像 發(fā)表于 10-24 09:39 ?676次閱讀

    什么是閃存?它有哪些類型?

    閃存(Flash Memory)是一種電子式可清除程序化只讀存儲器的形式,它允許在操作中被多次擦除和寫入數(shù)據(jù)。這種技術(shù)主要用于一般性數(shù)據(jù)存儲,以及在計(jì)算機(jī)與其他數(shù)字產(chǎn)品間交換傳輸數(shù)據(jù),如儲存卡與U盤
    的頭像 發(fā)表于 09-26 15:35 ?1710次閱讀

    NAND閃存的發(fā)展歷程

    NAND閃存的發(fā)展歷程是一段充滿創(chuàng)新與突破的歷程,它自誕生以來就不斷推動著存儲技術(shù)的進(jìn)步。以下是對NAND閃存發(fā)展歷程的詳細(xì)梳理,將全面且深入地介紹其關(guān)鍵節(jié)點(diǎn)和重要進(jìn)展。
    的頭像 發(fā)表于 08-10 16:32 ?1848次閱讀

    NAND閃存和NOR閃存有什么區(qū)別

    NAND閃存和NOR閃存是兩種常見的閃存存儲器技術(shù),它們在多個方面存在顯著的差異。以下將從技術(shù)原理、結(jié)構(gòu)、性能特點(diǎn)、應(yīng)用場景以及發(fā)展趨勢等方面對兩者進(jìn)行詳細(xì)比較。
    的頭像 發(fā)表于 08-10 16:14 ?4969次閱讀

    NAND閃存是什么意思

    NAND閃存,又稱之為“NAND Flash”,是一種基于Flash存儲技術(shù)的非易失性閃存芯片。下面將從NAND閃存的定義、工作原理、特點(diǎn)、應(yīng)用領(lǐng)域以及未來發(fā)展等幾個方面進(jìn)行詳細(xì)闡述。
    的頭像 發(fā)表于 08-10 15:57 ?5958次閱讀

    如何讓閃存多次編程呢?

    你好,我正在做引導(dǎo)加載器項(xiàng)目,我使用了英飛凌示例中的閃存編程驅(qū)動程序,我重新加載了示例,之后它就正常工作了,當(dāng)我再次重新加載示例時,它在閃存寫入部分導(dǎo)致總線陷阱錯誤,如何讓閃存多次編程呢?
    發(fā)表于 07-23 07:33

    閃存的哪些扇區(qū)可用于用戶數(shù)據(jù)存儲?

    有 2 個 ESP8266 模塊被磚砌了(無法使用下載工具下載任何應(yīng)用程序)。 我將非常感謝完整的內(nèi)存映射和一些示例代碼,解釋了如何安全地使用板載閃存來存儲自定義數(shù)據(jù)。 目的是讓設(shè)備配置使用 Web
    發(fā)表于 07-12 08:13

    AI訓(xùn)練狂飆,DDR5集成PMIC護(hù)航,內(nèi)存技術(shù)持續(xù)助力

    電子發(fā)燒友網(wǎng)報道(文/黃晶晶)AI訓(xùn)練數(shù)據(jù)集正高速增長,與之相適應(yīng)的不僅是HBM的迭代升級,還有用于處理這些海量數(shù)據(jù)的服務(wù)器內(nèi)存技術(shù)的不斷發(fā)展。 ? 以經(jīng)過簡化的AI
    的頭像 發(fā)表于 07-04 09:09 ?3965次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>訓(xùn)練</b>狂飆,DDR5集成PMIC護(hù)航,<b class='flag-5'>內(nèi)存</b>技術(shù)持續(xù)助力

    SK海力士發(fā)布NAND閃存解決方案,助力端側(cè)AI手機(jī)發(fā)展

    SK海力士指出,“ZUFS 4.0是新一代移動端NAND閃存解決方案,具備行業(yè)內(nèi)最高性能且專門針對端側(cè)AI手機(jī)進(jìn)行優(yōu)化。”此外,公司還強(qiáng)調(diào),“借助此產(chǎn)品,我們將在NAND閃存領(lǐng)域引領(lǐng)AI
    的頭像 發(fā)表于 05-09 09:30 ?578次閱讀

    AI浪潮拉動DRAM與NAND閃存合約價飆升

    首先來看DRAM內(nèi)存,TrendForce原本預(yù)測2024年第二季度的合約價會上漲3~8%,現(xiàn)在已調(diào)整為13~18%。至于NAND閃存,原預(yù)測漲幅為13~18%,現(xiàn)已調(diào)整至15~20%,其中eMMC/UFS的漲幅相對較小,為10%。
    的頭像 發(fā)表于 05-07 15:56 ?507次閱讀

    SK海力士尋求東電低溫蝕刻設(shè)備,或降低NAND閃存堆棧層數(shù)

    當(dāng)前,3D NAND閃存在通過提高堆棧層數(shù)來增加容量上取得顯著進(jìn)展。然而,在這種趨勢下,閃存顆粒中的垂直通道蝕刻變得愈發(fā)困難且速率減緩。
    的頭像 發(fā)表于 05-07 10:33 ?550次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品