0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Ampere AI優(yōu)化框架如何加速 AI 推理

科技綠洲 ? 來(lái)源:安晟培半導(dǎo)體 ? 作者:安晟培半導(dǎo)體 ? 2022-05-26 10:01 ? 次閱讀

Microsoft Build 是為來(lái)自全球各地的開發(fā)人員、工程師、IT 專業(yè)人員、學(xué)生和初創(chuàng)公司打造的年度技術(shù)盛會(huì)。今年的會(huì)議采用線上的方式,展示 Microsoft 技術(shù)、Windows、Office 等技術(shù)及應(yīng)用的最新前沿資訊。

此前,Ampere Computing 和 Microsoft 宣布,雙方攜手開發(fā)了基于全球第一款云原生處理器 Ampere? Altra? 的 Azure 虛擬機(jī)(VM),不僅為開發(fā)人員帶來(lái)全新的性能和能效優(yōu)勢(shì),還帶來(lái)了比 x86 的同款解決方案高出 66% 的優(yōu)越性價(jià)比。

Ampere Computing 受邀以精選合作伙伴身份參加今年的 Microsoft Build 大會(huì),通過演講、demo 展示、技術(shù)趨勢(shì)探討等多種方式詳細(xì)地介紹基于Ampere Altra 的 Azure VM 解決方案,為全球科技迷們創(chuàng)造了大飽眼福的機(jī)會(huì)。

您可以觀看 Ampere Computing 解決方案高級(jí)總監(jiān) Sean Varley 先生發(fā)表的題為 The Essential Nature of Cloud Native Processor: Foundations, Solutions, and Benefits 的演講,詳細(xì)介紹了 Ampere Computing 如何通過領(lǐng)先的云原生處理器解決方案助力解決云計(jì)算未來(lái)十年的難題。

可預(yù)測(cè)性、可擴(kuò)展性、高性能、安全和可持續(xù)性是助力云計(jì)算下一階段發(fā)展的關(guān)鍵。Ampere Computing 推出的全球第一款云原生處理器,具備業(yè)界最高能效、最多核數(shù)。其中 128 核 Ampere? Altra? Max 在 SpecRate Integer 2017 的 Performance per Socket 跑分高達(dá) 360 的頂尖水平,而實(shí)際功耗僅為 190 瓦。

目前,Ampere Computing 的解決方案在各種工作負(fù)載上都有優(yōu)秀的表現(xiàn),包括 Web 服務(wù)、內(nèi)存數(shù)據(jù)庫(kù)、緩存、媒體轉(zhuǎn)碼和 AI 推理等。您可以點(diǎn)擊「閱讀原文」前往我們的虛擬展廳觀看完整視頻。

Ampere 技術(shù)專家?guī)?lái)更多精彩內(nèi)容

Demo Center

帶來(lái)全方位演示

云原生工作負(fù)載(如 NGINX)運(yùn)行在 Ampere Altra 的 Azure VM 上的性價(jià)比遠(yuǎn)超傳統(tǒng) x86。

Redis 和 Memcached 等云原生工作負(fù)載如何在 Ampere Altra 上顯示出比傳統(tǒng) x86 高 30% 的性價(jià)比優(yōu)勢(shì)。

Cloud Native 自動(dòng)化工具可以在 Azure 上輕松配置 Ampere 虛擬機(jī)。

Innovation Center

暢談云端最新潮流

觀看 Victor Jakubiuk 關(guān)于“以 Warp Speed 進(jìn)行 AI 推理”的演講,了解 Ampere AI 優(yōu)化框架如何以極少的成本和精力加速 AI 推理。

最大化視頻編碼的吞吐量需要一致的性能和大量的核心數(shù)。John O‘Neill 分享了在 Ampere 處理器上運(yùn)行的幾個(gè)視頻相關(guān)基準(zhǔn)測(cè)試的結(jié)果。

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 處理器
    +關(guān)注

    關(guān)注

    68

    文章

    19313

    瀏覽量

    230056
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    30998

    瀏覽量

    269310
  • 虛擬機(jī)
    +關(guān)注

    關(guān)注

    1

    文章

    918

    瀏覽量

    28232
  • Ampere
    +關(guān)注

    關(guān)注

    1

    文章

    67

    瀏覽量

    4546
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    FPGA和ASIC在大模型推理加速中的應(yīng)用

    隨著現(xiàn)在AI的快速發(fā)展,使用FPGA和ASIC進(jìn)行推理加速的研究也越來(lái)越多,從目前的市場(chǎng)來(lái)說,有些公司已經(jīng)有了專門做推理的ASIC,像Groq的LPU,專門針對(duì)大語(yǔ)言模型的
    的頭像 發(fā)表于 10-29 14:12 ?508次閱讀
    FPGA和ASIC在大模型<b class='flag-5'>推理</b><b class='flag-5'>加速</b>中的應(yīng)用

    NVIDIA助力麗蟾科技打造AI訓(xùn)練與推理加速解決方案

    麗蟾科技通過 Leaper 資源管理平臺(tái)集成 NVIDIA AI Enterprise,為企業(yè)和科研機(jī)構(gòu)提供了一套高效、靈活的 AI 訓(xùn)練與推理加速解決方案。無(wú)論是在復(fù)雜的
    的頭像 發(fā)表于 10-27 10:03 ?228次閱讀
    NVIDIA助力麗蟾科技打造<b class='flag-5'>AI</b>訓(xùn)練與<b class='flag-5'>推理</b><b class='flag-5'>加速</b>解決方案

    RISC-V如何支持不同的AI和機(jī)器學(xué)習(xí)框架和庫(kù)?

    RISC-V如何支持不同的AI和機(jī)器學(xué)習(xí)框架和庫(kù)?還請(qǐng)壇友們多多指教一下。
    發(fā)表于 10-10 22:24

    AMD助力HyperAccel開發(fā)全新AI推理服務(wù)器

    提高成本效率。HyperAccel 針對(duì)新興的生成式 AI 應(yīng)用提供超級(jí)加速的芯片 IP/解決方案。HyperAccel 已經(jīng)打造出一個(gè)快速、高效且低成本的推理系統(tǒng),加速了基于轉(zhuǎn)換器的
    的頭像 發(fā)表于 09-18 09:37 ?374次閱讀
    AMD助力HyperAccel開發(fā)全新<b class='flag-5'>AI</b><b class='flag-5'>推理</b>服務(wù)器

    LLM大模型推理加速的關(guān)鍵技術(shù)

    LLM(大型語(yǔ)言模型)大模型推理加速是當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn),旨在提高模型在處理復(fù)雜任務(wù)時(shí)的效率和響應(yīng)速度。以下是對(duì)LLM大模型推理加速關(guān)鍵技術(shù)的詳細(xì)探討,內(nèi)容將涵蓋模型壓縮、
    的頭像 發(fā)表于 07-24 11:38 ?905次閱讀

    ai大模型和ai框架的關(guān)系是什么

    AI大模型和AI框架是人工智能領(lǐng)域中兩個(gè)重要的概念,它們之間的關(guān)系密切且復(fù)雜。 AI大模型的定義和特點(diǎn) AI大模型是指具有大量參數(shù)的深度學(xué)習(xí)
    的頭像 發(fā)表于 07-16 10:07 ?4w次閱讀

    AI大模型與AI框架的關(guān)系

    在探討AI大模型與AI框架的關(guān)系時(shí),我們首先需要明確兩者的基本概念及其在人工智能領(lǐng)域中的角色。AI大模型通常指的是具有極大規(guī)模、高度復(fù)雜性和強(qiáng)大能力的人工智能系統(tǒng),它們能夠處理復(fù)雜的任
    的頭像 發(fā)表于 07-15 11:42 ?1112次閱讀

    AI真·煉丹:整整14天,無(wú)需人類參與

    為了科普CPU在AI推理新時(shí)代的玩法,量子位開設(shè)了《最“in”AI》專欄,將從技術(shù)科普、行業(yè)案例、實(shí)戰(zhàn)優(yōu)化等多個(gè)角度全面解讀。我們希望通過這個(gè)專欄,讓更多的人了解英特爾? 架構(gòu)CPU在
    的頭像 發(fā)表于 07-02 14:15 ?290次閱讀
    <b class='flag-5'>AI</b>真·煉丹:整整14天,無(wú)需人類參與

    英特爾助力京東云用CPU加速AI推理,以大模型構(gòu)建數(shù)智化供應(yīng)鏈

    英特爾助力京東云用CPU加速AI推理,以大模型構(gòu)建數(shù)智化供應(yīng)鏈
    的頭像 發(fā)表于 05-27 11:50 ?548次閱讀
    英特爾助力京東云用CPU<b class='flag-5'>加速</b><b class='flag-5'>AI</b><b class='flag-5'>推理</b>,以大模型構(gòu)建數(shù)智化供應(yīng)鏈

    開發(fā)者手機(jī) AI - 目標(biāo)識(shí)別 demo

    Network Runtime 神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí),作為中間橋梁連通上層AI推理框架和底層加速芯片,實(shí)現(xiàn)AI模型的跨芯片
    發(fā)表于 04-11 16:14

    ONNX Runtime支持龍架構(gòu),AI推理生態(tài)再添新翼

    近日,備受矚目的AI推理框架開源社區(qū)ONNX Runtime宣布推出支持龍架構(gòu)的新版本1.17.0,這一里程碑式的更新意味著龍芯平臺(tái)上的AI推理
    的頭像 發(fā)表于 03-27 10:58 ?735次閱讀

    AI推理框架軟件ONNX Runtime正式支持龍架構(gòu)

    近日,知名AI推理框架開源社區(qū)ONNX Runtime正式發(fā)布支持龍架構(gòu)的版本1.17.0。
    的頭像 發(fā)表于 03-12 12:23 ?594次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b><b class='flag-5'>框架</b>軟件ONNX Runtime正式支持龍架構(gòu)

    使用NVIDIA Triton推理服務(wù)器來(lái)加速AI預(yù)測(cè)

    這家云計(jì)算巨頭的計(jì)算機(jī)視覺和數(shù)據(jù)科學(xué)服務(wù)使用 NVIDIA Triton 推理服務(wù)器來(lái)加速 AI 預(yù)測(cè)。
    的頭像 發(fā)表于 02-29 14:04 ?590次閱讀

    是德科技推出AI數(shù)據(jù)中心測(cè)試平臺(tái)旨在加速AI/ML網(wǎng)絡(luò)驗(yàn)證和優(yōu)化的創(chuàng)新

    2024年2月29日,是德科技(Keysight Technologies,Inc.)宣布,針對(duì)人工智能(AI)和機(jī)器學(xué)習(xí)(ML)基礎(chǔ)設(shè)施生態(tài)系統(tǒng),推出了 AI數(shù)據(jù)中心測(cè)試平臺(tái),旨在加速AI
    的頭像 發(fā)表于 02-29 09:32 ?646次閱讀
    是德科技推出<b class='flag-5'>AI</b>數(shù)據(jù)中心測(cè)試平臺(tái)旨在<b class='flag-5'>加速</b><b class='flag-5'>AI</b>/ML網(wǎng)絡(luò)驗(yàn)證和<b class='flag-5'>優(yōu)化</b>的創(chuàng)新

    【國(guó)產(chǎn)FPGA+OMAPL138開發(fā)板體驗(yàn)】(原創(chuàng))5.FPGA的AI加速源代碼

    FPGA架構(gòu)的優(yōu)化。以下是我寫的一個(gè)簡(jiǎn)化版的代碼,用來(lái)展示FPGA如何加速AI計(jì)算中的某個(gè)簡(jiǎn)單操作(比如矩陣乘法)。 // Verilog代碼,用于FPGA上的AI
    發(fā)表于 02-12 16:18