0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA與微軟擴(kuò)展合作,幫助開(kāi)發(fā)者更快構(gòu)建和部署AI應(yīng)用

NVIDIA英偉達(dá)企業(yè)解決方案 ? 來(lái)源:NVIDIA英偉達(dá)企業(yè)解決方案 ? 2024-05-23 10:14 ? 次閱讀

NVIDIA 在 Microsoft Build 開(kāi)發(fā)者大會(huì)上展示了與 Microsoft Azure 和 Windows PC 的集成解決方案,簡(jiǎn)化了 AI 模型部署并優(yōu)化了路徑規(guī)劃和應(yīng)用性能。

如果說(shuō)經(jīng)過(guò)優(yōu)化的 AI 工作流如同一個(gè)完美的交響樂(lè)團(tuán),從硬件基礎(chǔ)設(shè)施到軟件庫(kù)的每一個(gè)組成部分都恰到好處,那么 NVIDIA 與微軟長(zhǎng)期以來(lái)的默契合作對(duì)于開(kāi)發(fā)者來(lái)說(shuō)便如同悅耳的音樂(lè)。

微軟開(kāi)發(fā)的 Phi-3 系列小語(yǔ)言模型等最新 AI 模型經(jīng)過(guò)優(yōu)化后,可在 NVIDIA GPU 上運(yùn)行,并以 NVIDIA NIM 推理微服務(wù)的形式提供。NVIDIA 開(kāi)發(fā)的其他微服務(wù),如 cuOpt 路徑優(yōu)化 AI 等,正作為 NVIDIA AI Enterprise 軟件平臺(tái)的一部分被定期添加到 Microsoft Azure Marketplace 中。

除了這些 AI 技術(shù)之外,NVIDIA 和微軟還為開(kāi)發(fā)者提供越來(lái)越多的優(yōu)化和集成功能,幫助他們?yōu)榇钶d有 NVIDIA GeForce RTX NVIDIA RTX GPU 的 PC 創(chuàng)建高性能 AI 應(yīng)用。

基于在 NVIDIA GTC 上所公布的進(jìn)展,兩家公司在今年于西雅圖舉行的年度開(kāi)發(fā)者盛會(huì) Microsoft Build 上進(jìn)一步推進(jìn)這一長(zhǎng)期合作。

加速微軟的 Phi-3 模型

微軟正在擴(kuò)展其 Phi-3 開(kāi)源小語(yǔ)言模型系列,增加了小型(70 億參數(shù))和中型(140 億參數(shù))模型,類(lèi)似于擁有 38 億個(gè)參數(shù)的 Phi-3 Mini。另外,微軟還推出了一個(gè)新的 42 億參數(shù)多模態(tài)模型 Phi-3-vision,支持圖像和文本。

所有這些模型均通過(guò) NVIDIA TensorRT-LLM 實(shí)現(xiàn)了 GPU 優(yōu)化,并以 NVIDIA NIM 的形式提供。NVIDIA NIM 是具有標(biāo)準(zhǔn)應(yīng)用編程接口(API)的加速推理微服務(wù),可以部署在任何位置。

您可在ai.nvidia.com上或通過(guò) Azure Marketplace 上的 NVIDIA AI Enterprise,獲取由這些 NIM 支持的 Phi-3 模型的 API。

NVIDIA cuOpt

現(xiàn)已登陸 Azure Marketplace

NVIDIA cuOpt 是一項(xiàng)適用于路徑優(yōu)化的 GPU 加速 AI 微服務(wù),該服務(wù)現(xiàn)在通過(guò) NVIDIA AI Enterprise 在 Azure Marketplace 上架。cuOpt 所采用的大規(guī)模并行算法能夠?qū)崿F(xiàn)航運(yùn)服務(wù)、鐵路系統(tǒng)、倉(cāng)庫(kù)和工廠的實(shí)時(shí)物流管理。

該模型在主要的路徑基準(zhǔn)測(cè)試中創(chuàng)造了二十多項(xiàng)世界紀(jì)錄,展現(xiàn)出最高的準(zhǔn)確性和最快的速度。通過(guò)優(yōu)化車(chē)輛路線、節(jié)省行路時(shí)間和減少空閑時(shí)間,它能夠?yàn)槲锪骱凸?yīng)鏈行業(yè)節(jié)省數(shù)十億美元。

通過(guò) Azure Marketplace,開(kāi)發(fā)人員可以輕松地將 cuOpt 微服務(wù)與 Azure 地圖集成,在企業(yè)級(jí)管理工具和安全性的支持下,支持實(shí)時(shí)物流管理和其他基于云的工作流。

使用 NVIDIA RTX 優(yōu)化 PC 的 AI 性能

NVIDIA 加速計(jì)算平臺(tái)是現(xiàn)代 AI 的中堅(jiān)力量,可幫助開(kāi)發(fā)者為全球超過(guò) 1 億臺(tái) Windows GeForce RTX PC 和 NVIDIA RTX 工作站構(gòu)建解決方案。

NVIDIA 和微軟正在為 Windows 開(kāi)發(fā)者打造能夠加速下一代 PC 和工作站應(yīng)用 AI 性能的全新優(yōu)化和集成,包括:

通過(guò) NVIDIA DirectX 驅(qū)動(dòng)、Generative AI ONNX Runtime 擴(kuò)展和 DirectML 提高大語(yǔ)言模型(LLM)的推理性能。NVIDIA GeForce Game Ready、NVIDIA StudioNVIDIA RTX Enterprise 驅(qū)動(dòng)現(xiàn)已提供這些優(yōu)化,在 NVIDIA GeForce RTX GPU 上提供至高可達(dá) 3 倍的性能提升。

通過(guò) WebNN 優(yōu)化 Stable Diffusion、Whisper 等 AI 模型在 RTX GPU 上的性能。WebNN 是一個(gè)能夠幫助開(kāi)發(fā)者使用設(shè)備端硬件加速網(wǎng)絡(luò)應(yīng)用 AI 模型的 API。

隨著 Windows 將通過(guò) DirectML 來(lái)支持 PyTorch,數(shù)以千計(jì)的 Hugging Face 模型將在 Windows 中原生運(yùn)行。NVIDIA 與微軟正在合作,在 1 億多個(gè) RTX AI GPU 上擴(kuò)展性能。

與 NVIDIA 一起參加Microsoft Build 開(kāi)發(fā)者大會(huì)

大會(huì)參加者可以體驗(yàn) NVIDIA NIM、NVIDIA cuOpt、NVIDIA Omniverse 和 NVIDIA RTX AI 平臺(tái)的現(xiàn)場(chǎng)演示。展臺(tái)還將重點(diǎn)展示適用于醫(yī)療影像工作流的 NVIDIA MONAI 平臺(tái)和適用于藥物研發(fā)的 NVIDIA BioNeMo 生成式 AI 平臺(tái)。這兩個(gè)平臺(tái)均作為 Azure 上 NVIDIA AI Enterprise 的一部分提供。



審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5187

    瀏覽量

    105384
  • ai技術(shù)
    +關(guān)注

    關(guān)注

    1

    文章

    1307

    瀏覽量

    24887
  • Microsoft
    +關(guān)注

    關(guān)注

    0

    文章

    217

    瀏覽量

    7084
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2926

    瀏覽量

    3676

原文標(biāo)題:NVIDIA 與微軟擴(kuò)展合作,幫助開(kāi)發(fā)者更快構(gòu)建和部署 AI 應(yīng)用

文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 0人收藏

    評(píng)論

    相關(guān)推薦

    首創(chuàng)開(kāi)源架構(gòu),天璣AI開(kāi)發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手

    模型庫(kù)的限制,聯(lián)發(fā)科還首發(fā)了開(kāi)源彈性架構(gòu)。區(qū)別于過(guò)往的開(kāi)放接口,只能部署特定架構(gòu)模型,開(kāi)放彈性架構(gòu)允許開(kāi)發(fā)者直接調(diào)整平臺(tái)源代碼,無(wú)需等待芯片廠商的支持,即可完成目標(biāo)或其他自研大模型輕松部署。讓
    發(fā)表于 04-13 19:52

    NVIDIA 推出開(kāi)放推理 AI 模型系列,助力開(kāi)發(fā)者和企業(yè)構(gòu)建代理式 AI 平臺(tái)

    月 18 日 —— ?NVIDIA 今日發(fā)布具有推理功能的開(kāi)源 Llama Nemotron 模型系列,旨在為開(kāi)發(fā)者和企業(yè)提供業(yè)務(wù)就緒型基礎(chǔ),助力構(gòu)建能夠獨(dú)立工作或以團(tuán)隊(duì)形式完成復(fù)雜任務(wù)的高級(jí)
    發(fā)表于 03-19 09:31 ?167次閱讀
    <b class='flag-5'>NVIDIA</b> 推出開(kāi)放推理 <b class='flag-5'>AI</b> 模型系列,助力<b class='flag-5'>開(kāi)發(fā)者</b>和企業(yè)<b class='flag-5'>構(gòu)建</b>代理式 <b class='flag-5'>AI</b> 平臺(tái)

    極速部署!GpuGeek提供AI開(kāi)發(fā)者的云端GPU最優(yōu)解

    AI開(kāi)發(fā)領(lǐng)域,算力部署的效率和資源調(diào)度的靈活性直接影響研發(fā)進(jìn)程與創(chuàng)新速度。隨著模型復(fù)雜度的提升和全球化協(xié)作需求的增長(zhǎng),開(kāi)發(fā)者對(duì)GPU云服務(wù)的核心訴求已從單純追求硬件性能,轉(zhuǎn)向?qū)?/div>
    的頭像 發(fā)表于 03-17 11:27 ?280次閱讀
    極速<b class='flag-5'>部署</b>!GpuGeek提供<b class='flag-5'>AI</b><b class='flag-5'>開(kāi)發(fā)者</b>的云端GPU最優(yōu)解

    涂鴉智能與火山引擎達(dá)成重磅合作,億元補(bǔ)貼全力構(gòu)建AIoT開(kāi)發(fā)者生態(tài)

    ? 全球化AI開(kāi)發(fā)者平臺(tái)涂鴉智能(NYSE: TUYA,HKEX: 2391)宣布與火山引擎達(dá)成重磅合作,雙方將火山引擎旗下豆包大模型接入涂鴉AI
    的頭像 發(fā)表于 02-28 09:01 ?250次閱讀
    涂鴉智能與火山引擎達(dá)成重磅<b class='flag-5'>合作</b>,億元補(bǔ)貼全力<b class='flag-5'>構(gòu)建</b>AIoT<b class='flag-5'>開(kāi)發(fā)者</b>生態(tài)

    微軟AI開(kāi)發(fā)者挑戰(zhàn)賽即將開(kāi)啟

    人工智能,正在重塑世界。2 月 5 日至 4 月 23 日,加入我們,共赴一場(chǎng)聚焦 AI 技術(shù)的開(kāi)發(fā)者挑戰(zhàn)賽!在這里,創(chuàng)意、技術(shù)和無(wú)限可能將碰撞出耀眼火花。無(wú)論你是開(kāi)發(fā)新秀還是經(jīng)驗(yàn)豐富的技術(shù)專(zhuān)家,這場(chǎng)由
    的頭像 發(fā)表于 02-12 16:18 ?355次閱讀

    AI開(kāi)發(fā)平臺(tái)如何賦能開(kāi)發(fā)者

    當(dāng)下,AI開(kāi)發(fā)平臺(tái)通過(guò)提供豐富的工具集、優(yōu)化的開(kāi)發(fā)環(huán)境以及高效的部署能力,極大地降低了AI應(yīng)用的開(kāi)發(fā)
    的頭像 發(fā)表于 01-17 14:47 ?258次閱讀

    NVIDIA合作伙伴推出代理式AI Blueprint

    開(kāi)發(fā)者現(xiàn)在可以使用全新 NVIDIA AI Blueprint 構(gòu)建和部署具備推理、規(guī)劃和行動(dòng)能力的定制化
    的頭像 發(fā)表于 01-09 11:08 ?510次閱讀

    云端AI開(kāi)發(fā)者工具怎么用

    云端AI開(kāi)發(fā)者工具通常包括代碼編輯器、模型訓(xùn)練平臺(tái)、自動(dòng)化測(cè)試工具、代碼管理工具等。這些工具不僅降低了AI開(kāi)發(fā)的門(mén)檻,還極大地提高了開(kāi)發(fā)效率
    的頭像 發(fā)表于 12-05 13:31 ?373次閱讀

    香橙派與昇思MindSpore合作提速,軟硬結(jié)合助力開(kāi)發(fā)者構(gòu)建創(chuàng)新AI應(yīng)用

    近日,昇思MindSpore開(kāi)源社區(qū)與香橙派合作成果加速落地,持續(xù)為開(kāi)發(fā)者提供普惠的端側(cè)算力與好用的AI框架,軟硬結(jié)合助力高校AI課程建設(shè),幫助
    的頭像 發(fā)表于 11-01 17:02 ?1103次閱讀
    香橙派與昇思MindSpore<b class='flag-5'>合作</b>提速,軟硬結(jié)合助力<b class='flag-5'>開(kāi)發(fā)者</b><b class='flag-5'>構(gòu)建</b>創(chuàng)新<b class='flag-5'>AI</b>應(yīng)用

    Arm推出GitHub平臺(tái)AI工具,簡(jiǎn)化開(kāi)發(fā)者AI應(yīng)用開(kāi)發(fā)部署流程

    軟件提供了無(wú)縫的開(kāi)發(fā)體驗(yàn)。 GitHub Actions、原生 GitHub 運(yùn)行器和基于 Arm 平臺(tái)的 AI 框架相結(jié)合,幫助全球 2,000 萬(wàn)開(kāi)發(fā)者簡(jiǎn)化
    的頭像 發(fā)表于 10-31 18:51 ?3140次閱讀

    印度頭部IT企業(yè)與NVIDIA合作加速AI采用

    Infosys、TCS、Tech Mahindra 和 Wipro 這四家公司的近 50 萬(wàn)名開(kāi)發(fā)者和顧問(wèn)使用 NVIDIA AI Enterprise 軟件設(shè)計(jì)和部署
    的頭像 發(fā)表于 10-29 15:08 ?743次閱讀

    NVIDIA RTX AI套件簡(jiǎn)化AI驅(qū)動(dòng)的應(yīng)用開(kāi)發(fā)

    NVIDIA 于近日發(fā)布 NVIDIA RTX AI套件,這一工具和 SDK 集合能夠幫助 Windows 應(yīng)用開(kāi)發(fā)者定制、優(yōu)化和
    的頭像 發(fā)表于 09-06 14:45 ?694次閱讀

    揭秘NVIDIA AI Workbench 如何助力應(yīng)用開(kāi)發(fā)

    能夠根據(jù)其具體需求調(diào)整 AI 模型。 此類(lèi)工作在過(guò)去可能需要復(fù)雜的設(shè)置,而新工具使這項(xiàng)工作變得空前簡(jiǎn)單。 NVIDIA AI Workbench 可協(xié)助 AI
    發(fā)表于 07-10 18:51 ?781次閱讀
    揭秘<b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> Workbench 如何助力應(yīng)用<b class='flag-5'>開(kāi)發(fā)</b>

    NVIDIA將全球數(shù)百萬(wàn)開(kāi)發(fā)者轉(zhuǎn)變?yōu)樯墒?AI 開(kāi)發(fā)者

    來(lái)自 AI 生態(tài)系統(tǒng)各個(gè)領(lǐng)域的 150 余家合作伙伴嵌入了 NIM 推理微服務(wù),將企業(yè)級(jí) AI 應(yīng)用的部署時(shí)間從數(shù)周縮短至幾分鐘 NVIDIA
    的頭像 發(fā)表于 06-03 18:21 ?1200次閱讀

    NVIDIA NIM 革命性地改變模型部署,將全球數(shù)百萬(wàn)開(kāi)發(fā)者轉(zhuǎn)變?yōu)樯墒?AI 開(kāi)發(fā)者

    來(lái)自 AI 生態(tài)系統(tǒng)各個(gè)領(lǐng)域的 150 余家合作伙伴嵌入了 NIM 推理微服務(wù),將企業(yè)級(jí) AI 應(yīng)用的部署時(shí)間從數(shù)周縮短至幾分鐘 NVIDIA
    發(fā)表于 06-03 09:12 ?326次閱讀
    <b class='flag-5'>NVIDIA</b> NIM 革命性地改變模型<b class='flag-5'>部署</b>,將全球數(shù)百萬(wàn)<b class='flag-5'>開(kāi)發(fā)者</b>轉(zhuǎn)變?yōu)樯墒?<b class='flag-5'>AI</b> <b class='flag-5'>開(kāi)發(fā)者</b>

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品