0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

從數(shù)據(jù)到智能:邊緣AI發(fā)展進入新階段,方案部署面臨怎樣的挑戰(zhàn)?

Felix分析 ? 來源:電子發(fā)燒友 ? 作者:吳子鵬 ? 2025-01-15 00:13 ? 次閱讀

回顧2024年AI產(chǎn)業(yè)的發(fā)展,AI大模型依然在高歌猛進,不過將AI工作負載從云端卸載到終端的趨勢已經(jīng)非常明顯,以邊緣計算為承載的邊緣AI潛力無限。根據(jù)STL Partners邊緣計算關(guān)鍵數(shù)據(jù)統(tǒng)計,全球邊緣計算市場規(guī)模預計將從2020年的90億美元,快速增長到2030年的4450億美元,其間年復合增長率為48%。AIGC時代的到來,加速了邊緣計算與AI的深度融合,邊緣AI的理念得到了各行業(yè)的廣泛認可。

最新的2025年預測中,NVIDIA AI專家預測,智能商店、新型機器人將不斷崛起,并且醫(yī)療健康、制造業(yè)等領(lǐng)域?qū)崿F(xiàn)突破性發(fā)展。不斷涌現(xiàn)的行業(yè)經(jīng)典案例顯示,邊緣AI讓終端數(shù)據(jù)體現(xiàn)出了更高的價值,從數(shù)據(jù)轉(zhuǎn)化為智能是當下各行業(yè)的重點工作。

NVIDIA 2025年預測解讀

NVIDIA 2025年預測的主題是《AI將深入挖掘行業(yè)數(shù)據(jù)湖》,在這份預測里,NVIDIA的AI專家談到了很多行業(yè)應(yīng)用——手術(shù)機器人、AI藥廠、移動機器人(AMR)、智慧金融、AI工廠、智能電網(wǎng)、AI智能體、智慧零售等。這些極具創(chuàng)新潛能的應(yīng)用表明,全球各個行業(yè)都在積極構(gòu)建和定制大語言模型(LLM),AI大模型下沉至終端讓“AI+”從理念走進現(xiàn)實,進而促成了這些典型應(yīng)用。

wKgZO2eGOYCAenncAALHjH0aCMg685.png
圖源:NVIDIA

正如NVIDIA醫(yī)療健康副總裁Kimberly Powell在談到手術(shù)機器人時所說,數(shù)字孿生、模擬和AI讓手術(shù)機器人變得更加強大,使其能夠以各種方式協(xié)助人類臨床醫(yī)生,從理解和響應(yīng)人類指令,到執(zhí)行和協(xié)助復雜的手術(shù)。Kimberly Powell強調(diào),用于訓練機器人執(zhí)行復雜任務(wù)的新型虛擬世界將會使自主手術(shù)機器人成為現(xiàn)實。這些手術(shù)機器人將能夠精確地執(zhí)行復雜手術(shù)任務(wù),縮短患者的康復時間,并減少外科醫(yī)生的認知工作量。

NVIDIA Omniverse和仿真技術(shù)副總裁Rev Lebaredian則提議,“讓我們擁抱物理AI,為能夠感知、理解物理世界并與之互動的AI模型做好準備,這是企業(yè)將要競相應(yīng)對的一項挑戰(zhàn)?!笨赡芎芏嗳藢τ谖锢鞟I這個概念還有一些陌生,簡單理解,物理AI就是在數(shù)字世界里通過3D重構(gòu)的方式模擬物理世界,可以讓算法模型更好地理解物理世界,適應(yīng)物理世界的約束。物理AI需要根據(jù)真實場景完成基于物理學的大規(guī)模仿真,可以讓機器人等智能體在虛擬世界中快速完成各種訓練,訓練的成本和效率都得到了顯著優(yōu)化。

其他NVIDIA AI專家的預測就不在此一一展開,但這些預測實際上更多是應(yīng)用領(lǐng)域的差異,在實現(xiàn)邏輯上有很大的共性,基本是圍繞智能體、AI大模型下沉、虛擬現(xiàn)實、物理AI、物理仿真等理念展開,完成細分領(lǐng)域的“AI+”。所實現(xiàn)的成果就是,基于細分領(lǐng)域的數(shù)據(jù)構(gòu)建AI模型或仿真,然后用模型和仿真結(jié)果賦能終端實現(xiàn)更好的智能化。

因而,透過NVIDIA AI專家的預測不難看出,從數(shù)據(jù)轉(zhuǎn)化為具體的AI應(yīng)用將為終端行業(yè)帶來巨大的價值空間。數(shù)據(jù)價值挖掘是一種通過數(shù)據(jù)分析、機器學習、統(tǒng)計方法等技術(shù)手段,從大量數(shù)據(jù)中提取有用信息和知識的過程。隨著AI大模型、物理AI和智能體等概念的強化,數(shù)據(jù)挖掘和轉(zhuǎn)化的目標變得更加清晰,數(shù)據(jù)的增長也不再局限于云端或數(shù)據(jù)中心里,終端設(shè)備成為源源不斷的數(shù)據(jù)源。然后基于數(shù)據(jù)的算法、模型和智能體將具備更強大的智能化能力,能夠以更快的速度、更低的成本和更低的功耗提供實時分析和反饋。這種相互促進讓終端應(yīng)用得以快速迭代,不僅高效、低功耗、安全,并具有很強的垂直屬性,包括個性化定制的屬性。

綜上所述,邊緣AI在2025年將發(fā)生一些顯著的變化,不再只是簡單地基于通用算法和基礎(chǔ)算力,而是基于行業(yè)數(shù)據(jù)打造專屬的大模型和智能體,能夠根據(jù)實時的數(shù)據(jù)采集給出及時的反饋和策略調(diào)整,已經(jīng)具備具身智能的雛形。這種趨勢將受到各個終端行業(yè)的歡迎,正如分析機構(gòu)Gartner在報告中提到的,到2025年將有75%的數(shù)據(jù)產(chǎn)生在數(shù)據(jù)中心和云之外,并在邊緣側(cè)進行處理;到2026年,86%的邊緣開發(fā)者在項目開發(fā)時會將目標鎖定在AI方向。

邊緣AI部署的現(xiàn)狀、挑戰(zhàn)和應(yīng)對之策

NVIDIA AI專家的預測告訴我們,2025年邊緣AI是大有可為的,且對創(chuàng)新有非常大的包容性。當然,現(xiàn)階段各行業(yè)所面臨的市場情況并不一致,且有明顯的地域差異。簡單看一下AI在一些典型領(lǐng)域的普及情況:
·自動駕駛:乘聯(lián)會數(shù)據(jù)顯示,2023年中國市場乘用車L2級自動駕駛的滲透率達到了47.3%,明顯領(lǐng)先于全球(高盛數(shù)據(jù)稱約為20%);
·智能機器人:I-AIIG的數(shù)據(jù)指出,美國機器人市場中AI驅(qū)動的高端機器人系統(tǒng)占比為30%,遠高于全球平均水平。
·人形機器人:Omdia最新報告指出,2027年全球人形機器人銷量破萬,當前處于行業(yè)爆發(fā)的前夜。

隨著各行業(yè)對于邊緣AI的認可度越來越高,參與度越來越深,邊緣AI的部署開始出現(xiàn)既定的方案,比如NVIDIA全球副總裁、汽車事業(yè)部負責人吳新宙在分享自動駕駛預測時談到的,支撐自動駕駛車輛開發(fā)有三臺關(guān)鍵計算機——一臺用于在數(shù)據(jù)中心訓練基于AI的堆棧,另一臺用于模擬和驗證,第三臺車載計算機用于處理實時傳感器數(shù)據(jù)以實現(xiàn)安全駕駛。

更前沿的人形機器人也是如此,目前人形機器人主要由感知系統(tǒng)、動力系統(tǒng)、控制系統(tǒng)、能源系統(tǒng)和通信模塊等幾個關(guān)鍵部分組成,其中感知系統(tǒng)和控制系統(tǒng)主要的職責就是實現(xiàn)智能化??刂葡到y(tǒng)是人形機器人的大腦,包含了主控芯片、子系統(tǒng)控制器和各種控制組件,主控芯片上運轉(zhuǎn)著最核心的算法模型。

雖然經(jīng)過一段時間的發(fā)展,邊緣AI的部署不再是摸著石頭過河,但仍有一些挑戰(zhàn)需要去克服。邊緣AI系統(tǒng)主要包括硅芯片層、硬件系統(tǒng)層、AI和應(yīng)用層、垂直解決方案層。相較于云端AI,邊緣AI在能效、實時性和數(shù)據(jù)安全方面展現(xiàn)出明顯優(yōu)勢,然而,部署邊緣AI方案的硬件資源是非常有限的,包括計算資源、存儲資源和網(wǎng)絡(luò)帶寬資源皆是如此,如何基于有限的硬件資源構(gòu)建強大的智能應(yīng)用是所有行業(yè)共同研究的課題。為構(gòu)建更好的邊緣AI,開發(fā)者需要更強大的計算芯片,也需要通過量化技術(shù)、權(quán)重剪枝、低秩分解等技術(shù)盡可能去壓縮AI模型,全面推動軟硬件協(xié)同優(yōu)化。

另外,在軟硬件協(xié)同優(yōu)化方面還會有一些額外的挑戰(zhàn),比如軟硬件協(xié)同優(yōu)化往往是基于訓練數(shù)據(jù),而忽視了最終的部署場景,上述內(nèi)容已經(jīng)提到,現(xiàn)階段的邊緣AI并不是簡單的部署通用算法,而是需要模型根據(jù)實時數(shù)據(jù)進行反饋和臨時決策,這就導致很多優(yōu)化之后的方案在現(xiàn)場部署時還需要進行重新優(yōu)化,有時候方案可能需要回溯到設(shè)計之初的階段,這對開發(fā)者而言是很大的打擊。

為了幫助各行業(yè)應(yīng)對新時期邊緣AI的部署挑戰(zhàn),讓NVIDIA AI專家的預測更好地從理念照進現(xiàn)實,NVIDIA提供了豐富的解決方案。NVIDIA Blackwell架構(gòu)和基于該架構(gòu)的計算平臺也為邊緣AI提供了充足的算力保障,克服邊緣AI的“算力不足恐懼癥”,為生成式AI和加速計算帶來突破性的進步。

wKgZPGeGOZKAPHbiAAHf8m2b92c199.png
Blackwell架構(gòu)的技術(shù)突破,圖源:NVIDIA


NVIDIA為各行業(yè)的邊緣AI開發(fā)提供了豐富的開發(fā)資源、服務(wù)。面向智能機器人,基于NVIDIA Omniverse構(gòu)建的Isaac Sim是一款參考應(yīng)用,允許開發(fā)者在基于物理的虛擬環(huán)境中設(shè)計、模擬、測試和訓練基于AI的機器人和自主機器,在此過程中開發(fā)者可以選擇自定義模擬器,也可以選擇基于Isaac Sim現(xiàn)有技術(shù)構(gòu)建方案。

wKgZPGeGOZ2AbHQgAAFdLbx_LT0355.png
NVIDIA Isaac Sim應(yīng)用框圖,圖源:NVIDIA


面向物理AI,NVIDIA Omniverse平臺提供了各種API、SDK和服務(wù),可幫助開發(fā)者輕松將通用場景描述 (OpenUSD) 和RTX渲染技術(shù)集成到現(xiàn)有軟件工具和仿真工作流中,以構(gòu)建這些3D環(huán)境。NVIDIA Omniverse是西門子、富士康等行業(yè)龍頭的共同選擇,可以幫助完成工廠的數(shù)字孿生,機器人的虛擬訓練空間搭建,以及幫助生產(chǎn)線進行自動光學檢測、物體識別、缺陷檢測和軌跡規(guī)劃等。

面向汽車自動駕駛技術(shù)開發(fā),NVIDIA DRIVE Orin系統(tǒng)級芯片已經(jīng)在各品牌車輛上廣泛搭載,同時基于NVIDIA Blackwell GPU架構(gòu)的NVIDIA DRIVE Thor車載計算平臺已經(jīng)成為車企更新下一代自動駕駛技術(shù)的首選平臺,賦能當前和未來主流的“AI定義汽車”。

wKgZO2eGOaiACzI_AAHoQPX3kLo274.png
NVIDIA DRIVE Thor車載計算平臺,圖源:NVIDIA


實際上,不僅是NVIDIA AI專家預測的這些應(yīng)用,各種邊緣AI的實現(xiàn)都可以在NVIDIA找到合適的方案,包括計算平臺、虛擬空間、參考示例和核心技術(shù)等。同時,開發(fā)者也可以從云端獲取NVIDIA先進的AI技術(shù),目前NVIDIA NIM微服務(wù)已經(jīng)擴展到各項關(guān)鍵的亞馬遜科技AI服務(wù)中,包括NVIDIA Nemotron-4(先進的 LLM)、Llama 3.1 8B-Instruct(8B大語言模型)、Llama 3.1 70B-Instruct(70B大語言模型)和Mixtral 8x7B Instruct v0.1(專家模型)等。

結(jié)語

隨著AI大模型和算力逐漸下沉,2025年邊緣AI可謂是前景無限。正如NVIDIA機器人與邊緣計算副總裁Deepu Talla預測的那樣:在不久的將來,從手術(shù)室、數(shù)據(jù)中心到倉庫和工廠,機器人將無處不在。甚至交通控制系統(tǒng),又或整個城市,也將從靜態(tài)、人工操作的系統(tǒng)轉(zhuǎn)變?yōu)榛谖锢鞟I的自主交互式系統(tǒng)。

但是需要注意到的是,邊緣AI的核心要義正在發(fā)生變化,已經(jīng)初具具身智能的能力,可以和環(huán)境進行交互,這對整個邊緣系統(tǒng)提出了更高的要求。在應(yīng)對這些設(shè)計挑戰(zhàn)時,NVIDIA的硬件和方案是開發(fā)者的得力幫手,推動邊緣AI方案的升級迭代。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    31241

    瀏覽量

    269608
收藏 人收藏

    評論

    相關(guān)推薦

    AI模型部署邊緣設(shè)備的奇妙之旅:目標檢測模型

    并非易事,它涉及選擇合適的算法架構(gòu)針對特定硬件平臺進行優(yōu)化等一系列復雜的工作。 接下來,我們將詳細介紹如何在資源受限的邊緣設(shè)備上成功部署
    發(fā)表于 12-19 14:33

    AI模型部署邊緣設(shè)備的奇妙之旅:如何實現(xiàn)手寫數(shù)字識別

    系統(tǒng)的智能化水平,還極大地拓展了其應(yīng)用范圍, 使得嵌入式系統(tǒng)在智能家居、智能交通、智能醫(yī)療等領(lǐng)域有了更深層次的運用。AI技術(shù)的嵌入,已經(jīng)成為
    發(fā)表于 12-06 17:20

    英特爾攜手浪潮信息邊緣計算向邊緣智算邁進

    對多樣化應(yīng)用場景的適應(yīng)性和服務(wù)能力。隨著大模型和人工智能領(lǐng)域的快速發(fā)展,算力需求將愈發(fā)成為制約企業(yè)轉(zhuǎn)型、成長的因素。 邊緣計算向邊緣智算邁
    的頭像 發(fā)表于 11-10 14:03 ?874次閱讀

    設(shè)計實施:智能井蓋-井蓋防盜監(jiān)控報警系統(tǒng)的全面解析

    TLKS-IMCVS井蓋防盜監(jiān)控報警系統(tǒng)為城市管理者提供了高效、智能的解決方案,有效降低了管理成本,推動城市管理進入智能化、高效化的新階段。
    的頭像 發(fā)表于 11-08 11:31 ?542次閱讀
    <b class='flag-5'>從</b>設(shè)計<b class='flag-5'>到</b>實施:<b class='flag-5'>智能</b>井蓋-井蓋防盜監(jiān)控報警系統(tǒng)的全面解析

    寧暢助推智算中心發(fā)展邁入新階段

    在“全局智算”戰(zhàn)略下,寧暢正式發(fā)布“全棧全液”AI基礎(chǔ)設(shè)施方案 ,在業(yè)內(nèi)首先實現(xiàn)了“全棧全液”的智算中心建設(shè)能力,助推智算中心發(fā)展邁入新階段。
    的頭像 發(fā)表于 11-07 11:18 ?289次閱讀

    邊緣計算的技術(shù)挑戰(zhàn)與解決方案

    邊緣計算作為一種新型的計算架構(gòu),在帶來諸多優(yōu)勢的同時,也面臨著一些技術(shù)挑戰(zhàn)。以下是對邊緣計算的技術(shù)挑戰(zhàn)及相應(yīng)解決
    的頭像 發(fā)表于 10-24 14:36 ?614次閱讀

    手機行業(yè)AI競賽步入新階段:顛覆體驗提升

    自去年以來,手機行業(yè)掀起了一場生成式人工智能(AIGC)的競賽熱潮,各大廠商紛紛加大AI技術(shù)的研發(fā)力度。然而,經(jīng)過近一年的發(fā)展,AI手機已逐漸
    的頭像 發(fā)表于 10-23 11:36 ?350次閱讀

    AI汽車發(fā)展新階段、新要素、新挑戰(zhàn)

    隨著以AI大模型為代表的生成式AI技術(shù)的快速發(fā)展,汽車正進入AI發(fā)展
    的頭像 發(fā)表于 10-16 08:07 ?570次閱讀
    <b class='flag-5'>AI</b>汽車<b class='flag-5'>發(fā)展</b>的<b class='flag-5'>新階段</b>、新要素、新<b class='flag-5'>挑戰(zhàn)</b>

    AI for Science:人工智能驅(qū)動科學創(chuàng)新》第4章-AI與生命科學讀后感

    的深入發(fā)展。 3. 挑戰(zhàn)與機遇并存 盡管AI在生命科學領(lǐng)域取得了顯著的成果,但也面臨著諸多挑戰(zhàn)。例如,數(shù)
    發(fā)表于 10-14 09:21

    AI for Science:人工智能驅(qū)動科學創(chuàng)新》第二章AI for Science的技術(shù)支撐學習心得

    和數(shù)量直接影響模型的準確性和可靠性。因此,數(shù)據(jù)獲取、處理、分析和質(zhì)量控制在AI for Science中至關(guān)重要。此外,數(shù)據(jù)驅(qū)動的研究范式也促使科學家
    發(fā)表于 10-14 09:16

    什么是邊緣AI?邊緣AI的供電挑戰(zhàn)

    RECOM 的 RACM1200-V 采用數(shù)字通信,可輕松集成邊緣 AI設(shè)計中。
    的頭像 發(fā)表于 09-02 11:52 ?508次閱讀
    什么是<b class='flag-5'>邊緣</b><b class='flag-5'>AI</b>?<b class='flag-5'>邊緣</b><b class='flag-5'>AI</b>的供電<b class='flag-5'>挑戰(zhàn)</b>

    工業(yè)物聯(lián)網(wǎng)如何數(shù)字化步入數(shù)智化新階段

    ”轉(zhuǎn)型,工業(yè)物聯(lián)網(wǎng)(IIoT)正處于數(shù)字化向數(shù)智化新階段的轉(zhuǎn)型中。北京聚英電子有限公司(簡稱:聚英電子)將和您探討工業(yè)物聯(lián)網(wǎng)如何數(shù)字化步入數(shù)智化新階段,以及企業(yè)在這個過程中需要采取
    的頭像 發(fā)表于 08-23 16:08 ?304次閱讀

    【HZHY-AI300G智能盒試用連載體驗】基建智慧工地物聯(lián)邊緣代理技術(shù)研究及應(yīng)用

    基建施工現(xiàn)場大量的感知層設(shè)備需要一種區(qū)域集中式、全網(wǎng)分布式的網(wǎng)絡(luò)交互節(jié)點,實現(xiàn)企業(yè)級大數(shù)據(jù)的在線采集和反控,助力基建安全質(zhì)量管理工作。 【項目計劃】 1、在AI300G智能盒上安裝Ubuntu操作系統(tǒng)
    發(fā)表于 07-16 17:14

    產(chǎn)品應(yīng)用 | 小盒子跑大模型!英碼科技基于算能BM1684X平臺實現(xiàn)大模型私有化部署

    當前,在人工智能領(lǐng)域,大模型在豐富人工智能應(yīng)用場景中扮演著重要的角色,經(jīng)過不斷的探索,大模型進入到落地的階段。而大模型在落地過程中面臨兩大關(guān)
    的頭像 發(fā)表于 06-14 16:29 ?757次閱讀
    產(chǎn)品應(yīng)用 | 小盒子跑大模型!英碼科技基于算能BM1684X平臺實現(xiàn)大模型私有化<b class='flag-5'>部署</b>

    什么是AI邊緣計算,AI邊緣計算的特點和優(yōu)勢介紹

    隨著人工智能的迅猛發(fā)展,AI邊緣計算成為了熱門話題。那么什么是AI邊緣計算呢?簡單來說,它是將人
    的頭像 發(fā)表于 02-01 11:42 ?936次閱讀