0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

案例分享 ▏【瑞芯微RK3588】HZHY-AI300G智能盒部署DeepSeek-R1模型實(shí)戰(zhàn)指南

合眾恒躍 ? 2025-02-21 18:25 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

最近大語(yǔ)言模型圈都在蹲 DeepSeek 的 “限定版回復(fù)”,哪怕它無(wú)情地告知 20 遍服務(wù)器忙,咱也得執(zhí)著地再求一次 。

35980300-f03e-11ef-9434-92fbcf53809c.png

35be12b6-f03e-11ef-9434-92fbcf53809c.jpg


這種對(duì)技術(shù)的執(zhí)著追求,正是推動(dòng)人工智能不斷進(jìn)步的動(dòng)力。而為了讓這個(gè) “傲嬌” 的模型能更順暢地和我們交流,我們可以在HZHY-AI300G智能盒上部署DeepSeek-R1模型。


接下來(lái),我們將一步步帶你完成DeepSeek-R1模型的部署,這一過(guò)程不僅能讓我們更直觀地感受人工智能在嵌入式設(shè)備上的魅力,還能為后續(xù)的創(chuàng)新應(yīng)用打下堅(jiān)實(shí)基礎(chǔ)。

01

操作步驟

獲取RKNN-llm大語(yǔ)言模型工具包

從GitHub下載rknn-llm工具包,內(nèi)含部署大語(yǔ)言模型(LLM)到Rockchip設(shè)備的代碼及RKNN工具鏈?zhǔn)褂梅椒?。下載后,解壓zip包到Linux電腦(虛擬機(jī))的指定目錄。

編譯RKNN的C++ Demo

在解壓后的工具包中,修改編譯腳本,特別是交叉編譯工具鏈的位置。執(zhí)行編譯腳本后,生成install文件夾,里面包含編譯好的Demo文件。

35d81aee-f03e-11ef-9434-92fbcf53809c.png

35ef176c-f03e-11ef-9434-92fbcf53809c.png

下載瑞芯微已適配的DeepSeek-R1模型

通過(guò)瑞芯微提供的鏈接,下載適配RK3588平臺(tái)的DeepSeek-R1模型。下載完成后,將模型文件與編譯好的Demo一起拷貝到HZHY-AI300G智能盒上。

拷貝Demo和模型到HZHY-AI300G智能盒

將Demo和模型文件拷貝到智能盒的指定目錄中,可通過(guò)USB或網(wǎng)絡(luò)傳輸完成。

36121a32-f03e-11ef-9434-92fbcf53809c.png

執(zhí)行Demo調(diào)用DeepSeek-R1模型進(jìn)行對(duì)話(huà)

在智能盒上設(shè)置環(huán)境變量并執(zhí)行Demo命令,調(diào)用DeepSeek-R1模型進(jìn)行對(duì)話(huà),測(cè)試其功能。

02

模型功能展示

成功完成 DeepSeek - R1 模型的部署,就如同搭建起一座通往智能前沿領(lǐng)域的橋梁。借助 Demo 與模型展開(kāi)交互,其卓越的智能特性得以充分彰顯。不管是問(wèn)到具有復(fù)雜性的數(shù)學(xué)問(wèn)題,還是對(duì)于未來(lái)科技發(fā)展趨勢(shì)的見(jiàn)解,模型都可憑借其先進(jìn)的算法架構(gòu)和強(qiáng)大的運(yùn)算能力,迅速且精準(zhǔn)地給出答案,并基于深度神經(jīng)網(wǎng)絡(luò)所具備的邏輯推理機(jī)制,條理分明地呈現(xiàn)出完整的解答。這些回答讓我們認(rèn)識(shí)到它不僅僅是一組運(yùn)行在計(jì)算機(jī)系統(tǒng)中的程序代碼,更是能夠與人類(lèi)進(jìn)行深度思想交流、共同探討未來(lái)發(fā)展方向的智能伙伴。

362c1022-f03e-11ef-9434-92fbcf53809c.png

36491424-f03e-11ef-9434-92fbcf53809c.png

通過(guò)本次演示,我們成功在HZHY-AI300G智能盒上部署了DeepSeek-R1模型,并通過(guò)Demo與模型進(jìn)行了互動(dòng)。從獲取工具包、編譯Demo、下載模型到最終執(zhí)行,整個(gè)過(guò)程展示了如何將大語(yǔ)言模型部署到嵌入式設(shè)備上,并實(shí)現(xiàn)智能對(duì)話(huà)功能,期待大家在實(shí)踐中嘗試類(lèi)似的部署操作,若在過(guò)程中遇到任何問(wèn)題或有新的發(fā)現(xiàn),歡迎隨時(shí)來(lái)交流,讓我們一起在技術(shù)的道路上共同進(jìn)步。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 瑞芯微
    +關(guān)注

    關(guān)注

    25

    文章

    584

    瀏覽量

    52450
  • 智能盒子
    +關(guān)注

    關(guān)注

    0

    文章

    21

    瀏覽量

    3230
  • RK3588
    +關(guān)注

    關(guān)注

    7

    文章

    419

    瀏覽量

    5891
  • DeepSeek
    +關(guān)注

    關(guān)注

    1

    文章

    797

    瀏覽量

    1723
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    #【RK3588HZHY-AI300G智能DeepSeek-R1模型部署教程

    合眾恒躍
    發(fā)布于 :2025年04月22日 10:27:54

    DeepSeek到Qwen,AI模型的移植與交互實(shí)戰(zhàn)指南-飛凌嵌入式

    在不久前發(fā)布的《技術(shù)實(shí)戰(zhàn)|OK3588-C開(kāi)發(fā)板上部署DeepSeek-R1模型的完整指南》一
    的頭像 發(fā)表于 03-28 08:06 ?1628次閱讀
    從<b class='flag-5'>DeepSeek</b>到Qwen,<b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>的移植與交互<b class='flag-5'>實(shí)戰(zhàn)</b><b class='flag-5'>指南</b>-飛凌嵌入式

    RK3588開(kāi)發(fā)板上部署DeepSeek-R1模型的完整指南

    擴(kuò)展規(guī)劃、嵌入式適配等技術(shù)維度的突破。 RK3588作為推出的旗艦級(jí)芯片,憑借多核異構(gòu)計(jì)算能力以及強(qiáng)大的CPU、GPU和NPU性能,成為嵌入式
    發(fā)表于 02-27 16:45

    Banana Pi開(kāi)源社區(qū)基于RK3588開(kāi)發(fā)板,DeepSeek開(kāi)發(fā)利器

    BPI-AIM7采用 RK3588,新一代旗艦八核64位處理器,主頻高達(dá)2.4GHz,6TOPS算力NPU,最高可配備32GB大內(nèi)存。雖然該接口與Jetson Nano完全兼容,
    發(fā)表于 02-19 18:27

    Banana Pi開(kāi)源社區(qū)基于RK3588開(kāi)發(fā)板,DeepSeek開(kāi)發(fā)利器

    Banana Pi開(kāi)源社區(qū)基于RK3588開(kāi)發(fā)板,DeepSeek開(kāi)發(fā)利器
    的頭像 發(fā)表于 02-19 18:25 ?1766次閱讀
    Banana Pi開(kāi)源社區(qū)基于<b class='flag-5'>瑞</b><b class='flag-5'>芯</b><b class='flag-5'>微</b><b class='flag-5'>RK3588</b>開(kāi)發(fā)板,<b class='flag-5'>DeepSeek</b>開(kāi)發(fā)利器

    香橙派發(fā)布OrangePi 5Plus本地部署Deepseek-R1蒸餾模型指南

    派官方發(fā)布OrangePi5Plus運(yùn)行Deepseek-R1蒸餾模型實(shí)操指南,趕緊收藏起來(lái)吧!OrangePi5Plus采用了
    的頭像 發(fā)表于 02-19 16:14 ?1138次閱讀
    香橙派發(fā)布OrangePi 5Plus本地<b class='flag-5'>部署</b><b class='flag-5'>Deepseek-R1</b>蒸餾<b class='flag-5'>模型</b><b class='flag-5'>指南</b>

    分享 |迅為基于RK3588開(kāi)發(fā)板部署測(cè)試DeepSeek模型

    分享 |迅為基于RK3588開(kāi)發(fā)板部署測(cè)試DeepSeek模型
    的頭像 發(fā)表于 02-18 14:26 ?1624次閱讀
    分享 |迅為基于<b class='flag-5'>RK3588</b>開(kāi)發(fā)板<b class='flag-5'>部署</b>測(cè)試<b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b>

    添越智創(chuàng)基于 RK3588 開(kāi)發(fā)板部署測(cè)試 DeepSeek 模型全攻略

    DeepSeek 模型部署與測(cè)試,開(kāi)啟這場(chǎng)充滿(mǎn)挑戰(zhàn)與驚喜的技術(shù)探索之旅。 RK3588 開(kāi)發(fā)板:AI 性能擔(dān)當(dāng)
    發(fā)表于 02-14 17:42

    ATK-DLRK3588開(kāi)發(fā)板deepseek-r1-1.5b/7b部署指南

    本帖最后由 jf_85110202 于 2025-2-14 16:41 編輯 ATK-DLRK3588開(kāi)發(fā)板deepseek-r1-1.5b/7b部署指南 最近
    發(fā)表于 02-14 16:33

    實(shí)戰(zhàn)案例 | 眺望RK3588 RKLLM部署DeepSeek-R1全流程

    前言:在RK3588部署Deepseek有兩種方法,分別是使用Ollama工具部署和使用
    的頭像 發(fā)表于 02-12 08:31 ?5033次閱讀
    <b class='flag-5'>實(shí)戰(zhàn)</b>案例 | 眺望<b class='flag-5'>RK3588</b> RKLLM<b class='flag-5'>部署</b><b class='flag-5'>DeepSeek-R1</b>全流程

    案例分享 | 探索HZHY-AI300G工業(yè)智能:從硬件接口到云端集成的全方位應(yīng)用

    HZHY-AI300G工業(yè)智能以其優(yōu)異的硬件設(shè)計(jì)、強(qiáng)大的邊緣AI計(jì)算能力和與云平臺(tái)的無(wú)縫集成,成為了現(xiàn)代工業(yè)物聯(lián)網(wǎng)應(yīng)用的核心設(shè)備。為更好地幫助技術(shù)人員理解和應(yīng)用這款
    的頭像 發(fā)表于 08-29 13:58 ?732次閱讀
    案例分享 | 探索<b class='flag-5'>HZHY-AI300G</b>工業(yè)<b class='flag-5'>智能</b><b class='flag-5'>盒</b>:從硬件接口到云端集成的全方位應(yīng)用

    產(chǎn)品測(cè)評(píng):【HZHY-AI300G智能試用連載體驗(yàn)】駐車(chē)輔助系統(tǒng)

    繼上期電子發(fā)燒友用戶(hù)分享的HZHY-AI300G的測(cè)評(píng)之后,本期我們又迎來(lái)了一位新用戶(hù)的測(cè)評(píng)。測(cè)評(píng)內(nèi)容如下:終于懷著激動(dòng)的心情拿到了這塊專(zhuān)門(mén)為工業(yè)應(yīng)用設(shè)計(jì)的RK3588智能。除了主機(jī)
    的頭像 發(fā)表于 08-10 08:38 ?1444次閱讀
    產(chǎn)品測(cè)評(píng):【<b class='flag-5'>HZHY-AI300G</b><b class='flag-5'>智能</b><b class='flag-5'>盒</b>試用連載體驗(yàn)】駐車(chē)輔助系統(tǒng)

    產(chǎn)品測(cè)評(píng):【HZHY-AI300G智能試用體驗(yàn)】+ 具有 Local AI 功能的工業(yè)用照明控制器

    近期,電子發(fā)燒友的用戶(hù)對(duì)我司的HZHY-AI300G智能進(jìn)行了全面測(cè)試,并與我們分享了寶貴的使用心得。HZHY-AI300G智能
    的頭像 發(fā)表于 07-26 17:52 ?1293次閱讀
    產(chǎn)品測(cè)評(píng):【<b class='flag-5'>HZHY-AI300G</b><b class='flag-5'>智能</b><b class='flag-5'>盒</b>試用體驗(yàn)】+ 具有 Local <b class='flag-5'>AI</b> 功能的工業(yè)用照明控制器

    HZHY-AI300G智能試用連載體驗(yàn)】基建智慧工地物聯(lián)邊緣代理技術(shù)研究及應(yīng)用

    首先,要感謝電子發(fā)燒友論壇和北京合眾恒躍科技有限公司提供的樣機(jī)——HZHY-AI300G工業(yè)級(jí)國(guó)產(chǎn)化智能,為本項(xiàng)目提供了比較完美的測(cè)試基礎(chǔ)樣機(jī)。該款智能
    發(fā)表于 07-16 17:14

    HZHY-AI300G智能試用連載體驗(yàn)】+ 智能工業(yè)互聯(lián)網(wǎng)網(wǎng)關(guān)

    感謝電子發(fā)燒友和北京合眾恒躍科技有限公司提供的評(píng)測(cè)機(jī)會(huì)。 ?HZHY-AI300G工業(yè)級(jí)國(guó)產(chǎn)化智,采用RK3588工業(yè)級(jí)芯片組適應(yīng)-40℃-85℃工業(yè)級(jí)寬溫網(wǎng)關(guān)。 以前測(cè)試過(guò)其他廠家的RK
    發(fā)表于 07-15 19:49

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品