0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

望獲實時Linux系統(tǒng)運行DeepSeek R1大模型,成本低至千元內(nèi)!

望獲Linux ? 來源:jf_20082045 ? 作者:jf_20082045 ? 2025-02-08 13:43 ? 次閱讀

這個春節(jié),科技界熱鬧非凡,DeepSeek的橫空出世猶如一顆重磅炸彈,迅速引爆全球AI市場。

DeepSeek憑借其V3和新推出的R1兩款模型,實現(xiàn)了與OpenAI 4o和o1比肩的性能,同時成本僅為十分之一,為AI技術的普及提供了經(jīng)濟高效的解決方案。DeepSeek的崛起,不僅標志著中國AI技術的突破,更預示著全球AI市場將迎來一場新革命。

將其部署在望獲實時Linux瑞芯微RK3588平臺上,能夠充分釋放其在邊緣計算和工業(yè)控制領域的巨大潛力,為智能化轉(zhuǎn)型提供強有力的技術支撐。

以下是詳細的部署步驟,幫助您快速實現(xiàn)這一國產(chǎn)技術組合的落地應用。

硬件準備:

RK3588開發(fā)板:京博航友善NanoPC-T6(預裝望獲實時Linux)

工作主機:ubuntu筆記本電腦

軟件準備:

瑞芯微rkllm-toolkit工具

部署步驟

一、拉取模型

從Hugging Face拉取DeepSeek-R1的1.5B蒸餾模型到x86平臺:

wKgZPGem7pWAMRVIAAAXvj917rk862.png

二、配置模型轉(zhuǎn)換腳本

在rknn-llm/rkllm-toolkit/examples/test.py中,修改如下內(nèi)容:

wKgZO2em7p2AS7mBAAED2ID0UJY222.png

三、模型轉(zhuǎn)換

執(zhí)行模型轉(zhuǎn)換腳本,等待轉(zhuǎn)換完成:

wKgZPGem7qSAR3qDAAAQy0sHp4E215.png

四、部署模型

使用scp命令將轉(zhuǎn)換得到的DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件拷貝到RK3588平臺:

wKgZO2em7quAREEJAAAWWbNuHjk037.png

五、生成運行文件

在RK3588平臺,進入rknn-llm/rkllm-runtime/examples/rkllm_api_demo目錄,生成llm_demo運行文件:

wKgZO2em7rGAMcNwAABhgIXM7rY367.png

六、運行模型

運行l(wèi)lm_demo,并指定DeepSeek-R1-Distill-Qwen-1.5B.rkllm的路徑。

wKgZO2em7riAfG96AAEIyXW2JnA532.png

七、對話測試

在user : 后輸入對話內(nèi)容,測試模型的運行效果。

wKgZO2em7sKAJrA6AAHCZW5L0CQ519.pngwKgZPGem7suAQJZ9AAGMhMzJpCM679.pngwKgZO2em7tCAPYj1AAHv9xoRN1s756.png

通過將DeepSeek部署在望獲實時Linux與RK3588的平臺上,您可以輕松實現(xiàn)邊緣智能的高效落地。這一技術組合提升了工業(yè)控制與邊緣計算的智能化水平,為未來的工業(yè)應用開辟了新的可能性。如果您在部署過程中遇到任何問題,歡迎隨時與我們聯(lián)系!

關于望獲實時Linux系統(tǒng)

望獲實時Linux系統(tǒng)是國科環(huán)宇重點研發(fā)的嵌入式實時操作系統(tǒng),具備強實時、高可靠、功能安全、智能化、兼容性強和國產(chǎn)生態(tài)的特性。不同于傳統(tǒng)的微內(nèi)核實時操作系統(tǒng),完整兼容Linux生態(tài)環(huán)境的同時,提供強大的行業(yè)中間件支持,助力客戶快速完成行業(yè)解決方案的構(gòu)建。望獲實時Linux系統(tǒng)致力于國產(chǎn)基礎軟硬件的產(chǎn)業(yè)鏈構(gòu)建,與國產(chǎn)主流芯片及硬件平臺適配,提供完整的國產(chǎn)化解決方案,保證功能和性能的同時,避免關鍵領域的卡脖子問題。


審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 嵌入式
    +關注

    關注

    5107

    文章

    19299

    瀏覽量

    310381
  • 操作系統(tǒng)

    關注

    37

    文章

    6945

    瀏覽量

    124206
  • DeepSeek
    +關注

    關注

    1

    文章

    634

    瀏覽量

    414
收藏 0人收藏

    評論

    相關推薦

    如何使用OpenVINO運行DeepSeek-R1蒸餾模型

    DeepSeek-R1在春節(jié)期間引發(fā)了全球科技界的熱度,DeepSeek-R1 是由 DeepSeek 開發(fā)的開源推理模型,用于解決需要邏輯推理、數(shù)學問題解決和
    的頭像 發(fā)表于 03-12 13:45 ?657次閱讀
    如何使用OpenVINO<b class='flag-5'>運行</b><b class='flag-5'>DeepSeek-R1</b>蒸餾<b class='flag-5'>模型</b>

    了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應用選擇

    : 輕量級任務 DeepSeek-R1獨立運行,用于: 電路參數(shù)計算(如濾波器截止頻率公式推導) 基礎SPICE仿真腳本生成 技術文檔QA(如查找某ADC的SNR指標) 復雜任務R1 + 領域插件
    發(fā)表于 02-14 02:08

    RK3588開發(fā)板上部署DeepSeek-R1模型的完整指南

    的核心功能之一,它允許用戶將Hugging Face或GGUF格式的大語言模型轉(zhuǎn)換為RKLLM模型,從而將RKLLM模型在Rockchip NPU上加載運行。 (4)編譯
    發(fā)表于 02-27 16:45

    實時Linux系統(tǒng)與Betaflight的結(jié)合:計算與飛控的完美協(xié)作

    隨著無人機技術的迅猛發(fā)展,高性能計算和精確飛行控制的結(jié)合顯得尤為重要。在這一領域,實時Linux系統(tǒng)和Betaflight飛控固件的結(jié)合
    的頭像 發(fā)表于 01-10 16:17 ?281次閱讀

    低空視頻傳輸在望實時linux系統(tǒng)上的應用

    實時linux系統(tǒng)優(yōu)化視頻傳輸系統(tǒng),可以顯著提升低空經(jīng)濟的智能化與自動化水平。 1.
    的頭像 發(fā)表于 01-24 17:21 ?277次閱讀

    云天勵飛上線DeepSeek R1系列模型

    -Distill-Llama-70B大模型、DeepSeek V3/R1 671B MoE大模型也在有序適配中。適配完成后,DeepEdge10芯片平臺將在端、邊、云全面支持
    的頭像 發(fā)表于 02-06 10:39 ?385次閱讀
    云天勵飛上線<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>系列<b class='flag-5'>模型</b>

    扣子平臺支持DeepSeek R1與V3模型

    用戶快速實現(xiàn)基于大模型的各類Bot的搭建,并將其輕松發(fā)布社交平臺、通訊軟件、網(wǎng)站等多個渠道。此次新增對DeepSeek R1和V3模型的支
    的頭像 發(fā)表于 02-08 13:42 ?619次閱讀

    壁仞科技順利部署DeepSeek R1問蒸餾模型

    DeepSeek 的國內(nèi)算力支持隊伍進一步壯大:來自上海的壁仞科技順利部署DeepSeek-R1-Distill問蒸餾模型(1.5B/7B/14B/32B),并已上線 Gitee A
    的頭像 發(fā)表于 02-08 16:56 ?927次閱讀

    Gitee AI 聯(lián)合沐曦首發(fā)全套 DeepSeek R1 問蒸餾模型,全免費體驗!

    模型相比,較小尺寸的 DeepSeek 蒸餾版本模型 更適合企業(yè)內(nèi)部實施部署,可以極大的降低落地成本 。 同時,這次 Deepseek
    的頭像 發(fā)表于 02-10 09:56 ?255次閱讀
    Gitee AI 聯(lián)合沐曦首發(fā)全套 <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b> <b class='flag-5'>千</b>問蒸餾<b class='flag-5'>模型</b>,全免費體驗!

    Deepseek R1模型離線部署教程

    。作為國產(chǎn)AI大數(shù)據(jù)模型的代表,憑借其卓越的推理能力和高效的文本生成技術,在全球人工智能領域引發(fā)廣泛關注。 本文主要說明DeepSeek-R1如何離線運行在EASY-EAI-Orin-Nano(RK3576)硬件上, RK357
    的頭像 發(fā)表于 02-12 09:37 ?1001次閱讀
    <b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>離線部署教程

    超星未來驚蟄R1芯片適配DeepSeek-R1模型

    日前,超星未來研發(fā)團隊成功完成了驚蟄R1芯片對DeepSeek-R1模型的適配工作,實現(xiàn)了與用戶之間的流暢對話。這一成果標志著超星未來在人工智能芯片和模型優(yōu)化方面取得了重要進展
    的頭像 發(fā)表于 02-13 14:05 ?276次閱讀

    IBM在watsonx.ai平臺推出DeepSeek R1蒸餾模型

    ,進一步增強企業(yè)在安全、治理以及規(guī)?;渴鸱矫娴哪芰?。 DeepSeek R1是IBM在AI領域的一項重要創(chuàng)新,它采用了蒸餾模型技術,能夠在保持模型性能的同時,顯著減小
    的頭像 發(fā)表于 02-14 10:21 ?235次閱讀

    浪潮信息發(fā)布R1推理服務器

    近日,浪潮信息正式推出了其創(chuàng)新的R1推理服務器。這款服務器通過系統(tǒng)的創(chuàng)新與軟硬件的協(xié)同優(yōu)化,實現(xiàn)了對DeepSeek R1 671B
    的頭像 發(fā)表于 02-17 10:32 ?407次閱讀

    OpenAI O3與DeepSeek R1:推理模型性能深度分析

    OpenAI剛推出的O3和DeepSeekR1代表了推理模型領域的重大進步。這兩種模型都因在各種基準測試中的出色表現(xiàn)而備受關注,引發(fā)了人們對人工智能的未來及其對各個行業(yè)的潛在影響的討
    的頭像 發(fā)表于 02-18 11:07 ?382次閱讀

    9.9萬用上“滿血”DeepSeek R1一體機,本地部署成新商機?引發(fā)外媒熱議

    與本地部署的熱潮 DeepSeek R1作為一款強大的AI大模型,其本地部署能夠帶來諸多優(yōu)勢,如保護數(shù)據(jù)安全和隱私、避免核心數(shù)據(jù)傳輸第三方云端等。因此,
    的頭像 發(fā)表于 02-27 09:20 ?780次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品