香橙派發(fā)布OrangePi AIpro（20T）本地部署Deepseek-R1蒸餾模型指南！

日前，香橙派官方發(fā)布OrangePi AIpro（20T）運(yùn)行Deepseek-R1蒸餾模型實(shí)操指南，幫助用戶通過先進(jìn)算力和硬件架構(gòu)實(shí)現(xiàn)高效的端側(cè)智能。

OrangePi AIpro（20T）是香橙派聯(lián)合昇騰AI打造的高算力開發(fā)板，根植于昇騰AI技術(shù)，集AI計算、ISP、圖形輸出等功能于一體，釋放高達(dá)20 TOPS的AI算力。可配24GB運(yùn)行內(nèi)存，匯聚了MIPI DSI、雙MIPI CSI、USB3.0、Type-C、雙HDMI2.0、雙2.5G以太網(wǎng)、支持SATA/NVMe SSD 2280的M.2插槽等各類流行的接口。 OrangePi AIpro（20T）依托昇騰AI基礎(chǔ)軟硬件能力的基礎(chǔ)，融合大模型與訓(xùn)推一體化優(yōu)勢，實(shí)現(xiàn)端邊云全場景無縫部署，是構(gòu)建昇騰計算產(chǎn)品、使能上層軟件和應(yīng)用的底座，有高算力、高能效等特性。

該產(chǎn)品廣泛應(yīng)用于AI邊緣計算、深度視覺與視頻流分析、自然語言處理、智能機(jī)器人（如小車、機(jī)械臂）、無人機(jī)、云計算、AR/VR、智能安防及家居等AIoT全領(lǐng)域，引領(lǐng)行業(yè)智能化轉(zhuǎn)型。

基于昇騰硬件底座、昇騰異構(gòu)計算架構(gòu)CANN、昇思Mindspore AI框架以及MindlE推理引擎，用戶可以通過OrangePi Alpro(20T)開展面向金融、教育、政務(wù)、智能制造、智能家居、智慧交通等行業(yè)的人工智能應(yīng)用開發(fā)。

OrangePi AIpro（20T）運(yùn)行Deepseek-R1蒸餾模型

據(jù)了解，DeepSeek-R1專為數(shù)學(xué)、代碼生成和復(fù)雜邏輯推理任務(wù)設(shè)計，通過大規(guī)模強(qiáng)化學(xué)習(xí)（RL）提升推理能力，還摒棄監(jiān)督微調(diào)（SFT），采用純強(qiáng)化學(xué)習(xí)（GRPO算法）訓(xùn)練基座模型。同時，DeepSeek-R1提供了高效模型蒸餾技術(shù)，可將大規(guī)模模型能力遷移至更小、更高效的版本，優(yōu)化模型性能、開源應(yīng)用。經(jīng)蒸餾后的DeepSeek-R1模型支持部署于端側(cè)，大幅降低計算資源需求，顯著提升端側(cè)設(shè)備的AI推理效率。

除OrangePi AIpro（20T）之外，迅龍軟件也發(fā)布了OrangePi AI Studio、OrangePi 5Plus運(yùn)行Deepseek-R1蒸餾模型的實(shí)操指南。迅龍軟件表示，未來將繼續(xù)加大研發(fā)投入，攜手行業(yè)伙伴，推動不同算力等級的開發(fā)板與DeepSeek等優(yōu)質(zhì)模型相結(jié)合，進(jìn)一步降低端側(cè)AI的門檻，為客戶創(chuàng)造更大的AI價值。

實(shí)操指南

DeepSeek-R1-Distill-Qwen-1.5B

1. 下載最新的desktop版本鏡像。

1. 執(zhí)行以下命令啟動推理。

(base) HwHiAiUser@orangepiaipro-20t:~$cd orange-pi-mindspore/Online/17-DeepSeek-R1-Distill-Qwen-1.5B

(base) HwHiAiUser@orangepiaipro-20t:~/orange-pi-mindspore/Online/17-DeepSeek-R1-Distill-Qwen-1.5B$python deepseek-r1-distill-qwen-1.5b.py

1. 第一次啟動會自動下載模型，具體時間視網(wǎng)絡(luò)環(huán)境而定，模型會被下載到“~/orange-pi-mindspore/Online/17-DeepSeek-R1-Distill-Qwen-1.5B/.mindnlp/model/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/”文件夾內(nèi)。

1. 推理代碼默認(rèn)在啟動的時候會檢查相關(guān)的依賴，此時如果網(wǎng)絡(luò)環(huán)境不好，會導(dǎo)致無法啟動。如果不是第一次啟動，且模型已經(jīng)下載完成，可以按照下圖所示，修改tokenizer和model參數(shù)，將路徑改成本地絕對路徑，這樣就可以離線啟動了。

(base) HwHiAiUser@orangepiaipro-20t:~/orange-pi-mindspore/Online/17-DeepSeek-R1-Distill-Qwen-1.5B$vimdeepseek-r1-distill-qwen-1.5b.py

1. 等待一會，會出現(xiàn)一個ip，復(fù)制到開發(fā)板上的瀏覽器的地址欄訪問。

1. 啟動后，可在頁面下方消息輸入框“Type a message…”中輸入任何問題，或者點(diǎn)擊下方Examples中設(shè)置好的問題，然后點(diǎn)擊右側(cè)的“Submit”按鈕，Qwen模型將對此進(jìn)行回答。

1. 第一次回答需要較長時間加載，大約需要1分鐘，請耐心等待?；卮饘@示在上方聊天框中。

1. 如果出現(xiàn)Error，可以點(diǎn)擊“retry”按鈕重新發(fā)送上一條消息，并讓模型重新回答；點(diǎn)擊“undo”按鈕可撤回上一條消息；點(diǎn)擊“clear”按鈕將清空聊天框中的對話。

1. 輸出結(jié)果如下圖所示：