如何在 OrangePi 5 Pro?的?NPU?上運(yùn)行?LLM

在OrangePi5 Pro上訪問NPU需要安裝最新版Ubuntu的定制版本，還需要安裝特殊軟件，讓你能在NPU而不是CPU上運(yùn)行專門轉(zhuǎn)換的LLM。整個過程肯定要比運(yùn)行Ollama復(fù)雜得多，但如果你愿意迎接挑戰(zhàn)，就能獲得不菲的收益。所以，如果你感興趣，就讓我們深入了解一下吧！

安裝操作系統(tǒng)

首先要安裝合適的操作系統(tǒng)。我推薦 GitHub用戶Joshua Riek專門為Rockchip SoC定制的Ubuntu。你需要的是24.04版本，因?yàn)樗鼡碛羞\(yùn)行LLM所需的最新版NPU驅(qū)動程序。為OrangePi在SD卡上刷新操作系統(tǒng)的方法與Raspberry Pi基本相同，以下是簡要介紹：

1.將操作系統(tǒng)鏡像下載到你選擇的電腦上。

2.打開一個可以幫助閃存 SD卡的程序。在本指南中，我們將使用balenaEtcher。

3.選擇 “從文件閃存”，然后選擇之前下載的操作系統(tǒng)映像文件。

4.確保已插入 SD卡，然后單擊 “選擇目標(biāo)”。

5.從列表中選擇 SD卡，然后單擊 “選擇”。

6.選擇 Flash！

這個過程可能需要 10分鐘才能完成，所以在程序運(yùn)行時請耐心等待。

成功閃存操作系統(tǒng)后，將 SD卡傳輸?shù)侥愕腛rangePi中，然后打開電源。確保你手邊有鍵盤和顯示器，因?yàn)槲覀冃枰苯釉L問我們的 SBC，至少需要足夠長的時間來安裝SSH。

安裝 SSH

在 OPi上完成初始操作系統(tǒng)設(shè)置后，按Ctrl + Alt + T鍵打開終端，在終端中輸入sudo apt install openssh-server。這將允許你從另一臺電腦訪問你的OrangePi。我們之所以要這么麻煩，是因?yàn)檫\(yùn)行 LLM的程序在桌面上無法運(yùn)行，但在SSH終端上可以運(yùn)行。

在離開你的OrangePi之前，記下它的 IP地址，然后通過SSH登錄。如果你不喜歡SSH，也可以在你的設(shè)備上按照本指南操作，但你必須按Ctrl + Alt + F5退出桌面，只在shell中工作。

安裝 RKNN LLM和RKNN工具包2

現(xiàn)在，我們可以開始安裝運(yùn)行 LLM的軟件了。RKNN LLM是在我們的機(jī)器上運(yùn)行LLM的程序。RKNN Toolkit 2是讓其他軟件與NPU通信的軟件。我們將使用GitHub用戶Pelochus提供的腳本一次性安裝這兩個軟件。在終端中輸入：

sudo curl https://raw.githubusercontent.com/Pelochus/ezrknpu/main/install.sh | sudo bash

運(yùn)行需要 5到10分鐘，請耐心等待。

安裝 LLM

安裝完 RKNN LLM和RKNN Toolkit 2后，就可以安裝模型了（這還需要5到10分鐘）。為了讓LLM利用OrangePi上Rockchip RK3588S SoC的NPU，需要使用RKNN Toolkit 2對其進(jìn)行轉(zhuǎn)換（這遠(yuǎn)遠(yuǎn)超出了本指南的范圍）。

幸運(yùn)的是，Pelochus維護(hù)著一個可與RK3588S配合使用的LLM的Hugging Face資源庫。遺憾的是，并非所有這些模型都與我們剛剛下載的軟件兼容。您需要尋找已使用RKLLM runtime 1.0.1轉(zhuǎn)換的模型。我們要安裝的是微軟的Phi-3 Mini型號，參數(shù)為3.8B。在終端中輸入以下命令：

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/Pelochus/phi-3-mini-rk3588

命令第一部分的大寫字母將確保我們只先克隆較小的文件。如果我們試圖一次性克隆整個版本庫，可能會出現(xiàn)一些錯誤。接下來，導(dǎo)航到我們剛剛創(chuàng)建的新目錄（cd ~/phi-3-mini-rk3588），然后運(yùn)行g(shù)it lfs pull命令。這將下載數(shù)千兆字節(jié)的大型模型文件。

在OrangePi5 Pro NPU上運(yùn)行LLM

如果一切按計(jì)劃進(jìn)行，你就可以啟動 LLM了。在終端中輸入rkllm phi-3-mini-4k-rk3588.rkllm即可。

運(yùn)行情況如何？它比我們在超頻的 Raspberry Pi 5上通過Ollama運(yùn)行的Phi-3要快得多。它的輸出似乎也有硬性限制，如果達(dá)到極限，就會中途自斷。

OrangePi上的NPU驅(qū)動LLM在很大程度上仍處于試驗(yàn)階段，但沒想到響應(yīng)速度是如此之快。在樹莓派上運(yùn)行的 Phi-3平均響應(yīng)時間為27秒，中位數(shù)為5秒（范圍為3-295秒）。在OrangePi5 Pro的NPU上運(yùn)行的Phi-3均響應(yīng)時間約為1秒，中位數(shù)在1-2秒之間。

如果你有一臺配備 RK3588或RK3588S SoC的OrangePi5，如果你喜歡嘗試使用LLM，那么這個項(xiàng)目絕對值得你花時間去做，哪怕只是為了大幅提高LLM的響應(yīng)時間。支持OrangePi上 LLM的社區(qū)規(guī)模雖小，但非?；钴S，我期待看到更多型號不斷涌現(xiàn)。