0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

K1 AI CPU基于llama.cpp與Ollama的大模型部署實踐

進(jìn)迭時空 ? 2025-02-18 14:23 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

為了應(yīng)對大模型(LLM)、AIGC等智能化浪潮的挑戰(zhàn),進(jìn)迭時空通過AI指令擴(kuò)展,在RISC-V CPU中注入了原生AI算力。這種具有原生AI能力的CPU,我們稱之為AI CPU。K1作為進(jìn)迭時空第一顆AI CPU芯片,已于今年4月份發(fā)布。

下面我們以K1為例,結(jié)合llama.cpp來展示AI CPU在大模型領(lǐng)域的優(yōu)勢。


llama.cpp是一個開源的高性能CPU/GPU大語言模型推理框架,適用于消費級設(shè)備及邊緣設(shè)備。開發(fā)者可以通過工具將各類開源大語言模型轉(zhuǎn)換并量化成gguf格式的文件,然后通過llama.cpp實現(xiàn)本地推理。

得益于RISC-V社區(qū)的貢獻(xiàn),已有l(wèi)lama.cpp在K1上高效運行的案例,但大語言模型的CPU資源使用過高,使其很難負(fù)載其他的上層應(yīng)用。為此進(jìn)迭時空在llama.cpp社區(qū)版本的基礎(chǔ)上,基于IME矩陣加速拓展指令,對大模型相關(guān)算子進(jìn)行了優(yōu)化,在僅使用4核CPU的情況下,達(dá)到目前社區(qū)最好版本8核性能的2-3倍,充分釋放了CPU Loading,給開發(fā)者更多空間實現(xiàn)AI應(yīng)用。


Ollama是一個開源的大型語言模型服務(wù)工具,它幫助用戶快速在本地運行大模型。通過簡單的安裝指令,用戶可以執(zhí)行一條命令就在本地運行開源大型語言模型,如Llama、Qwen、Gemma等。

部署實踐

工具與模型準(zhǔn)備

#在K1上拉取ollama與llama.cpp預(yù)編譯包apt updateapt install spacemit-ollama-toolkit
#k開啟ollama服務(wù)ollama serve
#下載模型wget -P /home/llm/ https://archive.spacemit.com/spacemit-ai/ModelZoo/gguf/qwen2.5-0.5b-q4_0_16_8.gguf
#導(dǎo)入模型,例為qwen2.5-0.5b#modelfile地址:https://archive.spacemit.com/spacemit-ai/ollama/modelfile/qwen2.5-0.5b.modelfileollama create qwen2 -f qwen2.5-0.5b.modelfile
#運行模型ollama run qwen2

Ollama效果展示


性能與資源展示

我們選取了端側(cè)具有代表性的0.5B-4B尺寸的大語言模型,展示K1的AI擴(kuò)展指令的加速效果。

參考性能分別為llama.cpp的master分支(下稱官方版本),以及RISC-V社區(qū)的優(yōu)化版本(下稱RISC-V社區(qū)版本,GitHub地址為:

https://github.com/xctan/llama.cpp/tree/rvv_q4_0_8x8)

d43e940e-edc0-11ef-9434-92fbcf53809c.png

所有模型均采用4bit量化。其中RISC-V社區(qū)版本以及官方版本模型為最優(yōu)實現(xiàn)的加速效果,模型量化時將token-embedding-type設(shè)置為q8_0。

llama.cpp的進(jìn)迭時空版本CPU占用情況:

d44b142c-edc0-11ef-9434-92fbcf53809c.pngd4557b74-edc0-11ef-9434-92fbcf53809c.png

llama.cpp的RISC-V社區(qū)版本CPU占用情況:

d4611e5c-edc0-11ef-9434-92fbcf53809c.pngd46aee64-edc0-11ef-9434-92fbcf53809c.png

參考文檔

https://github.com/ggerganov/llama.cpp

https://github.com/ollama/ollama

https://github.com/QwenLM/Qwen2.5

Qwen2 Technical Report

https://ollama.com

結(jié)語

進(jìn)迭時空在K1平臺上大模型部署方面取得了初步進(jìn)展,其卓越的性能與高度的開放性令人矚目。這為開發(fā)者們提供了一個極為友好的環(huán)境,使他們能夠輕松依托社區(qū)資源,進(jìn)一步拓展和創(chuàng)新,開發(fā)出更多豐富的應(yīng)用。

我們滿懷期待地憧憬著K1平臺上未來可能出現(xiàn)的更多大語言模型應(yīng)用的創(chuàng)新設(shè)想。在此過程中,我們將持續(xù)保持關(guān)注并不斷推進(jìn)相關(guān)工作。此外,本文所提及的預(yù)發(fā)布軟件包,將在年底以源代碼的形式開源,以供廣大開發(fā)者共同學(xué)習(xí)與探索。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 芯片
    +關(guān)注

    關(guān)注

    459

    文章

    52438

    瀏覽量

    439795
  • cpu
    cpu
    +關(guān)注

    關(guān)注

    68

    文章

    11070

    瀏覽量

    216803
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3117

    瀏覽量

    4028
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    Arm Neoverse N2平臺實現(xiàn)DeepSeek-R1滿血版部署

    頗具優(yōu)勢。Arm 攜手合作伙伴,在 Arm Neoverse N2 平臺上使用開源推理框架 llama.cpp 實現(xiàn) DeepSeek-R1 滿血版的部署,目前已可提供線上服務(wù)。
    的頭像 發(fā)表于 07-03 14:37 ?290次閱讀
    Arm Neoverse N2平臺實現(xiàn)DeepSeek-R<b class='flag-5'>1</b>滿血版<b class='flag-5'>部署</b>

    【幸狐Omni3576邊緣計算套件試用體驗】CPU部署DeekSeek-R1模型1B和7B)

    一、DeepSeek簡介 DeepSeek是由中國深度求索公司開發(fā)的開源大語言模型系列,其研發(fā)始于2023年,目標(biāo)是為學(xué)術(shù)界和產(chǎn)業(yè)界提供高效可控的AI基礎(chǔ)設(shè)施。R1系列作為其里程碑版本,通過稀疏化
    發(fā)表于 04-21 00:39

    如何在Ollama中使用OpenVINO后端

    Ollama 和 OpenVINO 的結(jié)合為大型語言模型(LLM)的管理和推理提供了強(qiáng)大的雙引擎驅(qū)動。Ollama 提供了極簡的模型管理工具鏈,而 OpenVINO 則通過 Intel
    的頭像 發(fā)表于 04-14 10:22 ?443次閱讀

    將Deepseek移植到i.MX 8MP|93 EVK的步驟

    此共享介紹了如何將 deepseek 移植到i.MX93EVK使用 llama.cpp 的 Yocto BSP 本文檔使用的主要測試模型是在 deepseek 模型的基礎(chǔ)上進(jìn)行提煉和量化的 Qwen
    發(fā)表于 03-26 06:08

    在MAC mini4上安裝Ollama、Chatbox及模型交互指南

    作者:算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 一,簡介 本文將指導(dǎo)您如何在MAC mini4上安裝Ollama和Chatbox,并下載Deepseek-r1:32b模型Ollama是一個
    的頭像 發(fā)表于 03-11 17:17 ?786次閱讀
    在MAC mini4上安裝<b class='flag-5'>Ollama</b>、Chatbox及<b class='flag-5'>模型</b>交互指南

    K230D部署模型失敗的原因?

    流程中看到MicroPython部署時要選擇第三路串口,但并未成功 補充材料 參考的主要流程如下,這個文件內(nèi)容是在社區(qū)官網(wǎng)的模型訓(xùn)練結(jié)束后生成的文件壓縮包解壓后的結(jié)果 確認(rèn)問題 1.K230D應(yīng)該
    發(fā)表于 03-11 06:19

    添越智創(chuàng)基于 RK3588 開發(fā)板部署測試 DeepSeek 模型全攻略

    方法的優(yōu)缺點與操作要點。 01-使用Ollama工具部署-便捷但有短板 Ollama 是一個開源的大模型服務(wù)工具,可以支持最新的deepseek模型
    發(fā)表于 02-14 17:42

    進(jìn)迭時空 K1 系列 8 核 64 位 RISC - V AI CPU 芯片介紹

    一、總體概述K1 系列是基于 RISC - V 開源指令集打造的 AI CPU,致力于構(gòu)建更通用、高能效的 AI 處理器平臺,推動全球開源、開放的
    發(fā)表于 01-06 17:37

    Kimi發(fā)布視覺思考模型k1,展現(xiàn)卓越基礎(chǔ)科學(xué)能力

    近日,Kimi公司正式發(fā)布了其最新的視覺思考模型——k1。這款模型基于先進(jìn)的強(qiáng)化學(xué)習(xí)技術(shù)構(gòu)建,原生支持端到端的圖像理解和思維鏈技術(shù),為用戶提供了全新的視覺思考體驗。 k1
    的頭像 發(fā)表于 12-17 09:59 ?774次閱讀

    Ollama輕松搞定Llama 3.2 Vision模型本地部署

    Ollama 是一個開源的大語言模型服務(wù)工具,它的核心目的是簡化大語言模型(LLMs)的本地部署和運行過程,請參考《Gemma 2+Ollama
    的頭像 發(fā)表于 11-23 17:22 ?3724次閱讀
    用<b class='flag-5'>Ollama</b>輕松搞定<b class='flag-5'>Llama</b> 3.2 Vision<b class='flag-5'>模型</b>本地<b class='flag-5'>部署</b>

    Ollama輕松搞定Llama 3.2 Vision模型本地部署

    模型
    jf_23871869
    發(fā)布于 :2024年11月18日 19:40:10

    Llama 3 與開源AI模型的關(guān)系

    體現(xiàn)在多個層面。 1. 開源精神的體現(xiàn) Llama 3項目可能是一個開源項目,這意味著它的源代碼、算法和數(shù)據(jù)集對公眾開放。這種開放性是開源AI模型的核心特征,它鼓勵了全球范圍內(nèi)的開發(fā)者
    的頭像 發(fā)表于 10-27 14:42 ?759次閱讀

    使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型

    前面我們分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日,Meta又發(fā)布了Llama3.2:一個多語言大型語言模型(LLMs)的集合。
    的頭像 發(fā)表于 10-12 09:39 ?1434次閱讀
    使用OpenVINO 2024.4在算力魔方上<b class='flag-5'>部署</b><b class='flag-5'>Llama-3.2-1</b>B-Instruct<b class='flag-5'>模型</b>

    [技術(shù)] 【飛凌嵌入式OK3576-C開發(fā)板體驗】llama2.c部署

    llama2.c 是一個用純 C 語言實現(xiàn)的輕量級推理引擎,無需依賴任何第三方庫即可高效地進(jìn)行推理任務(wù)。與 llama.cpp 相比,其代碼更加直觀易懂,并且可以在 PC、嵌入式 Linux 乃至
    發(fā)表于 09-18 23:58

    NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型

    Foundry 提供從數(shù)據(jù)策管、合成數(shù)據(jù)生成、微調(diào)、檢索、防護(hù)到評估的全方位生成式 AI 模型服務(wù),以便部署自定義 Llama 3.1 NVIDIA NIM 微服務(wù)和新的 NVIDI
    發(fā)表于 07-24 09:39 ?911次閱讀
    NVIDIA <b class='flag-5'>AI</b> Foundry 為全球企業(yè)打造自定義 <b class='flag-5'>Llama</b> 3.1 生成式 <b class='flag-5'>AI</b> <b class='flag-5'>模型</b>