?作者:算力魔方創(chuàng)始人/英特爾邊緣計算創(chuàng)新大使 劉力
前面我們分享了《在算力魔方上本地部署Phi-4模型》,實現(xiàn)了在邊緣端獲得Llama 3.3 70B模型差不多的能力。還分享,《如何在邊緣端獲得類似GPT4-V的能力:MiniCPM-V 2.6 》。本文將分享在本地運行能與OpenAI-o1 能力相媲美的DeepSeek-R1模型。
[編者注]:OpenAI-o1是OpenAI 于2024年9月12日發(fā)布的針對復(fù)雜推理問題的全新大模型,也就是Sam一直說的“草莓”。該模型一經(jīng)發(fā)布就引起了巨大關(guān)注,它能在回答問題之前能夠進行更長時間的“深度思考”,且思考時間越長,推理質(zhì)量越高。
2025年1月20日,DeepSeek 正式開源 DeepSeek-R1 推理模型,其能力跟OpenAI-o1正式版差不多,另外還提供經(jīng)過蒸餾,能在本地運行的小模型,其能力跟 OpenAI-O1-mini 近似:
參考鏈接:https://github.com/deepseek-ai/DeepSeek-R1
本文將分享DeepSeek-R1-Distill-Qwen-7B模型在算力魔方?4060版上的部署過程。
一,安裝Ollama
請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。
二,運行DeepSeek-R1-Distill-Qwen-7B
使用下面的命令完成運行DeepSeek-R1-Distill-Qwen-7B:
ollama run deepseek-r1
三,體驗DeepSeek-R1的數(shù)學(xué)、代碼和推理能力
輸入下面的提示詞,體驗DeepSeek-R1的數(shù)學(xué)、代碼和推理能力:
忒修斯之船悖論測試推理能力:“如果一艘船的所有部件都被替換,它還是原來的船嗎?請從哲學(xué)、物理和邏輯學(xué)角度分別分析,并嘗試提出一個自洽的解決方案?”
高階數(shù)學(xué)推理測試數(shù)學(xué)能力:“證明:在三維歐幾里得空間中,不存在五個兩兩正交的非零向量。請分步驟說明邏輯推導(dǎo)過程,并檢查是否存在拓撲學(xué)或線性代數(shù)視角的替代證明方法?!?/p>
極端場景處理測試編程能力:“編寫C程序?qū)崿F(xiàn)高精度溫度傳感器數(shù)據(jù)處理,要求:1,在內(nèi)存<2KB的嵌入式設(shè)備運行;2,能處理傳感器噪聲(Kalman濾波)。給出防止整型溢出和浮點誤差的具體策略?!?/p>
視頻鏈接如下:
https://live.csdn.net/v/460546
四,總結(jié)
使用Ollama可以方便快捷的將DeepSeek-R1模型本地化部署在算力魔方?上,讓您獲得強大的數(shù)學(xué)、代碼和推理能力。
如果你有更好的文章,歡迎投稿!
稿件接收郵箱:nami.liu@pasuntech.com
更多精彩內(nèi)容請關(guān)注“算力魔方?”!
?審核編輯 黃宇
-
AI
+關(guān)注
關(guān)注
87文章
31429瀏覽量
269826 -
OpenAI
+關(guān)注
關(guān)注
9文章
1116瀏覽量
6625
發(fā)布評論請先 登錄
相關(guān)推薦
評論