用Ollama輕松搞定Llama 3.2 Vision模型本地部署

Ollama 是一個開源的大語言模型服務(wù)工具，它的核心目的是簡化大語言模型（LLMs）的本地部署和運行過程，請參考《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》，一條命令完成Ollama的安裝。

一，Llama3.2 Vision簡介

Llama 3.2 Vision是一個多模態(tài)大型語言模型（LLMs）的集合，它包括預(yù)訓練和指令調(diào)整的圖像推理生成模型，有兩種參數(shù)規(guī)模：11B（110億參數(shù)）和90B（900億參數(shù)）。Llama 3.2 Vision在視覺識別、圖像推理、字幕以及回答有關(guān)圖像的通用問題方面進行了優(yōu)化，在常見的行業(yè)基準上優(yōu)于許多可用的開源和封閉多模式模型。

二，在算力魔方4060版上完成部署

算力魔方?4060版是一款包含4060 8G顯卡的迷你主機，運行：

ollama run llama3.2-vision

完成Llama 3.2 Vision 11B模型下載和部署。

三，Llama 3.2實現(xiàn)圖片識別

將圖片輸入Llama3.2-Vision,然后直接輸入問題，即可獲得圖片信息，如下面視頻所示：

視頻若無加載，請移步至主頁查看關(guān)聯(lián)視頻。

四，總結(jié)

在算力魔方?4060版上，用Ollama輕松搞定Llama 3.2 Vision模型本地部署。

更多精彩內(nèi)容請關(guān)注“算力魔方?”！

審核編輯 黃宇