全志視覺芯片V821接入DeepSeek和豆包視覺大模型

上周，全志生態(tài)的小伙伴們成功在全志A733和T527的SoC平臺上實現(xiàn)了DeepSeek-R1-Distill-Qwen-1.5B模型的部署，充分驗證了高算力平臺在端側(cè)部署AI推理上的潛力。今天我們帶來一款全志新的視覺芯片V821，通過網(wǎng)絡(luò)接入的方式打通DeepSeek-R1滿血版模型和豆包視覺大模型，并展示其語言和視覺交互的能力和多樣性。

相較于大模型的端側(cè)部署，云端大模型對端側(cè)硬件算力、存儲資源等要求較低，以極佳的成本代價就可以體驗到模型最佳的性能表現(xiàn)，覆蓋更多的場景形態(tài)。本地設(shè)備將文字，語音，圖像等相關(guān)數(shù)據(jù)通過網(wǎng)絡(luò)上傳，憑借云端大模型對數(shù)據(jù)的分析和推理海量數(shù)據(jù)的分析和推理能力，并結(jié)合網(wǎng)絡(luò)搜索的信息，更好地，更加準確地，更加快速地做出判斷和反饋，大幅提升應(yīng)答速度和輸出的準確率。

全志本次在V821平臺上基于豆包視覺大模型和DeepSeek語言大模型API實現(xiàn)了完整的大模型接入套件，讓V821具備了語言交互及圖像識別等豐富能力，讓開發(fā)者更容易實現(xiàn)大模型的應(yīng)用，極大的方便了基于V821的智能產(chǎn)品的開發(fā)與拓展。

V821豆包視覺大模型實時采集圖像進行物品識別示例：

下面的視頻展示V821接入DeepSeek語言大模型，支持多輪對話+流式輸出功能：

通過以上的兩段演示可以發(fā)現(xiàn)，在有了接入套件所提供的便利后，云端部署的大模型的運行達到了“滿血”狀態(tài)，無論是物品識別還是多輪持續(xù)對話都有很快的輸出，確保在微型化設(shè)備算力資源受限的情況下，也能流暢自然地使用大模型，實現(xiàn)本地設(shè)備與云端AI結(jié)合。

V821是一顆高集成度的低功耗WiFi視覺SOC，集成了高性能ISP和H.264、JPEG編碼單元，同時內(nèi)置了WiFi，因此可以很方便的接入AI視覺大模型，快速實現(xiàn)微型化、高清視頻、云端AI結(jié)合、低功耗一體化的視覺產(chǎn)品落地。

V821簡要規(guī)格如下：

通用算力：CPU RISC-V 1GHz + MCU RISC-V 600MHz

視頻輸入：1x2lane/2x1lane MIPI-CSI + 支持一路并口CSI

視頻引擎：支持H.264最大3072x3072；MJPEG最大8192x8192；支持雙目1920x1080@15fps + 640x480@15fps

WiFi（內(nèi)置）：WiFi4 單頻2.4GHz + 低功耗版本?；罟?80uA（DTIM10）

其他接口：支持一路音頻輸出/一路音頻輸入 + 3xSPI / 3xTWI / 4xUART / 12xPWM / 2xSDIO

全志推出的最新大模型套件，可以無縫切換各種主流大模型。各大模型官方提供的接入示例多是python、java等語言實現(xiàn)，而全志的套件使用純C語言實現(xiàn)，內(nèi)存資源占用少，可方便應(yīng)用在全志平臺Tina Linux系統(tǒng)和Tina RTOS系統(tǒng)上。目前，該套件已集成到V821 SDK中，會于2月底隨V821 SDK V1.1發(fā)出，屆時歡迎各位開發(fā)者升級體驗。

使用全志提供的大模型接入套件，只需要簡單的2個步驟即可接入豆包視覺大模型。

步驟1：調(diào)用lm_init函數(shù)進行初始化大模型

typedef struct {
 const char *url;
 const char *model;
 const char *api_key;
} lm_config;


int lm_init(lm_config *config, lm_handle *handle);

初始化需要填充大模型的URL、模型、API key參數(shù)。參數(shù)的獲取可在各大模型官網(wǎng)進行注冊賬號后獲得，具體可參考各大模型官方的說明文檔，本文接入的是豆包視覺大模型，可參考以下鏈接獲取參數(shù)信息：

https://www.volcengine.com/docs/82379/1362931

步驟2：調(diào)用lm_generate函數(shù)訪問大模型。

typedef int (*lm_outputcallback)(char* token, void* user_data);


typedef struct {
 char *content;
 prompt_image *img;
} lm_prompt;


int lm_generate(lm_handle handle, lm_prompt *prompt, lm_outputcallback cb, void *user_data)；

prompt為輸入的提示詞，其帶有兩個參數(shù)，content表示輸入的文本，img為輸入的圖片數(shù)據(jù)；cb為用戶注冊的回調(diào)函數(shù)，當接收到云端大模型返回數(shù)據(jù)時會回調(diào)該函數(shù)將token信息輸出。

按照以上部署方式使用該套件到V821上，還可以支持DeepSeek的多輪對話和流式輸出。所謂“多輪對話”（Multi-turn Dialogue）是指大模型在與用戶交互時，能夠理解并記住對話歷史，并根據(jù)上下文信息持續(xù)生成符合邏輯的連貫回復(fù)的能力，而流式輸出是在云端大模型生成token回應(yīng)時能夠?qū)崟r輸出，支持多輪對話與流式輸出的能力使得對話不再是孤立的“一問一答”，而是更接近人類自然交流的連續(xù)互動。

全方位擁抱大模型生態(tài)，已成為多產(chǎn)品線全面革新的主旋律。AI大模型的普及為產(chǎn)品落地帶來了更多元的玩法，全志將針對各產(chǎn)品線不同應(yīng)用場景的獨特需求，深度挖掘本地算力潛能，巧妙融合先進云端技術(shù)方案，為用戶帶來更智能便捷的交互體驗，提升工作效率，營造智慧生活，逐步推動AI從前沿科技走向大眾生活，用智能硬件助力AI惠民愿景的落地生根。