新品｜LLM Module，離線大語(yǔ)言模型模塊

LLM，全稱(chēng)大語(yǔ)言模型(Large Language Model)。是一種基于深度學(xué)習(xí)的人工智能模型。它通過(guò)大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，從而能夠進(jìn)行對(duì)話(huà)、回答問(wèn)題、撰寫(xiě)文本等其他任務(wù)。

New
Module LLM

LLM Module是一款集成化的離線大語(yǔ)言模型（LLM）推理模塊，無(wú)需云端，即可提供流暢自然的 AI 體驗(yàn)。產(chǎn)品搭載愛(ài)芯元智 AX630C SoC 先進(jìn)處理器，集成 3.2TOPs@Int8 高能效 NPU，原生支持 Transformer 模型，輕松應(yīng)對(duì)復(fù)雜 AI 任務(wù)。且配備 4GB LPDDR4 內(nèi)存和32GB eMMC存儲(chǔ)，支持多模型并行加載與串聯(lián)推理，確保多任務(wù)處理流暢無(wú)阻。運(yùn)行功耗僅約 1.5W，遠(yuǎn)低于同類(lèi)產(chǎn)品，節(jié)能高效，適合長(zhǎng)時(shí)間運(yùn)行。

無(wú)需云端支持

模塊無(wú)需依賴(lài)云端，確保用戶(hù)隱私安全和系統(tǒng)穩(wěn)定性，適合各種對(duì)數(shù)據(jù)安全有高要求的應(yīng)用場(chǎng)景。集成 StackFlow 框架，配合 Arduino/UiFlow 庫(kù)，幾行代碼就可輕松實(shí)現(xiàn)端側(cè)智能。

高算力，低能耗

搭載愛(ài)芯元智AX630C SoC 處理器，集成 3.2TOPs@Int8 高效 NPU，提供強(qiáng)大的計(jì)算能力，原生支持 Transformer 模型，運(yùn)行功耗僅約 1.5W，確保節(jié)能高效。

AI Benchmark 對(duì)比

支持多模型并行

配備 4GB LPDDR4 內(nèi)存（其中1GB供用戶(hù)使用，3GB專(zhuān)用于硬件加速）和32GB eMMC存儲(chǔ)，支持多模型并行加載與串聯(lián)推理，確保多任務(wù)處理流暢無(wú)阻。

內(nèi)置外設(shè)

集成麥克風(fēng)，揚(yáng)聲器，TF存儲(chǔ)卡，USB OTG 及 RGB狀態(tài)燈，滿(mǎn)足多樣化應(yīng)用需求，輕松實(shí)現(xiàn)語(yǔ)音交互與數(shù)據(jù)傳輸。

靈活拓展

板載 SD 卡槽支持固件冷/熱升級(jí)，UART 通信接口簡(jiǎn)化連接與調(diào)試，確保模塊功能持續(xù)優(yōu)化與擴(kuò)展。USB 口支持主從自動(dòng)切換，既可以做調(diào)試口，也可以外接更多 USB 設(shè)備如攝像頭。

視覺(jué)識(shí)別能力

支持 CLIP，YoloWorld 等 Open world 模型，未來(lái)將持續(xù)更新 DepthAnything，SegmentAnything 等先進(jìn)模型，賦能智能識(shí)別與分析。

即插即用

出廠預(yù)裝 Qwen2.5-0.5B 大語(yǔ)言模型，內(nèi)置KWS（喚醒詞），ASR（語(yǔ)音識(shí)別），LLM（大語(yǔ)言模型）及TTS（文本轉(zhuǎn)語(yǔ)音）功能，且支持分開(kāi)調(diào)用或 pipeline 自動(dòng)流轉(zhuǎn)，方便開(kāi)發(fā)。后續(xù)將支持Qwen2.5-1.5B、Llama3.2-1B及InternVL2-1B等多種端側(cè)LLM/VLM模型，支持熱更新模型，緊跟社區(qū)潮流，適應(yīng)不同復(fù)雜度的AI任務(wù)。搭配M5主機(jī)即可實(shí)現(xiàn)即插即用的AI交互體驗(yàn)。

LLM Module可作為離線語(yǔ)音助手，無(wú)需聯(lián)網(wǎng)即可進(jìn)行精準(zhǔn)語(yǔ)音識(shí)別與響應(yīng)，提升設(shè)備使用的智能和便捷性。或者是通過(guò)語(yǔ)音指令輕松控制家中智能設(shè)備，實(shí)現(xiàn)智能化生活。產(chǎn)品推薦搭配M5系列主機(jī)進(jìn)行使用，無(wú)需繁瑣設(shè)置，即插即用。