llm

NVIDIA Blackwell GPU優(yōu)化DeepSeek-R1性能 打破DeepSeek-R1在最小延遲場(chǎng)景中的性能紀(jì)錄

本文將探討 NVIDIA TensorRT-LLM 如何基于 8 個(gè) NVIDIA Blackwell GPU 的配置，打破 DeepSeek-R1 在...

2025-07-02 標(biāo)簽：NVIDIAgpu大模型 2012 0

使用NVIDIA Triton和TensorRT-LLM部署TTS應(yīng)用的最佳實(shí)踐

針對(duì)基于 Diffusion 和 LLM 類別的 TTS 模型，NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。在單張...

2025-06-12 標(biāo)簽：NVIDIAgpu模型 641 0

LM Studio使用NVIDIA技術(shù)加速LLM性能

隨著 AI 使用場(chǎng)景不斷擴(kuò)展（從文檔摘要到定制化軟件代理），開(kāi)發(fā)者和技術(shù)愛(ài)好者正在尋求以更 快、更靈活的方式來(lái)運(yùn)行大語...

2025-06-06 標(biāo)簽：NVIDIAStudioLLM 291 0

小白學(xué)大模型：從零實(shí)現(xiàn) LLM語(yǔ)言模型

在當(dāng)今人工智能領(lǐng)域，大型語(yǔ)言模型（LLM）的開(kāi)發(fā)已經(jīng)成為一個(gè)熱門話題。這些模型通過(guò)學(xué)習(xí)大量的文本...

2025-04-30 標(biāo)簽：語(yǔ)言模型大模型LLM 542 0

詳解 LLM 推理模型的現(xiàn)狀

2025年，如何提升大型語(yǔ)言模型（LLM）的推理能力成了最熱門的話題之一，大量?jī)?yōu)化推理能力的新策略開(kāi)始出現(xiàn)，包括擴(kuò)展推理時(s...

2025-04-03 標(biāo)簽：語(yǔ)言模型LLM 533 0

樹(shù)莓派秒變編程助手：Ollama+Continue的簡(jiǎn)易搭建教程！

以下是如何在RaspberryPi上運(yùn)行大型語(yǔ)言模型(LLM)的方法。本文的目標(biāo)是找出在RaspberryPi上運(yùn)行LLM是否是ChatGPT和GitH...

2025-03-27 標(biāo)簽：Raspberry Pi樹(shù)莓派LLM 269 0

基于DBFP與DB-Attn的算法硬件協(xié)同優(yōu)化方案

本文討論了LLM推理過(guò)程對(duì)計(jì)算資源需求急劇攀升的背景下，現(xiàn)有量化和剪枝技術(shù)、新數(shù)據(jù)格式存在的不足，提出動(dòng...

2025-03-19 標(biāo)簽：算法模型LLM 2897 0

內(nèi)部業(yè)務(wù)支撐&前瞻技術(shù)布局 One4All下一代生成式推薦系統(tǒng)

作者：京東零售 申磊 自LLM在自然語(yǔ)言處理等領(lǐng)域取得了矚目成就之后，學(xué)術(shù)界積極探索生成式模型對(duì)搜廣推系統(tǒng)的增強(qiáng)或改進(...

2025-03-19 標(biāo)簽：AI大模型LLM 502 0

利用OpenVINO GenAI解鎖LLM極速推理

隨著 DeepSeek、 GPT 和 Llama 等大語(yǔ)言模型（LLMs）不斷推動(dòng)人工智能的邊界，它們?cè)诟咝Р渴鸱矫嬉矌?lái)了重大挑戰(zhàn)。這些模型...

2025-03-18 標(biāo)簽：AI聊天機(jī)器人LLM 640 0

NVIDIA大語(yǔ)言模型在推薦系統(tǒng)中的應(yīng)用實(shí)踐

推薦系統(tǒng)的主要任務(wù)在于根據(jù)用戶的過(guò)往行為預(yù)測(cè)其潛在興趣點(diǎn)，并據(jù)此推薦相應(yīng)的商品。在傳統(tǒng)的推薦系統...

2025-03-05 標(biāo)簽：NVIDIA模型推薦系統(tǒng) 827 0

用PaddleNLP在4060單卡上實(shí)踐大模型預(yù)訓(xùn)練技術(shù)

作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 之前我們分享了《從零開(kāi)始訓(xùn)練一個(gè)大語(yǔ)言模型需要投資多少錢》，其中高昂的預(yù)訓(x...

2025-02-19 標(biāo)簽：數(shù)據(jù)集大模型LLM 1033 0

大語(yǔ)言模型的解碼策略與關(guān)鍵優(yōu)化總結(jié)

本文系統(tǒng)性地闡述了大型語(yǔ)言模型(LargeLanguageModels,LLMs)中的解碼策略技術(shù)原理及其實(shí)踐應(yīng)用。通過(guò)深入分析各類...

2025-02-18 標(biāo)簽：語(yǔ)言模型解碼技術(shù)LLM 599 0

詳解Object Detection Demo的移植

繼上一篇移植了 Mediapipe 的 LLM Inference 后，這篇文章我們將繼續(xù)探索 Object Detection Demo 的移植。

2025-02-05 標(biāo)簽：Android攝像頭移植 507 0

在NVIDIA TensorRT-LLM中啟用ReDrafter的一些變化

Recurrent Drafting (簡(jiǎn)稱 ReDrafter) 是蘋果公司為大語(yǔ)言模型 (LLM) 推理開(kāi)發(fā)并開(kāi)源的一種新型推測(cè)解碼技術(s...

2024-12-25 標(biāo)簽：NVIDIA模型LLM 780 0

移植Mediapipe LLM Demo到Kotlin Multiplatform

在今年的廈門和廣州 Google I/O Extended 上，我分享了《On-Device Model 集成 (KMP) 與用例》。本文是當(dāng)時(shí) Dem...

2024-12-05 標(biāo)簽：Google移植開(kāi)源 1174 0

Arm KleidiAI助力提升PyTorch上LLM推理性能

生成式人工智能 (AI) 正在科技領(lǐng)域發(fā)揮關(guān)鍵作用，許多企業(yè)已經(jīng)開(kāi)始將大語(yǔ)言模型 (LLM) 集成到云端和邊緣側(cè)的應(yī...

2024-12-03 標(biāo)簽：處理器ARM聊天機(jī)器人 1498 0

一文理解多模態(tài)大語(yǔ)言模型——下

? 作者：Sebastian Raschka 博士， 翻譯：張晶，Linux Fundation APAC Open Source Evangelist...

2024-12-03 標(biāo)簽：語(yǔ)言模型LLM 616 0

如何在 OrangePi 5 Pro?的?NPU?上運(yùn)行?LLM

在OrangePi5Pro上訪問(wèn)NPU需要安裝最新版Ubuntu的定制版本，還需要安裝特殊軟件，讓你能在NPU而不是CPU上運(yùn)行專門轉(zhuǎn)換的LLM。整個(gè)過(g...

2024-11-28 標(biāo)簽：單片機(jī)開(kāi)發(fā)板NPU 1247 0

什么是大模型、大模型是怎么訓(xùn)練出來(lái)的及大模型作用

本文通俗簡(jiǎn)單地介紹了什么是大模型、大模型是怎么訓(xùn)練出來(lái)的和大模型的作用。 ? 什么是大模型 大模型，英文名叫Large Model，大型模型。早期的...

2024-11-25 標(biāo)簽：大模型LLM 1.3萬(wàn) 0