完善資料讓更多小伙伴認(rèn)識你，還能領(lǐng)取20積分哦，立即完善>
標(biāo)簽 > llm
在人工智能領(lǐng)域，LLM代表“大型語言模型”。在人工智能（AI）領(lǐng)域自然語言處理（NLP）是一個快速進(jìn)展的領(lǐng)域。NLP中最重要是大語言模型（LLM）。大語言模型（英文：Large Language Model，縮寫LLM），也稱大型語言模型，是一種基于機(jī)器學(xué)習(xí)和自然語言處理技術(shù)的模型。
文章：286個 瀏覽：334次 帖子：3個
在NVIDIA TensorRT-LLM中啟用ReDrafter的一些變化
Recurrent Drafting (簡稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發(fā)并開源的一種新型推測解碼技術(shù)，該技術(shù)現(xiàn)在...
NVIDIA TensorRT-LLM 是一個專為優(yōu)化大語言模型 (LLM) 推理而設(shè)計的庫。它提供了多種先進(jìn)的優(yōu)化技術(shù)，包括自定義 Attention...
移植Mediapipe LLM Demo到Kotlin Multiplatform
在今年的廈門和廣州 Google I/O Extended 上，我分享了《On-Device Model 集成 (KMP) 與用例》。本文是當(dāng)時 Dem...
Arm KleidiAI助力提升PyTorch上LLM推理性能
生成式人工智能 (AI) 正在科技領(lǐng)域發(fā)揮關(guān)鍵作用，許多企業(yè)已經(jīng)開始將大語言模型 (LLM) 集成到云端和邊緣側(cè)的應(yīng)用中。生成式 AI 的引入也使得許多...
? 作者：Sebastian Raschka 博士， 翻譯：張晶，Linux Fundation APAC Open Source Evangelist...
如何在 OrangePi 5 Pro?的?NPU?上運(yùn)行?LLM
在OrangePi5Pro上訪問NPU需要安裝最新版Ubuntu的定制版本，還需要安裝特殊軟件，讓你能在NPU而不是CPU上運(yùn)行專門轉(zhuǎn)換的LLM。整個過...
本文通俗簡單地介紹了什么是大模型、大模型是怎么訓(xùn)練出來的和大模型的作用。 ? 什么是大模型 大模型，英文名叫Large Model，大型模型。早期的時候...
使用ReMEmbR實現(xiàn)機(jī)器人推理與行動能力
視覺語言模型（VLM）通過將文本和圖像投射到同一個嵌入空間，將基礎(chǔ)大語言模型（LLM）強(qiáng)大的語言理解能力與視覺 transformer（ViT）的視覺能...
本文將分享 TensorRT-LLM 中低精度量化內(nèi)容，并從精度和速度角度對比 FP8 與 INT8。首先介紹性能，包括速度和精度。其次，介紹量化工具 ...
2024-11-19 標(biāo)簽：數(shù)據(jù)NVIDIA模型 297 0
大模型由于其在各種任務(wù)中的出色表現(xiàn)而引起了廣泛的關(guān)注。然而，大模型推理的大量計算和內(nèi)存需求對其在資源受限場景的部署提出了挑戰(zhàn)。業(yè)內(nèi)一直在努力開發(fā)旨在提高...
OpenVINO 2024.4持續(xù)提升GPU上LLM性能
本次新版本在整個 OpenVINO 產(chǎn)品系列中引入了重要的功能和性能變化，使大語言模型 （LLM） 的優(yōu)化和部署在所有支持的場景中更容易、性能更高，包括...
VILA與其他模型在提供邊緣AI 2.0方面的表現(xiàn)
VILA 是 NVIDIA 研究部門與麻省理工學(xué)院共同開發(fā)的高性能視覺語言模型系列。最大的模型約有 400 億參數(shù)，最小的模型約有 30 億參數(shù)，并且完...
作者：京東科技 賈世聞 RAG（Retrieval-Augmented Generation）技術(shù)在AI生態(tài)系統(tǒng)中扮演著至關(guān)重要的角色，特別是在提升大型...
NVIDIA Nemotron-4 340B模型幫助開發(fā)者生成合成訓(xùn)練數(shù)據(jù)
Nemotron-4 340B 是針對 NVIDIA NeMo 和 NVIDIA TensorRT-LLM 優(yōu)化的模型系列，該系列包含最先進(jìn)的指導(dǎo)和獎勵...
LangChain是一個強(qiáng)大的框架，旨在幫助開發(fā)人員使用語言模型構(gòu)建端到端的應(yīng)用程序。它提供了一套工具、組件和接口，可簡化創(chuàng)建由大型語言模型 (LLM)...
2024-08-30 標(biāo)簽：應(yīng)用程序語言模型LLM 592 0
生成式 AI 正在被應(yīng)用程序設(shè)計人員快速地使用著。這不僅體現(xiàn)在使用來自商業(yè)云服務(wù)模型的傳統(tǒng)REST API形式上，而且還發(fā)生在客戶端和邊緣。越來越多的數(shù)...
英特爾軟硬件構(gòu)建模塊如何幫助優(yōu)化RAG應(yīng)用
深入研究檢索增強(qiáng)生成 (Retrieval Augmented Generation, RAG)，該創(chuàng)新方法定義了企業(yè)和機(jī)構(gòu)如何利用大語言模型(LLM)...
LLM（大型語言模型）大模型推理加速是當(dāng)前人工智能領(lǐng)域的一個研究熱點，旨在提高模型在處理復(fù)雜任務(wù)時的效率和響應(yīng)速度。以下是對LLM大模型推理加速關(guān)鍵技術(shù)...
TaD：任務(wù)感知解碼技術(shù)（Task-aware Decoding，簡稱TaD），京東聯(lián)合清華大學(xué)針對大語言模型幻覺問題提出的一項技術(shù)，成果收錄于IJCA...
近日，Dify全面接入了Perf XCloud，借助Perf XCloud提供的大模型調(diào)用服務(wù)，用戶可在Dify中構(gòu)建出更加經(jīng)濟(jì)、高效的LLM應(yīng)用。
換一批
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
| 電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
| 步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺 | 無人機(jī) | 三菱電機(jī) | ST |
| 伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關(guān)注我們的微信
下載發(fā)燒友APP
電子發(fā)燒友觀察
版權(quán)所有 ? 湖南華秋數(shù)字科技有限公司
長沙市望城經(jīng)濟(jì)技術(shù)開發(fā)區(qū)航空路6號手機(jī)智能終端產(chǎn)業(yè)園2號廠房3層（0731-88081133）
電子發(fā)燒友 （電路圖） 湘公網(wǎng)安備43011202000918
工商網(wǎng)監(jiān)
湘ICP備2023018690號-1
