完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>
標簽 > LLM
在人工智能領(lǐng)域,LLM代表“大型語言模型”。在人工智能(AI)領(lǐng)域自然語言處理(NLP)是一個快速進展的領(lǐng)域。NLP中最重要是大語言模型(LLM)。大語言模型(英文:Large Language Model,縮寫LLM),也稱大型語言模型,是一種基于機器學習和自然語言處理技術(shù)的模型。
文章:286個 瀏覽:334次 帖子:3個
在NVIDIA TensorRT-LLM中啟用ReDrafter的一些變化
Recurrent Drafting (簡稱 ReDrafter) 是蘋果公司為大語言模型 (LLM) 推理開發(fā)并開源的一種新型推測解碼技術(shù),該技術(shù)現(xiàn)在...
NVIDIA TensorRT-LLM 是一個專為優(yōu)化大語言模型 (LLM) 推理而設(shè)計的庫。它提供了多種先進的優(yōu)化技術(shù),包括自定義 Attention...
2024-12-17 154 0
移植Mediapipe LLM Demo到Kotlin Multiplatform
在今年的廈門和廣州 Google I/O Extended 上,我分享了《On-Device Model 集成 (KMP) 與用例》。本文是當時 Dem...
Arm KleidiAI助力提升PyTorch上LLM推理性能
生成式人工智能 (AI) 正在科技領(lǐng)域發(fā)揮關(guān)鍵作用,許多企業(yè)已經(jīng)開始將大語言模型 (LLM) 集成到云端和邊緣側(cè)的應用中。生成式 AI 的引入也使得許多...
如何在 OrangePi 5 Pro?的?NPU?上運行?LLM
在OrangePi5Pro上訪問NPU需要安裝最新版Ubuntu的定制版本,還需要安裝特殊軟件,讓你能在NPU而不是CPU上運行專門轉(zhuǎn)換的LLM。整個過...
本文將分享 TensorRT-LLM 中低精度量化內(nèi)容,并從精度和速度角度對比 FP8 與 INT8。首先介紹性能,包括速度和精度。其次,介紹量化工具 ...
2024-11-19 標簽:數(shù)據(jù)NVIDIA模型 297 0
部署基于 LLM 的私有知識庫系統(tǒng) AnythingLLM
一、Flexus 云服務器 X 實例介紹 云服務器,如同虛擬的超級計算機,是云計算技術(shù)的核心組成部分。它通過網(wǎng)絡(luò)提供計算資源,包括處理器、內(nèi)存、存儲和操...
vLLM項目加入PyTorch生態(tài)系統(tǒng),引領(lǐng)LLM推理新紀元
近日,vLLM項目宣布正式成為PyTorch生態(tài)系統(tǒng)的一部分,標志著該項目與PyTorch的合作進入了一個全新的階段。本文將從以下幾個方面進行介紹,特別...
準確性超Moshi和GLM-4-Voice,端到端語音雙工模型Freeze-Omni
GPT-4o 提供的全雙工語音對話帶來了一股研究熱潮,目前諸多工作開始研究如何利用 LLM 來實現(xiàn)端到端的語音到語音(Speech-to-Speech)...
利用 FP8 技術(shù)加速 LLM 推理和訓練越來越受到關(guān)注,本文主要和大家介紹如何使用 FP8 這項新技術(shù)加速大模型的訓練。 使用 FP8 進行大模型訓練...
Transformer是機器人技術(shù)的基礎(chǔ)嗎
生成式預訓練Transformer(GPT)被吹捧為將徹底改變機器人技術(shù)。但實際應用中,GPT需要龐大且昂貴的計算資源、冗長的訓練時間以及(通常)非機載...
2024-12-05 標簽:機器人TransformerLLM 232 0
近來,與AI相關(guān)的周期性熱點幾乎都圍繞著大語言模型 (LLM) 和生成式AI模型,這樣的趨勢反映出這些話題近年來日益增強的影響力和普及程度。與大語言模型...
NVIDIA TensorRT-LLM Roadmap現(xiàn)已在GitHub上公開發(fā)布
感謝眾多用戶及合作伙伴一直以來對NVIDIA TensorRT-LLM的支持。TensorRT-LLM 的 Roadmap 現(xiàn)已在 GitHub 上公開發(fā)布!
寫在前面的話 大模型差不多是一項發(fā)明,其重要性不亞于電的發(fā)現(xiàn)和電燈的發(fā)明。 大模型的基礎(chǔ)是使用Transformer算法識別了人類語言(大致等同于人類的...
一種信息引導的量化后LLM微調(diào)新算法IR-QLoRA
大模型應用開卷,連一向保守的蘋果,都已釋放出發(fā)展端側(cè)大模型的信號。 問題是,大語言模型(LLM)卓越的表現(xiàn)取決于“力大磚飛”,如何在資源有限的環(huán)境中部署...
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
伺服電機 | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |