llm

基于單一LLM的情感分析方法的局限性

LLM的發(fā)展為情感分析任務帶來的新的解決方案。有研究人員使用LLM，在上下文學習(in-context learning, ICL)的范式下，僅使用少量...

2023-11-23 標簽：生成器自然語言處理半監(jiān)督學習 863 0

LLM的幻覺問題最新綜述

幻覺被描述為無意義或不忠實于所提供源內容的生成內容。根據(jù)與源內容的矛盾，這些幻覺又進一步分為內在幻覺和外在幻覺。在LLMs中，幻覺的范圍包含了一個更廣泛...

2023-11-22 標簽：人工智能渦輪增壓ChatGPT 1097 0

基于大語言模型的共情回復生成：實證研究和改進

對以ChatGPT為代表的LLMs在共情回復生成上的表現(xiàn)進行了全面的實證研究，LLMs在現(xiàn)有的基準數(shù)據(jù)集上，對比以往的SOTA模型，表現(xiàn)極其優(yōu)越。

2023-11-21 標簽：編碼器GPTChatGPT 1164 1

基于顯式證據(jù)推理的few-shot關系抽取CoT

最近，上下文學習策略已被證明在沒有訓練的情況下顯示出顯著的結果。很少有研究利用上下文學習進行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標簽：語言模型nlpLLM 903 0

使用MLC-LLM支持RWKV-5推理的過程思考

對LLM的理解比較有限，從代碼實現(xiàn)的角度來說，RWKV的狀態(tài)和KV Cache不同，不依賴序列長度，這讓RWKV模型在各種長度下運行內存和運行速度都是趨...

2023-11-19 標簽：AndroidgpuLLM 990 0

LLM推理上的DeepSpeed Inference優(yōu)化實踐方案

首先將 batch 拆分為 micro-batch，其中 micro-batch 數(shù)等于 pipeline 深度，micro-batch通過動態(tài)隊列的順...

2023-11-16 標簽：cpugpu內存 2303 0

怎樣讓PPO訓練更穩(wěn)定？早期人類征服RLHF的馴化經(jīng)驗

盡管魯迅先生曾言：真的強化敢于直面慘淡的結果，敢于正視崩壞的曲線。但日復一復地開盲盒難免會讓人心臟承受不了，好在前人們留下了寶貴的馴化經(jīng)驗，今天讓我們一...

2023-11-16 標簽：噪聲語言模型LLM 863 0

基于檢索的大語言模型簡介

簡介章節(jié)講的是比較基礎的，主要介紹了本次要介紹的概念，即檢索（Retrieval）和大語言模型（LLM）

2023-11-15 標簽：語言模型LLM 746 0

LLM作用下的成分句法分析基礎研究

采用伯克利神經(jīng)解析器（Berkeley Neural Parser）作為方法的基礎。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預...

2023-11-10 標簽：語言模型語法LLM 504 0

怎樣使用Streamlit創(chuàng)建AutoGen用戶界面？

AutoGen作為一個最大化LLM(如GPT-4)能力的框架而脫穎而出。

2023-11-08 標簽：GPTLLM 719 0

Hugging Face LLM部署大語言模型到亞馬遜云科技Amazon SageMaker推理示例

?本篇文章主要介紹如何使用新的Hugging Face LLM推理容器將開源LLMs，比如BLOOM大型語言模型部署到亞馬遜云科技Amazon Sage...

2023-11-01 標簽：語言模型亞馬遜LLM 938 0

chatGPT的175Billion個參數(shù)是哪兒來的

最近大語言模型模型LLM很火，大家總是說chatgpt的175Billion參數(shù)。做算法的人更關心網(wǎng)絡的結構，而我這種做硬件的人一直很好奇這個參數(shù)是怎么計算的。

2023-11-01 標簽：LSTMChatGPTLLM 1168 0

FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過程中顯著加速attention操作（例如長序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標簽：gpu模型LLM 1162 0

大語言模型Fine-tuning踩坑經(jīng)驗分享

當然 MPT-7B-StoryWriter-65k+ [5] 模型也有較長的外推能力，主要在于，注意力這塊使用了 ALIBI [6]。要擁有什么樣的長度...

2023-10-26 標簽：gpu數(shù)據(jù)處理ChatGPT 480 0

揭秘編碼器與解碼器語言模型

Transformer 架構的問世標志著現(xiàn)代語言大模型時代的開啟。自 2018 年以來，各類語言大模型層出不窮。

2023-10-24 標簽：解碼器編碼器語言模型 752 0

如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應用，以支持...

2023-10-18 標簽：人工智能C++openEuler 2527 0

mlc-llm對大模型推理的流程及優(yōu)化方案

在 MLC-LLM 部署RWKV World系列模型實戰(zhàn)（3B模型Mac M2解碼可達26tokens/s） 中提到要使用mlc-llm部署模型首先需要...

2023-09-26 標簽：編譯MLC深度學習 924 0

對比解碼在LLM上的應用

為了改進LLM的推理能力，University of California聯(lián)合Meta AI實驗室提出將Contrastive Decoding應用于多...

2023-09-21 標簽：解碼AI深度學習 626 0