自然語言處理

什么是混合專家模型？混合專家模型 (MoEs)優(yōu)劣勢分析

門控網(wǎng)絡(luò)或路由: 這個部分用于決定哪些令牌 (token) 被發(fā)送到哪個專家。例如，在下圖中，“More”這個令牌可能被發(fā)送到第二個專家，而“Param...

2024-02-22 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)AITransformer 3808 0

OpenAI推出Sora：AI領(lǐng)域的革命性突破

大模型的核心技術(shù)是自然語言處理（NLP）和深度學(xué)習(xí)。具體而言，它基于Transformer架構(gòu)，使用了大規(guī)模無監(jiān)督學(xué)習(xí)方法，例如自回歸語言建模和掩碼語言...

2024-02-21 標(biāo)簽：人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí) 1034 0

大語言模型中的語言與知識：一種神秘的分離現(xiàn)象

自然語言處理領(lǐng)域存在著一個非常有趣的現(xiàn)象：在多語言模型中，不同的語言之間似乎存在著一種隱含的對齊關(guān)系。

2024-02-20 標(biāo)簽：機(jī)器學(xué)習(xí)自然語言處理大模型 559 0

影響AI生態(tài)系統(tǒng)的七大主要趨勢

過去，計(jì)算機(jī)只能在人類語言首先被翻譯成代碼后才能理解。但通過使用NLP，機(jī)器能夠在文本保持其自然狀態(tài)的情況下獲取智能。

2024-01-31 標(biāo)簽：AI自然語言處理nlp 1723 0

Transformers內(nèi)部運(yùn)作原理研究

為了理解每個組件的作用，讓我們通過訓(xùn)練Transformer解決翻譯問題的過程，逐步了解Transformer的工作原理。我們將使用訓(xùn)練數(shù)據(jù)的一個樣本，...

2024-01-30 標(biāo)簽：解碼器Transformer自然語言處理 3135 0

基礎(chǔ)模型能為機(jī)器人帶來怎樣的可能性？

機(jī)器人是一種擁有無盡可能性的技術(shù)，尤其是當(dāng)搭配了智能技術(shù)時。近段時間創(chuàng)造了許多變革性應(yīng)用的大模型有望成為機(jī)器人的智慧大腦，幫助機(jī)器人感知和理解這個世界并...

2024-01-26 標(biāo)簽：機(jī)器人計(jì)算機(jī)視覺自然語言處理 241 0

大語言模型事實(shí)性幻象的實(shí)驗(yàn)性分析

盡管大語言模型能力不斷提升，但一個持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評測基準(zhǔn)HaluEval 2.0，并基于該評測框架從預(yù)訓(xùn)練/有監(jiān)...

2024-01-19 標(biāo)簽：開源語言模型自然語言處理 507 0

詳解機(jī)器人技術(shù)基礎(chǔ)模型

基礎(chǔ)模型在解決機(jī)器人技術(shù)中的數(shù)據(jù)稀缺問題上至關(guān)重要。它們?yōu)槭褂米钌俚奶囟〝?shù)據(jù)學(xué)習(xí)和適應(yīng)新任務(wù)提供了堅(jiān)實(shí)的基礎(chǔ)。

2024-01-08 標(biāo)簽：機(jī)器人人工智能自然語言處理 510 0

人工智能技術(shù)在軍事情報(bào)領(lǐng)域的應(yīng)用背景

人工智能作為人類智慧的輔助和延伸,突破了人類認(rèn)知效率低、考慮因素有限等生理限制。目前,人工智能技術(shù)在自然語言處理、圖像識別、無人駕駛、醫(yī)學(xué)診斷、軍事智能...

2024-01-05 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)圖像識別人工智能 1010 0

一種基于表征工程的生成式語言大模型人類偏好對齊策略

最近復(fù)旦大學(xué)自然語言處理組鄭驍慶和黃萱菁團(tuán)隊(duì)提出了基于表征工程（Representation Engineering）的生成式語言大模型人類偏好對齊方法...

2024-01-03 標(biāo)簽：自然語言處理 589 0

NLP領(lǐng)域的語言偏置問題分析

許多研究證明，學(xué)術(shù)論文表達(dá)的nativeness會影響其被接受發(fā)表的可能性[1, 2]。先前的研究也揭示了非英語母語的作者在國際期刊發(fā)表論文時所經(jīng)歷的壓...

2024-01-03 標(biāo)簽：數(shù)據(jù)收集數(shù)據(jù)集自然語言處理 455 0

一文速覽大語言模型提示最新進(jìn)展

盡管基本的CoT提示策略在復(fù)雜推理任務(wù)中展示出了強(qiáng)大的能力，但它仍然面臨著一些問題，比如推理過程存在錯誤和不穩(wěn)定等。因此，一系列的研究通過增強(qiáng)的提示方法...

2023-12-27 標(biāo)簽：生成器語言模型自然語言處理 725 0

深度學(xué)習(xí)在人工智能領(lǐng)域的經(jīng)典應(yīng)用

由于深度學(xué)習(xí)，圖像識別和計(jì)算機(jī)視覺任務(wù)的性能得到了顯著提高。由于在龐大的數(shù)據(jù)集上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，計(jì)算機(jī)現(xiàn)在可以可靠地分類和理解圖像，從而開辟了廣泛的應(yīng)...

2023-12-15 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)聊天機(jī)器人 458 0

基于機(jī)器翻譯增加的跨語言機(jī)器閱讀理解算法

近日，阿里云人工智能平臺 PAI 與華南理工大學(xué)朱金輝教授團(tuán)隊(duì)、達(dá)摩院自然語言處理團(tuán)隊(duì)合作在自然語言處理頂級會議 EMNLP2023 上發(fā)表基于機(jī)器翻譯...

2023-12-12 標(biāo)簽：算法人工智能數(shù)據(jù)集 608 0

怎樣使用Accelerate庫在多GPU上進(jìn)行LLM推理呢？

大型語言模型(llm)已經(jīng)徹底改變了自然語言處理領(lǐng)域。隨著這些模型在規(guī)模和復(fù)雜性上的增長，推理的計(jì)算需求也顯著增加。

2023-12-01 標(biāo)簽：GPU芯片自然語言處理LLM 1624 0

中國大模型市場進(jìn)展與趨勢

大模型當(dāng)前以生成類應(yīng)用為主，多模態(tài)是未來重點(diǎn)發(fā)展方向 企業(yè)用戶是從應(yīng)用視角出發(fā),分成生成類應(yīng)用、決策類應(yīng)用和多模態(tài)應(yīng)用。 受限于模型能力、應(yīng)用效果等...

2023-11-29 標(biāo)簽：編程語言機(jī)器學(xué)習(xí)深度學(xué)習(xí) 627 0

基于單一LLM的情感分析方法的局限性

LLM的發(fā)展為情感分析任務(wù)帶來的新的解決方案。有研究人員使用LLM，在上下文學(xué)習(xí)(in-context learning, ICL)的范式下，僅使用少量...

2023-11-23 標(biāo)簽：生成器自然語言處理半監(jiān)督學(xué)習(xí) 895 0

時間序列的基礎(chǔ)模型像自然語言處理那樣存在嗎

時間序列預(yù)測領(lǐng)域在最近的幾年有著快速的發(fā)展，比如N-BEATS、N-HiTS、PatchTST和TimesNet。 大型語言模型(LLM)最近在Chat...

2023-11-03 標(biāo)簽：數(shù)據(jù)模型應(yīng)用程序 706 0

全球首款支持 8K（8192）輸入長度的開源向量模型發(fā)布

在大模型時代，向量模型的重要性進(jìn)一步增強(qiáng)。尤其是在檢索增強(qiáng)生成（RAG）場景中，它成為了一個核心組件，用于解決大模型的上下文長度限制、幻覺問題和知識注入問題。

2023-11-02 標(biāo)簽：API聊天機(jī)器人自然語言處理 972 0