近日，騰訊科技(深圳)有限公司公布了一項名為“大語言模型的訓練方法、裝置、計算機設備及存儲介質”的新專利。該專利的公布，標志著騰訊在大語言模型訓練領域取得了新的突破。
據(jù)專利摘要顯示，該方法通過在大語言模型的訓練過程中引入第一摘要文本和第二摘要文本，為模型提供了更為豐富的學習信息。這兩個摘要文本在信息量上存在差異，且第一摘要文本中既包含正確語句也包含錯誤語句。這一設計使得模型在訓練過程中，能夠通過對比學習兩個不同摘要文本的內(nèi)容，同時區(qū)分并學習第一摘要文本中的正確語句和錯誤語句。
這一創(chuàng)新性的訓練方法，有效避免了由于摘要文本單一而導致的模型過擬合和生成不準確等問題。通過引入更多樣化的學習信息，模型能夠更好地泛化到新的數(shù)據(jù)上，從而提高其泛化性能。同時，對正確語句和錯誤語句的區(qū)分學習，也進一步提升了模型的準確性。
騰訊此次公布的新專利，不僅展示了其在人工智能領域的深厚技術積累，也為大語言模型的訓練提供了新的思路和方法。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
人工智能
+關注
關注
1804文章
48701瀏覽量
246454 -
騰訊
+關注
關注
7文章
1678瀏覽量
50138 -
語言模型
+關注
關注
0文章
558瀏覽量
10670
發(fā)布評論請先 登錄
相關推薦
熱點推薦
小白學大模型：訓練大語言模型的深度指南
在當今人工智能飛速發(fā)展的時代，大型語言模型（LLMs）正以其強大的語言理解和生成能力，改變著我們的生活和工作方式。在最近的一項研究中，科學家們?yōu)榱松钊肓私馊绾胃咝У?b class='flag-5'>訓練大型
華為公布AI模型訓練與車輛控制專利
近日，華為技術有限公司在技術創(chuàng)新領域再次邁出重要一步，其申請的“模型的訓練方法、車輛的控制方法及相關裝置”專利于2月18日正式公布。這一專利
大語言模型開發(fā)框架是什么
大語言模型開發(fā)框架是指用于訓練、推理和部署大型語言模型的軟件工具和庫。下面，AI部落小編為您介紹大語言
云端語言模型開發(fā)方法
云端語言模型的開發(fā)是一個復雜而系統(tǒng)的過程，涉及數(shù)據(jù)準備、模型選擇、訓練優(yōu)化、部署應用等多個環(huán)節(jié)。下面，AI部落小編為您分享云端語言
什么是大模型、大模型是怎么訓練出來的及大模型作用
，基礎模型。 ? 大模型是一個簡稱，完整的叫法，應該是“人工智能預訓練大模型”。預訓練，是一項技術，我們后面再解釋。 ? 我們現(xiàn)在口頭上常說
從零開始訓練一個大語言模型需要投資多少錢？
一，前言 ? 在AI領域，訓練一個大型語言模型（LLM）是一個耗時且復雜的過程。幾乎每個做大型語言模型（LLM）
如何訓練自己的LLM模型
訓練自己的大型語言模型（LLM）是一個復雜且資源密集的過程，涉及到大量的數(shù)據(jù)、計算資源和專業(yè)知識。以下是訓練LLM模型的一般步驟，以及一些關
騰訊發(fā)布開源MoE大語言模型Hunyuan-Large
近日，騰訊公司宣布成功推出業(yè)界領先的開源MoE(Mixture of Experts，專家混合)大語言模型——Hunyuan-Large。這款模型不僅在參數(shù)量上刷新了業(yè)界紀錄，更在效果
大語言模型如何開發(fā)
大語言模型的開發(fā)是一個復雜且細致的過程，涵蓋了數(shù)據(jù)準備、模型架構設計、訓練、微調(diào)和部署等多個階段。以下是對大語言
摩爾線程與羽人科技完成大語言模型訓練測試
（YuRen-7b）大語言模型的訓練測試。測試結果顯示，訓練效率達到預期，夸娥千卡智算集群展現(xiàn)出了高度的兼容性和穩(wěn)定性，為羽人科技未來的零代碼訓練
【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習
收集海量的文本數(shù)據(jù)作為訓練材料。這些數(shù)據(jù)集不僅包括語法結構的學習，還包括對語言的深層次理解，如文化背景、語境含義和情感色彩等。
自監(jiān)督學習：模型采用自監(jiān)督學習策略，在大量無標簽文本數(shù)據(jù)上學習語
發(fā)表于 08-02 11:03
大語言模型的預訓練
能力，逐漸成為NLP領域的研究熱點。大語言模型的預訓練是這一技術發(fā)展的關鍵步驟，它通過在海量無標簽數(shù)據(jù)上進行訓練，使模型學習到
llm模型訓練一般用什么系統(tǒng)
LLM（Large Language Model，大型語言模型）是近年來在自然語言處理領域取得顯著成果的一種深度學習模型。它通常需要大量的計算資源和數(shù)據(jù)來進行
tensorflow簡單的模型訓練
在本文中，我們將詳細介紹如何使用TensorFlow進行簡單的模型訓練。TensorFlow是一個開源的機器學習庫，廣泛用于各種機器學習任務，包括圖像識別、自然語言處理等。我們將從安裝
預訓練模型的基本原理和應用
預訓練模型（Pre-trained Model）是深度學習和機器學習領域中的一個重要概念，尤其是在自然語言處理（NLP）和計算機視覺（CV）等領域中得到了廣泛應用。預訓練
工商網(wǎng)監(jiān)
評論