NVIDIA Nemotron-4 340B模型幫助開(kāi)發(fā)者生成合成訓(xùn)練數(shù)據(jù)

Nemotron-4 340B 是針對(duì) NVIDIA NeMo 和 NVIDIA TensorRT-LLM 優(yōu)化的模型系列，該系列包含最先進(jìn)的指導(dǎo)和獎(jiǎng)勵(lì)模型，以及一個(gè)用于生成式 AI 訓(xùn)練的數(shù)據(jù)集。

NVIDIA 于近日發(fā)布Nemotron-4 340B。開(kāi)發(fā)者可以使用這組開(kāi)源模型生成用于訓(xùn)練大語(yǔ)言模型（LLM）的合成數(shù)據(jù)，訓(xùn)練出的 LLM 可用于醫(yī)療、金融、制造、零售等各個(gè)行業(yè)的商業(yè)應(yīng)用。

高質(zhì)量的訓(xùn)練數(shù)據(jù)對(duì)于自定義 LLM 的性能、準(zhǔn)確性和回答質(zhì)量來(lái)說(shuō)至關(guān)重要，但強(qiáng)大的數(shù)據(jù)集通常非常昂貴且難以獲得。

通過(guò)獨(dú)樹(shù)一幟的開(kāi)源模型許可證，Nemotron-4 340B 為開(kāi)發(fā)者提供了一種免費(fèi)、可擴(kuò)展的合成數(shù)據(jù)生成方法，幫助他們構(gòu)建強(qiáng)大的 LLM。

Nemotron-4 340B 系列包含基礎(chǔ)模型、指導(dǎo)模型和獎(jiǎng)勵(lì)模型，由它們組成的流水線(xiàn)能夠生成用于訓(xùn)練和完善 LLM 的合成數(shù)據(jù)。為了能夠與NVIDIA NeMo協(xié)同工作，這些模型專(zhuān)門(mén)進(jìn)行了優(yōu)化。NVIDIA NeMo 是一個(gè)適用于端到端模型訓(xùn)練的開(kāi)源框架，涵蓋數(shù)據(jù)管護(hù)、定制、評(píng)估等步驟。該系列模型還針對(duì)開(kāi)源NVIDIA TensorRT-LLM庫(kù)的推理進(jìn)行了優(yōu)化。

Nemotron-4 340B 現(xiàn)已可以從NVIDIA NGC目錄和 Hugging Face 下載。開(kāi)發(fā)者很快就能在 ai.nvidia.com 上訪(fǎng)問(wèn)這些模型，它們將被打包成帶有標(biāo)準(zhǔn)應(yīng)用編程接口的NVIDIA NIM微服務(wù)，可在任意位置進(jìn)行部署。

將 Nemotron 用于生成合成數(shù)據(jù)

在難以獲得大型多樣化標(biāo)記數(shù)據(jù)集的情況下，這些 LLM 可以幫助開(kāi)發(fā)者生成合成訓(xùn)練數(shù)據(jù)。

Nemotron-4 340B Instruct模型可生成各種模擬現(xiàn)實(shí)世界數(shù)據(jù)特征的合成數(shù)據(jù)，通過(guò)提高數(shù)據(jù)質(zhì)量，增強(qiáng)自定義 LLM 在各個(gè)領(lǐng)域的性能和穩(wěn)健性。

隨后，為了提高 AI 生成數(shù)據(jù)的質(zhì)量，開(kāi)發(fā)者可以使用Nemotron-4 340B Reward模型來(lái)篩選高質(zhì)量的回答。Nemotron-4 340B Reward 模型根據(jù)五個(gè)方面對(duì)回答進(jìn)行評(píng)分，這五個(gè)方面分別是：有用性、正確性、連貫性、復(fù)雜性和冗長(zhǎng)性。該模型目前在 AI2 專(zhuān)為評(píng)估獎(jiǎng)勵(lì)模型能力、安全性和缺陷而創(chuàng)建的“Hugging Face RewardBench 排行榜”上排名第一。

在這個(gè)合成數(shù)據(jù)生成流水線(xiàn)中，（1）Nemotron-4 340B Instruct 模型首先生成基于文本的合成輸出。然后來(lái)到評(píng)估模型，

（2）Nemotron-4 340B Reward 模型對(duì)生成的文本進(jìn)行評(píng)估，并提供指導(dǎo)反復(fù)改進(jìn)的反饋，確保合成數(shù)據(jù)準(zhǔn)確、相關(guān)且符合特定要求。

研究者還可以使用自己的專(zhuān)有數(shù)據(jù)，并結(jié)合隨附的HelpSteer2 數(shù)據(jù)集自定義 Nemotron-4 340B Base 模型，創(chuàng)造出自己的指導(dǎo)或獎(jiǎng)勵(lì)模型。

使用 NeMo 進(jìn)行微調(diào)

并使用 TensorRT-LLM 優(yōu)化推理

開(kāi)發(fā)者可以使用開(kāi)源的 NVIDIA NeMo 和 NVIDIA TensorRT-LLM 提高其指導(dǎo)和獎(jiǎng)勵(lì)模型的效率，以便生成合成數(shù)據(jù)并對(duì)回答進(jìn)行評(píng)分。

所有 Nemotron-4 340B 模型均使用 TensorRT-LLM 優(yōu)化，能夠利用張量并行性，這是一種模型并行技術(shù)，通過(guò)將單個(gè)權(quán)重矩陣分割到多個(gè) GPU 和服務(wù)器上，實(shí)現(xiàn)大規(guī)模的高效推理。

Nemotron-4 340B Base在 9 萬(wàn)億個(gè) token 上訓(xùn)練而成?？墒褂?NeMo 框架對(duì)它進(jìn)行自定義，使其適應(yīng)特定的用例或領(lǐng)域。這一微調(diào)過(guò)程得益于大量的預(yù)訓(xùn)練數(shù)據(jù)，使模型能夠針對(duì)特定的下游任務(wù)提供更加準(zhǔn)確的輸出。

NeMo 框架提供多種自定義方法，包括有監(jiān)督的微調(diào)和各種參數(shù)高效微調(diào)方法，比如低秩自適應(yīng)（LoRA）。

為了提升模型質(zhì)量，開(kāi)發(fā)者可以使用NeMo Aligner以及由 Nemotron-4 340B Reward 模型注釋的數(shù)據(jù)集對(duì)齊模型。校準(zhǔn)是 LLM 訓(xùn)練過(guò)程中的一個(gè)關(guān)鍵步驟。在該步驟中，模型的行為通過(guò)人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）等算法進(jìn)行微調(diào)，以保證其輸出結(jié)果安全、準(zhǔn)確、符合上下文并與其預(yù)期目標(biāo)一致。

尋求企業(yè)級(jí)支持和生產(chǎn)環(huán)境安全性的企業(yè)也可以通過(guò)NVIDIA AI Enterprise云原生軟件平臺(tái)訪(fǎng)問(wèn) NeMo 和 TensorRT-LLM。該平臺(tái)為生成式 AI 基礎(chǔ)模型提供更加快速和高效的運(yùn)行時(shí)。

評(píng)估模型安全性并開(kāi)始使用

Nemotron-4 340B Instruct 模型經(jīng)過(guò)包括對(duì)抗測(cè)試在內(nèi)的大量安全性評(píng)估，其各項(xiàng)風(fēng)險(xiǎn)指標(biāo)均表現(xiàn)良好。但用戶(hù)仍應(yīng)對(duì)該模型的輸出結(jié)果進(jìn)行仔細(xì)評(píng)估，確保合成生成的數(shù)據(jù)適合且安全而準(zhǔn)確地用于自己的用例。