Mistral AI與NVIDIA推出全新語(yǔ)言模型Mistral NeMo 12B

Mistral NeMo 處理和生成高度準(zhǔn)確內(nèi)容的能力為企業(yè)帶來(lái)了新機(jī)遇。

Mistral AI 和 NVIDIA 于近日共同發(fā)布了一款全新的領(lǐng)先語(yǔ)言模型Mistral NeMo 12B。開(kāi)發(fā)者可以輕松定制和部署該模型，令其適用于支持聊天機(jī)器人、多語(yǔ)言任務(wù)、編碼和摘要的企業(yè)應(yīng)用。

Mistral NeMo 模型結(jié)合了 Mistral AI 在訓(xùn)練數(shù)據(jù)領(lǐng)域的專(zhuān)業(yè)知識(shí)與 NVIDIA 經(jīng)過(guò)優(yōu)化的軟硬件生態(tài)系統(tǒng)，能夠?yàn)楦鞣N應(yīng)用提供高性能。

Mistral AI 聯(lián)合創(chuàng)始人兼首席科學(xué)家 Guillaume Lample 表示：“我們十分幸運(yùn)能與 NVIDIA 團(tuán)隊(duì)合作，并充分利用他們的頂尖硬件和軟件。得益于NVIDIA AI Enterprise的部署，我們共同開(kāi)發(fā)了一個(gè)具有前所未有的準(zhǔn)確性、靈活性、高效率以及企業(yè)級(jí)支持和安全性的模型?！?/p>

Mistral NeMo 是在NVIDIA DGX CloudAI 平臺(tái)上所訓(xùn)練而成，該平臺(tái)提供對(duì)最新 NVIDIA 架構(gòu)的專(zhuān)用可擴(kuò)展訪(fǎng)問(wèn)。

另外，為了推進(jìn)和優(yōu)化進(jìn)程，還使用了用于加速大語(yǔ)言模型推理性能的NVIDIA TensorRT-LLM和用于構(gòu)建自定義生成式 AI 模型的NVIDIA NeMo開(kāi)發(fā)平臺(tái)。

此次合作突顯了 NVIDIA 致力于支持模型構(gòu)建生態(tài)系統(tǒng)的決心。

實(shí)現(xiàn)前所未有的準(zhǔn)確性、

靈活性和效率

這款企業(yè)級(jí) AI 模型在多輪對(duì)話(huà)、數(shù)學(xué)、常識(shí)推理、世界知識(shí)和編碼方面表現(xiàn)出色，能夠在各種任務(wù)中提供精確、可靠的性能。

Mistral NeMo 具有 128K 的上下文長(zhǎng)度，能夠更加連貫、準(zhǔn)確地處理大量復(fù)雜信息，確保輸出結(jié)果與上下文的關(guān)聯(lián)性。

Mistral NeMo 是一個(gè)擁有 120 億個(gè)參數(shù)的模型，以 Apache 2.0 許可證發(fā)布，該許可證旨在促進(jìn)創(chuàng)新并支持更廣泛的人工智能社區(qū)。此外，該模型使用 FP8 數(shù)據(jù)格式進(jìn)行模型推理，在不降低準(zhǔn)確性的前提下減少了內(nèi)存大小并加快了部署速度。

這意味著該模型能夠更好地了解任務(wù)，并更加有效地處理各種場(chǎng)景，是企業(yè)用例的理想選擇。

Mistral NeMo 被打包成NVIDIA NIM 推理微服務(wù)，借助 NVIDIA TensorRT-LLM 引擎提供性能優(yōu)化的推理。

這種容器化格式便于在任何地方進(jìn)行部署，為各種應(yīng)用帶來(lái)了更大的靈活性。

因此，該模型可以部署到任何位置，而且時(shí)間也從原來(lái)的幾天縮短到幾分鐘。

NIM 使用 NVIDIA AI Enterprise 中的企業(yè)級(jí)軟件，提供專(zhuān)門(mén)的功能分支、嚴(yán)格的驗(yàn)證流程以及企業(yè)級(jí)安全和支持。

NIM 包含全方位的支持、與 NVIDIA AI 專(zhuān)家的直接連線(xiàn)以及明確的服務(wù)水平協(xié)議，保證了可靠、一致的性能。

由于使用的是開(kāi)放模型許可證，企業(yè)可以將 Mistral NeMo 無(wú)縫集成到商業(yè)應(yīng)用中。

Mistral NeMo NIM 適用于NVIDIA Ada Lovelace架構(gòu) RTX 40 系列獨(dú)立 GPU，如NVIDIA GeForce RTX 4090 D或NVIDIA RTX 4500 GPU的顯存，具有高效率、低計(jì)算成本以及更高的安全性和隱私性。

先進(jìn)的模型開(kāi)發(fā)和定制

Mistral AI 與 NVIDIA 工程師結(jié)合雙方的專(zhuān)業(yè)知識(shí)，優(yōu)化了 Mistral NeMo 的訓(xùn)練和推理。

該模型使用 Mistral AI 的專(zhuān)業(yè)知識(shí)（尤其是多語(yǔ)言、代碼和多輪內(nèi)容方面的專(zhuān)業(yè)知識(shí)）訓(xùn)練，并從 NVIDIA 全棧加速訓(xùn)練中獲益。

它采用了具有最佳性能的設(shè)計(jì)，通過(guò)Megatron-LM實(shí)現(xiàn)了高效的模型并行技術(shù)、可擴(kuò)展性和混合精度。

該模型使用 NVIDIA NeMo 中的 Megatron-LM 以及 DGX Cloud 上的 3072 個(gè) 80GB Tensor Core GPU 訓(xùn)練而成。DGX Cloud 由 NVIDIA AI 架構(gòu)組成，包括加速計(jì)算、網(wǎng)絡(luò)編織結(jié)構(gòu)、軟件等，可提高訓(xùn)練的效率。

可用性和部署

Mistral NeMo 可以靈活地在云、數(shù)據(jù)中心或 RTX 工作站等任何地方運(yùn)行，隨時(shí)隨地為各種平臺(tái)上的 AI 應(yīng)用帶來(lái)變革。

立刻通過(guò)https://developer.nvidia.cn/nim 了解以 NVIDIA NIM 形式提供的 Mistral NeMo。可下載的 NIM 也即將推出。