借助NVIDIA Nemo開拓生成式AI廣闊“疆域”

“Writer”利用 NVIDIA AI 軟件構(gòu)建的大語言模型（LLM）幫助數(shù)百家公司創(chuàng)建內(nèi)容。

機器學習幫助 Waseem Alshikh 在大學里讀完了課本。如今，他正在利用生成式 AI 為數(shù)百家公司創(chuàng)建內(nèi)容。

在敘利亞出生和長大的 Alshikh 不會說英語，但他精通軟件。他在黎巴嫩上大學期間，將這一天賦發(fā)揮得淋漓盡致。

他回憶道：“第一天他們就給了我一摞課本，每本都有上千頁厚，而且全是用英語寫的?！?/p>

于是，他編寫了一個粗糙但有效的統(tǒng)計分類器程序來生成這些課本的內(nèi)容摘要，然后進行學習。

從提出概念到創(chuàng)業(yè)

2014 年，他向在迪拜工作時結(jié)識的企業(yè)家 May Habib 分享了自己的故事。他們一拍即合，決定創(chuàng)辦一家初創(chuàng)企業(yè)，幫助總是要求“事半功倍”的營銷部門利用機器學習快速創(chuàng)建網(wǎng)頁、博客、廣告等內(nèi)容。

Alshikh 在該初創(chuàng)企業(yè)擔任首席技術(shù)官。他表示：“最初我們無法實現(xiàn)這種技術(shù)。直到 Transformer 模型發(fā)布后，我們才基于此構(gòu)建了這種技術(shù)?！?/p>

“我們找了幾位工程師，花了近六個月的時間建立了我們的第一個模型。這是一個幾乎無法運行的神經(jīng)網(wǎng)絡(luò)，擁有約 1.28 億個參數(shù)?！眳?shù)數(shù)量是衡量 AI 模型能力的常用指標。

一路走來，這家年輕的公司逐漸贏得了一些業(yè)務(wù)，更名為 Writer，并與 NVIDIA 建立了聯(lián)系。

駛?cè)肟燔嚨?/p>

他表示：“在開始使用NVIDIA NeMo后，我們就能夠建立行業(yè)級模型了，參數(shù)量從 30 億個增加到 200 億個，再到現(xiàn)在的 400 億個，而且還在不斷擴大?！?/p>

NeMo 是一個可以幫助企業(yè)整理其訓練數(shù)據(jù)集、構(gòu)建和定制大語言模型（LLM），并在生產(chǎn)中大規(guī)模運行這些模型的應用框架。從韓國到瑞典，世界各地的企業(yè)都在使用它來定制本地語言和行業(yè)的大語言模型（LLM）。

Alshikh 表示：“在使用 NeMo 之前，我們需要四個半月的時間來構(gòu)建一個新的十億級參數(shù)模型。而現(xiàn)在我們只需要 16 天就能完成，這真令人難以置信?！?/p>

模型帶來機遇

今年上半年，這家初創(chuàng)企業(yè)不到 20 名的 AI 工程師團隊利用 NeMo 開發(fā)了 10 個模型，每個模型都有超過 300 億個或更多的參數(shù)。

這帶來了巨大的機遇。現(xiàn)在，已經(jīng)有數(shù)百家企業(yè)在使用 NeMo 為金融、醫(yī)療、零售和其他垂直市場定制的 Writer 模型。

▲ Writer 的 Recap 工具可根據(jù)采訪或活動錄音制作書面摘要

這家初創(chuàng)企業(yè)的客戶包括德勤、歐萊雅、財捷、優(yōu)步等家喻戶曉的 500 強企業(yè)。

Writer 使用 NeMo 取得的成功僅僅是故事的開始。目前，已經(jīng)有數(shù)十家其他公司下載了 NeMo。

這款包含在NVIDIA AI Enterprise中的軟件將很快可供使用。NVIDIA AI Enterprise 是一套專為加速生成式 AI 工作負載而優(yōu)化，并以企業(yè)級支持、安全性和應用編程接口穩(wěn)定性為保障的全棧式軟件。

▲ Writer 為企業(yè)用戶提供全棧式平臺

每月一萬億次 API 調(diào)用

一些客戶在自己的系統(tǒng)或云服務(wù)上運行 Writer 的模型，另一些客戶則要求 Writer 托管模型或者使用 Writer 的 API。

Alshikh 表示：“我們的云基礎(chǔ)設(shè)施基本上由兩個人管理，每月托管的 API 調(diào)用達萬億次，每秒生成 90,000 個單詞。我們提供的高質(zhì)量模型可以與團隊規(guī)模更大、預算更多的公司所提供的產(chǎn)品相媲美?！?/p>

▲NVIDIA NeMo 支持從數(shù)據(jù)整理一直到推理的整個端到端生成式 AI 流程

Writer 使用與 NeMo 打包在一起的 Triton 推理服務(wù)器為其客戶在生產(chǎn)中運行模型。Alshikh 表示，許多運行 LLM 的公司都在使用 Triton。與其他程序相比，Triton 可實現(xiàn)更低的延遲和更高的吞吐量。

“這意味著你可以將運行一些服務(wù)的成本從 10 萬美元減少到 2 萬美元，這樣就能夠投入更多資金構(gòu)建有意義的功能?！?Alshikh 說道。