檢索增強(qiáng)生成（RAG）如何助力企業(yè)為各種企業(yè)用例創(chuàng)建高質(zhì)量的內(nèi)容？

在生成式 AI 時(shí)代，機(jī)器不僅要從數(shù)據(jù)中學(xué)習(xí)，還要生成類似人類一樣的文本、圖像、視頻等。檢索增強(qiáng)生成（RAG）則是可以實(shí)現(xiàn)的一種突破性方法。

RAG 工作流程基于大語言模型（LLM）而構(gòu)建，這些 LLM 可以理解查詢并生成響應(yīng)。但是，LLM 存在局限性，包括訓(xùn)練的復(fù)雜性和缺乏當(dāng)前（有時(shí)是專有）信息。此外，當(dāng)未根據(jù)特定數(shù)據(jù)進(jìn)行訓(xùn)練就回答提示詞時(shí)，它們往往會(huì)產(chǎn)生幻覺并合成事實(shí)錯(cuò)誤的信息。RAG 通過向 LLM 提供企業(yè)特定信息來增強(qiáng)查詢，從而幫助克服這些限制。

數(shù)據(jù)中心作為新的計(jì)算單元，隨著網(wǎng)絡(luò)服務(wù)對(duì) CPU 壓力的增加，現(xiàn)代工作負(fù)載對(duì)網(wǎng)絡(luò)基礎(chǔ)設(shè)施提出了新的挑戰(zhàn)。網(wǎng)絡(luò)基礎(chǔ)設(shè)施需要具備敏捷性、自動(dòng)化和可編程性的框架，并配備加速器和卸載功能，這些是充分發(fā)揮 AI 技術(shù)潛力和推動(dòng)創(chuàng)新的關(guān)鍵。

在本文中，我們討論了 RAG 如何助力企業(yè)為各種企業(yè)用例創(chuàng)建高質(zhì)量、相關(guān)且引人入勝的內(nèi)容。我們深入探討了通過擴(kuò)展 RAG 來處理大量數(shù)據(jù)和用戶所面臨的技術(shù)挑戰(zhàn)，以及如何使用由 NVIDIA GPU 計(jì)算、加速以太網(wǎng)網(wǎng)絡(luò)、網(wǎng)絡(luò)存儲(chǔ)和 AI 軟件提供支持的可擴(kuò)展架構(gòu)來應(yīng)對(duì)這些挑戰(zhàn)。

RAG 使企業(yè)能夠充分利用數(shù)據(jù)

典型的 RAG 工作流程使用向量數(shù)據(jù)庫，向量數(shù)據(jù)庫是一類專為執(zhí)行相似性搜索而定制的數(shù)據(jù)管理系統(tǒng)，用于存儲(chǔ)和檢索與查詢相關(guān)的企業(yè)特定信息。

通過將 RAG 集成到其信息系統(tǒng)中，企業(yè)可以利用大量?jī)?nèi)部和外部數(shù)據(jù)來生成具有洞察力的全新上下文相關(guān)內(nèi)容。這種融合是一次重大飛躍，使企業(yè)能夠利用其數(shù)據(jù)和領(lǐng)域?qū)I(yè)知識(shí)，為個(gè)性化客戶互動(dòng)開辟新途徑，簡(jiǎn)化內(nèi)容的創(chuàng)建，并提高知識(shí)用例的效率。

然而，在企業(yè)規(guī)模部署 RAG 也面臨著一系列挑戰(zhàn)，包括管理數(shù)百個(gè)數(shù)據(jù)集和數(shù)千名用戶的復(fù)雜性。這就需要一種分布式架構(gòu)，其能夠滿足有效應(yīng)對(duì)此類大規(guī)模操作的處理和存儲(chǔ)需求。

要擴(kuò)展此架構(gòu)，您必須嵌入、向量化和索引數(shù)百萬個(gè)文檔、圖像、音頻文件和視頻，同時(shí)還適應(yīng)每天新創(chuàng)建內(nèi)容的嵌入。

另一個(gè)挑戰(zhàn)是確保交互式多模態(tài)應(yīng)用程序的低延遲響應(yīng)。由于需要集成數(shù)據(jù)企業(yè)應(yīng)用程序以及結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，因此需要實(shí)時(shí)處理和響應(yīng)，而在大規(guī)模實(shí)現(xiàn)方面可能具有挑戰(zhàn)。

生成式 AI 的數(shù)據(jù)索引和存儲(chǔ)也構(gòu)成了挑戰(zhàn)。

雖然傳統(tǒng)企業(yè)應(yīng)用程序可以壓縮數(shù)據(jù)并將其存儲(chǔ)來進(jìn)行高效檢索，從而支持索引和語義搜索，但是基于 RAG 的數(shù)據(jù)庫可以擴(kuò)展到比原始文本文檔及其相關(guān)元數(shù)據(jù)大 10 倍以上。這將導(dǎo)致在數(shù)據(jù)增長(zhǎng)和存儲(chǔ)方面的重大挑戰(zhàn)。

為了獲得最佳結(jié)果，企業(yè)必須投資加速計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)基礎(chǔ)設(shè)施，這對(duì)于處理訓(xùn)練和部署 RAG 模型所需的大量數(shù)據(jù)至關(guān)重要。

如何實(shí)現(xiàn)可擴(kuò)展且高效的 RAG 推理

在 GTC 2024 上，NVIDIA 推出了一系列生成式 AI 微服務(wù)，為開發(fā)者提供用于創(chuàng)建和部署自定義 AI 應(yīng)用程序的企業(yè)級(jí)構(gòu)建塊。

企業(yè)可以使用這些微服務(wù)作為創(chuàng)建 RAG 驅(qū)動(dòng)的應(yīng)用程序的基礎(chǔ)。通過將其與 NVIDIA RAG 工作流程示例相結(jié)合，您可以加快生成式 AI 應(yīng)用程序的構(gòu)建和產(chǎn)品化過程。

在本文中，我們使用多節(jié)點(diǎn) GPU 計(jì)算推理、加速以太網(wǎng)網(wǎng)絡(luò)和網(wǎng)絡(luò)連接存儲(chǔ)對(duì)這些 RAG 工作流程示例進(jìn)行基準(zhǔn)測(cè)試。我們的測(cè)試結(jié)果表明，高性能網(wǎng)絡(luò)和網(wǎng)絡(luò)連接存儲(chǔ)可實(shí)現(xiàn)高效且可擴(kuò)展的生成式 AI 推理，使企業(yè)能夠開發(fā)由 RAG 驅(qū)動(dòng)的應(yīng)用程序，在促進(jìn)連續(xù)數(shù)據(jù)處理的同時(shí)，還可擴(kuò)展到數(shù)千個(gè)用戶。

圖 1 顯示了包含兩個(gè)階段和數(shù)據(jù)流水線的 RAG 工作流程。

圖 1.RAG 工作流程

在第一階段，數(shù)據(jù)提取將文檔和其他數(shù)據(jù)模式轉(zhuǎn)換為數(shù)字嵌入，然后在向量數(shù)據(jù)庫中對(duì)其進(jìn)行索引。此過程支持基于相似度分?jǐn)?shù)來有效檢索相關(guān)文檔。

查詢階段從用戶輸入問題時(shí)開始，該問題也會(huì)被轉(zhuǎn)換為嵌入并用于在向量數(shù)據(jù)庫中搜索相關(guān)內(nèi)容。檢索相關(guān)內(nèi)容后，會(huì)將其傳遞給 LLM 進(jìn)行進(jìn)一步處理。原始輸入問題以及增強(qiáng)上下文會(huì)提供給 LLM，LLM 會(huì)針對(duì)用戶的查詢生成更精確的答案。

此工作流程可以有效地檢索和生成信息，使其成為適用于各種企業(yè)應(yīng)用程序的強(qiáng)大工具。

加速以太網(wǎng)網(wǎng)絡(luò)、網(wǎng)絡(luò)連接存儲(chǔ)在數(shù)據(jù)提取方面表現(xiàn)出色

我們最初測(cè)試了基于單個(gè) GPU 節(jié)點(diǎn)的數(shù)據(jù)提取流水線。圖 2 顯示了使用一臺(tái)具有 8 個(gè) A100 GPU 的 DGX 系統(tǒng)和一個(gè)專為對(duì)象存儲(chǔ)工作負(fù)載而設(shè)計(jì)的網(wǎng)絡(luò)連接全閃存存儲(chǔ)平臺(tái)來進(jìn)行測(cè)試設(shè)置。

圖 2.具有網(wǎng)絡(luò)連接存儲(chǔ)的單節(jié)點(diǎn) NeMo Retriever 微服務(wù)

DGX 系統(tǒng)通過 NVIDIA ConnectX-7 網(wǎng)卡連接到網(wǎng)絡(luò)，并使用了加速的 NVMe-over-Fabrics（NVMe – oF）和 Amazon S3 對(duì)象存儲(chǔ)協(xié)議及兩臺(tái) NVIDIA Spectrum SN3700 交換機(jī)。

使用 NeMo Retriever 微服務(wù)，我們比較了 PDF 文檔（包括文本和圖像）的嵌入和索引性能。此次比較涉及 DGX 系統(tǒng)中的直接附加存儲(chǔ)（DAS）和網(wǎng)絡(luò)連接存儲(chǔ)。

圖 3 顯示了單節(jié)點(diǎn)上的數(shù)據(jù)提取基準(zhǔn)測(cè)試的結(jié)果。結(jié)果表明，與使用 DAS 相比，使用 Amazon S3 的網(wǎng)絡(luò)連接存儲(chǔ)將數(shù)據(jù)提取速度提高了 36%，將處理時(shí)間縮短了 122 秒。這表明網(wǎng)絡(luò)連接存儲(chǔ)是數(shù)據(jù)提取的更好選擇，同時(shí)還依賴于網(wǎng)絡(luò)速度和延遲。

加速以太網(wǎng)網(wǎng)絡(luò)對(duì)于提供穩(wěn)健、高性能和安全的連接至關(guān)重要。除了增強(qiáng)文檔嵌入外，網(wǎng)絡(luò)連接存儲(chǔ)還提供各種企業(yè)級(jí)數(shù)據(jù)管理功能。

圖 3.單節(jié)點(diǎn)數(shù)據(jù)提取基準(zhǔn)測(cè)試 (100 萬個(gè)向量)

然后，我們使用多節(jié)點(diǎn) RAG 設(shè)置進(jìn)行測(cè)試，該設(shè)置使用通過 NVIDIA BlueField-3 DPU 連接的分布式微服務(wù)架構(gòu)（圖 4）。隨著多個(gè)節(jié)點(diǎn)并行運(yùn)行以上傳嵌入、計(jì)算索引并插入向量數(shù)據(jù)庫，性能也隨之提升。

圖 4.具有網(wǎng)絡(luò)連接存儲(chǔ)的多節(jié)點(diǎn) NeMo Retriever 微服務(wù)

我們比較了每臺(tái)服務(wù)器中使用直接附加 SSD 與網(wǎng)絡(luò)連接存儲(chǔ)的性能。對(duì)于服務(wù)器內(nèi)的 SSD，MinIO 充當(dāng)對(duì)象存儲(chǔ)層。對(duì)于網(wǎng)絡(luò)連接存儲(chǔ)，我們繞過 MinIO，測(cè)試了存儲(chǔ)系統(tǒng)自己的原生 Amazon S3 對(duì)象接口。

結(jié)果表明，多節(jié)點(diǎn)比使用單節(jié)點(diǎn)提供更快的性能，將處理時(shí)間縮短了近 102 秒。這些結(jié)果證明了多節(jié)點(diǎn) GPU 加速與企業(yè)級(jí)網(wǎng)絡(luò)連接存儲(chǔ)相結(jié)合的性能優(yōu)勢(shì)。

圖 5.多節(jié)點(diǎn)數(shù)據(jù)提取基準(zhǔn)測(cè)試 (100 萬個(gè)向量)

適用于 RAG 驅(qū)動(dòng)型應(yīng)用程序的網(wǎng)絡(luò)連接存儲(chǔ)的優(yōu)勢(shì)

網(wǎng)絡(luò)連接存儲(chǔ)可以通過網(wǎng)絡(luò)訪問塊、文件和對(duì)象，而無需直接將存儲(chǔ)介質(zhì)連接到服務(wù)器。

網(wǎng)絡(luò)連接存儲(chǔ)不僅為基于 RAG 的應(yīng)用程序提供了明顯的性能優(yōu)勢(shì)，而且還提供了額外的企業(yè)優(yōu)勢(shì)，使其成為增強(qiáng)自然語言處理的最佳數(shù)據(jù)平臺(tái)。

適用于 RAG 工作流程的網(wǎng)絡(luò)連接存儲(chǔ)具有以下優(yōu)勢(shì)：

實(shí)時(shí)流數(shù)據(jù)提?。?/strong>網(wǎng)絡(luò)連接存儲(chǔ)支持從各種來源（例如社交媒體、Web、傳感器或物聯(lián)網(wǎng)設(shè)備）提取實(shí)時(shí)流數(shù)據(jù)。RAG 應(yīng)用程序可以使用這些數(shù)據(jù)生成相關(guān)的全新內(nèi)容。DAS 可能無法處理大量且快速的流數(shù)據(jù)，或者可能需要額外的處理或緩沖來存儲(chǔ)數(shù)據(jù)。