搭載英偉達GPU，全球領(lǐng)先的向量數(shù)據(jù)庫公司Zilliz發(fā)布Milvus2.4向量數(shù)據(jù)庫

在美國硅谷圣何塞召開的 NVIDIA GTC 大會上，全球領(lǐng)先的向量數(shù)據(jù)庫公司 Zilliz 發(fā)布了 Milvus 2.4 版本。這是一款革命性的向量數(shù)據(jù)庫系統(tǒng)，在業(yè)界首屈一指，它首次采用了英偉達 GPU 的高效并行處理能力和 RAPIDS cuVS 庫中新推出的 CAGRA（ CUDA-Accelerated Graph Index for Vector Retrieval ）技術(shù)，提供基于GPU的向量索引和搜索加速能力，性能可提升 50 倍。

Milvus 2.4 的 GPU 加速性能提升效果令人驚嘆?；鶞?zhǔn)測試顯示，與目前市面上最先進的基于 CPU 處理器的索引技術(shù)相比，新版 GPU 加速 Milvus 能提供高達 50 倍的向量搜索性能提升。目前，Milvus 2.4的開源版本已經(jīng)對外發(fā)布。

對于希望使用全托管云數(shù)據(jù)庫服務(wù)的企業(yè)用戶來說，還有一個好消息，那就是 Zilliz 提供的 Milvus 商業(yè)版全托管云服務(wù) Zilliz Cloud 計劃將在今年晚些時候升級推出 GPU 加速功能。

▲Zilliz Cloud

截至當(dāng)前，Zilliz Cloud 已經(jīng)實現(xiàn)包括阿里云、騰訊云、AWS、谷歌云和微軟云在內(nèi)的全球 5 大云 13 個節(jié)點的全覆蓋，除了分布在杭州、北京、深圳的 5 個國內(nèi)服務(wù)區(qū)，其他 8 個節(jié)點分布在海外，包括美國的弗吉尼亞州、俄勒岡州、德國的法蘭克福、新加坡等城市和地區(qū)。Zilliz 已成為首家同時提供海內(nèi)外多云服務(wù)的向量數(shù)據(jù)庫企業(yè)。

Milvus是什么？

Milvus 是一款為大規(guī)模向量相似度搜索和 AI 應(yīng)用開發(fā)設(shè)計的開源向量數(shù)據(jù)庫系統(tǒng)。它最初由 Zilliz 公司發(fā)起開發(fā)，并在 2019 年開源。2020年，該項目加入 Linux 基金會并成功畢業(yè)。

自推出以來，Milvus 在 AI 開發(fā)者社區(qū)中大受歡迎并被廣泛采用。在GitHub上，Milvus 擁有超過26,000個星標(biāo)和 260 多位貢獻者，全球下載和安裝量超過 2000 萬次，已經(jīng)成為全球使用最廣泛的向量數(shù)據(jù)庫之一。Milvus 已經(jīng)被 5,000 多家企業(yè)所采用，服務(wù)于AIGC、電子商務(wù)、媒體、金融、電信和醫(yī)療等多個行業(yè)。

▲部分 Milvus 企業(yè)用戶列表 來源：Milvus官網(wǎng)

為什么需要GPU加速？

在數(shù)據(jù)驅(qū)動的時代背景下，快速準(zhǔn)確地檢索大量非結(jié)構(gòu)化數(shù)據(jù)對于支持前沿AI應(yīng)用至關(guān)重要。無論是生成式AI、相似性搜索，還是推薦引擎、虛擬藥物發(fā)現(xiàn)，向量數(shù)據(jù)庫都已成為這些高級應(yīng)用的核心技術(shù)。然而，對于實時索引和高吞吐量的需求不斷挑戰(zhàn)著基于CPU的傳統(tǒng)解決方案。

實時索引

向量數(shù)據(jù)庫通常需要持續(xù)且高速地攝取和索引新的向量數(shù)據(jù)。實時索引的能力對于保持?jǐn)?shù)據(jù)庫與最新數(shù)據(jù)的同步至關(guān)重要，避免產(chǎn)生瓶頸或積壓。

高吞吐量

許多使用向量數(shù)據(jù)庫的應(yīng)用程序，例如推薦系統(tǒng)、語義搜索引擎和異常檢測等，都需要實時或近實時的查詢處理。高吞吐量確保向量數(shù)據(jù)庫能夠同時處理大量涌入的查詢，為最終用戶提供高性能的服務(wù)。

向量數(shù)據(jù)庫的核心運算包括相似度計算和矩陣運算，這些運算具有并行性高和計算密集等特點。GPU 憑借其成千上萬的運算核心和強大的并行處理能力，成為了加速這些運算的理想選擇。

Milvus 2.4技術(shù)架構(gòu)

為了應(yīng)對這些挑戰(zhàn)，英偉達開發(fā)了CAGRA。這是一個利用GPU的高性能能力為向量數(shù)據(jù)庫工作負(fù)載提供高吞吐量的GPU加速框架。接下來，我們來看看 CAGRA 是如何與 Milvus 系統(tǒng)整合的。

Milvus 專為云原生環(huán)境設(shè)計，采用模塊化設(shè)計理念，將系統(tǒng)分為多個組件，分別處理客戶端請求、數(shù)據(jù)處理以及向量數(shù)據(jù)的存儲和檢索。得益于這種模塊化設(shè)計，Milvus 可以輕松地更新或升級特定模塊，而無需改變模塊間的接口，使得在 Milvus 中集成 GPU 加速變得簡單可行。

▲Milvus 2.4 架構(gòu)圖

Milvus 2.4 的架構(gòu)包括協(xié)調(diào)器、訪問層、消息隊列、工作節(jié)點和存儲層等組件。工作節(jié)點進一步細(xì)分為數(shù)據(jù)節(jié)點、查詢節(jié)點和索引節(jié)點。其中，索引節(jié)點負(fù)責(zé)構(gòu)建索引，查詢節(jié)點負(fù)責(zé)執(zhí)行查詢。

為了充分利用GPU的加速能力，CAGRA 被集成到了 Milvus 的索引節(jié)點和查詢節(jié)點中。這種集成使得計算密集型任務(wù)，如索引構(gòu)建和查詢處理，能夠被轉(zhuǎn)移到 GPU 上執(zhí)行，從而利用其并行處理能力。

在 Milvus 的索引節(jié)點中，CAGRA 被集成到了索引構(gòu)建算法中，利用 GPU 硬件來高效地構(gòu)建和管理高維向量索引，顯著減少了索引大規(guī)模向量數(shù)據(jù)集所需的時間和資源。

同樣，在 Milvus 的查詢節(jié)點中，CAGRA 被用于加速執(zhí)行復(fù)雜的向量相似度查詢。借助GPU的處理能力，Milvus 能夠以前所未有的速度執(zhí)行高維距離計算和相似性搜索，從而加快查詢響應(yīng)時間并提升整體吞吐量。

性能評測結(jié)果

在性能評估過程中，我們使用了 AWS 上的三種公開實例類型：

m6id.2xlarge：搭載Intel Xeon 8375C 處理器的 CPU 實例

g4dn.2xlarge：配備NVIDIA T4 處理的GPU加速實例

g5.2xlarge：配備NVIDIA A10G 處理器的GPU加速實例

我們通過這些不同的實例類型來評估 Milvus 2.4 在不同硬件配置下的性能和效率，其中m6id.2xlarge 作為基于 CPU 處理器的性能基準(zhǔn)，而 g4dn.2xlarge 和 g5.2xlarge 則用來評估GPU 加速的優(yōu)勢。

▲基于 AWS 的評測環(huán)境

在評測中，我們選用了 VectorDBBench([4]) 的兩個公開向量數(shù)據(jù)集，評估 Milvus 在不同數(shù)據(jù)量和向量維度下的性能和可擴展性：

OpenAI-500K-1536-dim：包含50萬個1,536維的向量，由 OpenAI 語言模型生成

Cohere-1M-768-dim：包含100萬個768維的向量，由Cohere語言模型生成

索引構(gòu)建時間

在索引構(gòu)建時間的評測中，我們發(fā)現(xiàn)對于 Cohere-1M-768-dim 數(shù)據(jù)集，使用 CPU（ HNSW ）的索引構(gòu)建時間為 454 秒，而使用 T4 GPU（ CAGRA ）僅為66秒，A10G GPU（ CAGRA ）更是縮短到了 42 秒。對于 OpenAI-500K-1536-dim 數(shù)據(jù)集，CPU（ HNSW ）的索引構(gòu)建時間為359秒，T4 GPU（ CAGRA ）為45秒，A10G GPU（CAGRA）則為22 秒。

▲評測索引構(gòu)建時間

這些結(jié)果清楚地表明，GPU 加速框架 CAGRA 在索引構(gòu)建方面明顯優(yōu)于基于 CPU 的 HNSW，其中 A10G GPU 在兩個數(shù)據(jù)集上都是最快的。與 CPU 實現(xiàn)相比，CAGRA 提供的 GPU 加速將索引構(gòu)建時間縮短了一個數(shù)量級，展示了利用 GPU 并行性進行計算密集型向量運算的優(yōu)勢。

吞吐量

在吞吐量方面，我們比較了集成 CAGRA GPU 加速的 Milvus 與使用 CPU 上 HNSW 索引的標(biāo)準(zhǔn) Milvus 實現(xiàn)。評估指標(biāo)是每秒查詢數(shù)（ QPS ），用于衡量查詢執(zhí)行的吞吐量。在向量數(shù)據(jù)庫的不同應(yīng)用場景中，查詢的批量大小（ 單條查詢處理的查詢數(shù)量 ）往往不同。在測試過程中，我們采用了1、10 和 100 這三種不同的批量大小，獲取真實而全面的評測結(jié)果數(shù)據(jù)。

▲評測吞吐量

從評估結(jié)果來看，對于批量大小為 1 的情況，T4 GPU 比 CPU 快 6.4 到 6.7 倍，A10G GPU 則快 8.3 到 9 倍。當(dāng)批量大小增加到 10 時，性能提升更加顯著：T4 GPU 快 16.8 到18.7倍，A10G GPU 快25.8 到 29.9 倍。當(dāng)批量大小為 100 時，性能提升持續(xù)增長：T4 GPU 快 21.9 到 23.3 倍，A10G GPU 快 48.9 到 49.2 倍。

這些結(jié)果表明，利用 GPU 加速向量數(shù)據(jù)庫查詢可以獲得巨大的性能提升，尤其是對于更大的批量大小和更高維度的數(shù)據(jù)。集成 CAGRA 的 Milvus 釋放了 GPU 的并行處理能力，實現(xiàn)了顯著的吞吐量改進，非常適合要求極致性能的關(guān)鍵場景下的向量數(shù)據(jù)庫工作負(fù)載。

開啟新紀(jì)元

將英偉達 CAGRA GPU 加速框架集成到 Milvus 2.4 中，標(biāo)志著向量數(shù)據(jù)庫領(lǐng)域的一項重大突破。通過利用 GPU 的大規(guī)模并行計算能力，Milvus 在向量索引和搜索操作方面實現(xiàn)了前所未有的性能水平，開啟了實時、高吞吐量向量數(shù)據(jù)處理的新時代。

5年前， Zilliz 的工程師們在上海漕河涇的廠房里敲下了向量數(shù)據(jù)庫歷史上的全球第一行代碼，開啟了研發(fā)面向非結(jié)構(gòu)化數(shù)據(jù)管理的新一代數(shù)據(jù)庫的探險。

今天，Zilliz 和英偉達合作推出 Milvus 2.4，展現(xiàn)了開放創(chuàng)新和社區(qū)驅(qū)動發(fā)展的力量，為向量數(shù)據(jù)庫帶來了 GPU 加速的新紀(jì)元。這一里程碑事件預(yù)示著又一個技術(shù)變革的來臨，向量數(shù)據(jù)庫有望經(jīng)歷類似于英偉達在過去 8 年中將 GPU 算力提高 1000 倍的指數(shù)級性能飛躍。

在未來十年，我們將見證向量數(shù)據(jù)庫性能的 1000 倍飛躍。這將引發(fā)一場數(shù)據(jù)處理方式的范式轉(zhuǎn)變，重新定義我們處理和利用非結(jié)構(gòu)化數(shù)據(jù)的能力。

Zilliz最新動態(tài)

除了發(fā)布業(yè)界超前的 Milvus 2.4，Zilliz 近期還有不少新動作：

Zilliz 正式開啟 AI 初創(chuàng)計劃！Zilliz AI 初創(chuàng)計劃是面向 AI 初創(chuàng)企業(yè)推出的一項扶持計劃，預(yù)計提供總計 1000 萬元的 Zilliz Cloud 抵扣金，致力于幫助 AI 開發(fā)者構(gòu)建高效的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，助力打造高質(zhì)量 AI 服務(wù)與運用，加速產(chǎn)業(yè)落地。Zilliz 將為全球的 AI 初創(chuàng)團隊提供資源、技術(shù)、市場推廣、銷售等全方位的支持，符合要求的團隊可獲得獨家資源與支持。歡迎各位開發(fā)者登陸 Zilliz 中文官網(wǎng)首頁了解 Zilliz AI 初創(chuàng)計劃，與 Zilliz 一起共建 AI 生態(tài)！

Zilliz Cloud 正式登錄騰訊云，覆蓋北京、上海兩區(qū)，進一步為海內(nèi)外用戶提供更豐富的多云支持的向量數(shù)據(jù)庫服務(wù)。截至目前，Zilliz Cloud 已實現(xiàn)全球 5 大云 13 個節(jié)點的全覆蓋，除了在中國的杭州、北京、深圳五大服務(wù)區(qū)，其他 8 個節(jié)點分布在海外，包括美國的弗吉尼亞州、俄勒岡州、德國的法蘭克福、新加坡等城市和地區(qū)。至此，Zilliz 已成為全球首個提供海內(nèi)外多云服務(wù)的向量數(shù)據(jù)庫企業(yè)。

Zilliz 發(fā)布 「Milvus 北極星計劃」，旨在匯集和團結(jié) Milvus 社區(qū)的熱心用戶及開發(fā)者，組成社區(qū)大使團隊。根據(jù)不同角色擅長的能力（Coding、寫作、溝通、布道、活動組織等），在社區(qū)中分配職責(zé)，共同建設(shè)運營 Milvus 社區(qū)，為社區(qū)發(fā)展壯大探索方向、添磚加瓦。最終將 Milvus 社區(qū)打造為一個充滿活力、創(chuàng)新開放、團結(jié)互助的全球化社區(qū)。關(guān)注 Zilliz 微信公眾號，回復(fù)“北極星”可了解詳情。

審核編輯 黃宇