LinkedIn圖數(shù)據(jù)庫 LIquid：為9.3億會員提供實時數(shù)據(jù)訪問

最近，LinkedIn 分享了其圖數(shù)據(jù)庫 LIquid 是如何自動索引和實時訪問會員、學(xué)校、技能、公司、職位、工作、事件等之間的關(guān)系數(shù)據(jù)的。這個知識圖譜被稱為 LinkedIn 的“Economic Graph”，有 2700 億條邊，并且還在不斷增長，目前每秒處理 200 萬次查詢。

LinkedIn 將其“你可能認識的人（People You May Know，PYMK）”推薦系統(tǒng)從傳統(tǒng)的 GAIA 系統(tǒng)遷移到了 LIquid。這一變化顯著改善了每秒查詢數(shù)（QPS）、延遲和 CPU 利用率。QPS 從 120 增加到 18000，延遲從超過 15 秒下降到平均 50 毫秒以下，CPU 利用率下降了 3 倍以上。LIquid 還引入了新的數(shù)據(jù)庫索引技術(shù)，支持實時數(shù)據(jù)查詢，實現(xiàn)了即時推薦。

圖片來源：https://engineering.linkedin.com/blog/2023/how-liquid-connects-everything-so-our-members-can-do-anything

上圖是系統(tǒng)的架構(gòu)圖，使用了 LIquid，可以以較小的延遲和可接受的硬件成本來執(zhí)行圖查詢。通過 LIquid 對 Economic Graph 的查詢生成數(shù)百個候選對象，并應(yīng)用第二個排名函數(shù)。這個排名函數(shù)使用 Venice 的機器學(xué)習(xí)功能和 Apache Pinot 的分析見解來評分并選擇最佳候選對象。過濾步驟為呈現(xiàn)和最終評分準備好了這個排名列表。

LIquid 的設(shè)計使其能夠伸縮到當前十倍的規(guī)模，可以支持 LinkedIn 9.3 億多會員的有機增長和新的語義領(lǐng)域。它提供 99.99% 的可用性，并可以自動根據(jù)圖的大小和活動量的增加進行自動伸縮。

圖數(shù)據(jù)庫使用基于 Datalog 的可組合聲明式查詢語言，幫助開發(fā)人員高效地訪問和使用數(shù)據(jù)。可組合語言能夠讓開發(fā)人員在現(xiàn)有的特性（叫作模塊）上進行構(gòu)建，聲明式語言能夠讓開發(fā)人員專注于表達他們想要開發(fā)的東西，而 LIquid 自動化了高效的訪問過程。開發(fā)人員因此可以快速變更數(shù)據(jù)集，大大減少了調(diào)整和更新數(shù)據(jù)庫所需的時間。

LinkedIn 工程總監(jiān) Bogdan Artintescu 描述了 LIquid 的發(fā)展路線圖：

要讓會員能夠做更多的事情，我們需要在回答會員的問題方面提供更加完善的能力。我們可以沿著兩個方向做出改進。首先，復(fù)雜的查詢和添加到 Economic Graph 的數(shù)據(jù)源的多樣性將會驅(qū)動新特性的開發(fā)和呈現(xiàn)。其次，豐富數(shù)據(jù)將提高推理能力。這可以通過創(chuàng)建派生數(shù)據(jù)（通過確定性算法或概率機器學(xué)習(xí)方法）或通過知識圖譜（KG）模式中更豐富的語義改進推理來實現(xiàn)。我們計劃專注于高性能圖形計算和分析，并建立一個 KG 生態(tài)系統(tǒng)，讓我們的開發(fā)人員能夠進一步增強會員體驗。

LIquid 的成功激勵了 LinkedIn 的其他團隊和微軟的姐妹團隊將它作為圖數(shù)據(jù)索引。