深耕文檔型數(shù)據(jù)庫12載，SequoiaDB再開源

1月15日，巨杉數(shù)據(jù)庫舉行SequoiaDB新特性及開源項目發(fā)布活動。本次活動回顧了巨杉數(shù)據(jù)庫深耕JSON文檔型數(shù)據(jù)庫12年的發(fā)展歷程與技術(shù)演進，全面解讀了SequoiaDB包括在高可用、安全、實時、易用性四個方向的技術(shù)特性，宣布了2024年面向技術(shù)社區(qū)的開源計劃。此次發(fā)布活動不僅是對SequoiaDB性能的全面介紹，更是對十余年來始終堅守以JSON文檔型數(shù)據(jù)庫內(nèi)核為技術(shù)底座的發(fā)展歷程的深刻回顧。不忘來時路，方知向何行，巨杉數(shù)據(jù)庫也將在2024年新年伊始，迎來新的篇章，開啟新的征程！

穩(wěn)健發(fā)展，行業(yè)影響力不斷提升

回顧過去，巨杉數(shù)據(jù)庫自2011年研發(fā)內(nèi)核、2012年公司成立，至2013年推出SequoiaDB v1.0版本，再到如今已走過十二個春秋。歷經(jīng)12年的洗禮，巨杉數(shù)據(jù)庫也取得了令人矚目的成就。目前，巨杉數(shù)據(jù)庫已經(jīng)在超過100家大型銀行及金融機構(gòu)的核心生產(chǎn)業(yè)務(wù)規(guī)模應(yīng)用，覆蓋各行業(yè)的企業(yè)用戶總數(shù)超過1000家。在金融行業(yè)，其客戶群體涵蓋國有銀行、股份制銀行、省級農(nóng)信、城商行、保險、證券等金融機構(gòu)，同時還積極擴展政府、汽車、新能源等多個行業(yè)客戶，贏得了廣泛的市場認(rèn)可。其中超過50家企業(yè)的應(yīng)用時間已超過6年，最長的系統(tǒng)運行時間甚至達9年。自成立以來，公司實現(xiàn)穩(wěn)健發(fā)展，行業(yè)影響力不斷提升，數(shù)據(jù)量及業(yè)務(wù)接入保持持續(xù)增長態(tài)勢。

守正創(chuàng)新，發(fā)展JSON文檔型內(nèi)核

巨杉數(shù)據(jù)庫SequoiaDB以 JSON 文檔型數(shù)據(jù)庫內(nèi)核為技術(shù)底座，通過分布式架構(gòu)為眾多客戶提供了多元化的業(yè)務(wù)和全方位的支持。正是因為對技術(shù)創(chuàng)新的堅持以及對市場需求的洞察，巨杉數(shù)據(jù)庫始終堅守JSON文檔型內(nèi)核，在持續(xù)迭代中實現(xiàn)創(chuàng)新發(fā)展。

在JSON基礎(chǔ)能力方面，從最初 v1版本，實現(xiàn) CURD 原子性的操作以及基礎(chǔ)的ACID支持，到 v2 版本逐步提升對LOB大對象的存儲能力，標(biāo)志著巨杉數(shù)據(jù)庫具備“多模數(shù)據(jù)”處理能力，同時支持存儲過程、聚集計算等特性。在 v3.0 版本中，進一步提供自增序列全文檢索、基于時間點的數(shù)據(jù)恢復(fù)和兼容部分 Mongo 語法?？缭?.0版本，到v5.0 版本，SequoiaDB 著力提升穩(wěn)定性能，對于統(tǒng)計信息、訪問計劃、存儲等進行了大量優(yōu)化，提供死鎖檢測等功能，并進一步地兼容 Mongo 3、 Mongo 4 的語法。

在分布式管理方面，從基礎(chǔ)的多分區(qū)原生分布式架構(gòu)，逐步提供讀寫分離、主子表、策略訪問、多中心容災(zāi)、精細(xì)化容災(zāi)等特性，持續(xù)增強分布式能力。

在安全性方面，涵蓋從基礎(chǔ)的鑒權(quán)、加密到信創(chuàng)的各類能力。此外，推出了SCM內(nèi)容管理引擎，專注于非結(jié)構(gòu)化數(shù)據(jù)和多模數(shù)據(jù)處理的統(tǒng)一數(shù)據(jù)生命周期管理。

在易用性方面，通過SAC運營的管理平臺，全面提升DBA運維的便捷性。

十二年來，巨杉數(shù)據(jù)庫基于JSON文檔型數(shù)據(jù)底座和分布式架構(gòu)的不斷更新與迭代，為企業(yè)提供可靠的數(shù)據(jù)處理和存儲解決方案，幫助企業(yè)優(yōu)化業(yè)務(wù)效率，提升客戶滿意度。

廣泛拓展，基于文檔型技術(shù)的應(yīng)用場景

在中國乃至全球范圍內(nèi)，“CM場景”是文檔型技術(shù)應(yīng)用中重要且突出的場景。基于處理多變的數(shù)據(jù)結(jié)構(gòu)和龐大的數(shù)據(jù)量的迫切需求，催生了“CM內(nèi)容管理平臺”，同時極大地推動了SequoiaDB技術(shù)的創(chuàng)新。巨杉數(shù)據(jù)庫持續(xù)跟進客戶需求，進行技術(shù)迭代，實現(xiàn)從1.0 到 5.0 的跨越式發(fā)展。巨杉數(shù)據(jù)庫為金融銀行客戶提供，穩(wěn)定、可靠、可持續(xù)擴展的「CM內(nèi)容平臺」成為「銀行影像平臺」及「非結(jié)構(gòu)化管理平臺」的數(shù)據(jù)基礎(chǔ)設(shè)施，目前已吸納超過100家客戶使用該場景。可以說，基于文檔型技術(shù)并應(yīng)用于“CM內(nèi)容管理平臺”場景是巨杉數(shù)據(jù)庫取得的最為顯著的成果之一，這一場景也持續(xù)為巨杉數(shù)據(jù)庫貢獻了超過85%的客戶及營收，成為業(yè)務(wù)的主打業(yè)務(wù)場景。

此外，文檔型數(shù)據(jù)庫在在線業(yè)務(wù)系統(tǒng)、實時數(shù)據(jù)湖、IoT領(lǐng)域以及AGI人工智能等領(lǐng)域也得到廣泛應(yīng)用。JSON靈活的格式適合各種在線業(yè)務(wù)系統(tǒng)，尤其是面向需要快速迭代開發(fā)的各類APP的業(yè)務(wù)應(yīng)用，基于文檔型數(shù)據(jù)庫的開發(fā)，可以顯著提升團隊的研發(fā)效率。在實時數(shù)據(jù)湖方面，巨杉數(shù)據(jù)庫借助JSON靈活的數(shù)據(jù)處理能力，已助力多家客戶構(gòu)建全量歷史數(shù)據(jù)平臺，支持跨系統(tǒng)、跨業(yè)務(wù)的實時高并發(fā)數(shù)據(jù)查詢。

Vector Search基于文檔型技術(shù)，探索AGI數(shù)據(jù)應(yīng)用新邊界

AGI 通用人工智能的發(fā)展，將進一步推動JSON文檔型數(shù)據(jù)類型的應(yīng)用（實際上，本次發(fā)布活動中，Vector Searche部分的講解也是通過AI技術(shù)合成的）。

傳統(tǒng)AI應(yīng)用中，需要存取及處理的是，海量的半結(jié)構(gòu)化「 CM 內(nèi)容管理」數(shù)據(jù)、「動態(tài)標(biāo)簽」數(shù)據(jù)，以及各類非結(jié)構(gòu)化對象數(shù)據(jù)。這些都正是 SequoiaDB 過去12年聚焦及取得顯著成果的領(lǐng)域技術(shù)，而 AGI 全新的爆發(fā)性發(fā)展，必將對 JSON 文檔型技術(shù)，帶來全新的機遇及技術(shù)挑戰(zhàn)。當(dāng)前，業(yè)界領(lǐng)先的 Open AI、文心一言等大模型平臺中，JSON 已經(jīng)被指定為對內(nèi)，及對外，函數(shù)調(diào)用的，標(biāo)準(zhǔn)數(shù)據(jù)傳輸格式。

另外，我們可以看到 “向量數(shù)據(jù)” 在 AGI 通用人工智能發(fā)展中，得到了關(guān)鍵的應(yīng)用，需要更有效的數(shù)據(jù)庫處理能力。

向量數(shù)據(jù)的存放格式，天然就可以用 JSON 結(jié)構(gòu)表示，非常適合通過文檔型數(shù)據(jù)庫處理。然而，單獨使用向量數(shù)據(jù)，并不能解決業(yè)務(wù)的全景問題。在業(yè)務(wù)過程中，向量數(shù)據(jù)還必須與其他業(yè)務(wù)數(shù)據(jù)進行組合使用，才能發(fā)揮其價值。因此 SequoiaDB 也正在探索，為文檔型數(shù)據(jù)庫提供 「Vector Search 向量搜索」能力，為保存到 SequoiaDB 的向量數(shù)據(jù)，提供高效的查詢能力，這一特性將在2024年與大家見面。

要注意的是，我們并不需要發(fā)展獨立的向量數(shù)據(jù)庫產(chǎn)品。而是基于深耕了12年的 JSON 文檔型數(shù)據(jù)庫底座技術(shù)為基礎(chǔ)，進行向量查詢能力的擴展，這將可以幫助企業(yè)，驅(qū)動實體世界的更多數(shù)據(jù)，和 AGI 通用人工智能進行有效鏈接，釋放全量數(shù)據(jù)價值。

四大特性，釋放全量數(shù)據(jù)價值

巨杉數(shù)據(jù)庫基于JSON文檔型底座對SequoiaDB 進行了全面升級，此次發(fā)布活動全面解讀了SequoiaDB 的四大特性——高可用、安全、實時和易用。

高可用：文檔型數(shù)據(jù)庫處理的數(shù)據(jù)，包括了結(jié)構(gòu)化的元數(shù)據(jù)、半結(jié)構(gòu)化的標(biāo)簽數(shù)據(jù)，以及非結(jié)構(gòu)化的對象數(shù)據(jù)。對于PB級大數(shù)據(jù)或上百節(jié)點規(guī)模的大集群，在面對重大災(zāi)難時的數(shù)據(jù)可靠性、數(shù)據(jù)一致性和系統(tǒng)可用性時都面臨著巨大挑戰(zhàn)。精細(xì)化容災(zāi)能有效地幫助客戶實現(xiàn)針對這些數(shù)據(jù)的多中心容災(zāi)，從而提升整體系統(tǒng)的高可用和數(shù)據(jù)高可靠能力。

安全：巨杉數(shù)據(jù)庫不僅在技術(shù)上通過國密算法和硬件加速來平衡安全與性能，還提供了跨國內(nèi)外不同芯片、不同操作系統(tǒng)的混合部署能力。這意味著巨杉數(shù)據(jù)庫可以實現(xiàn)集群的異構(gòu)部署，平滑地進行硬件資源的替換，對上層業(yè)務(wù)系統(tǒng)做到完全透明，保障業(yè)務(wù)連續(xù)性。

實時：巨杉數(shù)據(jù)庫憑借JSON文檔型數(shù)據(jù)結(jié)構(gòu)的Schema靈活性，為企業(yè)提供了全量數(shù)據(jù)底座。DDL的實時變更、橫向擴展能力，以及高性能的并發(fā)點查能力等都顛覆了傳統(tǒng)ODS數(shù)據(jù)貼源層的界限，使得ODS能夠服務(wù)于實時業(yè)務(wù)，滿足對客實時數(shù)據(jù)查詢和企業(yè)內(nèi)部跨業(yè)務(wù)數(shù)據(jù)實時匯總的需求。

易用：巨杉數(shù)據(jù)庫進一步增強了SAC的監(jiān)控、告警和管理等功能。一站式的數(shù)據(jù)管理工具，極大地方便了DBA的管理工作，提高了問題排查的效率并簡化了對系統(tǒng)的監(jiān)控管理，從而為業(yè)務(wù)帶來更高的穩(wěn)定性和效率。

開放、開源共赴新篇章

新年伊始，巨杉數(shù)據(jù)庫也將譜寫嶄新篇章。發(fā)布會介紹，巨杉數(shù)據(jù)庫決定將在2024年Q1再次發(fā)布開源版本，不僅希望獲得社區(qū)同仁的參與和監(jiān)督，讓產(chǎn)品未來發(fā)展更透明；同時也承擔(dān)歷史責(zé)任，希望通過開源的方式吸引更多合作伙伴，共同發(fā)展中國的分布式文檔型數(shù)據(jù)庫生態(tài)鏈，促進業(yè)務(wù)的快速迭代和開發(fā)效率的提升。近期，SequoiaDB新版本的源代碼將通過Gitee、GitCode及GitHub再次開源。

審核編輯 黃宇