Apache Doris巨大飛躍：存算分離新架構(gòu)介紹

歷史上，數(shù)據(jù)分析需求的不斷提升（更大的數(shù)據(jù)規(guī)模、更快的處理速度、更低的使用成本）和計(jì)算基礎(chǔ)設(shè)施的不斷進(jìn)化（從專用的高端硬件、到低成本的商用硬件、到云計(jì)算服務(wù)），這兩大因素推動(dòng)數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)大體經(jīng)歷了三個(gè)時(shí)代：軟硬一體的一體機(jī)時(shí)代、存算一體的分布式時(shí)代以及存算分離的云原生時(shí)代。

Apache Doris 誕生于存算一體的分布式時(shí)代，是典型的 Shared Nothing 架構(gòu)：BE 節(jié)點(diǎn)上存儲(chǔ)與計(jì)算緊密耦合、多 BE 節(jié)點(diǎn)采用 MPP 分布式計(jì)算架構(gòu)，這種架構(gòu)為 Apache Doris 帶來了高可用、極簡(jiǎn)部署、橫向可擴(kuò)展以及強(qiáng)大的實(shí)時(shí)分析性能等一系列核心特色。

隨著云時(shí)代的到來，無論是公有云、私有云還是 K8S 容器平臺(tái)，越來越多的企業(yè)都希望 Apache Doris 針對(duì)云計(jì)算這種新型基礎(chǔ)設(shè)施提供更加深度的適配，以便提供更加靈活強(qiáng)大的彈性能力。 在過去的一年，飛輪科技（SelectDB）技術(shù)團(tuán)隊(duì)在基于 Apache Doris 內(nèi)核研發(fā)全托管企業(yè)級(jí)云數(shù)倉(cāng)產(chǎn)品的過程中，設(shè)計(jì)并實(shí)現(xiàn)了全新的云原生存算分離架構(gòu)（即 SelectDB Cloud）。

基于云原生存算分離的架構(gòu)，SelectDB Cloud 在此基礎(chǔ)上提供了多計(jì)算集群負(fù)載隔離和計(jì)算彈性擴(kuò)縮容等功能。 秉持著“推動(dòng)開源技術(shù)創(chuàng)新、繁榮開源社區(qū)生態(tài)”的首要目標(biāo)，在 Apache Doris 2.0 即將發(fā)布之際，SelectDB 技術(shù)團(tuán)隊(duì)正式宣布，將存算分離架構(gòu)實(shí)現(xiàn)貢獻(xiàn)至 Apache Doris 社區(qū)。

這一工作預(yù)計(jì)將于 2023 年 10 月前后完成，屆時(shí)全部存算分離的代碼都將會(huì)提交到 Apache Doris 社區(qū)主干分支中。 當(dāng)存算分離代碼合入 Apache Doris 社區(qū)后，Apache Doris 可以采用以下兩種模式之一運(yùn)行：存算一體的部署模式和存算分離的部署模式。

在兩種模式下運(yùn)行的 Apache Doris 將以不同的方式來存儲(chǔ)主數(shù)據(jù)。從用戶使用體驗(yàn)上而言，絕大部分功能都是一致的，但是也會(huì)因?yàn)閷?shí)現(xiàn)架構(gòu)和部署模式的不同，帶來一些功能上的差異。下面我們將分別介紹兩種部署模式的核心特點(diǎn)和適用場(chǎng)景差異。

存算一體的分布式架構(gòu)

存算一體架構(gòu)，也是 Apache Doris 長(zhǎng)久以來經(jīng)歷過數(shù)千家企業(yè)生產(chǎn)環(huán)境打磨、無論是性能亦或是易用性和穩(wěn)定性都最為成熟的 MPP 分布式架構(gòu)，總體架構(gòu)圖如下：

Apache Doris 存算一體架構(gòu)

部署簡(jiǎn)易

在存算一體模式下，Apache Doris 不需要依賴類似外部共享文件系統(tǒng)或者對(duì)象存儲(chǔ)，僅依賴物理服務(wù)器部署 FE 和 BE 兩個(gè)進(jìn)程即可完成集群的搭建，可以從一個(gè)節(jié)點(diǎn)擴(kuò)展到數(shù)百個(gè)節(jié)點(diǎn)。這種不依賴第三方組件的部署模式極大降低了 Apache Doris 的使用門檻，甚至一臺(tái)辦公筆記本就可以完成 Apache Doris 的部署。 部署簡(jiǎn)單的同時(shí)，也擁有極簡(jiǎn)的運(yùn)維成本：

FE 和 BE 都支持橫向線性擴(kuò)展，擴(kuò)縮容過程中無需停服，可正常提供穩(wěn)定可靠的在線服務(wù)

數(shù)據(jù)多副本存儲(chǔ)，自身的分布式管理框架自動(dòng)管理數(shù)據(jù)副本的分布、修復(fù)和均衡，擴(kuò)縮容時(shí)數(shù)據(jù)副本會(huì)自動(dòng)在節(jié)點(diǎn)間負(fù)載均衡，無需任何人工操作

因?yàn)榇嫠阋惑w架構(gòu)依賴少，不需要依賴任何其他其他系統(tǒng)，也增強(qiáng)了系統(tǒng)的穩(wěn)定性。而存算分離模式則需要依賴于共享的存儲(chǔ)系統(tǒng)。對(duì)于絕大多數(shù)企業(yè)來說，提供一個(gè)共享的存儲(chǔ)系統(tǒng)并非如此輕而易舉。依賴組件越多、任一組件的不穩(wěn)定都會(huì)導(dǎo)致整個(gè)系統(tǒng)的穩(wěn)定性受到影響。存算分離架構(gòu)依賴共享存儲(chǔ)系統(tǒng)，那么存儲(chǔ)系統(tǒng)的穩(wěn)定性和可用性、連接存儲(chǔ)系統(tǒng)和計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)延遲以及穩(wěn)定性，都會(huì)對(duì)整個(gè)存算分離架構(gòu)的穩(wěn)定性有著至關(guān)重要的影響。

性能優(yōu)異

在存算一體模式下，Apache Doris 執(zhí)行計(jì)算時(shí)，計(jì)算節(jié)點(diǎn)可直接訪問本地存儲(chǔ)數(shù)據(jù)，充分利用機(jī)器的 IO、減少不必要的網(wǎng)絡(luò)開銷、獲得更極致的查詢性能。而存算分離模式下網(wǎng)絡(luò)傳輸帶寬和耗時(shí)往往會(huì)制約系統(tǒng)性能的發(fā)揮，因此即便是 Hadoop、Spark 這種一開始便采用存算分離模式的分布式框架，也會(huì)盡量將計(jì)算邏輯推送到數(shù)據(jù)所在的節(jié)點(diǎn)，以此來提升計(jì)算任務(wù)的執(zhí)行性能。

與此同時(shí)，存算一體模式對(duì)于謂詞下推（Predicate Pushdown）更加友好，將條件判斷邏輯更貼近數(shù)據(jù)源，減少查詢時(shí)掃描、傳輸和計(jì)算的數(shù)據(jù)量，更能發(fā)揮系統(tǒng)的查詢性能。相比存算分離模式，一般存儲(chǔ)系統(tǒng)都沒有執(zhí)行謂詞計(jì)算的能力，因此無法實(shí)現(xiàn)謂詞下推，繼而需要網(wǎng)絡(luò)將大量的數(shù)據(jù)傳輸至計(jì)算側(cè)。

冷熱分層

在 Apache Doris 2.0 版本中，也實(shí)現(xiàn)了存算一體模式下的冷熱數(shù)據(jù)分層。冷熱數(shù)據(jù)分層功能使 Apache Doris 可以將冷數(shù)據(jù)下沉到存儲(chǔ)成本更加低廉的對(duì)象存儲(chǔ)中，同時(shí)冷數(shù)據(jù)在對(duì)象存儲(chǔ)上的保存方式也從多副本變?yōu)閱胃北荆鎯?chǔ)成本進(jìn)一步降至原先的三分之一。通過冷熱數(shù)據(jù)分層，使得 Apache Doris 集群配置不再需要隨著歷史數(shù)據(jù)量的堆積而不斷擴(kuò)容機(jī)器。本質(zhì)上，Apache Doris 2.0 版本的冷熱數(shù)據(jù)分層也是一種存算分離的形態(tài)，只是實(shí)現(xiàn)了冷數(shù)據(jù)的存儲(chǔ)分離。

關(guān)于 Apache Doris 2.0 冷熱數(shù)據(jù)分層功能的詳細(xì)介紹，可以參考Apache Doris 冷熱分層技術(shù)如何實(shí)現(xiàn)存儲(chǔ)成本降低 70%？

分存算一體架構(gòu)的適用場(chǎng)景

基于以上的原因，如果滿足下面任一條件，那么 Apache Doris 存算一體模式更加適合你：

簡(jiǎn)單使用 Doris，想快速試用一下，或者開發(fā)和測(cè)試使用

沒有可靠的共享存儲(chǔ)可用，比如 HDFS、Ceph、對(duì)象存儲(chǔ)等

業(yè)務(wù)線獨(dú)立維護(hù) Apache Doris，沒有專職 DBA 來維護(hù) Doris 集群

不需要極致彈性擴(kuò)縮容，不需要K8S容器化，不需要運(yùn)行在公有云或者私有云上

存算分離的新架構(gòu)

如上所述，如果存算一體模式有這么多優(yōu)勢(shì)，為何我們還需要提供存儲(chǔ)計(jì)算分離的新架構(gòu)？核心動(dòng)力來自于新興云計(jì)算基礎(chǔ)設(shè)施的成熟，無論是公有云、私有云以及基于 K8s 的容器平臺(tái)，云計(jì)算基礎(chǔ)設(shè)施的革新催生了新的需求。

云本身就是存儲(chǔ)計(jì)算分離的，其極致彈性帶來極大的成本經(jīng)濟(jì)優(yōu)勢(shì)：

計(jì)算資源的彈性：可以根據(jù)計(jì)算負(fù)載的需求，按需購(gòu)買或者按需擴(kuò)縮容計(jì)算節(jié)點(diǎn)，在滿足計(jì)算需求的情況下，使得成本達(dá)到最低；

存儲(chǔ)資源的低成本與彈性：對(duì)象存儲(chǔ)提供極其可靠的低成本存儲(chǔ)，并且按照使用容量計(jì)費(fèi)，這樣可以讓數(shù)據(jù)存儲(chǔ)得更多更久。

即便是沒有使用云平臺(tái)的公司，也可以利用低成本的共享存儲(chǔ)系統(tǒng)，在降低存儲(chǔ)成本和提高計(jì)算彈性的同時(shí)，還能獲得多計(jì)算集群等額外的優(yōu)質(zhì)特性。

未來存算分離架構(gòu)如下圖所示：

存算分離新架構(gòu)

基于共享存儲(chǔ)系統(tǒng)的主數(shù)據(jù)存儲(chǔ)

在存算一體的架構(gòu)下，數(shù)據(jù)主要存儲(chǔ)在計(jì)算節(jié)點(diǎn)上，即使使用了冷熱數(shù)據(jù)分層，熱數(shù)據(jù)依舊只在計(jì)算節(jié)點(diǎn)上存儲(chǔ)，計(jì)算節(jié)點(diǎn)需要依靠自身的多副本機(jī)制保證數(shù)據(jù)的可靠性。在存算分離架構(gòu)下，計(jì)算節(jié)點(diǎn)不再存儲(chǔ)主數(shù)據(jù)，而是將共享存儲(chǔ)層作為統(tǒng)一的數(shù)據(jù)主存儲(chǔ)空間，這將帶來如下收益：

上層的計(jì)算節(jié)點(diǎn)可以做到無狀態(tài)，可以實(shí)現(xiàn)完全關(guān)機(jī)

更便捷的數(shù)據(jù)共享，不同的集群之間以及不同的倉(cāng)庫(kù)可以便捷地進(jìn)行數(shù)據(jù)共享

更簡(jiǎn)易的數(shù)據(jù)備份與恢復(fù)，以及實(shí)現(xiàn)數(shù)據(jù)的 Time Travel

當(dāng)然，成熟穩(wěn)定的 HDFS/對(duì)象存儲(chǔ)還為系統(tǒng)帶來極低的存儲(chǔ)成本和極高的數(shù)據(jù)可靠性，并且大大簡(jiǎn)化上層計(jì)算節(jié)點(diǎn)的實(shí)現(xiàn)復(fù)雜度。

基于本地高速緩存的性能優(yōu)化

存算分離依賴從網(wǎng)絡(luò)上讀取存儲(chǔ)系統(tǒng)的數(shù)據(jù)來進(jìn)行計(jì)算，在一定程度上會(huì)造成計(jì)算性能的下降，這也是相較于存算一體架構(gòu)的主要劣勢(shì)。為了解決這一問題，可以在本地利用 SSD 提供高速緩存。

正如存算一體通過冷熱數(shù)據(jù)分層技術(shù)來大大緩解了存儲(chǔ)和計(jì)算必須同時(shí)擴(kuò)展的問題，同樣在存算分離架構(gòu)中引入計(jì)算節(jié)點(diǎn)本地高速緩存實(shí)際也是融合了存算一體的能力。這種本地高速緩存加上共享存儲(chǔ)系統(tǒng)，我們也可以稱之為混合模式，無論是 Snowflake 還是 Redshift，實(shí)際上都是采用了這種方式來應(yīng)對(duì)底層對(duì)象存儲(chǔ)系統(tǒng)性能不佳和網(wǎng)絡(luò)傳輸帶來的性能下降。

引入本地高速緩存后，系統(tǒng)會(huì)自動(dòng)根據(jù) LRU 來緩存最新寫入和訪問數(shù)據(jù)，當(dāng)然也可以手動(dòng)設(shè)定表的緩存策略。由于只是緩存，因此本地只存儲(chǔ)了單個(gè)副本，這樣大大提升了緩存利用率，相比存算一體模式可以降低 2/3 的高速存儲(chǔ)使用。

另外，在存算一體的模式下，每個(gè) Tablet 有 3 個(gè)節(jié)點(diǎn)來存儲(chǔ)其 3 個(gè)數(shù)據(jù)副本，在三副本上都需要獨(dú)立進(jìn)行數(shù)據(jù)合并（Compaction）計(jì)算。而在存算分離下，只有一個(gè)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)合并計(jì)算，這樣就可以降低 2/3 的數(shù)據(jù)合并計(jì)算量。

所以，通過引入本地高速緩存，不僅僅可以基本達(dá)到原來存算一體的性能，在有些情況下還會(huì)超越原來存算一體的性能。

多計(jì)算集群實(shí)現(xiàn)工作負(fù)載隔離

用戶通常希望對(duì)同一份數(shù)據(jù)上的分析負(fù)載進(jìn)行隔離。例如，導(dǎo)入的工作負(fù)載與查詢的負(fù)載進(jìn)行隔離，Adhoc 的大查詢負(fù)載和在線點(diǎn)查詢的負(fù)載間相互隔離，避免不同負(fù)載間相互資源搶占。 在 Apache Doris 2.0 版本中提供了工作負(fù)載組（Workload Group）的資源隔離方案。

這個(gè)方案是一種軟限隔離，可以為特定查詢或者特定用戶指定查詢優(yōu)先級(jí)，但是基于 Workload Group 的隔離無法達(dá)到存算分離模式下多計(jì)算集群的真正物理隔離性。 在存算分離模式下，提供了同一個(gè)倉(cāng)庫(kù)多個(gè)物理計(jì)算集群的隔離方式。因?yàn)橹鲾?shù)據(jù)存儲(chǔ)在共享的對(duì)象存儲(chǔ)上，因此用戶可以按需創(chuàng)建多個(gè)計(jì)算集群但共享同一份數(shù)據(jù)。計(jì)算集群之間是物理隔離的，可以獨(dú)立擴(kuò)縮容，其計(jì)算節(jié)點(diǎn)的本地高速緩存都是隔離的，這樣保證了盡可能比較好的隔離性。

極致的彈性擴(kuò)縮容

存儲(chǔ)與計(jì)算的分離，帶來的最大優(yōu)勢(shì)是存儲(chǔ)和計(jì)算可以獨(dú)立擴(kuò)縮容。數(shù)據(jù)存儲(chǔ)在 HDFS 或?qū)ο蟠鎯?chǔ)上，可以按需擴(kuò)縮容。每個(gè)計(jì)算集群的計(jì)算節(jié)點(diǎn)，可以實(shí)現(xiàn)更加高效的彈性擴(kuò)縮容，包括手動(dòng)擴(kuò)縮容、分時(shí)擴(kuò)縮容以及自動(dòng)停機(jī)。

存算分離特性演示

在此我們以 SelectDB Cloud 現(xiàn)有產(chǎn)品為例，來向大家演示全新存儲(chǔ)計(jì)算分離模式的特性和功能。 SelectDB Cloud 上新建倉(cāng)庫(kù) SelectDB Cloud 上多集群演示 SelectDB Cloud 上的手動(dòng)擴(kuò)縮容 SelectDB Cloud 上的分時(shí)擴(kuò)縮容 SelectDB Cloud上的集群自動(dòng)啟停

存算分離架構(gòu)的適用場(chǎng)景

基于以上的介紹，毫無疑問也幫助我們進(jìn)一步明晰了存算分離架構(gòu)的適用場(chǎng)景，滿足下列任一條件，存算分離架構(gòu)更適合你：

如果已經(jīng)使用公有云服務(wù)，那么存算分離架構(gòu)絕對(duì)值得嘗試

擁有可靠的共享存儲(chǔ)系統(tǒng)，比如 HDFS、Ceph、對(duì)象存儲(chǔ)等

需要極致彈性擴(kuò)縮容，需要 K8S 容器化，需要運(yùn)行在私有云上

有專職的團(tuán)隊(duì)維護(hù)整個(gè)公司的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)

數(shù)據(jù)湖分析

需要說明的是，針對(duì)不同的技術(shù)群體，存儲(chǔ)、計(jì)算與存算分離這些概念指代著不同的含義。 無論是 Apache Doris 的存算分離、還是 Snowflake 的存算分離，都是指單一系統(tǒng)內(nèi)部存儲(chǔ)和計(jì)算模塊之間的分離。對(duì)于數(shù)據(jù)湖和湖倉(cāng)一體（Lakehouse）的用戶，則是希望做到更加徹底的分離，即計(jì)算系統(tǒng)和存儲(chǔ)系統(tǒng)是兩個(gè)不同的產(chǎn)品。

存儲(chǔ)系統(tǒng)通過統(tǒng)一的開放表格式面向計(jì)算系統(tǒng)開放，而計(jì)算系統(tǒng)也可以開放地對(duì)接不同的底層存儲(chǔ)系統(tǒng)。 對(duì)于 Apache Doris 而言，無論是存算一體的架構(gòu)還是存儲(chǔ)計(jì)算分離的架構(gòu)，都支持湖倉(cāng)一體這種新型 Lakehouse 系統(tǒng)形態(tài)，即可以直接查詢湖存儲(chǔ)以及當(dāng)前流行的各類開放表格式，包括 Hive、Iceberg 和 Hudi 等。

需要說明的是，Apache Doris 目前對(duì)數(shù)據(jù)湖的讀取已經(jīng)比較完備，包括支持 Snapshot 讀和 Time Travel，而后續(xù)還會(huì)進(jìn)一步支持湖上數(shù)據(jù)的寫回，形成更加閉環(huán)的數(shù)據(jù)分析和流轉(zhuǎn)。 除了對(duì)數(shù)據(jù)湖的集成與分析，Apache Doris 目前還支持了對(duì)當(dāng)前常見的關(guān)系型數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)以及 HDFS 上 CSV、Parquet 等格式數(shù)據(jù)的直接查詢分析。

未來計(jì)劃

圍繞著存算分離，SelectDB 技術(shù)團(tuán)隊(duì)會(huì)與 Apache Doris 社區(qū)未來一起推進(jìn)下面相關(guān)方向的研發(fā)： Workload Group 與多計(jì)算集群的融合

當(dāng)前存算一體架構(gòu)下的 Workload Group 與存算分離架構(gòu)的多計(jì)算集群實(shí)際都是用來解決負(fù)載隔離的，一個(gè)偏軟限，一個(gè)是硬限，當(dāng)前具體實(shí)現(xiàn)方式存在一定差異，后面將考慮二者融合，對(duì)用戶而言提供統(tǒng)一一致的使用體驗(yàn)。

與外部數(shù)據(jù)湖更便捷的數(shù)據(jù)導(dǎo)入導(dǎo)出

外部數(shù)據(jù)湖的數(shù)據(jù)可以增量持續(xù)寫入內(nèi)表，也可以使得內(nèi)表的數(shù)據(jù)可以增量持續(xù)寫入到外表數(shù)據(jù)湖的格式。

通過提供更加便捷的外表導(dǎo)入內(nèi)表的功能，Doris 可以持續(xù)加載最新的數(shù)據(jù)湖數(shù)據(jù)，以便提供更高的數(shù)據(jù)計(jì)算性能。

通過提供更加便捷的內(nèi)表導(dǎo)出外表的功能，使得內(nèi)表的數(shù)據(jù)可以增量寫出為開放的外表格式。數(shù)據(jù)轉(zhuǎn)換為開放格式，一個(gè)是方便與相關(guān)大數(shù)據(jù)生態(tài)系統(tǒng)打通，另一個(gè)是打消企業(yè)對(duì)封閉數(shù)據(jù)格式被鎖定的擔(dān)憂。

實(shí)現(xiàn)共享的高速緩存，與計(jì)算節(jié)點(diǎn)進(jìn)一步分離

當(dāng)前存算分離模式下，高速緩存使用的是計(jì)算節(jié)點(diǎn)的本地磁盤，所以計(jì)算節(jié)點(diǎn)還不能做成真正的無狀態(tài)。當(dāng)進(jìn)行節(jié)點(diǎn)快速擴(kuò)容的時(shí)候，需要考慮緩存的預(yù)熱均衡；當(dāng)進(jìn)行節(jié)點(diǎn)快速縮容的時(shí)候，需要考慮緩存的失效，以及向其他節(jié)點(diǎn)的緩存轉(zhuǎn)移。未來，我們將實(shí)現(xiàn)一種與計(jì)算節(jié)點(diǎn)分離的共享高速緩存，實(shí)現(xiàn)計(jì)算、緩存和對(duì)象存儲(chǔ)完全的分離，以便提供秒級(jí)擴(kuò)縮容能力。 存算一體和存算分離兩種模式的融合

存算一體和存算分離的架構(gòu)在部署之初就需要確定下來，而對(duì)于多數(shù)用戶都可能存在不同架構(gòu)之間的轉(zhuǎn)化，因此后續(xù)也會(huì)不斷改進(jìn)實(shí)現(xiàn)方式，讓兩種模式間可以更便捷地進(jìn)行相互轉(zhuǎn)換，甚至逐步融合成一套架構(gòu)。

審核編輯：劉清