“無(wú)紙化”業(yè)務(wù)作為商業(yè)銀行的新一代應(yīng)用業(yè)務(wù)，對(duì)于數(shù)據(jù)管理帶來(lái)了新的挑戰(zhàn)

巨杉數(shù)據(jù)庫(kù)目前已經(jīng)在超過(guò)50家大型商業(yè)銀行核心業(yè)務(wù)上線使用，本文為銀行金融科技轉(zhuǎn)型應(yīng)用系列文章第一篇，此后巨杉還將陸續(xù)推出銀行業(yè)應(yīng)用和科技創(chuàng)新文章，大家敬請(qǐng)期待。

隨著銀行業(yè)務(wù)的拓展以及網(wǎng)點(diǎn)業(yè)務(wù)的需求量加大，在新一輪技術(shù)浪潮驅(qū)動(dòng)下，各大商業(yè)銀行也在紛紛推進(jìn)智能網(wǎng)點(diǎn)的建設(shè)。其中，商業(yè)銀行的柜面無(wú)紙化就是最先推進(jìn)的業(yè)務(wù)之一。

包括廣發(fā)銀行、民生銀行在內(nèi)的大型商業(yè)銀行，已經(jīng)于近幾年陸續(xù)上線柜面無(wú)紙化業(yè)務(wù)，并開(kāi)始在全國(guó)網(wǎng)點(diǎn)進(jìn)行推廣使用。今后，隨著柜面無(wú)紙化、“一站式”綜合店員、人工智能等系統(tǒng)的陸續(xù)應(yīng)用，各大商業(yè)銀行也將全面實(shí)現(xiàn)網(wǎng)點(diǎn)智能化轉(zhuǎn)型建設(shè)。

大型商業(yè)銀行，平均有超過(guò)300~400個(gè)業(yè)務(wù)系統(tǒng)，每一個(gè)業(yè)務(wù)系統(tǒng)既有完整技術(shù)棧，又和不同的業(yè)務(wù)之間存在許多的相互依賴(lài)和相關(guān)的關(guān)系，業(yè)務(wù)和技術(shù)復(fù)雜度遠(yuǎn)超其他行業(yè)。此外，銀行對(duì)于平臺(tái)可靠性要求最為嚴(yán)苛，核心數(shù)據(jù)需保證0丟失、0錯(cuò)誤率，核心業(yè)務(wù)系統(tǒng)也有“5個(gè)9”以上的穩(wěn)定性要求。這些要求給后臺(tái)數(shù)據(jù)庫(kù)帶來(lái)了極大的要求，因此業(yè)界也戲稱(chēng)銀行是企業(yè)級(jí)數(shù)據(jù)庫(kù)的“試金石”。

“無(wú)紙化”業(yè)務(wù)作為商業(yè)銀行的新一代應(yīng)用業(yè)務(wù)，對(duì)于數(shù)據(jù)管理帶來(lái)了新的挑戰(zhàn)。針對(duì)銀行在新一代柜面無(wú)紙化業(yè)務(wù)上的痛點(diǎn)需求，巨杉數(shù)據(jù)庫(kù)在保證穩(wěn)定安全的基礎(chǔ)上，利用其所支持的非結(jié)構(gòu)化存儲(chǔ)、結(jié)構(gòu)化事務(wù)、可彈性擴(kuò)張、高可用、以及多數(shù)據(jù)中心災(zāi)備等能力，全面支持廣發(fā)、民生銀行的柜面無(wú)紙化業(yè)務(wù)，為業(yè)務(wù)帶來(lái)巨大提升。

巨杉數(shù)據(jù)庫(kù)分布式雙活部署整體示意圖

非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

作為一款分布式的交易型數(shù)據(jù)庫(kù)，SequoiaDB數(shù)據(jù)庫(kù)提供了同時(shí)存儲(chǔ)結(jié)構(gòu)和和非結(jié)構(gòu)化引擎的機(jī)制，非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)在引擎中主要是以 LOB形式來(lái)實(shí)現(xiàn)的。SequoiaDB 3.0在對(duì)象存儲(chǔ)API的基礎(chǔ)之上提供了標(biāo)準(zhǔn)Posix文件系統(tǒng)接口，能夠原生接入任何支持Posix協(xié)議標(biāo)準(zhǔn)的操作系統(tǒng)，用戶(hù)對(duì)應(yīng)用程序無(wú)需任何改造即可從NAS遷移至SequoiaDB。

在巨杉數(shù)據(jù)庫(kù)中，LOB大對(duì)象存儲(chǔ)引擎可將各種尺寸的非結(jié)構(gòu)化文件切分成小存儲(chǔ)塊，按散列映射存放于集群的多個(gè)數(shù)據(jù)組，實(shí)現(xiàn)文件的高效并發(fā)存取，對(duì)外提供對(duì)象標(biāo)識(shí)進(jìn)行文件訪問(wèn)。

在巨杉數(shù)據(jù)庫(kù)中，LOB存儲(chǔ)結(jié)構(gòu)分為元數(shù)據(jù)文件（lobm）與數(shù)據(jù)文件（lobd）。其中，元數(shù)據(jù)文件存儲(chǔ)整個(gè)LOB數(shù)據(jù)文件的元數(shù)據(jù)模型，包括每個(gè)頁(yè)的空閑狀況、散列桶、以及數(shù)據(jù)映射表等一系列數(shù)據(jù)結(jié)構(gòu)。而數(shù)據(jù)文件則存儲(chǔ)用戶(hù)真實(shí)數(shù)據(jù)，數(shù)據(jù)頭之后所有數(shù)據(jù)頁(yè)按照page size進(jìn)行切分，每個(gè)數(shù)據(jù)頁(yè)不包含任何元數(shù)據(jù)信息。

與結(jié)構(gòu)化數(shù)據(jù)的記錄引擎完全不同，巨杉數(shù)據(jù)庫(kù)的非結(jié)構(gòu)化存儲(chǔ)提供了原生的對(duì)象文件塊存儲(chǔ)機(jī)制，同時(shí)適用于影像類(lèi)大文件與票據(jù)類(lèi)小文件。在巨杉數(shù)據(jù)庫(kù)對(duì)小文件存儲(chǔ)與檢索的過(guò)程當(dāng)中，每個(gè)數(shù)據(jù)塊均使用散列算法判斷其所處的物理位置，因此不會(huì)進(jìn)行任何物理查表操作，數(shù)據(jù)庫(kù)也不需要維護(hù)每個(gè)對(duì)象文件的物理位置表，因此不論從安全性、吞吐量、以及響應(yīng)速度都遠(yuǎn)遠(yuǎn)高于其他同類(lèi)對(duì)象存儲(chǔ)。

多活與災(zāi)備

巨杉數(shù)據(jù)庫(kù)的原生分布式架構(gòu)，一方面提供了引擎級(jí)別的內(nèi)部數(shù)據(jù)多副本和高可用以及基于Raft算法的數(shù)據(jù)一致性的保證。同時(shí)，在跨數(shù)據(jù)中心層面，可以做到分布式集群為單位的容災(zāi)和多活機(jī)制，在滿(mǎn)足數(shù)據(jù)安全要求下減少了數(shù)據(jù)安全方面的部署和運(yùn)維難度。

從多活架構(gòu)的角度看，巨杉數(shù)據(jù)庫(kù)都秉承著計(jì)算存儲(chǔ)分離的設(shè)計(jì)思路，因此其SQL解析與執(zhí)行器往往與數(shù)據(jù)存儲(chǔ)和事務(wù)控制分別運(yùn)行在不同的進(jìn)程中。在這種情況下，利用數(shù)據(jù)庫(kù)自身分布式與三副本復(fù)制的特性，將數(shù)據(jù)打散放置在多個(gè)數(shù)據(jù)中心內(nèi)，每個(gè)數(shù)據(jù)中心配置本地SQL服務(wù)節(jié)點(diǎn)，從應(yīng)用程序的角度看不需要關(guān)注底層數(shù)據(jù)庫(kù)的主從架構(gòu)，僅需要通過(guò)JDBC連接到本地的SQL服務(wù)節(jié)點(diǎn)進(jìn)行讀寫(xiě)操作即可。在這種架構(gòu)下，每個(gè)SQL節(jié)點(diǎn)完全對(duì)等，并均可以處理讀寫(xiě)操作。所有的事務(wù)控制、一致性控制、鎖等待等機(jī)制都由底層的分布式數(shù)據(jù)庫(kù)直接提供。

以?xún)傻厝行臑槔?，在該架?gòu)中，城市A機(jī)房1作為主機(jī)房，提供與同城的機(jī)房2之間的同步數(shù)據(jù)復(fù)制。而對(duì)于城市B的機(jī)房來(lái)說(shuō)，在帶寬足夠的情況下可以選擇使用同步機(jī)制與城市A的機(jī)房進(jìn)行數(shù)據(jù)復(fù)制。而在帶寬不足時(shí)則可以選擇異步的復(fù)制方式。

同時(shí)，巨杉也支持異地災(zāi)備機(jī)房的定期追加更新。用戶(hù)可以通過(guò)定義異地災(zāi)備機(jī)房的同步策略，使災(zāi)備機(jī)房定期進(jìn)行日志文件的同步，以做到災(zāi)備機(jī)房與主機(jī)房的數(shù)據(jù)擁有一定的時(shí)間差異，避免手工誤操作。

高性能實(shí)時(shí)性能響應(yīng)

通過(guò)分布式架構(gòu)，多維數(shù)據(jù)分區(qū)，高性能索引，以及數(shù)據(jù)壓縮等機(jī)制，影像平臺(tái)無(wú)論非結(jié)構(gòu)化數(shù)據(jù)還是結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)量下依舊保持性能的平滑擴(kuò)展，實(shí)時(shí)響應(yīng)。在性能測(cè)試對(duì)比中，對(duì)比巨杉數(shù)據(jù)庫(kù)，傳統(tǒng)NAS方案想要達(dá)到同樣吞吐量至少需要3倍以上的磁盤(pán)數(shù)量。

以下是巨杉數(shù)據(jù)庫(kù)在實(shí)際測(cè)試環(huán)境中，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)管理這塊的測(cè)試數(shù)據(jù)：

2GB/s的整體吞吐量，分布式架構(gòu)

6節(jié)點(diǎn)x86服務(wù)器、整個(gè)集群共36塊SAS盤(pán)

傳統(tǒng)方案，高端配置：1.5GB/s 120塊盤(pán)以上

100%寫(xiě)入場(chǎng)景

100%讀取場(chǎng)景

混合業(yè)務(wù)場(chǎng)景

巨杉數(shù)據(jù)庫(kù)為底層數(shù)據(jù)引擎的分布式非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)，已經(jīng)在包括民生銀行、廣發(fā)銀行在內(nèi)的超過(guò)50家大型銀行業(yè)務(wù)應(yīng)用。在某大型股份制商業(yè)銀行業(yè)務(wù)系統(tǒng)中，巨杉數(shù)據(jù)庫(kù)總集群部署節(jié)點(diǎn)數(shù)達(dá)到122臺(tái)物理服務(wù)器，部署邏輯節(jié)點(diǎn)1530個(gè)，平臺(tái)服務(wù)銀行網(wǎng)點(diǎn)數(shù)超過(guò)840個(gè) ，性能響應(yīng)在毫秒級(jí)別，數(shù)據(jù)實(shí)現(xiàn)了同城數(shù)據(jù)中心災(zāi)備和雙活。

民生銀行：

民生銀行是中國(guó)第一家主要由民營(yíng)企業(yè)發(fā)起設(shè)立的全國(guó)性股份制商業(yè)銀行

，截至2017年末，中國(guó)民生銀行已經(jīng)成為資產(chǎn)總額59,020.86億元，一級(jí)資本凈額超過(guò)3800億元、資產(chǎn)總額超過(guò)5.9萬(wàn)億元、分支機(jī)構(gòu)近3000家、員工近5.8萬(wàn)人的大型商業(yè)銀行。在英國(guó)《銀行家》雜志2017年7月發(fā)布的全球1000家大銀行排名中，中國(guó)民生銀行位居第29位。民生銀行堅(jiān)持“民營(yíng)企業(yè)的銀行、科技金融的銀行、綜合服務(wù)的銀行”的戰(zhàn)略定位，銳意變革創(chuàng)新，加速戰(zhàn)略轉(zhuǎn)型，致力于成為一家特色鮮明、價(jià)值成長(zhǎng)、持續(xù)創(chuàng)新的標(biāo)桿性銀行。

(摘自民生銀行官網(wǎng))

廣發(fā)銀行：

廣發(fā)銀行是國(guó)內(nèi)首批組建的股份制商業(yè)銀行之一。目前在全國(guó)設(shè)立了43家一級(jí)分行、843家營(yíng)業(yè)機(jī)構(gòu)，并與全球125個(gè)國(guó)家和地區(qū)的1,718家銀行總部及其分支機(jī)構(gòu)建立了代理行關(guān)系，為超過(guò)30萬(wàn)對(duì)公客戶(hù)、3,422萬(wàn)個(gè)人客戶(hù)、5,711萬(wàn)張信用卡客戶(hù)、2,427萬(wàn)移動(dòng)金融客戶(hù)提供優(yōu)質(zhì)、全面的金融服務(wù)。廣發(fā)銀行在移動(dòng)金融創(chuàng)新領(lǐng)域一直走在行業(yè)前列，強(qiáng)力推動(dòng)智慧化銀行發(fā)展，持續(xù)推動(dòng)移動(dòng)金融創(chuàng)新，在升級(jí)普惠金融、助力實(shí)體經(jīng)濟(jì)等方面取得了豐富成果。

（摘自廣發(fā)銀行官網(wǎng)）

關(guān)于巨杉數(shù)據(jù)庫(kù)

目前，巨杉數(shù)據(jù)庫(kù)已經(jīng)在目前，巨杉數(shù)據(jù)庫(kù)付費(fèi)企業(yè)級(jí)客戶(hù)與社區(qū)用戶(hù)總數(shù)超過(guò)1000家，并已在超過(guò)50家500強(qiáng)級(jí)別的銀行、保險(xiǎn)、證券等大型金融機(jī)構(gòu)生產(chǎn)業(yè)務(wù)上線。

對(duì)于非結(jié)構(gòu)化數(shù)據(jù)管理，巨杉數(shù)據(jù)庫(kù)在金融行業(yè)的應(yīng)用場(chǎng)景包括：金融行業(yè)新一代影像平臺(tái)、內(nèi)容管理云平臺(tái)、傳統(tǒng)ECM替換、計(jì)算機(jī)視覺(jué)與人工智能、金融雙錄系統(tǒng)以及電子證照等數(shù)十個(gè)個(gè)業(yè)務(wù)場(chǎng)景。