上周末系統(tǒng)變更,配合DBA在IBM小型機(jī)上升級(jí)DB2的數(shù)據(jù)庫(kù)版本,貌似很平常的一件事,但是心里卻起了波瀾。
外面的世界早就變了樣,而我們卻依然在DB2這條路上慣性前行。
1977年,硅谷一個(gè)30多歲的男人,憑借IBM的一個(gè)“失誤”,成功開發(fā)了世界上使用最廣泛,最成功的關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品,就是后來的Oracle。到了1995年,IBM才發(fā)布了其關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品,DB2。
而我,直到2003年,才開始學(xué)習(xí)DB2,起步晚不說,還是個(gè)冷門。一轉(zhuǎn)眼,在這條路走了十多年,為什么不換條路呢?
數(shù)字化轉(zhuǎn)型的新基建
今天,像Oracle、DB2這樣的傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)風(fēng)光了30多年,至于未來,他們應(yīng)該還會(huì)存在,但是我們看到的是,越來越多的應(yīng)用場(chǎng)景被新產(chǎn)品和新技術(shù)替代。
目前,大多數(shù)NoSQL都是面向特定任務(wù)而設(shè)計(jì)出來的,這讓我們有了更多的選擇,如果一味的只用關(guān)系型數(shù)據(jù)庫(kù),可能會(huì)適得其反。
鍵值,列式,文檔和圖,四種NoSQL就像是四大名捕,各個(gè)身懷絕技。尤其是圖數(shù)據(jù)庫(kù),這兩年特別火。根據(jù)Garnter的研究分析,未來幾年,圖數(shù)據(jù)庫(kù)將會(huì)以100%的速度增長(zhǎng)。
最近在看任澤平等人合著的《新基建》,書中提到凡是符合未來新時(shí)代經(jīng)濟(jì)社會(huì)發(fā)展需要的基礎(chǔ)設(shè)施都叫“新基建”。
相對(duì)于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù),新型的圖數(shù)據(jù)庫(kù)就像是數(shù)據(jù)中心里的“新基建”,可以從數(shù)據(jù)挖掘的視角,去審視和發(fā)現(xiàn)大數(shù)據(jù)中存在的有價(jià)值的關(guān)系。
什么是圖數(shù)據(jù)庫(kù)?
我們今天所說的圖(Graph),是圖論的主要研究對(duì)象,是由若干頂點(diǎn)(Vertices)和邊(Edges)組成的,用來存儲(chǔ)實(shí)體的相關(guān)屬性以及它們之間的關(guān)系信息。
圖實(shí)際上是一個(gè)很古老的概念,最早出現(xiàn)在瑞士數(shù)學(xué)家歐拉的學(xué)術(shù)論文中,試圖解決一個(gè)叫“哥尼斯堡七橋”的問題。
隨著社交、電商、零售等行業(yè)的迅猛發(fā)展,這些行業(yè)逐漸形成了一張張基于大數(shù)據(jù)的關(guān)系網(wǎng),如何發(fā)現(xiàn)關(guān)系,利用關(guān)系是亟需解決的問題。
而在面對(duì)復(fù)雜復(fù)雜關(guān)系的處理上,圖是最佳的解決方案。利用圖表現(xiàn)對(duì)象與對(duì)象之間的關(guān)系,在圖上運(yùn)用數(shù)學(xué)算法求解就可以有效解決鏈接爆炸的問題,降低復(fù)雜性,簡(jiǎn)化查詢。
說起圖應(yīng)用的案例,其實(shí)很多,最著名的就是Google的PageRank算法,再比如Linkedin用圖管理社交關(guān)系,實(shí)現(xiàn)好友推薦,Amazon用圖實(shí)現(xiàn)實(shí)時(shí)的商品推薦,商業(yè)銀行用圖做風(fēng)控、實(shí)現(xiàn)反欺詐和反洗錢。
虎虎生威的TigerGraph
說起圖數(shù)據(jù)庫(kù),不得不提大名鼎鼎的Neo4j,尤其是其Cypher查詢語(yǔ)言,讓人有種耳目一新的感覺。
不過由于Neo4j社區(qū)版的功能有限,影響了其適用范圍。目前開源軟件社區(qū)中還有其他幾個(gè)競(jìng)品,DGraph和JanusGraph,這二者都原生支持分布式,但是不支持SQL。另外一個(gè)重要的特征是,DGraph支持原生存儲(chǔ),而JanusGraph需要借助外部存儲(chǔ)系統(tǒng),導(dǎo)致其運(yùn)維成本非常高。
后來,朋友向我推薦了一個(gè)第三代圖數(shù)據(jù)庫(kù)(Graph 3.0)的新產(chǎn)品,TigerGraph,與其技術(shù)人員交流后,發(fā)現(xiàn)產(chǎn)品確實(shí)有過人之處。
總結(jié)一下我對(duì)TigerGraph學(xué)習(xí)和理解:
支持原生圖存儲(chǔ),使得空間占用更少,相比傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在容量上平均減少50%。
支持并行計(jì)算的分布式部署,高效并行加載數(shù)據(jù),支持?jǐn)?shù)據(jù)分片,利于橫向擴(kuò)展。
支持HTAP混合交易負(fù)載,可以很好的處理數(shù)十億的實(shí)體和數(shù)千億的關(guān)系,實(shí)現(xiàn)亞秒級(jí)的查詢響應(yīng)和更多跳的深度鏈接分析。
提供GSQL的專用查詢語(yǔ)言和GraphStudio可視化開發(fā)套件。不過TigerGrpah的GSQL與Neo4j的Cypher語(yǔ)法有一定的差別,目前二者正在制定新一代的GQL,專門用于圖數(shù)據(jù)庫(kù)查詢。
當(dāng)然,TigerGraph還有很多特性,比如支持用戶可擴(kuò)展的圖算法庫(kù)等,唯一美中不足的地方,TigerGraph是一款閉源軟件。
關(guān)于圖的一些思考
雖然圖數(shù)據(jù)庫(kù)在國(guó)內(nèi)互聯(lián)網(wǎng)行業(yè)應(yīng)用較多,但是在金融保險(xiǎn)領(lǐng)域的案例其實(shí)還很少。我司早期嘗試?yán)脠D數(shù)據(jù)庫(kù)技術(shù)實(shí)現(xiàn)了家族營(yíng)銷的業(yè)務(wù)創(chuàng)新。
組織是人的組織,組織內(nèi)部的關(guān)系也很重要。今天看到網(wǎng)上有文章講保險(xiǎn)代理人的模式,從傳統(tǒng)的金字塔開始向前端小團(tuán)隊(duì)、后端大平臺(tái)的方向發(fā)展,利用平臺(tái)賦能扁平靈活的小組織。關(guān)于營(yíng)銷組織中的痛點(diǎn),是不是也可以通過圖計(jì)算進(jìn)行優(yōu)化,提升代理人隊(duì)伍的管理效率呢?
另一方面,在我自己專業(yè)的業(yè)務(wù)連續(xù)性管理方面,也是很好的圖計(jì)算應(yīng)用場(chǎng)景,但是從建模到落地實(shí)施,估計(jì)也是長(zhǎng)路漫漫。目前市面上的產(chǎn)品,好像也沒聽到過哪家是基于圖的方式研發(fā)的。
早期我們看到的MySQL對(duì)與Oracle的替代,使用的是分庫(kù)分表,讀寫分離的套路,其實(shí)不過是一個(gè)維度上的兩個(gè)點(diǎn)在競(jìng)爭(zhēng),但當(dāng)你升到更高的維度,用圖的方式重構(gòu)數(shù)據(jù)時(shí),就不再是彎道超車,屌絲逆襲了,而是變道超車,決勝千里。
目前的很多創(chuàng)新,都是在外圍展開的,對(duì)于真正核心的應(yīng)用改造,無論在應(yīng)用場(chǎng)景,還是理念上都有所欠缺。都知道創(chuàng)新這條路不好走,但如果是戰(zhàn)略性的,就要敢于投入,畢竟一旦成功,收益遠(yuǎn)大于支出。
夢(mèng)想總是要有的,萬(wàn)一實(shí)現(xiàn)了呢。
DBA這碗飯還能吃多久
在一些有規(guī)模的公司里,DBA大概分成兩類。一類面向運(yùn)維的,主要負(fù)責(zé)穩(wěn)定運(yùn)行、性能調(diào)優(yōu)等;另一類,面向應(yīng)用開發(fā),主要是業(yè)務(wù)建模。
在Oracle最新的19C中,已經(jīng)開始講自動(dòng)駕駛“Self-Driven”的概念了,試圖通過人工智能完成數(shù)據(jù)庫(kù)自治。
從前,Oracle數(shù)據(jù)庫(kù)除了專業(yè)的模型設(shè)計(jì)外,還提供大量的可配置參數(shù),給了傳統(tǒng)DBA很大的操作空間,而現(xiàn)在,隨著數(shù)據(jù)庫(kù)產(chǎn)品自身越來越智能,DBA可操作的余地變少了,價(jià)值越來越低,就算遇上難纏的性能問題,也可以通過閃存這樣硬件幫忙把坑填了,而且速度還杠杠的,絕對(duì)比DBA優(yōu)化好使。
另一方面,自動(dòng)化運(yùn)維平臺(tái)也越來越普及,很多工作,在頁(yè)面上點(diǎn)點(diǎn)按鈕就搞定了,復(fù)雜的實(shí)施工作都被平臺(tái)屏蔽掉了。就好像那句話, 離開了平臺(tái),你還是DBA,但有了平臺(tái),你就是操作員。
沒有崗位是一成不變的,隨著像圖數(shù)據(jù)庫(kù)這樣的新技術(shù)的出現(xiàn),讓一些傳統(tǒng)架構(gòu)下的復(fù)雜事務(wù),變得簡(jiǎn)單高效,性能甚至是百倍的提升。而分布式,多副本的集群技術(shù),也讓原來的可用性和性能問題也逐漸弱化,DBA們也差不多是時(shí)候考慮轉(zhuǎn)轉(zhuǎn)型了。
寫在最后
當(dāng)年,董事長(zhǎng)提過新三大件,“買房、買車、買保險(xiǎn)”。
房子,最重要的是什么?位置、位置、位置
汽車,最重要的是什么?安全、安全、安全
保險(xiǎn)、最重要的是什么?保障、保障、保障
今天,你看看賣房的中介,從鏈家的VR視頻看房,到基于行業(yè)圖譜的貝殼找房,各個(gè)都是科技賦能的高手。
但是,對(duì)于保險(xiǎn)公司,最重要的是,隊(duì)伍!隊(duì)伍!隊(duì)伍!
董事長(zhǎng)說我們是一家偉大的銷售公司,科技賦能業(yè)務(wù)。當(dāng)我們把各個(gè)渠道的代理人、客戶和產(chǎn)品等這些實(shí)體和關(guān)系,借助圖數(shù)據(jù)庫(kù)技術(shù),充分發(fā)揮計(jì)算優(yōu)勢(shì),進(jìn)行深度的鏈接分析時(shí),就是科技賦能隊(duì)伍,從而打造出一支高效能的、武裝精良的特種部隊(duì)。
如果把傳統(tǒng)的關(guān)系型數(shù)據(jù)表比作Excel,那么Graph就可以被比作PPT。兩樣技能肯定都是需要的,但是如果用來展現(xiàn),你說哪個(gè)好?當(dāng)然是,有圖有真相。
DBA從來都不是我職業(yè)的全部,但我依然選擇做一個(gè)隱形的DBA。
責(zé)任編輯:lq
-
數(shù)據(jù)庫(kù)
+關(guān)注
關(guān)注
7文章
3842瀏覽量
64581 -
數(shù)字化
+關(guān)注
關(guān)注
8文章
8836瀏覽量
62029 -
新基建
+關(guān)注
關(guān)注
4文章
811瀏覽量
23397
原文標(biāo)題:Hello,圖數(shù)據(jù)庫(kù)!再見,DBA!
文章出處:【微信號(hào):SSDFans,微信公眾號(hào):SSDFans】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論