0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

最終一致性是現(xiàn)在大部分高可用的分布式系統(tǒng)的核心思路

Linux愛好者 ? 來源:四猿外 ? 作者:四猿外 ? 2021-06-17 14:40 ? 次閱讀

這篇文章我們聊分布式相關(guān)的內(nèi)容。

提到分布式系統(tǒng),就一定繞不開“一致性”,這次我們說說:最終一致性。

最終一致性是現(xiàn)在大部分高可用的分布式系統(tǒng)的核心思路。

估計有人對最終一致性不太熟,先來個簡單介紹:

最終一致性指的是系統(tǒng)中的所有分散在不同節(jié)點(diǎn)的數(shù)據(jù),經(jīng)過一定時間后,最終能夠達(dá)到符合業(yè)務(wù)定義的一致的狀態(tài)。

劃重點(diǎn):

是數(shù)據(jù)一致性,不是事務(wù)一致性(ACID 是事務(wù)一致性);

存在條件:多個節(jié)點(diǎn)/系統(tǒng);

不一致可能是暫時的,最終要一致(鬼知道“最終”是多久)

好,正文開始。

莫看江面平如鏡,要看水底萬丈深

最終一致性,一言以蔽之,過程松,結(jié)果緊。不管中間過程如何,結(jié)果必須符合業(yè)務(wù)需求,滿足數(shù)據(jù)一致性的要求。

雖然,在實(shí)現(xiàn)中,有各種花樣百出的方案,但是本質(zhì)的思想都是一樣的。我們現(xiàn)在就來忽略那些亂花迷眼的過程,仔細(xì)探討下最終一致性的本質(zhì)。

何事居窮道不窮,亂時還與凈時同

在我剛?cè)胄胁痪玫臅r候,能力有限,菜鳥一個,只能做一些小的功能模塊。我印象最深的就是訂單模塊。

用戶下單,訂單模塊收到下單請求后,執(zhí)行對應(yīng)的訂單業(yè)務(wù)邏輯。最終,會把訂單插入到訂單表,并返回下單結(jié)果給用戶。用戶結(jié)算后,訂單模塊就會去根據(jù)支付情況去更新訂單狀態(tài)。

就這點(diǎn)事兒,對我這個技術(shù)渣渣來說,開始也著實(shí)費(fèi)了一番手腳,不過最終也成了熟手,維護(hù)起這個模塊來也駕輕就熟了。

這種簡單的小日子過了一陣子后,新任務(wù)來了!

產(chǎn)品經(jīng)理告訴我,數(shù)據(jù)審計部門想要我維護(hù)的這個訂單模塊在訂單完成后,能及時分發(fā)一份訂單數(shù)據(jù)給他們。他們提供了一個接口,讓我直接傳數(shù)據(jù)給他們。

兩個問題出現(xiàn)了:

問題 1:用戶等待時間變長

最簡單的實(shí)現(xiàn)就是我更新完訂單數(shù)據(jù)后,再順序去調(diào)用數(shù)據(jù)審計部門給的接口,把訂單數(shù)據(jù)傳過去。

但是,從用戶結(jié)算成功到更新訂單狀態(tài)這一系列的流程是同步的,假設(shè)這一系列流程所花費(fèi)的時間是 n 毫秒。這就意味著,用戶需要等待至少 n 毫秒。如果再加上傳給數(shù)據(jù)審計部門的操作時間,假設(shè)為 m 毫秒,則整個用戶就需要等待就 n+m 毫秒。

整個功能用戶等待時間成本上升,體驗(yàn)下降。

問題 2:部分成功,部分失敗

引入新的接口后,某些時候調(diào)用這個接口可能會失敗,比如網(wǎng)絡(luò)問題啊,驗(yàn)證問題啊,接口服務(wù)失敗啊,很多原因。那么問題來了,新接口失敗的時候怎么處理?

如果訂單更新成功,傳給數(shù)據(jù)審計部門的時候失敗了,這種情況會讓訂單模塊的后續(xù)處理變得很尷尬。

首先你不可能返回給客戶端說你這次結(jié)算失敗了,請求就沒失敗,你憑什么說人家失敗了?其次,你又不能說這次業(yè)務(wù)上就是成功的,因?yàn)閿?shù)據(jù)審計其實(shí)還挺重要的,它是業(yè)務(wù)邏輯的重要組成部分。

真是進(jìn)退兩難。

這兩個問題的解決方案其中之一就是最終一致性。

我們以前談到過 CAP,知道如果犧牲一定的一致性就可以保證分區(qū)容錯性和可用性。而最終一致性則是不能保證同時讓所有的數(shù)據(jù)當(dāng)時都符合業(yè)務(wù)需求,但是我們能保證任何時候服務(wù)在內(nèi)部出現(xiàn)問題的時候都是可對外服務(wù)的。

四哥我平時喜歡玩游戲,那我們就用一個淘寶買 Switch 的例子,來解釋最終一致性:

如果你想在淘寶同時買一個 Switch 的數(shù)字版游戲和一臺 Switch,那么你付完錢后,你就可以立刻得到數(shù)字版的游戲,但是,對于那臺購買的 Switch,你就要等幾天,等到快遞投遞到家才可以拿到。

來梳理下這個例子的細(xì)節(jié):

首先淘寶上肯定得有個對顧客售賣 Switch 和數(shù)字游戲的商家去接受我們下的訂單,并給你一個單號。

你得到了一個數(shù)字版游戲,但是沒拿到 Switch。

你不知道這個商家背后 Switch 是怎么給你準(zhǔn)備的,是不是中間他沒貨了還得跑別的商家串貨,又或者沒貨等了兩天才發(fā)給你(延遲發(fā)貨可以給出別的理由,不再贅述)。這些不重要,重要的是你明確對方接單了他就要完成這筆單子。

你下單成功之后,你就有了保障,你最終會拿到你的 Switch,只是你可能不太肯定什么時候收到。

過了幾天,你終于收到貨了,恩,恭喜你成功入坑 Switch。

上面的例子就是我們說的最終一致性。但是,這里有個非常非常重要的東西還沒有凸顯出來,即到底是什么樣的原因在驅(qū)使我們使用最終一致性?

答案就是數(shù)據(jù)的分發(fā)。

紙上得來終覺淺,絕知此事要躬行

為什么我們會出現(xiàn)需要最終一致性的情況呢?

因?yàn)槲覀冃枰褦?shù)據(jù)分發(fā)到不同的地方上去,而由于分發(fā)數(shù)據(jù)到不同的地方,就會導(dǎo)致,可能中間分發(fā)過程中出現(xiàn)分發(fā)成功或者失敗的不一致情況,就需要最終一致性這種思路來處理這些情況。

恩,分發(fā)數(shù)據(jù)……OK,你想到了吧?

沒錯,通過 MQ 分發(fā)消息就可以處理分發(fā)數(shù)據(jù)的情況,而這正是最終一致性最常用的實(shí)現(xiàn)手段。

我們把要分發(fā)的數(shù)據(jù)打包成消息,再發(fā)送給 MQ 中間件。中間件會廣播這些數(shù)據(jù)給所有想要收到這些消息的服務(wù)。這些收到消息的服務(wù)就根據(jù)自己的業(yè)務(wù)情況對數(shù)據(jù)進(jìn)行獨(dú)立的處理。

回到我們訂單模塊的那個例子,我們可以采用兩種方式使用最終一致性。

先插入數(shù)據(jù)庫,后發(fā)消息給數(shù)據(jù)審計

這個方式,訂單模塊先更新訂單狀態(tài)。然后,把訂單數(shù)據(jù)打包成消息發(fā)送到 MQ 中,訂單模塊的任務(wù)就結(jié)束了。剩下的任務(wù)就是由數(shù)據(jù)審計部門根據(jù)自己的業(yè)務(wù),從 MQ 中獲取消息后進(jìn)行對應(yīng)的處理。

這個方法里,我們既保證數(shù)據(jù)庫更新成功也保證數(shù)據(jù)被發(fā)送到了 MQ 中。最終,當(dāng)數(shù)據(jù)審計部門收到消息并根據(jù)消息內(nèi)容做完對應(yīng)的處理后,則整體數(shù)據(jù)達(dá)到最終一致的狀態(tài)。

只插入到 MQ 中

這個方式,訂單模塊直接收到請求后,將數(shù)據(jù)打包成消息放入到 MQ 中。

然后,再由訂單模塊自己和數(shù)據(jù)審計部門的服務(wù)分別從 MQ 中拿到對應(yīng)的消息,再各自根據(jù)自己的業(yè)務(wù)邏輯該更新數(shù)據(jù)庫的更新數(shù)據(jù)庫,該走自己的審計的走自己的審計,最終達(dá)到一致的狀態(tài)。

小荷才露尖尖角,早有蜻蜓立上頭

在以上的例子中,我們描述了最終一致性的核心思路,不保證數(shù)據(jù)狀態(tài)能實(shí)時滿足業(yè)務(wù)要求,但是就像我們在線購物一樣,我們能保證在間隔了一段時間窗口后肯定能滿足業(yè)務(wù)需求。

然而,雖然說起來簡單,但是世間上的事情又哪里那么容易呢?根據(jù)業(yè)務(wù)的不同,最終一致性分化出了多種實(shí)現(xiàn)思路。比如,

重試 + 逆向模式

在我們做支付時,需要記賬,當(dāng)記賬不成功時,我們可能希望能盡可能的重試。當(dāng)重試達(dá)到某種限制后,甚至我們還要通知上游系統(tǒng)去提供一個重試和取消接口,讓下游能通知上游重發(fā)消息,或者先暫時取消操作。

補(bǔ)救任務(wù)模式

在我們做支付記賬失敗了,我們又嘗試了重試 + 逆向模式取消了操作,那么此時就可以創(chuàng)建一個補(bǔ)救任務(wù),等到后期可以保證記賬成功的時候去執(zhí)行這個任務(wù)。

異步消息模式

在我們做轉(zhuǎn)賬的時候,我們肯定是要保證 A 轉(zhuǎn)出后 B 轉(zhuǎn)入這種業(yè)務(wù)是強(qiáng)一致性的。然而,可能此時又需要跨服務(wù)。同時,我們還想盡量保證性能。那么,這個時候我們就可以先把本地對數(shù)據(jù)庫的寫操作和要跨服務(wù)的消息做成事務(wù),然后,后期再根據(jù)消息被處理的狀態(tài)做整體事務(wù)的提交和回滾。

可以看到,最終一致性的實(shí)現(xiàn)方式是多種多樣的,但是,它始終逃不過一個核心,通過消息隊列分發(fā)數(shù)據(jù)。在明白了這個根本原則后,以后我們理解各種各樣的分布式事務(wù),分布式共識等就會容易許多了。

原文標(biāo)題:最終一致性,一致只會遲到,但絕不會缺席

文章出處:【微信公眾號:Linux愛好者】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7030

    瀏覽量

    89038
  • 分布式系統(tǒng)
    +關(guān)注

    關(guān)注

    0

    文章

    146

    瀏覽量

    19231

原文標(biāo)題:最終一致性,一致只會遲到,但絕不會缺席

文章出處:【微信號:LinuxHub,微信公眾號:Linux愛好者】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    一致性測試系統(tǒng)的技術(shù)原理和也應(yīng)用場景

    出現(xiàn)遠(yuǎn)程調(diào)用失敗、消息發(fā)送失敗、并發(fā)bug等問題,這些問題最終會導(dǎo)致系統(tǒng)間的數(shù)據(jù)不一致,導(dǎo)致用戶體驗(yàn)受損、用戶利益受損。因此,需要種在線的校驗(yàn)?zāi)J絹韺?shí)時發(fā)現(xiàn)數(shù)據(jù)不
    發(fā)表于 11-01 15:35

    異構(gòu)計算下緩存一致性的重要

    在眾多回復(fù)中,李博杰同學(xué)的回答被認(rèn)為質(zhì)量最高。他首先將緩存一致性分為兩個主要場景:是主機(jī)內(nèi)CPU與設(shè)備間的一致性;二是跨主機(jī)的一致性
    的頭像 發(fā)表于 10-24 17:00 ?547次閱讀
    異構(gòu)計算下緩存<b class='flag-5'>一致性</b>的重要<b class='flag-5'>性</b>

    分布式云化數(shù)據(jù)庫的優(yōu)缺點(diǎn)分析

    分布式云化數(shù)據(jù)庫的優(yōu)點(diǎn)主要體現(xiàn)在可用性和容錯、可擴(kuò)展性、體系結(jié)構(gòu)、數(shù)據(jù)一致性、成本、升級迭代
    的頭像 發(fā)表于 09-14 09:42 ?271次閱讀

    級聯(lián)一致性和移相器校準(zhǔn)應(yīng)用手冊

    電子發(fā)燒友網(wǎng)站提供《級聯(lián)一致性和移相器校準(zhǔn)應(yīng)用手冊.pdf》資料免費(fèi)下載
    發(fā)表于 08-29 10:48 ?0次下載
    級聯(lián)<b class='flag-5'>一致性</b>和移相器校準(zhǔn)應(yīng)用手冊

    電感值和直流電阻的一致性如何提高?

    提高電感值和直流電阻的一致性,可以從以下幾個方面入手: 、提高電感值的一致性 優(yōu)化磁芯選擇 : 磁芯是電感器的關(guān)鍵組成部分,其材料特性和尺寸直接影響電感值。選擇具有
    的頭像 發(fā)表于 08-19 15:27 ?321次閱讀

    LIN一致性測試規(guī)范2.1

    電子發(fā)燒友網(wǎng)站提供《LIN一致性測試規(guī)范2.1.pdf》資料免費(fèi)下載
    發(fā)表于 08-15 17:14 ?3次下載

    新品發(fā)布 | 同星智能正式推出CAN總線一致性測試系統(tǒng)

    CAN總線一致性測試系統(tǒng)CANFD/CAN總線一致性測試系統(tǒng),在硬件系統(tǒng)上基于同星自主研發(fā)的總線分析工具,干擾儀,
    的頭像 發(fā)表于 07-06 08:21 ?523次閱讀
    新品發(fā)布 | 同星智能正式推出CAN總線<b class='flag-5'>一致性</b>測試<b class='flag-5'>系統(tǒng)</b>

    銅線鍵合焊接一致性:如何突破技術(shù)瓶頸?

    在微電子封裝領(lǐng)域,銅線鍵合技術(shù)以其低成本、高效率和良好的電氣性能等優(yōu)勢,逐漸成為芯片與基板連接的主流方式。然而,銅線鍵合過程中的焊接一致性問題是制約其進(jìn)步發(fā)展和應(yīng)用的關(guān)鍵難題。焊接一致性不僅
    的頭像 發(fā)表于 07-04 10:12 ?1779次閱讀
    銅線鍵合焊接<b class='flag-5'>一致性</b>:如何突破技術(shù)瓶頸?

     QSFP一致性測試的專業(yè)測試設(shè)備

    QSFP一致性測試是確保QSFP光模塊性能穩(wěn)定、可靠的關(guān)鍵環(huán)節(jié),對于保障通信系統(tǒng)的正常運(yùn)行具有重要意義。QSFP(Quad Small Form-factor Pluggable)光模塊是種高密度
    的頭像 發(fā)表于 03-14 10:40 ?599次閱讀
     QSFP<b class='flag-5'>一致性</b>測試的專業(yè)測試設(shè)備

    企業(yè)數(shù)據(jù)備份體系化方法論的七大原則:深入理解數(shù)據(jù)備份的關(guān)鍵原則:應(yīng)用一致性與崩潰一致性的區(qū)別

    在數(shù)字化時代,數(shù)據(jù)備份成為了企業(yè)信息安全的核心環(huán)節(jié)。但在備份過程中,兩個關(guān)鍵概念——應(yīng)用一致性和崩潰一致性,常常被誤解或混淆。本文旨在闡明這兩個概念的差異,并分析它們在數(shù)據(jù)備份中的重要
    的頭像 發(fā)表于 03-11 14:05 ?473次閱讀
    企業(yè)數(shù)據(jù)備份體系化方法論的七大原則:深入理解數(shù)據(jù)備份的關(guān)鍵原則:應(yīng)用<b class='flag-5'>一致性</b>與崩潰<b class='flag-5'>一致性</b>的區(qū)別

    深入理解數(shù)據(jù)備份的關(guān)鍵原則:應(yīng)用一致性與崩潰一致性的區(qū)別

    深入理解數(shù)據(jù)備份的關(guān)鍵原則:應(yīng)用一致性與崩潰一致性的區(qū)別 在數(shù)字化時代,數(shù)據(jù)備份成為了企業(yè)信息安全的核心環(huán)節(jié)。但在備份過程中,兩個關(guān)鍵概念——應(yīng)用一致性和崩潰
    的頭像 發(fā)表于 03-11 11:29 ?923次閱讀
    深入理解數(shù)據(jù)備份的關(guān)鍵原則:應(yīng)用<b class='flag-5'>一致性</b>與崩潰<b class='flag-5'>一致性</b>的區(qū)別

    Hadoop是什么?其核心由兩大部分組成,分別是什么?

    分布式存儲和計算的方式,能夠快速有效地處理大量數(shù)據(jù),并具備良好的擴(kuò)展性和容錯。 Hadoop的核心由兩大部分組成,分別是Hadoop分布式
    的頭像 發(fā)表于 02-05 10:52 ?1852次閱讀

    DDR一致性測試的操作步驟

    介紹DDR一致性的操作步驟。 1. 準(zhǔn)備測試環(huán)境:首先,需要準(zhǔn)備好測試環(huán)境。這包括臺DDR一致性測試設(shè)備,該設(shè)備通常是專門為DDR測試設(shè)計的高性能工具。還需要個計算機(jī)
    的頭像 發(fā)表于 02-01 16:24 ?1540次閱讀

    設(shè)計高效分布式智慧終端系統(tǒng)的關(guān)鍵要素

    和隱私。這包括數(shù)據(jù)加密、身份認(rèn)證、訪問控制等機(jī)制,以及制定嚴(yán)格的安全政策和操作規(guī)程,確保系統(tǒng)的安全。 數(shù)據(jù)一致性 :在分布式
    的頭像 發(fā)表于 01-24 14:52 ?362次閱讀

    分布式智慧終端:挑戰(zhàn)與解決方案

    分布式智慧終端在應(yīng)用中面臨多種挑戰(zhàn),以下是其中些關(guān)鍵的挑戰(zhàn)以及可能的解決方案: 數(shù)據(jù)一致性挑戰(zhàn) :在分布式系統(tǒng)中,數(shù)據(jù)的
    的頭像 發(fā)表于 01-24 14:50 ?448次閱讀