本文主要從研發(fā)人員的角度,結(jié)合研發(fā)人員日常常見的各類業(yè)務(wù)場景,從經(jīng)典系統(tǒng)框架的每一層入手分析冪等處理的時機(jī)。希望通過這篇文章的分析,讓開發(fā)者在日常開發(fā)中對冪等的處理不再陌生。抓住導(dǎo)致請求、接口不冪等的本質(zhì),在工作中避免再陷入這個陷阱中。
冪等、冪等性這詞,作為一個研發(fā)人員是再熟悉不過的,那是否有深入思考過冪等產(chǎn)生的背景、為什么需要冪等,如何做才是冪等的?今天將結(jié)合業(yè)務(wù)場景及請求的過程來分析解決冪等(性)的方法。
01 概念
冪等這個概念,是一個數(shù)學(xué)上的概念,即:f……(f(f(x))) = f(x)。用在計算機(jī)領(lǐng)域,指的是系統(tǒng)里的接口或方法對外的一種承諾,使用相同參數(shù)對同一資源重復(fù)調(diào)用某個接口或方法的結(jié)果與調(diào)用一次的結(jié)果相同。
02 業(yè)務(wù)場景
從業(yè)務(wù)場景上來說,如:現(xiàn)在互聯(lián)網(wǎng)電商的下單服務(wù),同一個用戶在短時間內(nèi)調(diào)用某一個下單服務(wù),只能下單成功一次;銀行賬戶之間的轉(zhuǎn)賬,A賬戶給B賬戶轉(zhuǎn)賬,無論系統(tǒng)出現(xiàn)什么問題或故障,也只能轉(zhuǎn)賬成功一次;前端頁面對相同表單的內(nèi)容多次向后端發(fā)起提交請求,后端只能給出一個相同的結(jié)果等都屬于冪等的范疇。
試想一下,如果提供的這些服務(wù)不是冪等的,客戶在下單時由于網(wǎng)絡(luò)不穩(wěn)定或是連續(xù)點(diǎn)了幾次下單按鈕,實際客戶只下了一單,結(jié)果系統(tǒng)里給客戶生成了多單,那平臺/商家將是無法承受的,如果被“羊毛黨”盯上,損失是無可估量的;銀行之間的轉(zhuǎn)賬,A賬戶本來實際給B賬戶只轉(zhuǎn)了一百萬,結(jié)果B賬戶收到了幾百萬,這在業(yè)務(wù)上是不可接受的。分析這些業(yè)務(wù)場景,開發(fā)者發(fā)現(xiàn),無論是下單服務(wù)、轉(zhuǎn)賬服務(wù)還是表單提交都是一個個業(yè)務(wù)請求,提供這些業(yè)務(wù)服務(wù)的接口或方法都應(yīng)該保證無論服務(wù)是超時、重試或有故障等異常情況,都要滿足業(yè)務(wù)上的處理結(jié)果是正確的。業(yè)務(wù)上的一次或多次請求,最終的處理結(jié)果是一致的,即:在一定時間內(nèi),服務(wù)的冪等其實就是請求的冪等。
03 架構(gòu)分析
從系統(tǒng)架構(gòu)上進(jìn)行分析,冪等該在哪一層去做,怎么做?
圖1 經(jīng)典系統(tǒng)框架圖
上圖為一個最常見的經(jīng)典系統(tǒng)框架圖,Web端發(fā)起一個請求到后端,冪等該在哪一層來處理呢?不妨一層一層的分析。
Nginx是否需要做冪等,Nginx的主要功能是做Web服務(wù)器、反向代理、負(fù)載均衡等,把請求轉(zhuǎn)發(fā)到后端的服務(wù)器上,本身不參與具體的業(yè)務(wù),所以Nginx是不需要做冪等處理的;Gateway是負(fù)責(zé)權(quán)限校驗、安全防御、認(rèn)證鑒權(quán)、流量控制、協(xié)議轉(zhuǎn)換、日志審計、監(jiān)控等,本身也不含對任何業(yè)務(wù)的處理,所以其也不需要做冪等處理;Service層通常是對業(yè)務(wù)邏輯進(jìn)行處理、編排,可能會改變數(shù)據(jù),但對于數(shù)據(jù)的改變結(jié)果,最終也還是需要通過數(shù)據(jù)訪問層,寫入到數(shù)據(jù)庫,所以Service層也不需要做數(shù)據(jù)冪等;DAO層主要是和數(shù)據(jù)庫交互,把Service層的結(jié)果寫入數(shù)據(jù)庫,對Service層提供讀取、寫入數(shù)據(jù)庫的功能。
在寫入數(shù)據(jù)庫的時候,針對每一次的寫入,可能返回不同的結(jié)果,此時就需要按場景進(jìn)行具體的分析對待;DataBase層,主要提供數(shù)據(jù)的存儲,并不參與具體的業(yè)務(wù)邏輯計算。所以,通過對該架構(gòu)的每一層的功能分析,得出對于請求的冪等處理,需要在DAO層做處理,以便保證多次請求和一次請求的結(jié)果是一致的。
04 數(shù)據(jù)庫操作分析
通過上面的分析,得出冪等需要在DAO層來處理,再進(jìn)一步分析,得出DAO層的操作主要就是CRUD。下面逐一對每一種操作分析是否需要做冪等,以及怎么做。
R(read):對應(yīng)的操作SQL語句為select。只要查詢條件不變,在一定的時間內(nèi),執(zhí)行一次和執(zhí)行多次返回的結(jié)果肯定是相同的,所以其本身是冪等的,不需要再做處理。
select * from user where id = 1;查詢一次或多次結(jié)果是一致的,所以是冪等的。
C(create):對應(yīng)的操作SQL語句為insert。此時,需要分情況,如果用到的數(shù)據(jù)庫主鍵為數(shù)據(jù)庫自增,不考慮業(yè)務(wù)主鍵防重的情況下,每一次寫入數(shù)據(jù)庫就不是冪等的,所以為了保證冪等,需要在數(shù)據(jù)insert前做業(yè)務(wù)防重或是在數(shù)據(jù)庫表上對業(yè)務(wù)主鍵加唯一索引。
如果數(shù)據(jù)庫主鍵不是自增,是由業(yè)務(wù)系統(tǒng)寫入的,需要在業(yè)務(wù)系統(tǒng)里把數(shù)據(jù)庫主鍵和業(yè)務(wù)主鍵做一對一映射,或是由獨(dú)立服務(wù)提供數(shù)據(jù)庫主鍵和業(yè)務(wù)主鍵的映射關(guān)系,保證多次請求獲取到的數(shù)據(jù)庫主鍵和業(yè)務(wù)主鍵是一致的,確保寫入數(shù)據(jù)庫操作是冪等的。綜合來說,就是相同的數(shù)據(jù)多次寫入數(shù)據(jù)庫后,能否保證只有一條數(shù)據(jù)。
insert into user (id,age,sex,ts) values(1,10,‘male’,2021-07-20 10:22:23);
U(update):對應(yīng)的操作SQL語句為update。更新操作時,一定是要用絕對值進(jìn)行更新操作,而不要用相對值進(jìn)行更新,相對值更新可能導(dǎo)致更新操作不冪等。
冪等:
update user set age = 10 where id = 1;
非冪等:
update user set age++ where id = 1;
D(delete):對應(yīng)的操作SQL語句為delete。刪除操作時,如果刪除的是一個范圍,生產(chǎn)上最好是禁止該類操作;比較推薦的做法是把按范圍操作刪除轉(zhuǎn)換為先按范圍查詢,再按查詢的主鍵進(jìn)行刪除。而且按范圍刪除的操作不是冪等的。
冪等:
delete from user where id = 1;
非冪等:該類操作要禁止。
deletefromuserwhereidin(selectidfromuserorderbyiddesclimit10);
05 常見業(yè)務(wù)場景
保證冪等的實現(xiàn)方式有多種,此處例舉幾類常見的業(yè)務(wù)場景,在實際應(yīng)用中,根據(jù)業(yè)務(wù)場景進(jìn)行選用。
1. 前端頁面提交時,頁面token機(jī)制。
進(jìn)入頁面時,從服務(wù)器獲取token,在服務(wù)器端把token進(jìn)行存儲,提交時把token帶到服務(wù)器端進(jìn)行驗證;常見的處理流程如下:
圖2 頁面token機(jī)制處理流程
樂觀鎖機(jī)制,使用數(shù)據(jù)庫的版本號實現(xiàn)樂觀鎖,數(shù)據(jù)庫更新時,判斷版本號是否與查詢時保持一致,一致更新成功,否則更新失?。?/p>
select+insert,數(shù)據(jù)寫入前,先查詢數(shù)據(jù)是否存在,存在直接返回,不存在則寫入數(shù)據(jù),保證寫入數(shù)據(jù)庫的數(shù)據(jù)正確性;常用于并發(fā)不高的一些后臺系統(tǒng)或是防止任務(wù)的重復(fù)執(zhí)行;
悲觀鎖機(jī)制,一般id為主鍵或唯一索引,僅鎖定當(dāng)前記錄;
select*fromtablewhere id='1234'forupdate;
去重表,每一次寫入或更新業(yè)務(wù)表時,先查詢?nèi)ブ乇硎欠褚呀?jīng)存在記錄,再操作業(yè)務(wù)表。
數(shù)據(jù)庫唯一索引,為業(yè)務(wù)表建立唯一索引,避免業(yè)務(wù)數(shù)據(jù)多次寫入;
狀態(tài)機(jī),業(yè)務(wù)狀態(tài)在變更之前是有條件的,必須按設(shè)定的狀態(tài)條件進(jìn)行更新;
在實際開發(fā)中,保證提供的接口或服務(wù)的冪等(性),是一個最基本的技術(shù)要求,希望通過該分析,能對還未理解冪等(性)的研發(fā)人員有所幫助。
審核編輯:劉清
-
SQL
+關(guān)注
關(guān)注
1文章
764瀏覽量
44157 -
數(shù)據(jù)庫
+關(guān)注
關(guān)注
7文章
3807瀏覽量
64434 -
Web服務(wù)器
+關(guān)注
關(guān)注
0文章
138瀏覽量
24409 -
狀態(tài)機(jī)
+關(guān)注
關(guān)注
2文章
492瀏覽量
27550
原文標(biāo)題:冪等設(shè)計詳解
文章出處:【微信號:OSC開源社區(qū),微信公眾號:OSC開源社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論