ChatGPT連續(xù)宕機(jī)五次，是真不把高可用當(dāng)回事？

最近一段時(shí)間以來(lái)，ChatGPT 火遍全球，然而在飛速的用戶增長(zhǎng)下，ChatGPT 卻有點(diǎn)不堪重負(fù)，兩天內(nèi)宕機(jī)了五次。

這次宕機(jī)事件，再一次凸顯了高可用架構(gòu)的重要性，畢竟任何一個(gè)飛速發(fā)展的應(yīng)用在兩天內(nèi)宕機(jī)五次，所帶來(lái)的損失都是難以接受的。

如果說(shuō) ChatGPT 還是由于請(qǐng)求量激增導(dǎo)致的服務(wù)不穩(wěn)定，那么以下幾個(gè)案例就是純粹的基礎(chǔ)設(shè)施沒(méi)做好而導(dǎo)致的服務(wù)宕機(jī)了：

2021年8月31日，美國(guó)在線辦公軟件 Notion 在全球范圍內(nèi)出現(xiàn)宕機(jī)。

2021年6月17日，美國(guó)在線協(xié)作工具 Figma 在全球范圍內(nèi)出現(xiàn)宕機(jī)。

2021年3月9日，全球最大的代碼托管平臺(tái) GitHub 在全球范圍內(nèi)出現(xiàn)宕機(jī)。

它們事后都在推特上披露了事故原因，都是因?yàn)閿?shù)據(jù)庫(kù)/數(shù)據(jù)中心發(fā)生不穩(wěn)定而導(dǎo)致的宕機(jī)事件，應(yīng)用服務(wù)的基礎(chǔ)設(shè)施穩(wěn)定性、可用性再一次成為大型宕機(jī)事故的高發(fā)原因。

尤其是在 2023 年的現(xiàn)在，互聯(lián)網(wǎng)已經(jīng)成為了無(wú)處不在的基礎(chǔ)設(shè)施，和電力一樣成為了現(xiàn)代人生活中不可或缺的一部分，任何一個(gè)公司的應(yīng)用如果發(fā)生了宕機(jī)事件都有可能失去在互聯(lián)網(wǎng)發(fā)展的契機(jī)，因?yàn)閷?duì)于用戶來(lái)說(shuō)，幾乎每個(gè)賽道都有替代品，你的應(yīng)用在我需要使用的時(shí)候出問(wèn)題了，或許我轉(zhuǎn)頭就卸載下載競(jìng)品了。

所以現(xiàn)在的公司都在做應(yīng)用的時(shí)候也都會(huì)非常關(guān)注應(yīng)用架構(gòu)，稍微大一點(diǎn)的公司或者是有長(zhǎng)遠(yuǎn)發(fā)展的規(guī)劃的公司，都會(huì)上云做一套高可用架構(gòu)以保證突發(fā)情況能夠順利度過(guò)。

這就像你開(kāi)車(chē)出門(mén)沒(méi)買(mǎi)交強(qiáng)險(xiǎn)，不小心追尾奔馳了，本來(lái)提前買(mǎi)保險(xiǎn)2000塊錢(qián)就能解決的事，這下子可能得花兩萬(wàn)塊錢(qián)才能解決，如果你再不幸一點(diǎn)，追尾了法拉利那可能得花二十萬(wàn)才能解決了。

無(wú)論哪種情況都遠(yuǎn)超你當(dāng)初的提前投入。

那么，云廠商的高可用架構(gòu)到底有什么優(yōu)勢(shì)能如此強(qiáng)大呢？

什么是高可用架構(gòu)

在回答云上高可用架構(gòu)之前，我們先來(lái)說(shuō)說(shuō)高可用架構(gòu)。

高可用架構(gòu)是指設(shè)計(jì)具有高度可靠性、穩(wěn)定性、可擴(kuò)展性和容錯(cuò)性的軟件系統(tǒng)，以確保系統(tǒng)在面對(duì)大量請(qǐng)求和異常情況時(shí)能夠保持穩(wěn)定的性能和可用性。

下圖是一個(gè)簡(jiǎn)化版的軟件架構(gòu)發(fā)展歷程圖：

img

這張圖大致將軟件架構(gòu)分為三個(gè)階段：

單實(shí)例階段：這個(gè)階段用戶量較少，數(shù)據(jù)庫(kù)與應(yīng)用都部署在同一臺(tái)服務(wù)器上，數(shù)據(jù)庫(kù)或者服務(wù)器網(wǎng)絡(luò)分區(qū)出現(xiàn)問(wèn)題，都會(huì)導(dǎo)致應(yīng)用不可用。

單區(qū)高可用階段：這個(gè)階段服務(wù)器和數(shù)據(jù)庫(kù)都已經(jīng)集群化，集群中的機(jī)器分布在一個(gè)大區(qū)的不同機(jī)房中，集群中的任何一個(gè)機(jī)器發(fā)生問(wèn)題，都不會(huì)影響整體的應(yīng)用可用性，但是它們整體還是處在同一個(gè)區(qū)域的數(shù)據(jù)中心，所以這種方案也可以被稱之為同城雙活。

多區(qū)高可用階段：多區(qū)高可用是在單區(qū)高可用的基礎(chǔ)上將機(jī)房擴(kuò)大到多個(gè)大區(qū)中，比如華東大區(qū)和華南大區(qū)，每個(gè)大區(qū)都要一整套完整的服務(wù)集群，大區(qū)與大區(qū)之間通過(guò)專線進(jìn)行數(shù)據(jù)同步，這種設(shè)計(jì)可以在某個(gè)大區(qū)故障時(shí)立即切換流量到另一個(gè)大區(qū)，這個(gè)方案也是大家俗稱異地多活。

越高級(jí)的架構(gòu)抵御風(fēng)險(xiǎn)的能力越強(qiáng)，就像你家的房子（單實(shí)例）只能抗5級(jí)地震，但是別人家的房子（多區(qū)高可用）是為抗震單獨(dú)設(shè)計(jì)過(guò)的，真到地震來(lái)了別人家的房子可以在八級(jí)地震下依然完好無(wú)損，這就是高可用的優(yōu)勢(shì)。

說(shuō)到這，好像很多人會(huì)把高可用和高可靠傻傻分不清，那我就舉一個(gè)例子來(lái)說(shuō)明他倆的區(qū)別：

如果一個(gè)系統(tǒng)在每小時(shí)奔潰1ms，那么它的可用性超過(guò)99.9999%，但它是高度不可靠的。

如果一個(gè)系統(tǒng)從來(lái)不崩潰，但是每年要停機(jī)兩星期保養(yǎng)，那它是高度可靠的，但是可用性只有96%。

在現(xiàn)代應(yīng)用系統(tǒng)中，造成高可靠下降的因素多是不可抗力，所以都著力保障高可用優(yōu)先，對(duì)于真正的 C 端客戶來(lái)說(shuō)，其實(shí)高可用和高可靠就是一回事，就是無(wú)論什么時(shí)候、出現(xiàn)什么情況，服務(wù)都能照常使用。

一般來(lái)說(shuō)，傳統(tǒng)的高可用的架構(gòu)主要從以下四個(gè)方面來(lái)保證服務(wù)的高可用：

負(fù)載均衡：通過(guò)使用負(fù)載均衡器（如SLB，一般是 NGINX 集群）對(duì)多臺(tái)服務(wù)器進(jìn)行流量分發(fā)，可以提高系統(tǒng)的性能、擴(kuò)展性和容錯(cuò)性。

冗余備份：通過(guò)使用多可用區(qū)、多機(jī)房、多地域等方式，可以實(shí)現(xiàn)數(shù)據(jù)和服務(wù)的冗余備份，以防止單點(diǎn)故障或?yàn)?zāi)難恢復(fù)，這在遇到不可抗因素時(shí)（區(qū)域網(wǎng)絡(luò)斷網(wǎng)、地震）極其重要。

服務(wù)降級(jí)：通過(guò)使用熔斷器、限流器、降級(jí)器等技術(shù)，可以實(shí)現(xiàn)服務(wù)的降級(jí)處理，以保證核心功能的正常運(yùn)行，避免雪崩效應(yīng)。

監(jiān)控報(bào)警：通過(guò)使用監(jiān)控系統(tǒng)（如Prometheus）和報(bào)警系統(tǒng)（如Alertmanager）對(duì)系統(tǒng)的各個(gè)指標(biāo)進(jìn)行實(shí)時(shí)監(jiān)控和異常報(bào)警，可以及時(shí)發(fā)現(xiàn)和解決問(wèn)題，提高系統(tǒng)的穩(wěn)定性。

以上只是傳統(tǒng)高可用架構(gòu)的優(yōu)勢(shì)，但是現(xiàn)在的高可用架構(gòu)基本都會(huì)上云，云上高可用架構(gòu)比之傳統(tǒng)高可用就又多了幾個(gè)優(yōu)勢(shì)。

云上高可用架構(gòu)

動(dòng)態(tài)擴(kuò)容

動(dòng)態(tài)擴(kuò)容是云廠商的一個(gè)重磅功能，它可以讓你在極短的時(shí)間內(nèi)快速部署大量應(yīng)用以應(yīng)對(duì)用戶的快速增長(zhǎng)。

假如你是一個(gè)小鎮(zhèn)青年，花費(fèi)三年心血推出一款產(chǎn)品，一經(jīng)上市便被用戶自發(fā)傳播，用戶量呈指數(shù)級(jí)上升，或許再過(guò)不久你即將走上人生巔峰，但是因?yàn)橛脩袅康募ぴ瞿愕姆?wù)器資源與數(shù)據(jù)庫(kù)資源天天告警，因?yàn)橘Y源的不足，用戶使用起來(lái)也越來(lái)越卡，競(jìng)品公司看到你的產(chǎn)品這么火，馬上抄了一個(gè)，已經(jīng)投入了市場(chǎng)開(kāi)始推廣。

此時(shí)如果你的應(yīng)用上云了，那么你可以：登錄你的云服務(wù)賬號(hào)，揮動(dòng)鼠標(biāo)點(diǎn)擊幾下擴(kuò)容，將服務(wù)器和數(shù)據(jù)庫(kù)資源瞬間擴(kuò)大 N 倍，保證用戶的體驗(yàn)，避免用戶流失。

img

甚至你都不需要自己去處理擴(kuò)容問(wèn)題，如上圖所示，現(xiàn)在的云廠商都支持預(yù)設(shè)擴(kuò)容規(guī)則，當(dāng)服務(wù)器壓力達(dá)到你設(shè)置的一定條件后可以自行進(jìn)行擴(kuò)容，這樣你就不必在深夜被服務(wù)器報(bào)警吵醒。

此時(shí)如果你的應(yīng)用沒(méi)上云，那么你可以：趕緊買(mǎi)一臺(tái)高性能服務(wù)器并且搭建環(huán)境，然后把應(yīng)用在新的服務(wù)器上也部署一份，并且發(fā)布到測(cè)試環(huán)境開(kāi)始調(diào)試，最后提心吊膽發(fā)布上線，這么一折騰可能半個(gè)月就過(guò)去了，用戶也被競(jìng)品吸引走了，走上人生巔峰的夢(mèng)想也破滅了。

數(shù)據(jù)安全

除了動(dòng)態(tài)擴(kuò)容之外，云服務(wù)廠商的數(shù)據(jù)安全也普遍更靠譜一些，云廠商不光采用最頂級(jí)的硬件，還采用一套復(fù)雜的軟件系統(tǒng)來(lái)為數(shù)據(jù)提供：快照、備份和加密的功能。

img

有了云服務(wù)廠商給的這套數(shù)據(jù)安全基礎(chǔ)之后，本來(lái)需要自己操心的數(shù)據(jù)安全性則完全可以放給云服務(wù)廠商來(lái)處理了，專注于業(yè)務(wù)。

便利性

便利性可以指很多方面，其中最大的便利性當(dāng)屬空間方面的便利性，比如當(dāng)我們要做異地多活的時(shí)候，往往需要多地、多機(jī)房進(jìn)行部署應(yīng)用。

如果你處在特殊行業(yè)，國(guó)家明確規(guī)定相關(guān)行業(yè)要每年至少進(jìn)行一次容災(zāi)演練，對(duì)于這種行業(yè)的容災(zāi)架構(gòu)來(lái)說(shuō)，異地多活幾乎是或不可缺的。

img

如果你沒(méi)上云，那每次開(kāi)辟一個(gè)新機(jī)房都要派一批人去另一個(gè)城市租用別人的機(jī)房，然后再重新搭建一套與現(xiàn)有的機(jī)房相兼容的生產(chǎn)環(huán)境，并且還要提心吊膽的進(jìn)行大量測(cè)試才能投入使用。

而且現(xiàn)在出海是很多企業(yè)嘗試的一個(gè)方向，出海應(yīng)用則不可能將服務(wù)器部署在國(guó)內(nèi)，為了速度考量往往都是部署在當(dāng)?shù)氐臋C(jī)房，這時(shí)候云廠商的便利性就又體現(xiàn)出來(lái)了，在全球的特大城市都有機(jī)房存在，無(wú)論你想在哪部署你的應(yīng)用，只要在電腦上就能操作完成。

穩(wěn)定性

說(shuō)到底，穩(wěn)定性才是云廠商的最大優(yōu)勢(shì)，云廠商一般提供存儲(chǔ)、數(shù)據(jù)庫(kù)、計(jì)算和網(wǎng)絡(luò)這些基礎(chǔ)設(shè)施，由于云廠商具有大量的用戶，大量的應(yīng)用部署在云上， 所以他們對(duì)于這些基礎(chǔ)設(shè)施本身就有一套高可用的架構(gòu)在支撐，而且這些基礎(chǔ)設(shè)施在大量用戶的考驗(yàn)之下也逐漸堅(jiān)如磐石。

像做應(yīng)用常用的兩個(gè)組件：存儲(chǔ)中心和數(shù)據(jù)庫(kù)，如果你自己搭建往往需要自己再給他們做一套高可用方案，畢竟這兩個(gè)部分可謂說(shuō)是系統(tǒng)的基石存在，如果你直接使用云服務(wù)廠商的這些設(shè)施，不光實(shí)現(xiàn)了穩(wěn)定性還節(jié)省了大量的成本。

云上高可用，就萬(wàn)無(wú)一失了嗎

雖然云上高可用，已經(jīng)對(duì)我們的應(yīng)用做了很多的保護(hù)措施，但是作為使用者來(lái)說(shuō)，你仍然需要在設(shè)計(jì)高可用架構(gòu)的時(shí)候遵循一些原則，遵循以下這些原則可以讓你的應(yīng)用更健壯，抗風(fēng)險(xiǎn)能力更加強(qiáng)。

在設(shè)計(jì)高可用架構(gòu)時(shí)，需要遵循以下原則：

分布式：采用分布式系統(tǒng)架構(gòu)可以將負(fù)載分散到多個(gè)服務(wù)器上，提高系統(tǒng)的容錯(cuò)性和可用性，比如你有一個(gè)訂單服務(wù)集群，那么你可以把這個(gè)集群分布在不同的服務(wù)器上，而非同一臺(tái)服務(wù)器。分布式架構(gòu)不單指將應(yīng)用分開(kāi)部署，還有使用的一些基礎(chǔ)設(shè)施比如數(shù)據(jù)庫(kù)、緩存中間件也盡量使用分布式組件，利于日后擴(kuò)展。

多活：多活架構(gòu)意味著系統(tǒng)中有多個(gè)獨(dú)立的節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都可以處理請(qǐng)求。這種架構(gòu)可以減少單點(diǎn)故障的影響，提高系統(tǒng)的可用性。比如你有一個(gè)訂單服務(wù)的集群，在部署的時(shí)候盡量在多地部署，比如北京、上海、成都各一臺(tái)，這樣可以在某個(gè)區(qū)域的所有服務(wù)器都出現(xiàn)問(wèn)題的時(shí)候利用其他區(qū)域的服務(wù)器繼續(xù)提供服務(wù)。

自動(dòng)化運(yùn)維：采用自動(dòng)化運(yùn)維工具可以幫助系統(tǒng)自動(dòng)檢測(cè)和恢復(fù)故障，降低故障處理時(shí)間，提高系統(tǒng)的可用性。比如發(fā)版時(shí)可以進(jìn)行灰度發(fā)版，發(fā)版出現(xiàn)問(wèn)題時(shí)可以通過(guò)版本管理快速回滾到上一個(gè)版本等。

弱依賴：弱依賴原則是指服務(wù)模塊之間應(yīng)該盡可能地減少依賴關(guān)系，使得系統(tǒng)中的各個(gè)模塊能夠獨(dú)立地進(jìn)行開(kāi)發(fā)、測(cè)試、部署和維護(hù)。這樣可以提高系統(tǒng)的可維護(hù)性和可擴(kuò)展性，降低模塊之間的耦合度，減少系統(tǒng)中出現(xiàn)的意外行為和故障。比如我們有購(gòu)物車(chē)和訂單兩個(gè)模塊，只要不是強(qiáng)依賴，購(gòu)物車(chē)模塊出現(xiàn)問(wèn)題是不會(huì)影響到訂單服務(wù)的，繼而也不會(huì)影響用戶的下單操作。

自我保護(hù)：在軟件設(shè)計(jì)中，系統(tǒng)應(yīng)該具備自我保護(hù)的能力，能夠自動(dòng)檢測(cè)和修復(fù)錯(cuò)誤，從而避免系統(tǒng)因錯(cuò)誤而導(dǎo)致的崩潰或無(wú)響應(yīng)情況。同時(shí)應(yīng)用在極端情況下應(yīng)該能自我降級(jí)，通過(guò)返回大量的降級(jí)響應(yīng)而避免上層應(yīng)用被拖垮。

以上五條，就是我在多年開(kāi)發(fā)經(jīng)驗(yàn)中總結(jié)出的高可用設(shè)計(jì)中需要遵循的一些原則，大家可以將其實(shí)際應(yīng)用到工作中去，相信一定會(huì)取得不錯(cuò)的效果。

如果你已經(jīng)做好了云上高可用架構(gòu)，依然發(fā)生了應(yīng)用崩潰情況，那么你和云服務(wù)廠商之間，究竟應(yīng)該誰(shuí)來(lái)負(fù)責(zé)呢？

我的應(yīng)用宕機(jī)了，云服務(wù)廠商應(yīng)不應(yīng)該負(fù)責(zé)？

對(duì)于這個(gè)問(wèn)題，其實(shí)業(yè)內(nèi)云廠商有一個(gè)通行的安全責(zé)任劃定表，對(duì)用戶與云廠商做出了清晰的責(zé)任劃分：

img

從上圖可以看到，云服務(wù)廠商主要負(fù)責(zé)的部分是硬件設(shè)施，如果硬件出現(xiàn)了問(wèn)題導(dǎo)致了客戶的應(yīng)用出現(xiàn)問(wèn)題，那么云服務(wù)廠商是應(yīng)該承擔(dān)責(zé)任的。

比如在 2022年1月，谷歌云在美國(guó)東部地區(qū)出現(xiàn)了大規(guī)模的網(wǎng)絡(luò)故障，導(dǎo)致谷歌云上的數(shù)千個(gè)網(wǎng)站和應(yīng)用程序無(wú)法正常訪問(wèn)。該網(wǎng)絡(luò)故障是由于谷歌云的網(wǎng)絡(luò)設(shè)備出現(xiàn)了故障所致，導(dǎo)致一些客戶的數(shù)據(jù)流無(wú)法正常傳輸。

為此，谷歌云向受影響的客戶提供了一定的賠償方案，具體賠償方案包括：為使用受影響的谷歌云服務(wù)的客戶提供一定比例的服務(wù)費(fèi)用折扣，并在必要時(shí)進(jìn)行賠償。

所以，即使是云上高可用架構(gòu)方案，也不可能保證 100% 的可靠性。

不過(guò)這種情況在現(xiàn)實(shí)生活中也是極少數(shù)案例，大部分的事故宕機(jī)還是由于網(wǎng)站管理員誤操作引起的問(wèn)題，比如：

2019年11月19日，GitHub 因?yàn)橐幻麊T工在執(zhí)行一個(gè)數(shù)據(jù)庫(kù)清理腳本時(shí)不小心刪除了一個(gè)生產(chǎn)數(shù)據(jù)庫(kù)集群的主節(jié)點(diǎn)，導(dǎo)致該集群不可用，持續(xù)了43分鐘。

2019年7月2日，F(xiàn)acebook、Instagram和WhatsApp因?yàn)橐幻麊T工在配置數(shù)據(jù)庫(kù)時(shí)誤刪了一些關(guān)鍵數(shù)據(jù)，導(dǎo)致這三個(gè)平臺(tái)的服務(wù)不可用，持續(xù)了約8小時(shí)。

2018年7月3日，GitLab 因?yàn)橐幻麊T工在執(zhí)行一個(gè)數(shù)據(jù)庫(kù)遷移任務(wù)時(shí)誤刪了一個(gè)PostgreSQL數(shù)據(jù)庫(kù)中的重要表，導(dǎo)致 GitLab 服務(wù)不可用，持續(xù)了約30分鐘。

這些誤操作事故看起來(lái)都很好恢復(fù)，但是因?yàn)闆](méi)有備份機(jī)制，導(dǎo)致事故造成影響的時(shí)間比較長(zhǎng)，如果它們使用的是云數(shù)據(jù)庫(kù)或者具有多活節(jié)點(diǎn)，其實(shí)都不會(huì)發(fā)生這么大的影響，最多幾分鐘服務(wù)就恢復(fù)了。

畢竟云服務(wù)提供商通常擁有完善的數(shù)據(jù)備份和容災(zāi)機(jī)制，包括地理上的備份和異地多活架構(gòu)等，可以有效地應(yīng)對(duì)各種災(zāi)害和數(shù)據(jù)安全風(fēng)險(xiǎn)。

而且云服務(wù)提供商通常會(huì)提供自動(dòng)化、智能化的容災(zāi)解決方案，能夠快速檢測(cè)和響應(yīng)各種故障和安全事件，提供快速恢復(fù)的服務(wù)，保障企業(yè)的業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全。

所以大家在架構(gòu)設(shè)計(jì)階段時(shí)，就要時(shí)刻考慮我上面所提到的五個(gè)原則，一個(gè)合格的高級(jí)開(kāi)發(fā)人員，應(yīng)該在開(kāi)發(fā)過(guò)程中就預(yù)想過(guò)各種各樣的場(chǎng)景，并對(duì)這些場(chǎng)景做出一定的準(zhǔn)備工作，這樣才能最大程度上保證自己的應(yīng)用不出問(wèn)題。

良好的設(shè)計(jì)原則 + 強(qiáng)大的云上高可用架構(gòu)與云上運(yùn)維工具，可以讓我們?cè)谟龅绞鹿蕟?wèn)題時(shí)做到游刃有余。

總結(jié)

今天主要給大家?guī)?lái)了云上高可用架構(gòu)的內(nèi)容，主要帶大家詳細(xì)了解了云上高可用架構(gòu)的優(yōu)勢(shì)以及上云的必要性。

同時(shí)上云雖然有諸多般好處，但是也不可能保證 100% 的可靠性，但是雖然上云不能保證 100% 的可靠性，還是有大量大廠、小廠趨之若鶩的進(jìn)行上云。

他們用實(shí)際行動(dòng)告訴了我們，上云的好處多于壞處，2023 年是中國(guó)提振中國(guó)經(jīng)濟(jì)的一年，如果你心底也在考量要不要上云，我覺(jué)得可以先進(jìn)行一部分業(yè)務(wù)的搬遷工作，體驗(yàn)一下云計(jì)算便利性再說(shuō)。

畢竟，未來(lái)，一定是云計(jì)算的時(shí)代。

審核編輯 ：李倩