- 可靠性陷入死局，如何重生？

具體是什么，簡單來說，系統(tǒng)正常工作是在線，這個系統(tǒng)有一個設(shè)備壞了但是數(shù)據(jù)都還能在線，不耽誤用，比如說做了什么副本都是這樣的，有東西壞了不耽誤用，只是容災(zāi)率低，如果你有這個能力你的可用性是OK的。比如說超過這個，比如說這里面盤壞了，或者沒有做副本數(shù)據(jù)不可訪問了離線了，這個可用性就不在了。但是如果你有備份，你可以通過備份離線把數(shù)據(jù)找回來，至少可用性是在的，只要數(shù)據(jù)還有辦法找回來，雖然不保證持續(xù)在線，但只要保證數(shù)據(jù)在線，這個持久性還在。我們做運維經(jīng)常說，死了，數(shù)據(jù)丟了找不回來。像我做存儲做了近20年，見過各種各樣的“死人”的場景，我說最小的就是一個，大概早先年前磁盤戰(zhàn)略，投影設(shè)備很小，里面8G的磁盤壞了，數(shù)據(jù)也不大，但是那堆數(shù)據(jù)剛好是工作小組大概70人用了將近一年的時間做的各種各樣辛苦工作的結(jié)果，70個人滿滿一屋子做各種各樣的分析、統(tǒng)計、計算，所有的結(jié)論、過程、結(jié)果都在這個小陣列上面，到年頭的時候設(shè)備壞了數(shù)據(jù)讀不出來了。在我們做存儲的人看來這么一個小設(shè)備一兩塊盤壞了不是什么大事，當時沒什么錢買，對做數(shù)據(jù)的人來說真是壞了，辛辛苦苦干了一年的活沒了，再做一遍再用一年，這個成本打了。所以發(fā)生這種事的時候用戶都是一腦袋汗。

還有更接近要命的，更接近物理的“要命”，就是股票，其實這些數(shù)據(jù)也不大，股票交易廳，交易系統(tǒng)還沒有做雙機，在1997、1998年的時候，很多沒做雙機系統(tǒng)一宕機，很快，能砸屏的都砸碎了。我那會兒其實還在大學(xué)念書，兼職給人裝個雙機干點私活，掙點外快，直接出來就是纏著繃帶胳膊吊著這么出來，就是股民打的，交易系統(tǒng)交易不了你就想吧。丟數(shù)據(jù)對用戶來講是很要命的事。

最早只要數(shù)據(jù)不丟，能找得回來，稍微停一會兒還可以理解，但是有一些業(yè)務(wù)，漸漸像股票這種業(yè)務(wù)停都不準停，停就壞事了，你讓我稍微卡頓一點都會是事故，有問題，其實對雙機系統(tǒng)要求越來越高了。

我們今天至少在討論可靠性這個概念的時候，大家說的更多的還是更基本，不丟，在線性，不掉線，這兩個層面的東西是相對基本的。其實從可靠性來講還有更高的，比如說變慢算不算是一種可靠性的損傷，業(yè)務(wù)角度來講一定是，甚至業(yè)務(wù)系統(tǒng)變慢比徹底斷了還可怕，因為變慢你不知道是哪兒的問題，一個東西壞了其實到你這兒到發(fā)現(xiàn)找到問題在哪兒，用的時間還短一點，因為容易找，找到哪兒壞了，該通的通了。如果一個比較復(fù)雜的業(yè)務(wù)系統(tǒng)某一個地方變慢了，找出問題到底在哪兒，真的有的時候花一兩個月找不出來，因為這個系統(tǒng)太復(fù)雜了，但是變慢也是一個系統(tǒng)可靠性的影響。

今天我們所說的可靠性涵蓋的更多還是持久性和可用性這兩個更頂級的層面，AWS里面討論的，我們看到很多業(yè)界的說法里面沒有放到可靠性這個范圍里面來，我相信未來可能會有比較可量化的整體的系統(tǒng)可靠性的評估方式、評估方法論，會把SLO，甚至更高層系統(tǒng)配備變更能力，其實這些東西都是對基礎(chǔ)架構(gòu)可靠性的要求。我剛才說起來就有四個層面，可能會有若干層面的這種對可靠性更細的拆解在基礎(chǔ)架構(gòu)的要求里面。這更多是方法論層面的事，今天不講太多方法論層面的事，稍微介紹一點具體的東西。具體的東西大家看得見摸得著。

數(shù)據(jù)中心里面什么最容易出現(xiàn)故障，如果各位有做過運維或者在機房里面做過IT的管理者，就會有一個感覺，你的數(shù)據(jù)中心三樣?xùn)|西常年壞，硬盤、風(fēng)扇、電源，CPU、內(nèi)存、主板、機箱蓋都不壞，就是這三樣?xùn)|西特別容易壞。而這三樣?xùn)|西里面風(fēng)扇、電源壞了相對來說沒有那么可怕，硬盤是最可怕的，因為數(shù)據(jù)直接在上面，數(shù)據(jù)整個系統(tǒng)的可靠性、可用性等等，最直接的就是跟硬盤有關(guān)系，所以別的不看，就是硬盤的故障是整個系統(tǒng)可靠性最可行的地方。硬盤我們都知道又不是一個平行的分布，也就是這個系統(tǒng)里面硬盤不是隨時都有的概率的磁盤故障存在，如果實施過IT系統(tǒng)的會由直觀的感覺，一個新東西上來頭三個月是最麻煩的，新布一個系統(tǒng)一會兒這兒懷了，那兒有故障了，如果把故障全都解決了3個月沒有什么事，6個月沒有什么事基本上可以放心使用，一年兩年沒有問題，中間故障率是越低，等到到快到壽命的時候，四年、五年看你附載的輕重，如果輕就是長壽一點，重就短壽一點。今天有點問題，你就會知道在接下來兩年陸陸續(xù)續(xù)都會有問題，就是這個設(shè)備的壽命差不多到了。