關(guān)于Redis緩存的原因及解決方案

下面開始今天的正文，看見小小怎么辛苦的份上，滑到底下，給個素質(zhì)三連？

緩存雪崩

緩存雪崩是指在某一個時間段內(nèi)，緩存集中過期失效，如果這個時間段內(nèi)有大量請求，而查詢數(shù)據(jù)量巨大，所有的請求都會達(dá)到存儲層，存儲層的調(diào)用量會暴增，引起數(shù)據(jù)庫壓力過大甚至宕機(jī)。

原因

Redis突然宕機(jī)

大部分?jǐn)?shù)據(jù)失效

舉個栗子

比如我們基本上都經(jīng)歷過購物狂歡節(jié)，假設(shè)商家舉辦 23:00-24:00 商品打骨折促銷活動。程序小哥哥在設(shè)計的時候，在 23:00 把商家打骨折的商品放到緩存中，并通過redis的expire設(shè)置了過期時間為1小時。這個時間段許多用戶訪問這些商品信息、購買等等。但是剛好到了24:00點(diǎn)的時候，恰好還有許多用戶在訪問這些商品，這時候?qū)@些商品的訪問都會落到數(shù)據(jù)庫上，導(dǎo)致數(shù)據(jù)庫要抗住巨大的壓力，稍有不慎會導(dǎo)致，數(shù)據(jù)庫直接宕機(jī)（over）。

當(dāng)商品沒有失效的時候是這樣的：

當(dāng)緩存GG（失效）的時候卻是這樣的：

對于緩存雪崩有以下解決方案：

（1）redis高可用

redis有可能掛掉，多增加幾臺redis實例，（一主多從或者多主多從），這樣一臺掛掉之后其他的還可以繼續(xù)工作，其實就是搭建的集群。

（2）限流降級

在緩存失效后，通過加鎖或者隊列來控制讀數(shù)據(jù)庫寫緩存的線程數(shù)量，對某個key只允許一個線程查詢數(shù)據(jù)和寫緩存，其他線程等待。

（3）數(shù)據(jù)預(yù)熱

數(shù)據(jù)加熱的含義就是在正式部署之前，我先把可能的數(shù)據(jù)先預(yù)先訪問一遍，這樣部分可能大量訪問的數(shù)據(jù)就會加載到緩存中。在即將發(fā)生大并發(fā)訪問前手動觸發(fā)加載緩存不同的key。

（4）不同的過期時間

設(shè)置不同的過期時間，讓緩存失效的時間點(diǎn)盡量均勻。

緩存穿透

什么是緩存穿透，當(dāng)用戶在查詢一條數(shù)據(jù)的時候，而此時數(shù)據(jù)庫和緩存沒有任何關(guān)于這條數(shù)據(jù)的任何記錄的時候，當(dāng)這條數(shù)據(jù)再緩存中沒找到數(shù)據(jù)，就會向數(shù)據(jù)庫請求數(shù)據(jù)，這樣就會對數(shù)據(jù)庫造成比較大的壓力。如：用戶查詢一個 id = -1 的商品信息，一般數(shù)據(jù)庫 id 值都是從 1 開始自增，很明顯這條信息是不在數(shù)據(jù)庫中，當(dāng)沒有信息返回時，會一直向數(shù)據(jù)庫查詢，給當(dāng)前數(shù)據(jù)庫的造成很大的訪問壓力。解決方案有倆個，分別為緩存空對象，布隆過濾器。

緩存空對象

緩存空對象它就是指一個請求發(fā)送過來，如果此時緩存中和數(shù)據(jù)庫都不存在這個請求所要查詢的相關(guān)信息，那么數(shù)據(jù)庫就會返回一個空對象，并將這個空對象和請求關(guān)聯(lián)起來存到緩存中，當(dāng)下次還是這個請求過來的時候，這時緩存就會命中，就直接從緩存中返回這個空對象，這樣可以減少訪問數(shù)據(jù)庫的壓力，提高當(dāng)前數(shù)據(jù)庫的訪問性能。我們接下來可以看下面這個流程

并且為了大量的空對象過多，導(dǎo)致緩存空對象也過多，所以需要利用Redis的過期機(jī)制，解決這個問題。

setex key seconds valule:設(shè)置鍵值對的同時指定過期時間(s)

在Java中

redisCache.put(Integer.toString(id), null, 60) //過期時間為 60s

布隆過濾器

布隆過濾器用來過濾東西的。它是一種基于概率的數(shù)據(jù)結(jié)構(gòu)，主要使用愛判斷當(dāng)前某個元素是否在該集合中，運(yùn)行速度快。我們也可以簡單理解為是一個不怎么精確的 set 結(jié)構(gòu)（set 具有去重的效果）。但是有個小問題是：當(dāng)你使用它的 contains 方法去判斷某個對象是否存在時，它可能會誤判。也就是說布隆過濾器不是特別不精確，但是只要參數(shù)設(shè)置的合理，它的精確度可以控制的相對足夠精確，只會有小小的誤判概率。當(dāng)布隆過濾器說某個值存在時，這個值可能不存在；當(dāng)它說不存在時，那就肯定不存在。

舉個栗子

打個比方，當(dāng)它說不認(rèn)識你時，肯定就不認(rèn)識；當(dāng)它說見過你時，可能根本就沒見過面，不過因為你的臉跟它認(rèn)識的人中某臉比較相似 (某些熟臉的系數(shù)組合)，所以誤判以前見過你。在上面的使用場景中，布隆過濾器能準(zhǔn)確過濾掉那些已經(jīng)看過的內(nèi)容，那些沒有看過的新內(nèi)容，它也會過濾掉極小一部分 (誤判)，但是絕大多數(shù)新內(nèi)容它都能準(zhǔn)確識別。這樣就可以完全保證推薦給用戶的內(nèi)容都是無重復(fù)的。

特點(diǎn)

一個非常大的二進(jìn)制位數(shù)組（數(shù)組中只存在 0 和 1）

擁有若干個哈希函數(shù)（Hash Function）

在空間效率和查詢效率都非常高

布隆過濾器不會提供刪除方法，在代碼維護(hù)上比較困難。

每個布隆過濾器對應(yīng)到 Redis 的數(shù)據(jù)結(jié)構(gòu)里面就是一個大型的位數(shù)組和幾個不一樣的無偏 hash 函數(shù)。所謂無偏就是能夠把元素的 hash 值算得比較均勻。

向布隆過濾器中添加 key 時，會使用多個 hash 函數(shù)對 key 進(jìn)行 hash 算得一個整數(shù)索引值然后對位數(shù)組長度進(jìn)行取模運(yùn)算得到一個位置，每個 hash 函數(shù)都會算得一個不同的位置。再把位數(shù)組的這幾個位置都置為 1 就完成了 add 操作。（ 每一個 key 都通過若干的hash函數(shù)映射到一個巨大位數(shù)組上，映射成功后，會在把位數(shù)組上對應(yīng)的位置改為1。）

為什么存在誤判率

當(dāng) key1 和 key2 映射到位數(shù)組上的位置為 1 時，假設(shè)這時候來了個 key3，要查詢是不是在里面，恰好 key3 對應(yīng)位置也映射到了這之間，那么布隆過濾器會認(rèn)為它是存在的，這時候就會產(chǎn)生誤判（因為明明 key3 是不在的）。

提高準(zhǔn)確率

哈希函數(shù)的好壞

存儲空間大小

哈希函數(shù)個數(shù) hash函數(shù)的設(shè)計也是一個十分重要的問題，對于好的hash函數(shù)能大大降低布隆過濾器的誤判率。同時，對于一個布隆過濾器來說，如果其位數(shù)組越大的話，那么每個key通過hash函數(shù)映射的位置會變得稀疏許多，不會那么緊湊，有利于提高布隆過濾器的準(zhǔn)確率。同時，對于一個布隆過濾器來說，如果key通過許多hash函數(shù)映射，那么在位數(shù)組上就會有許多位置有標(biāo)志，這樣當(dāng)用戶查詢的時候，在通過布隆過濾器來找的時候，誤判率也會相應(yīng)降低。

緩存擊穿

一個被經(jīng)常訪問并且查詢到的key，經(jīng)常有用戶訪問，但是這個時候，這個key正好到了失效時間，或者突然變成冷門key，此時仍然有大量的關(guān)于這個的key的請求，這樣會造成大量的并發(fā)訪問到數(shù)據(jù)庫，造成數(shù)據(jù)庫的壓力劇增。導(dǎo)致緩存擊穿的產(chǎn)生。

原因有兩條。

一個冷門的key，突然有大量的用戶請求訪問。

一個熱門的key恰好到了過期的時間。

緩存擊穿問題的解決：加鎖，對于key過期的時候，查詢數(shù)據(jù)庫的時候加鎖，可以讓只有一個連接訪問到數(shù)據(jù)庫，然后獲取到key緩存到redis中，減少了緩存的壓力。在單機(jī)幻覺使用單機(jī)的鎖，在分布式環(huán)境下使用分布式鎖。

編輯：hfy