redis緩存雪崩概念

A. 12 個問題搞懂 Redis

都說學習需要帶著問題，帶著思考進行學習，下面就以問題的形式來學習下 Redis 。

1、什麼是 Redis ？

2、都說 Redis 是單線程模型，到底是什麼意思？

3、為什麼在數據讀寫處理上不使用多線程？

4、為什麼使用單線程，速度卻很快？

5、單線程處理的瓶頸是什麼？

6、Redis 6.0 調整為多線程的原因？

7、在 Redis 中怎樣做持久化？

8、常說的緩存雪崩、擊穿、穿透是什麼？

9、怎樣解決雪崩、擊穿、穿透帶來的問題？

10、怎樣設計緩存的淘汰機制？

11、怎樣保證緩存和資料庫的數據一致？

12、Redis 有什麼使用規范？

Redis 的知識遠不止如此，本文總結了一些我認為比較重要的一些點，希望對您有所幫助！

B. Redis持久化的方式有哪些優缺點分別是什麼

   持久化的目的主要是做災難恢復，數據恢復。由於Redis的數據全都放在內存裡面，如果Redis掛了，沒有配置持久化的話，重啟的時候數據會全部丟失。
    突然間，大量的請求過來，緩存全都無法命中，造成緩存雪崩，mysql無法承載大量的請求，造成整個系統崩潰。如果把Redis持久化做好，即使Redis故障了，也能夠立即重啟，對外提供服務。
Redis持久化分為兩種：

AOF持久化配置：
    在Redis的配置文件中存在三種同步方式，它們分別是：

RDB的優缺點：

AOF的優缺點：

RDB和AOF如何選擇？

rdb是Redis DataBase縮寫
功能核心函數rdbSave(生成RDB文件)和rdbLoad（從文件載入內存）兩個函數

Aof是Append-only file縮寫
每當執行伺服器(定時)任務或者函數時flushAppendOnlyFile 函數都會被調用， 這個函數執行以下兩個工作
aof寫入保存：
WRITE：根據條件，將 aof_buf 中的緩存寫入到 AOF 文件
SAVE：根據條件，調用 fsync 或 fdatasync 函數，將 AOF 文件保存到磁碟中。

存儲結構:
內容是redis通訊協議(RESP )格式的命令文本存儲。

比較：
1、aof文件比rdb更新頻率高，優先使用aof還原數據。
2、aof比rdb更安全也更大
3、rdb性能比aof好
4、如果兩個都配了優先載入AOF

C. redis緩存使用中的熱key問題

在Redis中，訪問頻率高的key稱為熱點key，當某一熱點key的請求到Server主機時，由於請求量特別大，導致主機資源不足，甚至宕機，影響正常的服務

1.用戶消費的數據遠大於生產的數據，比如熱賣商品、熱點新聞、熱點評論等，這些典型的讀多寫少的場景會產生熱點問題

2.請求分片集中，超過單Server的性能極限，比如 固定名稱key，哈希落入一台Server，訪問量極大的情況，超過Server極限時，就會導致熱點Key問題的產生

1.流量集中，達到物理網卡上限，影響其他key的訪問。

2.請求過多，緩存分片服務被打垮，不能通過擴容解決,且不能發揮集群多分片的優勢。

3.緩存擊穿，可能打到DB,引起業務雪崩。

1.憑借業務經驗，進行預估哪些是熱key

2.客戶端統計收集，本地統計或者上報

3.如果服務端有代理層，可以在代理層進行收集上報

1.增加分片副本，分擔讀流量

2.熱key備份，比如key，備份為key1,key2……keyN，同樣的數據N個備份，N個備份分布到不同分片，訪問時可隨機訪問N個備份中的一個,進一步分擔讀流量

3.使用本地緩存，發現熱key後，將熱key對應數據載入到應用伺服器本地緩存中，訪問熱key數據時，直接從本地緩存中獲取，而不會請求到redis伺服器。

http://tigcms.jd.com/details/S11dBQ5M7.html
https://help.aliyun.com/document_detail/67252.html
https://www.cnblogs.com/rjzheng/p/10874537.html

D. 緩存擊穿、穿透、雪崩及Redis分布式鎖

分布式鎖: setnx ,redisson 並發問題
冪等問題: 落表狀態,Redis

緩存擊穿: 指緩存中無,db中有
原因: 一個key高並發恰好失效導致大量請求到db
方案: 加鎖,自旋鎖,或一個線程查db,一個線程監控(直接用Redisson分布式鎖)

緩存穿透:指緩存和db中均無
原因: 一般是惡意請求
方案: 加布隆過濾,或查db無時,也設置緩存,value為某些特殊表示或"null"

雪崩:指緩存同時大量失效
原因: 大量的key同時失效,db壓力加大
方案: 設置失效時間是增加隨機數

問題方案文獻:
https://www.jianshu.com/p/31ab9b020cd9 (圖例分析)

https://blog.csdn.net/fcvtb/article/details/89478554

Redis分布式鎖:

事務未執行完鎖已到期釋放問題：使用Redissoin解決續租問題，內部已解決

分布式鎖文獻:
https://www.jianshu.com/p/4838f8be00c9
https://blog.csdn.net/qq_30038111/article/details/90696233 (setnx + expire同時操作)

====================================

https://www.runoob.com/redis/keys-scan.html
https://www.jianshu.com/p/611a492d9121 Redis原理與應用

E. Redis - 集群Hash槽分配

常見的Redis集群架構是三主三從的結構，為了保證數據分片，redis採用了Hash槽的概念，即:

常見的三主三從結構，將solt平均分到三個節點上

如果存入一個值，按照redis cluster哈希槽的 演算法 ： CRC16('key')384 = 6782。 那麼就會把這個key 的存儲分配到 B 上了。同樣，當我連接(A,B,C)任何一個節點想獲取'key'這個key時，也會這樣的演算法，然後內部跳轉到B節點上獲取數據

新增一個節點D，redis cluster的這種做法是從各個節點的前面各拿取一部分slot到D上，會變成這樣：

同樣刪除一個節點也是類似，移動完成後就可以刪除這個節點了。

Redis的Hash槽分配不是 一致性Hash ，一致性Hash是成一個hash環，當節點加入或者失效的時候，在環上順時針找到對應節點。而Redis集群屬於手動分配 線性Hash槽 ，需要手動指定，並且盡量做到各個節點solt平均分配。
而至於為什麼Redis沒有採用一致性Hash，因為如果一個節點失效，把數據轉移到下一個節點，容易造成緩存雪崩，而採用hash槽+副本節點失效的時候從節點自動接替，不易造成雪崩。

F. Redis緩存雪崩就這么簡單

在實際項目開發中，我們都知道Redis不可能把所有的數據都緩存起來( 內存昂貴且有限 )，所以Redis需要對數據設置過期時間，並採用的是惰性刪除+定期刪除兩種策略對過期鍵刪除。

如果緩存數據 設置的過期時間是相同 的，並且Redis恰好將這部分數據全部刪光了。這就會導致在這段時間內，這些緩存 同時失效 ，全部請求到資料庫中。

這就是緩存雪崩 ：

緩存雪崩如果發生了，很可能就把我們的資料庫 搞垮 ，導致整個服務癱瘓，造成的後果很嚴重。

對緩存數據設置相同的過期時間，導致某段時間內緩存失效。」

對於「Redis掛掉了」，我們可以有以下的思路：

G. SpringBoot進階之緩存中間件Redis

大家好，一直以來我都本著 用最通俗的話理解核心的知識點， 我認為所有的難點都離不開 「基礎知識」 的鋪墊

「大佬可以繞過 ~」

本節給大家講講 「java的SpringBoot框架」 , 之前我們學習的都是java的基礎知識和底層提供的一些能力，我們日常工作都是在寫介面。在我們在產品開發中，一般我們都會選擇比較穩定的框架來幫我們加速開發，不會自己去造輪子，而在java眾多框架中，spring框架表現的非常好，大部分公司都會首選它作為開發框架，而至今，大部分企業都是以 springboot 來構建項目了,一個穩健的系統需要引入穩定的技術~

如果你是一路看過來的，很高興你能夠耐心看完。前幾期都是帶大家學習了 SpringBoot 的基礎使用以及集成 mybatis 開發，這也是我們寫業務的基礎，如果你還不熟悉這些，請先看完它們。接下來的幾期內容將會帶大家進階使用，會先講解基礎 中間件 的使用和一些場景的應用，或許這些技術你聽說過，沒看過也沒關系，我會帶大家一步一步的入門，耐心看完你一定會有 收獲 ,本期將會給大家講解最熱門的緩存中間件技術 Redis ,同樣的，我們集成到 Springboot 中。最近github可能會被牆，所以我把源碼放到了國內gitee上,本節我們依然使用上期的代碼

Redis 是由義大利人Salvatore Sanfilippo（網名：antirez）開發的一款內存高速緩存資料庫。全稱叫 Remote Dictionary Server（遠程數據服務） 是由 C語言 編寫的，Redis是一個 key-value 存儲系統，它支持豐富的數據類型，如： string、list、set、zset(sorted set)、hash 。

它本質上是一種鍵值對資料庫，我們之前學習的 mysql 它是持久層的關系型資料庫,而 redis 它的存儲主要存在 內存 中。我們都知道在 內存 中的數據讀取是非常快的，就好比你把一個變數存到磁碟讀取和直接放到代碼中運行，肯定是在代碼中拿到的速度快，因為運行時期，都是直接存到內存的。

給大家總結一下：

有了基本的概念之後，我們下面進行環境搭建,在學習階段，安裝 redis 很簡單,生產環境一般我們也會選擇雲產品，一切為了服務保障,雖說它只是做緩存用，但也是系統的一把 保護傘

如果你是 mac 用戶，你可以運行如下命令:

安裝完成後會提示你運行命令，運行即可。

win 用戶也很簡單，直接下載 redis 軟體，雙擊運行即可，運行之後它會有一個小方塊的圖案，和 locahost:6379 的log,說明運行成功了。初始階段沒有配置的 redis 默認 host 就是本地, port 就是 6379 , 而且是 沒有密碼 就可以訪問的。

推薦一個客戶端軟體 Redis Desktop Manager ，它是 redis 的客戶端界面軟體,方便麵我們學習的時候 清理緩存 使用,生產慎連。

我們不給大家講它的基本命令使用，它也有語法，可以通過類似命令執行,如果想學習的小夥伴，可以自行搜索。本期重點內容是在 sprinboot 中的使用,我們平時開發不可能是去命令行里敲的，都是代碼里執行，而目前市面上有很多封裝好的庫，我們可以直接調用它的方法，很方便的就可以操作它了，不用記一些繁瑣的命令,下面我們就實際操作一下:

修改 pom.xml

修改 application.yml :

redis 默認是有 16 個庫,不是 15 個啊，從 0 開始算的,我們隨便連一個

通過代碼很好理解, 首先需要引入 StringRedisTemplate ,然後需要設置一個 key ,那麼思考一下，這個 key 允許重復嗎

我們進客戶端看一下，發現 key 還是只有一個,但是值變成了新的值了，所以可以得知 key 是唯一的，我們重新設置的時候相當於刷新了它。

在 redis 中刪除緩存有兩種方式，一種是自我消亡，也就是 過期 銷毀,還有有一種是 主動 銷毀，我們先看一下，過期時間如何設置

我們設置了 10s 後過期,過完10s後發現，這個```key data``消失了。我們在看看如何主動刪除

我們可以利用 Redis 做一個計數器，實現自增功能,你可以用它做網站訪問統計

通常做法，我們會把它封裝一下，後續使用直接引入封裝好的即可，把它直接交給 Springboot容器 管理

其實這個類，你還可以繼續進一步封裝，比如約束 key 的規范，約束過期時間，約束數據類型等等，這一切也都是為了規范和後期維護，防止濫用緩存

緩存的主要場景是用於解決熱點數據問題，因為這些數據是訪問頻率比較高的，當大量的請求進來, mysql 可能壓力很大，這樣一來，數據查詢效率就很慢，用戶肯不高興等了，這樣用戶體驗很不好。所以我們一般做法，都是把這些熱點數據放到緩存里，因為緩存讀取速度很快。當有新數據的時候，我們再及時更新它，一般流程是先查詢緩存，查到了直接返回緩存數據，查不到再走資料庫，然後再刷回緩存。

但是並發足夠大的時候，還是會暴露出很多問題，比如面試常問的一些高頻問題 緩存雪崩、緩存穿透、緩存雪崩 ,這些問題後邊會給大家專門講，和如何去防範。所以總的來說，引入任何一門技術並不是萬事大吉，還需我們不斷的在實踐中積累經驗

本期到這里就結束了，總結一下，我們了解了什麼是 redis ，以及在 springboot 中如何去使用它們，很簡單，沒什麼復雜的東西。但這里想多說一點的是，緩存的設計卻是很復雜的，因為工具是死的，人是活的，我們如何正確設計，需要我們在項目中不斷的積累。

我們之前教大家查詢列表數據，都是所有數據返回，還沒有教大家如何去做分頁，下期將帶大家學習一下 mybatis 分頁插件的使用 ，下期不見不散, 關注我，不迷路~

H. redis常見問題

1. 緩存擊穿

緩存擊穿是指一個請求要訪問的數據，緩存中沒有，但資料庫中有的情況。這種情況一般都是緩存過期了。

但是這時由於並發訪問這個緩存的用戶特別多，這是一個熱點 key，這么多用戶的請求同時過來，在緩存裡面沒有取到數據，所以又同時去訪問資料庫取數據，引起資料庫流量激增，壓力瞬間增大，直接崩潰給你看。

所以一個數據有緩存，每次請求都從緩存中快速的返回了數據，但是某個時間點緩存失效了，某個請求在緩存中沒有請求到數據，這時候我們就說這個請求就"擊穿"了緩存。

針對這個場景，對應的解決方案一般來說有三種。

藉助Redis setNX命令設置一個標志位就行。設置成功的放行，設置失敗的就輪詢等待。就是在更新緩存時加把鎖

後台開一個定時任務，專門主動更新過期數據

比如程序中設置 why 這個熱點 key 的時候，同時設置了過期時間為 10 分鍾，那後台程序在第 8 分鍾的時候，會去資料庫查詢數據並重新放到緩存中，同時再次設置緩存為 10 分鍾。

其實上面的後台續命思想的最終體現是也是永不過期。

只是後台續命的思想，會主動更新緩存，適用於緩存會變的場景。會出現緩存不一致的情況，取決於你的業務場景能接受多長時間的緩存不一致。

2. 緩存穿透

緩存穿透是指一個請求要訪問的數據，緩存和資料庫中都沒有，而用戶短時間、高密度的發起這樣的請求，每次都打到資料庫服務上，給資料庫造成了壓力。一般來說這樣的請求屬於惡意請求。

解決方案有兩種：

就是在資料庫即使沒有查詢到數據，我們也把這次請求當做 key 緩存起來，value 可以是 NULL。下次同樣請求就會命中這個 NULL，緩存層就處理了這個請求，不會對資料庫產生壓力。這樣實現起來簡單，開發成本很低。

3. 緩存雪崩

緩存雪崩是指緩存中大多數的數據在同一時間到達過期時間，而查詢數據量巨大，這時候，又是緩存中沒有，資料庫中有的情況了。

防止雪崩的方案簡單來說就是錯峰過期。

在設置 key 過期時間的時候，在加上一個短的隨機過期時間，這樣就能避免大量緩存在同一時間過期，引起的緩存雪崩。

如果發了雪崩，我們可以有服務降級、熔斷、限流手段來拒絕一些請求，保證服務的正常。但是，這些對用戶體驗是有一定影響的。

4. Redis 高可用架構

Redis 高可用架構，大家基本上都能想到主從、哨兵、集群這三種模式。

哨兵模式：

它主要執行三種類型的任務：

哨兵其實也是一個分布式系統，我們可以運行多個哨兵。

然後這些哨兵之間需要相互通氣，交流信息，通過投票來決定是否執行自動故障遷移，以及選擇哪個從伺服器作為新的主伺服器。

哨兵之間採用的協議是 gossip，是一種去中心化的協議，達成的是最終一致性。

選舉規則：