雪崩資料庫
『壹』 12 個問題搞懂 Redis
都說學習需要帶著問題，帶著思考進行學習，下面就以問題的形式來學習下 Redis 。
1、什麼是 Redis ？
2、都說 Redis 是單線程模型，到底是什麼意思？
3、為什麼在數據讀寫處理上不使用多線程？
4、為什麼使用單線程，速度卻很快？
5、單線程處理的瓶頸是什麼？
6、Redis 6.0 調整為多線程的原因？
7、在 Redis 中怎樣做持久化？
8、常說的緩存雪崩、擊穿、穿透是什麼？
9、怎樣解決雪崩、擊穿、穿透帶來的問題？
10、怎樣設計緩存的淘汰機制？
11、怎樣保證緩存和資料庫的數據一致？
12、Redis 有什麼使用規范？
Redis 的知識遠不止如此，本文總結了一些我認為比較重要的一些點，希望對您有所幫助！
『貳』 哪些因素影響了資料庫性能
網路寬頻，磁碟IO，查詢速度都會影響到資料庫的性能。
具體問題具體分析，舉例來說明為什麼磁碟IO成瓶頸資料庫的性能急速下降了。
為什麼當磁碟IO成瓶頸之後, 資料庫的性能不是達到飽和的平衡狀態，而是急劇下降。為什麼資料庫的性能有非常明顯的分界點，原因是什麼？
相信大部分做資料庫運維的朋友，都遇到這種情況。 資料庫在前一天性能表現的相當穩定，資料庫的響應時間也很正常，但就在今天，在業務人員反饋業務流量沒有任何上升的情況下，資料庫的變得不穩定了，有時候一個最簡單的insert操作， 需要幾十秒，但99%的insert卻又可以在幾毫秒完成，這又是為什麼了？
dba此時心中有無限的疑惑，到底是什麼原因呢? 磁碟IO性能變差了？還是業務運維人員反饋的流量壓根就不對？ 還是資料庫內部出問題？昨天不是還好好的嗎？
當資料庫出現響應時間不穩定的時候，我們在操作系統上會看到磁碟的利用率會比較高，如果觀察仔細一點，還可以看到，存在一些讀的IO. 資料庫伺服器如果存在大量的寫IO,性能一般都是正常跟穩定的，但只要存在少量的讀IO,則性能開始出現抖動，存在大量的讀IO時（排除配備非常高速磁碟的機器），對於在線交易的資料庫系統來說，大概性能就雪崩了。為什麼操作系統上看到的磁碟讀IO跟寫IO所帶來的性能差距這么大呢？
如果親之前沒有注意到上述的現象，親對上述的結論也是懷疑。但請看下面的分解。
在寫這個文章之前，作者閱讀了大量跟的IO相關的代碼，如非同步IO線程的相關的，innodb_buffer池相關的，以及跟讀數據塊最相關的核心函數buf_page_get_gen函數以及其調用的相關子函數。為了將文章寫得通俗點，看起來不那麼累，因此不再一行一行的將代碼解析寫出來。
咱們先來提問題。buf_page_get_gen函數的作用是從Buffer bool裡面讀數據頁，可能存在以下幾種情況。
提問. 數據頁不在buffer bool 裡面該怎麼辦？
回答：去讀文件，將文件中的數據頁載入到buffer pool裡面。下面是函數buffer_read_page的函數，作用是將物理數據頁載入到buffer pool, 圖片中顯示
buffer_read_page函數棧的頂層是pread64(),調用了操作系統的讀函數。
通過解析buf_wait_for_read函數的下層函數，我們知道其實通過首先自旋加鎖pin的方式，超過設定的自旋次數之後，進入等待，等待IO完成被喚醒。這樣節省不停自旋pin時消耗的cpu,但需要付出被喚起時的開銷。
再繼續擴展問題： 如果會話線程A 經過物理IO將數據頁1001讀入buffer之後，他需要修改這個頁，而在會話線程A之後的其他的同樣需要訪問數據頁1001的會話線程，即使在數據頁1001被入讀buffer pool之後，將仍然處於等待中。因為在數據頁上讀取或者更新的時候，同樣需要上鎖，這樣才能保證數據頁並發讀取/更新的一致性。
由此可見，當一個高並發的系統，出現了熱點數據頁需要從磁碟上載入到buffer pool中時，造成的延遲，是難以想像的。因此排在等待熱點頁隊列最後的會話線程最後才得到需要的頁，響應時間也就越長，這就是造成了一個簡單的sql需要執行幾十秒的原因。
再回頭來看上面的問題，mysql資料庫出現性能下降時，可以看到操作系統有讀IO。 原因是，在資料庫對數據頁的更改，是在內存中的，然後通過檢查點線程進行非同步寫盤，這個非同步的寫操作是不堵塞執行sql的會話線程的。所以，即使看到操作系統上有大量的寫IO，資料庫的性能也是很平穩的。但當用戶線程需要查找的數據頁不在buffer pool中時，則會從磁碟上讀取，在一個熱點數據頁不是非常多的情況下，我們設置足夠大的innodb_buffer_pool的size, 基本可以緩存所有的數據頁，因此一般都不會出現缺頁的情況，也就是在操作系統上基本看不到讀的IO。 當出現讀的IO時，原因時在執行buf_read_page_low函數，從磁碟上讀取數據頁到buffer pool, 則資料庫的性能則開始下降，當出現大量的讀IO，資料庫的性能會非常差。
『叄』 SpringBoot進階之緩存中間件Redis
大家好，一直以來我都本著 用最通俗的話理解核心的知識點， 我認為所有的難點都離不開 「基礎知識」 的鋪墊
「大佬可以繞過 ~」
本節給大家講講 「java的SpringBoot框架」 , 之前我們學習的都是java的基礎知識和底層提供的一些能力，我們日常工作都是在寫介面。在我們在產品開發中，一般我們都會選擇比較穩定的框架來幫我們加速開發，不會自己去造輪子，而在java眾多框架中，spring框架表現的非常好，大部分公司都會首選它作為開發框架，而至今，大部分企業都是以 springboot 來構建項目了,一個穩健的系統需要引入穩定的技術~
如果你是一路看過來的，很高興你能夠耐心看完。前幾期都是帶大家學習了 SpringBoot 的基礎使用以及集成 mybatis 開發，這也是我們寫業務的基礎，如果你還不熟悉這些，請先看完它們。接下來的幾期內容將會帶大家進階使用，會先講解基礎 中間件 的使用和一些場景的應用，或許這些技術你聽說過，沒看過也沒關系，我會帶大家一步一步的入門，耐心看完你一定會有 收獲 ,本期將會給大家講解最熱門的緩存中間件技術 Redis ,同樣的，我們集成到 Springboot 中。最近github可能會被牆，所以我把源碼放到了國內gitee上,本節我們依然使用上期的代碼
Redis 是由義大利人Salvatore Sanfilippo（網名：antirez）開發的一款內存高速緩存資料庫。全稱叫 Remote Dictionary Server（遠程數據服務） 是由 C語言 編寫的，Redis是一個 key-value 存儲系統，它支持豐富的數據類型，如： string、list、set、zset(sorted set)、hash 。
它本質上是一種鍵值對資料庫，我們之前學習的 mysql 它是持久層的關系型資料庫,而 redis 它的存儲主要存在 內存 中。我們都知道在 內存 中的數據讀取是非常快的，就好比你把一個變數存到磁碟讀取和直接放到代碼中運行，肯定是在代碼中拿到的速度快，因為運行時期，都是直接存到內存的。
給大家總結一下：
有了基本的概念之後，我們下面進行環境搭建,在學習階段，安裝 redis 很簡單,生產環境一般我們也會選擇雲產品，一切為了服務保障,雖說它只是做緩存用，但也是系統的一把 保護傘
如果你是 mac 用戶，你可以運行如下命令:
安裝完成後會提示你運行命令，運行即可。
win 用戶也很簡單，直接下載 redis 軟體，雙擊運行即可，運行之後它會有一個小方塊的圖案，和 locahost:6379 的log,說明運行成功了。初始階段沒有配置的 redis 默認 host 就是本地, port 就是 6379 , 而且是 沒有密碼 就可以訪問的。
推薦一個客戶端軟體 Redis Desktop Manager ，它是 redis 的客戶端界面軟體,方便麵我們學習的時候 清理緩存 使用,生產慎連。
我們不給大家講它的基本命令使用，它也有語法，可以通過類似命令執行,如果想學習的小夥伴，可以自行搜索。本期重點內容是在 sprinboot 中的使用,我們平時開發不可能是去命令行里敲的，都是代碼里執行，而目前市面上有很多封裝好的庫，我們可以直接調用它的方法，很方便的就可以操作它了，不用記一些繁瑣的命令,下面我們就實際操作一下:
修改 pom.xml
修改 application.yml :
redis 默認是有 16 個庫,不是 15 個啊，從 0 開始算的,我們隨便連一個
通過代碼很好理解, 首先需要引入 StringRedisTemplate ,然後需要設置一個 key ,那麼思考一下，這個 key 允許重復嗎
我們進客戶端看一下，發現 key 還是只有一個,但是值變成了新的值了，所以可以得知 key 是唯一的，我們重新設置的時候相當於刷新了它。
在 redis 中刪除緩存有兩種方式，一種是自我消亡，也就是 過期 銷毀,還有有一種是 主動 銷毀，我們先看一下，過期時間如何設置
我們設置了 10s 後過期,過完10s後發現，這個```key data``消失了。我們在看看如何主動刪除
我們可以利用 Redis 做一個計數器，實現自增功能,你可以用它做網站訪問統計
通常做法，我們會把它封裝一下，後續使用直接引入封裝好的即可，把它直接交給 Springboot容器 管理
其實這個類，你還可以繼續進一步封裝，比如約束 key 的規范，約束過期時間，約束數據類型等等，這一切也都是為了規范和後期維護，防止濫用緩存
緩存的主要場景是用於解決熱點數據問題，因為這些數據是訪問頻率比較高的，當大量的請求進來, mysql 可能壓力很大，這樣一來，數據查詢效率就很慢，用戶肯不高興等了，這樣用戶體驗很不好。所以我們一般做法，都是把這些熱點數據放到緩存里，因為緩存讀取速度很快。當有新數據的時候，我們再及時更新它，一般流程是先查詢緩存，查到了直接返回緩存數據，查不到再走資料庫，然後再刷回緩存。
但是並發足夠大的時候，還是會暴露出很多問題，比如面試常問的一些高頻問題 緩存雪崩、緩存穿透、緩存雪崩 ,這些問題後邊會給大家專門講，和如何去防範。所以總的來說，引入任何一門技術並不是萬事大吉，還需我們不斷的在實踐中積累經驗
本期到這里就結束了，總結一下，我們了解了什麼是 redis ，以及在 springboot 中如何去使用它們，很簡單，沒什麼復雜的東西。但這里想多說一點的是，緩存的設計卻是很復雜的，因為工具是死的，人是活的，我們如何正確設計，需要我們在項目中不斷的積累。
我們之前教大家查詢列表數據，都是所有數據返回，還沒有教大家如何去做分頁，下期將帶大家學習一下 mybatis 分頁插件的使用 ，下期不見不散, 關注我，不迷路~
『肆』 用雲資料庫會被打死嗎
緩存雪崩、擊穿、穿透及解決方案
1、緩存雪崩，出現過程，假如一個系統，高峰期5000次/s，4000次走了緩存，1000次走資料庫，資料庫1000/s是正常指標，完全可以工作，但是如果緩存宕機了，或者緩存設置了相同的過期時間，導致緩存同一時間失效，然後5000次請求都打在了資料庫上，資料庫立馬被打死了，資料庫一般1s最多抗2000個請求(這個取決於具體硬體配置)，如果DBA重啟資料庫，同樣的立馬會繼續被打死，這就是緩存雪崩。
『伍』 Redis緩存雪崩就這么簡單
在實際項目開發中，我們都知道Redis不可能把所有的數據都緩存起來( 內存昂貴且有限 )，所以Redis需要對數據設置過期時間，並採用的是惰性刪除+定期刪除兩種策略對過期鍵刪除。
如果緩存數據 設置的過期時間是相同 的，並且Redis恰好將這部分數據全部刪光了。這就會導致在這段時間內，這些緩存 同時失效 ，全部請求到資料庫中。
這就是緩存雪崩 ：
緩存雪崩如果發生了，很可能就把我們的資料庫 搞垮 ，導致整個服務癱瘓，造成的後果很嚴重。
對緩存數據設置相同的過期時間，導致某段時間內緩存失效。」
對於「Redis掛掉了」，我們可以有以下的思路：
『陸』 redis常見問題
1. 緩存擊穿
緩存擊穿是指一個請求要訪問的數據，緩存中沒有，但資料庫中有的情況。這種情況一般都是緩存過期了。
但是這時由於並發訪問這個緩存的用戶特別多，這是一個熱點 key，這么多用戶的請求同時過來，在緩存裡面沒有取到數據，所以又同時去訪問資料庫取數據，引起資料庫流量激增，壓力瞬間增大，直接崩潰給你看。
所以一個數據有緩存，每次請求都從緩存中快速的返回了數據，但是某個時間點緩存失效了，某個請求在緩存中沒有請求到數據，這時候我們就說這個請求就"擊穿"了緩存。
針對這個場景，對應的解決方案一般來說有三種。
藉助Redis setNX命令設置一個標志位就行。設置成功的放行，設置失敗的就輪詢等待。就是在更新緩存時加把鎖
後台開一個定時任務，專門主動更新過期數據
比如程序中設置 why 這個熱點 key 的時候，同時設置了過期時間為 10 分鍾，那後台程序在第 8 分鍾的時候，會去資料庫查詢數據並重新放到緩存中，同時再次設置緩存為 10 分鍾。
其實上面的後台續命思想的最終體現是也是永不過期。
只是後台續命的思想，會主動更新緩存，適用於緩存會變的場景。會出現緩存不一致的情況，取決於你的業務場景能接受多長時間的緩存不一致。
2. 緩存穿透
緩存穿透是指一個請求要訪問的數據，緩存和資料庫中都沒有，而用戶短時間、高密度的發起這樣的請求，每次都打到資料庫服務上，給資料庫造成了壓力。一般來說這樣的請求屬於惡意請求。
解決方案有兩種：
就是在資料庫即使沒有查詢到數據，我們也把這次請求當做 key 緩存起來，value 可以是 NULL。下次同樣請求就會命中這個 NULL，緩存層就處理了這個請求，不會對資料庫產生壓力。這樣實現起來簡單，開發成本很低。
3. 緩存雪崩
緩存雪崩是指緩存中大多數的數據在同一時間到達過期時間，而查詢數據量巨大，這時候，又是緩存中沒有，資料庫中有的情況了。
防止雪崩的方案簡單來說就是錯峰過期。
在設置 key 過期時間的時候，在加上一個短的隨機過期時間，這樣就能避免大量緩存在同一時間過期，引起的緩存雪崩。
如果發了雪崩，我們可以有服務降級、熔斷、限流手段來拒絕一些請求，保證服務的正常。但是，這些對用戶體驗是有一定影響的。
4. Redis 高可用架構
Redis 高可用架構，大家基本上都能想到主從、哨兵、集群這三種模式。
哨兵模式：
它主要執行三種類型的任務：
哨兵其實也是一個分布式系統，我們可以運行多個哨兵。
然後這些哨兵之間需要相互通氣，交流信息，通過投票來決定是否執行自動故障遷移，以及選擇哪個從伺服器作為新的主伺服器。
哨兵之間採用的協議是 gossip，是一種去中心化的協議，達成的是最終一致性。
選舉規則：
『柒』 該怎麼解決 Redis 緩存穿透和緩存雪崩問題
緩存雪崩： 由於緩存層承載著大量請求，有效地 保護了存儲層，但是如果緩存層由於某些原因不能提供服務，比如 Redis 節點掛掉了，熱點 key 全部失效了，在這些情況下，所有的請求都會直接請求到資料庫，可能會造成資料庫宕機的情況。
預防和解決緩存雪崩問題，可以從以下三個方面進行著手：
1、使用 Redis 高可用架構：使用 Redis 集群來保證 Redis 服務不會掛掉
2、緩存時間不一致： 給緩存的失效時間，加上一個隨機值，避免集體失效
3、限流降級策略：有一定的備案，比如個性推薦服務不可用了，換成熱點數據推薦服務
緩存穿透： 緩存穿透是指查詢一個根本不存在的數據，這樣的數據肯定不在緩存中，這會導致請求全部落到資料庫上，有可能出現資料庫宕機的情況。
預防和解決緩存穿透問題，可以考慮以下兩種方法：
1、緩存空對象： 將空值緩存起來，但是這樣就有一個問題，大量無效的空值將佔用空間，非常浪費。
2、布隆過濾器攔截： 將所有可能的查詢key 先映射到布隆過濾器中，查詢時先判斷key是否存在布隆過濾器中，存在才繼續向下執行，如果不存在，則直接返回。布隆過濾器有一定的誤判，所以需要你的業務允許一定的容錯性。
『捌』 java清緩存前可以進後台方法,清完緩存不進了
關於java清緩存前可以進後台方法,清完緩存不進了相關資料如下
java我們在使用緩存時，往往先嘗試去緩存中取值，如果沒有，再去資料庫取值，如果資料庫也沒有值，則根據業務需求，返回空或者拋異常。
如果用戶一直訪問一個資料庫不存在的數據，比如id為-1的數據，就會導致每次請求都會先去緩存查一次，然後再去資料庫查一次，造成嚴重的性能問題。這種情況就叫緩存穿透。
解決方案
以下幾種解決方案：對請求參數做校驗，比如用戶鑒權校驗，id做基礎校驗，id <= 0的直接攔截。
如果查詢到資料庫沒有值，也將對應的key存進緩存中，value為null。這樣下次查詢就直接從緩存返回了。但這里的key的緩存時間應該比較短，比如30s。防止後面在資料庫插入了這條數據，而用戶獲取不到。
使用布隆過濾器，判斷一個key是否已經查過了，如果已經查過了，就不去資料庫查詢。
緩存擊穿
緩存擊穿指的是，一個key的訪問量非常大，比如某秒殺活動，有1w/s的並發量。這個key在某一時刻過期，那這些大量的請求就會一瞬間到資料庫，資料庫可能會直接崩潰。
解決方案
緩存擊穿的解決方案也有幾種，可以配合使用：對於熱點數據，慎重考慮過期時間，確保熱點期間key不會過期，甚至有些可以設置永不過期。
使用互斥鎖(比如Java的多線程鎖機制)，第一個線程訪問key的時候就鎖住，等查詢資料庫返回後，把值插入到緩存後再釋放鎖，這樣後面的請求就可以直接取緩存裡面的數據了。
緩存雪崩
緩存雪崩指的是，在某一時刻，多個key失效。這樣就會有大量的請求從緩存中獲取不到值，全部到資料庫。還有另一種情況，就是緩存伺服器宕機，也算做緩存雪崩。
解決方案
針對上述兩種情況，緩存雪崩有兩種解決方案：對每個key的過期時間設置一個隨機值，而不是所有key都相同。
使用高可用的分布式緩存集群，確保緩存的高可用性，比如redis-cluster。
『玖』 《雪崩》epub下載在線閱讀，求百度網盤雲資源
《雪崩》（[美] 尼爾·斯蒂芬森）電子書網盤下載免費在線閱讀
資源鏈接：
鏈接：https://pan..com/s/1B0AFf5XovrmXGIDhkEc8ag
書名：雪崩
作者：[美] 尼爾·斯蒂芬森
譯者：郭澤
豆瓣評分：8.1
出版社：四川科學技術出版社
出版年份：2018-7
頁數：588
內容簡介：
中央情報局成了中央情報公司，國會圖書館成了中央情報公司資料庫；至於國會，沒幾個人知道它是什麼玩意兒。美國的大地上到處是特許邦國，也就是特許經營組織准國家實體，一種類似麥當勞連鎖店的機構。
美國政府呢？這個東西僅僅存在於不多的幾處聯邦建築里，由聯邦特工持槍把守，隨時准備抵抗來自街頭的襲擊。
這就是未來的美國，一個車水馬龍與頹廢荒涼並存、尖端科技與野蠻低俗混雜之地。
但在這片喧囂混亂之上，還存在著另一個無比廣闊、無比自由的國度：賽博空間，由電腦和網路構成的虛擬空間。
在現實生活中，本書主人公只是個微不足道的披薩速遞員，但在虛擬空間中，他是首屈一指的黑客、擅使雙刀的高手。這樣的人擁有毀滅世界的力量 —— 也可以拯救這個世界……
作者簡介：
［美］尼爾•斯蒂芬森
美國著名幻想文學作家，其作品包括科幻小說、歷史小說和高科技驚險小說，題材涉及數學、哲學、宗教、金融、密碼破譯和科技史等多個學科領域。
出版於1992年的《雪崩》是斯蒂芬森重要的科幻作品之一，標志著他創作風格的成熟，面世後引發洶涌的賽博朋克閱讀風潮。此後，他的作家生涯進入黃金期，幾乎每四年便推出一部膾炙人口的大作。其中，1995年的《鑽石時代》獲得雨果獎；1999年的《編碼寶典》及此後的「巴洛克」三部曲以破譯數據密碼為中心線索，結合歷史小說和科技驚險小說的元素，戲劇性地重述了科技發展史，大受讀者好評。其後，斯蒂芬森推出的《飛越修道院》和《七族》都成功入圍雨果獎決選。
『拾』 sre是什麼意思
SRE是指Site Reliability Engineer (網站可靠性工程師)。他是軟體工程師和系統管理員的結合，一個SRE工程師基本上需要掌握很多知識：演算法，數據結構，編程能力，網路編程，分布式系統，可擴展架構，故障排除。
大部分人理解SRE等於傳統運維工程師(OP)或者系統管理員(SA)，實則不然，這兩類角色離一名合格的SRE還有太大的差距，完全無法匹配得上這個稱號。在國內，只有少數幾家頂尖互聯網公司才會出現真正的SRE。
相關信息：
SRE不是做底層硬體維護，而是負責各種服務的性能和穩定性。
遠離底層硬體，更多靠近軟體基礎架構層面，幫助企業客戶打造強大的軟體基礎構架。
Google SRE是業內最有影響力的，也是最早提出這個概念的公司。