資料庫查詢緩存
㈠ 資料庫基礎詳解：存儲過程、視圖、游標、sql語句優化以及索引
寫在文章前：本系列文章用於博主自己歸納復習一些基礎知識，同時也分享給可能需要的人，因為水平有限，肯定存在諸多不足以及技術性錯誤，請大佬們及時指正。
存儲過程 是事先經過編譯並存儲在資料庫中的一段SQL語句的集合。想要實現相應的功能時，只需要調用這個存儲過程就行了（類似於函數，輸入具有輸出參數）。
優點 ：
缺點 ：
Delete用來刪除表的全部或者部分數據，執行delete之後，用戶需要提交之後才會執行，會觸發表上的DELETE觸發器（包含一個OLD的虛擬表，可以只讀訪問被刪除的數據），DELETE之後表結構還在，刪除很慢，一行一行地刪，因為會記錄日誌，可以利用日誌還原數據；
Truncate刪除表中的所有數據，這個操作不能回滾，也不會觸發這個表上的觸發器。操作比DELETE快很多（直接把表drop掉，再創建一個新表，刪除的數據不能找回）。如果表中有自增（AUTO_INCREMENT）列，則重置為1。
Drop命令從資料庫中刪除表，所有的數據行，索引和約束都會被刪除。不能回滾，不會觸發觸發器。
觸發器（TRIGGER）是由事件（比如INSERT/UPDATE/DELETE）來觸發運行的操作（不能被直接調用，不能接收參數）。在資料庫里以獨立的對象存儲，用於保證數據完整性（比如可以檢驗或轉換數據）。
約束（Constraint）類型：
從資料庫的基本表中通過查詢選取出來的數據組成的虛擬表（資料庫中只存放視圖的定義，而不存放視圖的數據）。可以對其進行增/刪/改/查等操作。視圖是對若干張基本表的引用，一張虛表，查詢語句執行的結果，不存儲具體的數據（基本表數據發生了改變，視圖也會跟著改變）。
可以跟基本表一樣，進行增刪改查操作( 增刪改操作有條件限制，一般視圖只允許查詢操作 )，對視圖的增刪改也會影響原表的數據。 它就像一個窗口，透過它可以看到資料庫中自己感興趣的數據並且操作它們。 好處：
用於定位在查詢返回的結果集的特定行，以對特定行進行操作。使用游標可以方便地對結果集進行移動遍歷，根據需要滾動或對瀏覽/修改任意行中的數據。主要用於互動式應用。它是一段私有的SQL工作區，也就是一段內存區域，用於暫時存放受SQL語句影響的數據，簡單來說，就是將受影響的數據暫時放到了一個內存區域的虛表當中，這個虛表就是游標。
游標是一種能從包括多條數據記錄的結果集中每次提取一條記錄的機制。即游標用來逐行讀取結果集。游標充當指針的作用。盡管游標能遍歷結果中的所有行，但他一次只指向一行。
游標的一個常見用途就是保存查詢結果，以便以後使用。游標的結果集是由SELECT語句產生，如果處理過程需要重復使用一個記錄集，那麼創建一次游標而重復使用若干次，比重復查詢資料庫要快的多。通俗來說，游標就是能在sql的查詢結果中，顯示某一行（或某多行）數據，其查詢的結果不是數據表，而是已經查詢出來的結果集。
簡單來說：游標就是在查詢出的結果集中進行選擇性操作的工具。
讓緩存更高效。對於連接查詢，如果其中一個表發生變化，那麼整個查詢緩存就無法使用。而分解後的多個查詢，即使其中一個表發生變化，對其它表的查詢緩存依然可以使用。分解成多個單表查詢，這些單表查詢的緩存結果更可能被其它查詢使用到，從而減少冗餘的查詢。減少鎖競爭。
索引是對資料庫表中一列或多列的值進行排序的一種結構（說明是在列上建立的），使用索引可快速訪問資料庫表中的特定信息。如果想按特定職員的姓來查找他或她，則與在表中搜索所有的行相比，索引有助於更快地獲取信息。索引的一個主要目的就是加快檢索表中數據，亦即能協助信息搜索者盡快的找到符合限制條件的記錄ID的輔助數據結構。
當表中有大量記錄時，若要對表進行查詢，第一種搜索信息方式是全表搜索，是將所有記錄一一取出，和查詢條件進行一一對比，然後返回滿足條件的記錄，這樣做會消耗大量資料庫系統時間，並造成大量磁碟I/O操作。第二種就是在表中建立索引，然後在索引中找到符合查詢條件的索引值，最後通過保存在索引中的ROWID（相當於頁碼）快速找到表中對應的記錄。
例如這樣一個查詢：select * from table1 where id=10000。如果沒有索引，必須遍歷整個表，直到ID等於10000的這一行被找到為止。有了索引之後(必須是在ID這一列上建立的索引)，即可在索引中查找。由於索引是經過某種演算法優化過的，因而查找次數要少的多。可見，索引是用來定位的。
從應用上分， 主鍵索引（聚集） ， 唯一索引（聚集/非聚集） ， 普通索引 ， 組合索引 ， 單列索引和全文索引
㈡ hibernate 二級緩存和查詢緩存有什麼區別
一級緩存為session級別的緩存，為hibernate內置緩存，你從資料庫load或get數據的時候會先去一級緩存上找。如果找到，則不會從資料庫中存，否則從資料庫中取。一級緩存會在session關閉時自動清除。
二級緩存為SessionFactory級別的緩存，要使用第三方二級緩存組件，不同session可以共享二級緩存中的數據！
查詢緩存就是hql或sql語句要相同，否則無法命中數據
㈢ 淺談資料庫查詢優化的幾種思路
應盡量避免全表掃描，首先應考慮在 where 及 order by ,group by 涉及的列上建立索引
可以幫助選擇更好的索引和優化查詢語句， 寫出更好的優化語句。 通常我們可以對比較復雜的尤其是涉及到多表的 SELECT 語句， 把關鍵字 EXPLAIN 加到前面， 查看執行計劃。例如： explain select * from news;
用具體的欄位列表代替「*」 ， 不要返回用不到的任何欄位。
mysql innodb上的理解。
1，不需要的欄位會增加數據傳輸的時間，即使mysql伺服器和客戶端是在同一台機器上，使用的協議還是tcp，通信也是需要額外的時間。
2，要取的欄位、索引的類型，和這兩個也是有關系的。舉個例子，對於user表，有name和phone的聯合索引，select name from user where phone= 12345678912 和 select * from user where phone= 12345678912 ，前者要比後者的速度快，因為name可以在索引上直接拿到，不再需要讀取這條記錄了。
3，大欄位，例如很長的varchar，blob，text。准確來說，長度超過728位元組的時候，會把超出的數據放到另外一個地方，因此讀取這條記錄會增加一次io操作。
比如from_unixtime(create_time) = 』2014-05-29』就不能使用到索引，原因很簡單，b+樹中存的都是數據表中的欄位值，但進行檢索時，需要把所有元素都應用函數才能比較，顯然成本太大。所以語句應該寫成create_time = unix_timestamp(』2014-05-29』);
使用 procere analyse()函數對表進行分析， 該函數可以對表中列的數據類型提出優化建議。 能小就用小。 表數據類型第一個原則是： 使用能正確的表示和存儲數據的最短類型。 這樣可以減少對磁碟空間、 內存、 cpu 緩存的使用。
使用方法： select * from 表名 procere analyse();
通過拆分表可以提高表的訪問效率。 有 2 種拆分方法
1.垂直拆分
把主鍵和一些列放在一個表中， 然後把主鍵和另外的列放在另一個表中。 如果一個表中某些列常用， 而另外一些不常用， 則可以採用垂直拆分。
2.水平拆分
根據一列或者多列數據的值把數據行放到二個獨立的表中。
創建中間表， 表結構和源表結構完全相同， 轉移要統計的數據到中間表， 然後在中間表上進行統計， 得出想要的結果。
選擇多核和主頻高的 CPU。
使用更大的內存。 將盡量多的內存分配給 MYSQL 做緩存。
4.3.1 使用磁碟陣列
RAID 0 沒有數據冗餘， 沒有數據校驗的磁碟陳列。 實現 RAID 0至少需要兩塊以上的硬碟， 它將兩塊以上的硬碟合並成一塊， 數據連續地分割在每塊盤上。
RAID1 是將一個兩塊硬碟所構成 RAID 磁碟陣列， 其容量僅等於一塊硬碟的容量， 因為另一塊只是當作數據「鏡像」。使用 RAID-0+1 磁碟陣列。 RAID 0+1 是 RAID 0 和 RAID 1 的組合形式。 它在提供與 RAID 1 一樣的數據安全保障的同時， 也提供了與 RAID 0 近似的存儲性能。
4.3.2 調整磁碟調度演算法
選擇合適的磁碟調度演算法， 可以減少磁碟的尋道時間
對 MySQL 自身的優化主要是對其配置文件 my.cnf 中的各項參數進行優化調整。 如指定 MySQL 查詢緩沖區的大小， 指定 MySQL 允許的最大連接進程數等。
它的作用是存儲 select 查詢的文本及其相應結果。 如果隨後收到一個相同的查詢， 伺服器會從查詢緩存中直接得到查詢結果。 查詢緩存適用的對象是更新不頻繁的表， 當表中數據更改後， 查詢緩存中的相關條目就會被清空。
㈣ 如何清理MySQL 的查詢緩存
MySQL的FLUSH可以清理mysql資料庫緩存數據
MySQL的FLUSH句法(清除或者重新載入內部緩存） FLUSH flush_option [,flush_option]，如果你想要清除一些MySQL使用內部緩存，你應該使用FLUSH命令。為了執行FLUSH，你必須有reload許可權。
flush_option 可以是下列任何東西：
HOSTS 這個用的最多，經常碰見。主要是用來清空主機緩存表。如果你的某些主機改變IP數字，或如果你得到錯誤消息Host ... isblocked，你應該清空主機表。當在連接MySQL伺服器時，對一台給定的主機有多於 max_connect_errors個錯誤連續不斷地發生，MySQL為了安全的需要將會阻止該主機進一步的連接請求。清空主機表允許主機再嘗試連接。
LOGS 關閉當前的二進制日誌文件並創建一個新文件，新的二進制日誌文件的名字在當前的二進制文件的編號上加1。
PRIVILEGES 這個也是經常使用的，每當重新賦權後，為了以防萬一，讓新許可權立即生效，一般都執行一把，目地是從資料庫授權表中重新裝載許可權到緩存中。
TABLES 關閉所有打開的表，同時該操作將會清空查詢緩存中的內容。
FLUSH TABLES WITH READ LOCK 關閉所有打開的表，同時對於所有資料庫中的表都加一個讀鎖，直到顯示地執行unlock tables，該操作常常用於數據備份的時候。解鎖的語句就是unlock tables。
FLUSH TABLES WITH READ LOCK對於資料庫是全局的表鎖定，如果只想鎖定幾個表，可以用LOCK TABLES tbl_name [AS alias] {READ [LOCAL] | [LOW_PRIORITY] WRITE} 。這個命令同樣需要unlock tables來解鎖。
read-lock: 允許其他並發的讀請求，但阻塞寫請求，即可以同時讀，但不允許任何寫。也叫共享鎖。write-lock: 不允許其他並發的讀和寫請求，是排他的(exclusive)。也叫獨占鎖
STATUS 重置大多數狀態變數到0。
MASTER 刪除所有的二進制日誌索引文件中的二進制日誌文件，重置二進制日誌文件的索引文件為空，創建一個新的二進制日誌文件,不過這個已經不推薦使用，改成reset master 了。可以想像，以前自己是多土啊，本來一條簡單的命令就可以搞定的，卻要好幾條命令來，以前的做法是先查出來當前的二進制日誌文件名，再用purge 操作。
QUERY CACHE 重整查詢緩存，消除其中的碎片，提高性能，但是並不影響查詢緩存中現有的數據，這點和Flush table 和Reset Query Cache（將會清空查詢緩存的內容）不一樣的。
SLAVE 類似於重置復制吧，讓從資料庫忘記主資料庫的復制位置，同時也會刪除已經下載下來的relay log,與Master一樣，已經不推薦使用，改成Reset Slave了。這個也很有用的。
一般來講，Flush操作都會記錄在二進制日誌文件中，但是FLUSH LOGS、FLUSH MASTER、FLUSH SLAVE、FLUSH TABLES WITH READ LOCK不會記錄，因此上述操作如果記錄在二進制日誌文件中話，會對從資料庫造成影響。
㈤ 資料庫緩存機制是什麼緩存是如何作用資料庫
我們都知道 MySQL 的 Table Cache 是表定義的緩存，江湖上流傳著各種對這個參數的調優方法。
table cache 的作用，就是節約讀取表結構文件的開銷。對於table cache 是否命中，其實table cache 是針對於線程的，每個線程有自己的緩存，只緩存本線程的表結構定義。不過我們發現，strace 中沒有關於表結構文件的 open 操作（只有 stat 操作，定位表結構文件是否存在），也就是說 table cache 不命中，不一定需要讀取表結構文件。這種感覺好像是：在不命中 table cache 時，命中了另外一個表結構緩存。
運維建議：
我們讀一下 MySQL 的文檔，關於 table_open_cache 的建議值公式：建議值 = 最大並發數 * join 語句涉及的表的最大個數。
通過實驗我們容易理解：table_cache 是針對於線程的，所以需要最大並發數個緩存。另外，一個語句 join 涉及的表，需要同時在緩存中存在。所以最小的緩存大小，等於語句 join 涉及的表的最大個數。將這兩個數相乘，就得到了 MySQL 的建議值公式。
一、全頁面靜態化緩存也就是將頁面全部生成html靜態頁面，用戶訪問時直接訪問的靜態頁面，而不會去走php伺服器解析的流程。
此種方式，在CMS系統中比較常見，比如dedecms；一種比較常用的實現方式是用輸出緩存：Ob_start()******要運行的代碼*******$content=Ob_get_contents();****將緩存內容寫入html文件*****Ob_end_clean();二、數據緩存顧名思義，就是緩存數據的一種方式；比如，商城中的某個商品信息，當用商品id去請求時，就會得出包括店鋪信息、商品信息等數據，此時就可以將這些數據緩存到一個php文件中，文件名包含商品id來建一個唯一標示；下一次有人想查看這個商品時，首先就直接調這個文件裡面的信息，而不用再去資料庫查詢；其實緩存文件中緩存的就是一個php數組之類；Ecmall商城系統裡面就用了這種方式；三、查詢緩存其實這跟數據緩存是一個思路，就是根據查詢語句來緩存；將查詢得到的數據緩存在一個文件中，下次遇到相同的查詢時，就直接先從這個文件裡面調數據，不會再去查資料庫；但此處的緩存文件名可能就需要以查詢語句為基點來建立唯一標示；按時間變更進行緩存就是對於緩存文件您需要設一個有效時間，在這個有效時間內，相同的訪問才會先取緩存文件的內容，但是超過設定的緩存時間，就需要重新從資料庫中獲取數據，並生產最新的緩存文件；比如，我將我們商城的首頁就是設置2個小時更新一次。
四、頁面部分緩存該種方式，是將一個頁面中不經常變的部分進行靜態緩存，而經常變化的塊不緩存，最後組裝在一起顯示；可以使用類似於ob_get_contents的方式實現，也可以利用類似ESI之類的頁面片段緩存策略，使其用來做動態頁面中相對靜態的片段部分的緩存。
該種方式可以用於如商城中的商品頁；五、Opcode緩存首先php代碼被解析為Tokens，然後再編譯為Opcode碼，最後執行Opcode碼，返回結果；所以，對於相同的php文件，第一次運行時可以緩存其Opcode碼，下次再執行這個頁面時，直接會去找到緩存下的opcode碼，直接執行最後一步，而不再需要中間的步驟了。
比較知名的是XCache、TurckMMCache、PHPAccelerator等。
六、按內容變更進行緩存這個也並非獨立的緩存技術，需結合著用；就是當資料庫內容被修改時，即刻更新緩存文件；比如，一個人流量很大的商城，商品很多，商品表必然比較大，這表的壓力也比較重；我們就可以對商品顯示頁進行頁面緩存；當商家在後台修改這個商品的信息時，點擊保存，我們同時就更新緩存文件；那麼，買家訪問這個商品信息時，實際問的是一個靜態頁面，而不需要再去訪問資料庫；試想，如果對商品頁不緩存，那麼每次訪問一個商品就要去資料庫查一次，如果有10萬人在線瀏覽商品，那伺服器壓力就大了；七、內存式緩存提到這個，可能大家想到的首先就是Memcached；memcached是高性能的分布式內存緩存伺服器。
一般的使用目的是，通過緩存資料庫查詢結果，減少資料庫訪問次數，以提高動態Web應用的速度、提高可擴展性。
它就是將需要緩存的信息，緩存到系統內存中，需要獲取信息時，直接到內存中取；比較常用的方式就是key_>value方式；connect($memcachehost,$memcacheport)ordie("Couldnotconnect");$memcache->set('key','緩存的內容');$get=$memcache->get($key);//獲取信息?>八、apache緩存模塊apache安裝完以後，是不允許被cache的。
重慶IT培訓http://www.kmbdqn.cn/認為如果外接了cache或squid伺服器要求進行web加速的話，就需要在htttpd.conf里進行設置，當然前提是在安裝apache的時候要激活mod_cache的模塊。
㈦ 如何保證資料庫緩存的最終一致性
對於互聯網業務來說，傳統的直接訪問資料庫方式，主要通過數據分片、一主多從等方式來扛住讀寫流量，但隨著數據量的積累和流量的激增，僅依賴資料庫來承接所有流量，不僅成本高、效率低、而且還伴隨著穩定性降低的風險。
鑒於大部分業務通常是讀多寫少（讀取頻率遠遠高於更新頻率），甚至存在讀操作數量高出寫操作多個數量級的情況。因此， 在架構設計中，常採用增加緩存層來提高系統的響應能力 ，提升數據讀寫性能、減少資料庫訪問壓力，從而提升業務的穩定性和訪問體驗。
根據 CAP 原理，分布式系統在可用性、一致性和分區容錯性上無法兼得，通常由於分區容錯無法避免，所以一致性和可用性難以同時成立。對於緩存系統來說， 如何保證其數據一致性是一個在應用緩存的同時不得不解決的問題 。
需要明確的是，緩存系統的數據一致性通常包括持久化層和緩存層的一致性、以及多級緩存之間的一致性，這里我們僅討論前者。持久化層和緩存層的一致性問題也通常被稱為雙寫一致性問題，「雙寫」意為數據既在資料庫中保存一份，也在緩存中保存一份。
對於一致性來說，包含強一致性和弱一致性 ，強一致性保證寫入後立即可以讀取，弱一致性則不保證立即可以讀取寫入後的值，而是盡可能的保證在經過一定時間後可以讀取到，在弱一致性中應用最為廣泛的模型則是最終一致性模型，即保證在一定時間之後寫入和讀取達到一致的狀態。對於應用緩存的大部分場景來說，追求的則是最終一致性，少部分對數據一致性要求極高的場景則會追求強一致性。
為了達到最終一致性，針對不同的場景，業界逐步形成了下面這幾種應用緩存的策略。
— 1 —
Cache-Aside
Cache-Aside 意為旁路緩存模式，是應用最為廣泛的一種緩存策略。下面的圖示展示了它的讀寫流程，來看看它是如何保證最終一致性的。在讀請求中，首先請求緩存，若緩存命中（cache hit），則直接返回緩存中的數據；若緩存未命中（cache miss），則查詢資料庫並將查詢結果更新至緩存，然後返回查詢出的數據（demand-filled look-aside ）。在寫請求中，先更新資料庫，再刪除緩存（write-invalidate）。
1、為什麼刪除緩存，而不是更新緩存？
在 Cache-Aside 中，對於讀請求的處理比較容易理解，但在寫請求中，可能會有讀者提出疑問，為什麼要刪除緩存，而不是更新緩存？站在符合直覺的角度來看，更新緩存是一個容易被理解的方案，但站在性能和安全的角度，更新緩存則可能會導致一些不好的後果。
首先是性能 ，當該緩存對應的結果需要消耗大量的計算過程才能得到時，比如需要訪問多張資料庫表並聯合計算，那麼在寫操作中更新緩存的動作將會是一筆不小的開銷。同時，當寫操作較多時，可能也會存在剛更新的緩存還沒有被讀取到，又再次被更新的情況（這常被稱為緩存擾動），顯然，這樣的更新是白白消耗機器性能的，會導致緩存利用率不高。
而等到讀請求未命中緩存時再去更新，也符合懶載入的思路，需要時再進行計算。刪除緩存的操作不僅是冪等的，可以在發生異常時重試，而且寫-刪除和讀-更新在語義上更加對稱。
其次是安全 ，在並發場景下，在寫請求中更新緩存可能會引發數據的不一致問題。參考下面的圖示，若存在兩個來自不同線程的寫請求，首先來自線程 1 的寫請求更新了資料庫（step 1），接著來自線程 2 的寫請求再次更新了資料庫（step 3），但由於網路延遲等原因，線程 1 可能會晚於線程 2 更新緩存（step 4 晚於 step 3），那麼這樣便會導致最終寫入資料庫的結果是來自線程 2 的新值，寫入緩存的結果是來自線程 1 的舊值，即緩存落後於資料庫，此時再有讀請求命中緩存（step 5），讀取到的便是舊值。
2、為什麼先更新資料庫，而不是先刪除緩存？
另外，有讀者也會對更新資料庫和刪除緩存的時序產生疑問，那麼為什麼不先刪除緩存，再更新資料庫呢？在單線程下，這種方案看似具有一定合理性，這種合理性體現在刪除緩存成功。
但更新資料庫失敗的場景下，盡管緩存被刪除了，下次讀操作時，仍能將正確的數據寫回緩存，相對於 Cache-Aside 中更新資料庫成功，刪除緩存失敗的場景來說，先刪除緩存的方案似乎更合理一些。那麼，先刪除緩存有什麼問題呢？
問題仍然出現在並發場景下，首先來自線程 1 的寫請求刪除了緩存（step 1），接著來自線程 2 的讀請求由於緩存的刪除導致緩存未命中，根據 Cache-Aside 模式，線程 2 繼而查詢資料庫（step 2），但由於寫請求通常慢於讀請求，線程 1 更新資料庫的操作可能會晚於線程 2 查詢資料庫後更新緩存的操作（step 4 晚於 step 3），那麼這樣便會導致最終寫入緩存的結果是來自線程 2 中查詢到的舊值，而寫入資料庫的結果是來自線程 1 的新值，即緩存落後於資料庫，此時再有讀請求命中緩存（ step 5 ），讀取到的便是舊值。
另外，先刪除緩存，由於緩存中數據缺失，加劇資料庫的請求壓力，可能會增大緩存穿透出現的概率。
3、如果選擇先刪除緩存，再更新資料庫，那如何解決一致性問題呢？
為了避免「先刪除緩存，再更新資料庫」這一方案在讀寫並發時可能帶來的緩存臟數據，業界又提出了延時雙刪的策略，即在更新資料庫之後，延遲一段時間再次刪除緩存，為了保證第二次刪除緩存的時間點在讀請求更新緩存之後，這個延遲時間的經驗值通常應稍大於業務中讀請求的耗時。
延遲的實現可以在代碼中 sleep 或採用延遲隊列。顯而易見的是，無論這個值如何預估，都很難和讀請求的完成時間點准確銜接，這也是延時雙刪被詬病的主要原因。
4、那麼 Cache-Aside 存在數據不一致的可能嗎？
在 Cache-Aside 中，也存在數據不一致的可能性。在下面的讀寫並發場景下，首先來自線程 1 的讀請求在未命中緩存的情況下查詢資料庫（step 1），接著來自線程 2 的寫請求更新資料庫（step 2），但由於一些極端原因，線程 1 中讀請求的更新緩存操作晚於線程 2 中寫請求的刪除緩存的操作（step 4 晚於 step 3），那麼這樣便會導致最終寫入緩存中的是來自線程 1 的舊值，而寫入資料庫中的是來自線程 2 的新值，即緩存落後於資料庫，此時再有讀請求命中緩存（step 5），讀取到的便是舊值。
這種場景的出現，不僅需要緩存失效且讀寫並發執行，而且還需要讀請求查詢資料庫的執行早於寫請求更新資料庫，同時讀請求的執行完成晚於寫請求。足以見得，這種 不一致場景產生的條件非常嚴格，在實際的生產中出現的可能性較小 。
除此之外，在並發環境下，Cache-Aside 中也存在讀請求命中緩存的時間點在寫請求更新資料庫之後，刪除緩存之前，這樣也會導致讀請求查詢到的緩存落後於資料庫的情況。
雖然在下一次讀請求中，緩存會被更新，但如果業務層面對這種情況的容忍度較低，那麼可以採用加鎖在寫請求中保證「更新資料庫&刪除緩存」的串列執行為原子性操作（同理也可對讀請求中緩存的更新加鎖）。 加鎖勢必會導致吞吐量的下降，故採取加鎖的方案應該對性能的損耗有所預期。
— 2 —
補償機制
我們在上面提到了，在 Cache-Aside 中可能存在更新資料庫成功，但刪除緩存失敗的場景，如果發生這種情況，那麼便會導致緩存中的數據落後於資料庫，產生數據的不一致的問題。
其實，不僅 Cache-Aside 存在這樣的問題，在延時雙刪等策略中也存在這樣的問題。針對可能出現的刪除失敗問題，目前業界主要有以下幾種補償機制。
1、刪除重試機制
由於同步重試刪除在性能上會影響吞吐量，所以常通過引入消息隊列，將刪除失敗的緩存對應的 key 放入消息隊列中，在對應的消費者中獲取刪除失敗的 key ，非同步重試刪除。這種方法在實現上相對簡單，但由於刪除失敗後的邏輯需要基於業務代碼的 trigger 來觸發 ，對業務代碼具有一定入侵性。
鑒於上述方案對業務代碼具有一定入侵性，所以需要一種更加優雅的解決方案，讓緩存刪除失敗的補償機制運行在背後，盡量少的耦合於業務代碼。一個簡單的思路是通過後台任務使用更新時間戳或者版本作為對比獲取資料庫的增量數據更新至緩存中，這種方式在小規模數據的場景可以起到一定作用，但其擴展性、穩定性都有所欠缺。
一個相對成熟的方案是基於 MySQL 資料庫增量日誌進行解析和消費，這里較為流行的是阿里巴巴開源的作為 MySQL binlog 增量獲取和解析的組件 canal（類似的開源組件還有 Maxwell、Databus 等）。
canal sever 模擬 MySQL slave 的交互協議，偽裝為 MySQL slave，向 MySQL master 發送 mp 協議，MySQL master 收到 mp 請求，開始推送 binary log 給 slave （即 canal sever ），canal sever 解析 binary log 對象（原始為 byte 流），可由 canal client 拉取進行消費，同時 canal server 也默認支持將變更記錄投遞到 MQ 系統中，主動推送給其他系統進行消費。
在 ack 機制的加持下，不管是推送還是拉取，都可以有效的保證數據按照預期被消費。當前版本的 canal 支持的 MQ 有 Kafka 或者 RocketMQ。另外， canal 依賴 ZooKeeper 作為分布式協調組件來實現 HA ，canal 的 HA 分為兩個部分：
那麼，針對緩存的刪除操作便可以在 canal client 或 consumer 中編寫相關業務代碼來完成。這樣，結合資料庫日誌增量解析消費的方案以及 Cache-Aside 模型，在讀請求中未命中緩存時更新緩存（通常這里會涉及到復雜的業務邏輯），在寫請求更新資料庫後刪除緩存，並基於日誌增量解析來補償資料庫更新時可能的緩存刪除失敗問題，在絕大多數場景下，可以有效的保證緩存的最終一致性。
另外需要注意的是，還應該隔離事務與緩存，確保資料庫入庫後再進行緩存的刪除操作。 比如考慮到資料庫的主從架構，主從同步及讀從寫主的場景下，可能會造成讀取到從庫的舊數據後便更新了緩存，導致緩存落後於資料庫的問題，這就要求對緩存的刪除應該確保在資料庫操作完成之後。所以，基於 binlog 增量日誌進行數據同步的方案，可以通過選擇解析從節點的 binlog，來避免主從同步下刪除緩存過早的問題。
3、數據傳輸服務 DTS
— 3 —
Read-Through
Read-Through 意為讀穿透模式，它的流程和 Cache-Aside 類似，不同點在於 Read-Through 中多了一個訪問控制層，讀請求只和該訪問控制層進行交互，而背後緩存命中與否的邏輯則由訪問控制層與數據源進行交互，業務層的實現會更加簡潔，並且對於緩存層及持久化層交互的封裝程度更高，更易於移植。
— 4 —
Write-Through
Write-Through 意為直寫模式，對於 Write-Through 直寫模式來說，它也增加了訪問控制層來提供更高程度的封裝。不同於 Cache-Aside 的是，Write-Through 直寫模式在寫請求更新資料庫之後，並不會刪除緩存，而是更新緩存。
這種方式的 優勢在於讀請求過程簡單 ，不需要查詢資料庫更新緩存等操作。但其劣勢也非常明顯，除了上面我們提到的更新資料庫再更新緩存的弊端之外，這種方案還會造成更新效率低，並且兩個寫操作任何一次寫失敗都會造成數據不一致。
如果要使用這種方案， 最好可以將這兩個操作作為事務處理，可以同時失敗或者同時成功，支持回滾，並且防止並發環境下的不一致 。另外，為了防止緩存擾動的頻發，也可以給緩存增加 TTL 來緩解。
站在可行性的角度，不管是 Write-Through 模式還是 Cache-Aside 模式，理想狀況下都可以通過分布式事務保證緩存層數據與持久化層數據的一致性，但在實際項目中，大多都對一致性的要求存在一些寬容度，所以在方案上往往有所折衷。
Write-Through 直寫模式適合寫操作較多，並且對一致性要求較高的場景，在應用 Write-Through 模式時，也需要通過一定的補償機制來解決它的問題。首先，在並發環境下，我們前面提到了先更新資料庫，再更新緩存會導致緩存和資料庫的不一致，那麼先更新緩存，再更新資料庫呢？
這樣的操作時序仍然會導致下面這樣線程 1 先更新緩存，最後更新資料庫的情況，即由於線程 1 和 線程 2 的執行不確定性導致資料庫和緩存的不一致。這種由於線程競爭導致的緩存不一致，可以通過分布式鎖解決，保證對緩存和資料庫的操作僅能由同一個線程完成。對於沒有拿到鎖的線程，一是通過鎖的 timeout 時間進行控制，二是將請求暫存在消息隊列中順序消費。
在下面這種並發執行場景下，來自線程 1 的寫請求更新了資料庫，接著來自線程 2 的讀請求命中緩存，接著線程 1 才更新緩存，這樣便會導致線程 2 讀取到的緩存落後於資料庫。同理，先更新緩存後更新資料庫在寫請求和讀請求並發時，也會出現類似的問題。面對這種場景，我們也可以加鎖解決。
另在，在 Write-Through 模式下，不管是先更新緩存還是先更新資料庫，都存在更新緩存或者更新資料庫失敗的情況，上面提到的重試機制和補償機制在這里也是奏效的。
— 5 —
Write-Behind
Write behind 意為非同步回寫模式，它也具有類似 Read-Through/Write-Through 的訪問控制層，不同的是，Write behind 在處理寫請求時，只更新緩存而不更新資料庫，對於資料庫的更新，則是通過批量非同步更新的方式進行的，批量寫入的時間點可以選在資料庫負載較低的時間進行。
在 Write-Behind 模式下，寫請求延遲較低，減輕了資料庫的壓力，具有較好的吞吐性。但資料庫和緩存的一致性較弱，比如當更新的數據還未被寫入資料庫時，直接從資料庫中查詢數據是落後於緩存的。同時，緩存的負載較大，如果緩存宕機會導致數據丟失，所以需要做好緩存的高可用。顯然，Write behind 模式下適合大量寫操作的場景，常用於電商秒殺場景中庫存的扣減。
— 6 —
Write-Around
如果一些非核心業務，對一致性的要求較弱，可以選擇在 cache aside 讀模式下增加一個緩存過期時間，在寫請求中僅僅更新資料庫，不做任何刪除或更新緩存的操作，這樣，緩存僅能通過過期時間失效。這種方案實現簡單，但緩存中的數據和資料庫數據一致性較差，往往會造成用戶的體驗較差，應慎重選擇。
— 7 —
總結
在解決緩存一致性的過程中，有多種途徑可以保證緩存的最終一致性，應該根據場景來設計合適的方案，讀多寫少的場景下，可以選擇採用「Cache-Aside 結合消費資料庫日誌做補償」的方案，寫多的場景下，可以選擇採用「Write-Through 結合分布式鎖」的方案 ，寫多的極端場景下，可以選擇採用「Write-Behind」的方案。
㈧ 如何設置資料庫緩存
內存資料庫有現成的redis，高效存取鍵值對，鍵設為你的查詢條件，值設為你的查詢結果轉為字元串
查詢時先從redis取，沒有再查資料庫，並且設置redis的過期時間，這種方式需要項目對實時性要求不高，這樣你才能用緩存，而且如果你的項目沒有明顯的熱點，即沒有某些內容確定會多次被查到，那你緩存就不會命中，添加緩存反而影響你得速度
redis是一種nosql的內存資料庫，感興趣你可以了解一下，優點就是性能強勁
數據查詢請求多就把結果緩存下來，你查資料庫再快也沒有直接把結果從內存讀出來快
同樣的sql請求只有第一次查資料庫，之後通通讀內存
或者你乾脆藉助這種思想，創建一個全局的map對象，然後查詢條件作key
，結果作value，就省去了了解redis的過程，把整個資料庫裝內存不太科學，你有多少條數據啊
㈨ 11.33數據緩存的好處是什麼，如何實現數據緩存
資料庫緩存的作用是只在數據第一次被訪問時才從資料庫中讀取數據，將數據放在存儲介質中，以後查詢相同的數據則直接從存儲介質（內存）中返回，這樣速度有明顯的提升。
為了更好的使用數據緩存，應注意以下幾點：
1、如果一個實體標記了緩存屬性，則無論該類是 通過ID查詢還是其它方式的查詢得到的結果，都會自動緩存。 所以，不必擔心結果是否能夠按照預期的需要緩存。
2、查詢緩存如何使用？ 在CastleActiveRecord中的查詢類沒有提供對查詢緩存的支持，只能使用NHibernate的查詢才可以，例子如上所述。
3、緩存的性能，緩存在一定程度上可以提高應用的性能，但需要正確使用，如果使用不慎，緩存反而成為負擔，比如，在應用中如果使用NHibernate.Caches.Prevalence 作為緩存提供程序，如果數據量大，它要在指定目錄下寫入緩存文件，IO消耗相當大，雖然資料庫訪問少了，但是應用的IO卻增長，還不如不使用緩存。因此，使用緩存時應盡量避免使用文件型緩存，應使用內存型緩存。
4、緩存的策略。查詢緩存應只對只讀性數據進行緩存，如果是經常讀寫的數據，可能造成數據不一致，至於造成數據不一致的原因沒有花時間根究。
5、如果實體有繼承關系，必須在被繼承的類上也標記使用 緩存，否則，子類的緩存無效。
6、如果對查詢進行緩存，必須實體也要標記緩存，否則查詢緩存無效。
㈩ 華為技術架構師分享：高並發場景下緩存處理的一些思路
在實際的開發當中，我們經常需要進行磁碟數據的讀取和搜索，因此經常會有出現從資料庫讀取數據的場景出現。但是當數據訪問量次數增大的時候，過多的磁碟讀取可能會最終成為整個系統的性能瓶頸，甚至是壓垮整個資料庫，導致系統卡死等嚴重問題。
常規的應用系統中，我們通常會在需要的時候對資料庫進行查找，因此系統的大致結構如下所示：
1.緩存和資料庫之間數據一致性問題
常用於緩存處理的機制我總結為了以下幾種：
首先來簡單說說Cache aside的這種方式：
Cache Aside模式
這種模式處理緩存通常都是先從資料庫緩存查詢，如果緩存沒有命中則從資料庫中進行查找。
這裡面會發生的三種情況如下：
緩存命中：
當查詢的時候發現緩存存在，那麼直接從緩存中提取。
緩存失效：
當緩存沒有數據的時候，則從database裡面讀取源數據，再加入到cache裡面去。
緩存更新：
當有新的寫操作去修改database裡面的數據時，需要在寫操作完成之後，讓cache裡面對應的數據失效。
關於這種模式下依然會存在缺陷。比如，一個是讀操作，但是沒有命中緩存，然後就到資料庫中取數據，此時來了一個寫操作，寫完資料庫後，讓緩存失效，然後，之前的那個讀操作再把老的數據放進去，所以，會造成臟數據。
Facebook的大牛們也曾經就緩存處理這個問題發表過相關的論文，鏈接如下:
分布式環境中要想完全的保證數據一致性是一件極為困難的事情，我們只能夠盡可能的減低這種數據不一致性問題產生的情況。
Read Through模式
Read Through模式是指應用程序始終從緩存中請求數據。 如果緩存沒有數據，則它負責使用底層提供程序插件從資料庫中檢索數據。 檢索數據後，緩存會自行更新並將數據返回給調用應用程序。使用Read Through 有一個好處。
我們總是使用key從緩存中檢索數據, 調用的應用程序不知道資料庫， 由存儲方來負責自己的緩存處理，這使代碼更具可讀性， 代碼更清晰。但是這也有相應的缺陷，開發人員需要給編寫相關的程序插件，增加了開發的難度性。
Write Through模式
Write Through模式和Read Through模式類似，當數據發生更新的時候，先去Cache裡面進行更新，如果命中了，則先更新緩存再由Cache方來更新database。如果沒有命中的話，就直接更新Cache裡面的數據。
2.緩存穿透問題
在高並發的場景中，緩存穿透是一個經常都會遇到的問題。
什麼是緩存穿透？
大量的請求在緩存中沒有查詢到指定的數據，因此需要從資料庫中進行查詢，造成緩存穿透。
會造成什麼後果？
大量的請求短時間內湧入到database中進行查詢會增加database的壓力，最終導致database無法承載客戶單請求的壓力，出現宕機卡死等現象。
常用的解決方案通常有以下幾類：
1.空值緩存
在某些特定的業務場景中，對於數據的查詢可能會是空的，沒有實際的存在，並且這類數據信息在短時間進行多次的反復查詢也不會有變化，那麼整個過程中，多次的請求資料庫操作會顯得有些多餘。
不妨可以將這些空值（沒有查詢結果的數據）對應的key存儲在緩存中，那麼第二次查找的時候就不需要再次請求到database那麼麻煩，只需要通過內存查詢即可。這樣的做法能夠大大減少對於database的訪問壓力。
2.布隆過濾器
通常對於database裡面的數據的key值可以預先存儲在布隆過濾器裡面去，然後先在布隆過濾器裡面進行過濾，如果發現布隆過濾器中沒有的話，就再去redis裡面進行查詢，如果redis中也沒有數據的話，再去database查詢。這樣可以避免不存在的數據信息也去往存儲庫中進行查詢情況。
什麼是緩存雪崩？
當緩存伺服器重啟或者大量緩存集中在某一個時間段失效，這樣在失效的時候，也會給後端系統(比如DB)帶來很大壓力。
如何避免緩存雪崩問題？
1.使用加鎖隊列來應付這種問題。當有多個請求湧入的時候，當緩存失效的時候加入一把分布式鎖，只允許搶鎖成功的請求去庫裡面讀取數據然後將其存入緩存中，再釋放鎖，讓後續的讀請求從緩存中取數據。但是這種做法有一定的弊端，過多的讀請求線程堵塞，將機器內存占滿，依然沒有能夠從根本上解決問題。
2.在並發場景發生前，先手動觸發請求，將緩存都存儲起來，以減少後期請求對database的第一次查詢的壓力。數據過期時間設置盡量分散開來，不要讓數據出現同一時間段出現緩存過期的情況。
3.從緩存可用性的角度來思考，避免緩存出現單點故障的問題，可以結合使用 主從+哨兵的模式來搭建緩存架構，但是這種模式搭建的緩存架構有個弊端，就是無法進行緩存分片，存儲緩存的數據量有限制，因此可以升級為Redis Cluster架構來進行優化處理。（需要結合企業實際的經濟實力，畢竟Redis Cluster的搭建需要更多的機器）
4.Ehcache本地緩存 + Hystrix限流&降級,避免MySQL被打死。
使用 Ehcache本地緩存的目的也是考慮在 Redis Cluster 完全不可用的時候，Ehcache本地緩存還能夠支撐一陣。
使用 Hystrix進行限流 & 降級 ，比如一秒來了5000個請求，我們可以設置假設只能有一秒 2000個請求能通過這個組件，那麼其他剩餘的 3000 請求就會走限流邏輯。
然後去調用我們自己開發的降級組件（降級），比如設置的一些默認值呀之類的。以此來保護最後的 MySQL 不會被大量的請求給打死。