redis和資料庫同步

1. canal+Kafka實現mysql與redis數據同步

前言

上篇文章簡單介紹canal概念，本文結合常見的緩存業務去講解canal使用。在實際開發過程中，通常都會把數據往redis緩存中保存一份，做下簡單的查詢優化。如果這時候資料庫數據發生變更操作，就不得不在業務代碼中寫一段同步更新redis的代碼，但是這種 數據同步的代碼和業務代碼糅合在一起 看起來不是很優雅，而且還會出現數據不一致問題。那能不能把這部分同步代碼從中抽離出來，形成獨立模塊呢？答案是肯定的，下面通過canal結合Kafka來實現mysql與redis之間的數據同步。

架構設計

通過上述結構設計圖可以很清晰的知道用到的組件：MySQL、Canal、Kafka、ZooKeeper、Redis。

Kafka&Zookeeper搭建

首先在 官網 下載Kafka：

下載後解壓文件夾，可以看到以下幾個文件：

Kafka內部自帶了zookeeper，所以暫不需要去下載搭建zookeeper集群，本文就使用Kafka自帶zookeeper來實現。

通過上述zookeeper啟動命令以及Kafka啟動命令把服務啟動，可以通過以下簡單實現下是否成功：

Canal搭建

canal搭建具體可以參考上文，這里只講解具體的參數配置：

找到/conf目錄下的canal.properties配置文件：

然後配置instance，找到/conf/example/instance.properties配置文件：

經過上述配置後，就可以啟動canal了。

測試

環境搭建完成後，就可以編寫代碼進行測試。

1、引入pom依賴

2、封裝Redis工具類

在application.yml文件增加以下配置：

封裝一個操作Redis的工具類：

3、創建MQ消費者進行同步

創建一個CanalBean對象進行接收：

最後就可以創建一個消費者CanalConsumer進行消費：

測試Mysql與Redis同步

mysql對應的表結構如下：

啟動項目後，新增一條數據：

可以在控制台看到以下輸出：

如果更新呢？試一下Update語句：

同樣可以在控制台看到以下輸出：

經過測試完全么有問題。

總結

既然canal這么強大，難道就沒缺點嘛？答案當然是存在的啦，比如：canal只能同步增量數據、不是實時同步而是准實時同步、MQ順序問題等； 盡管有一些缺點，畢竟沒有一樣技術或者產品是完美的，最重要是合適。比如公司目前有個視圖服務提供寬表搜索查詢功能就是通過 同步Mysql數據到Es採用Canal+Kafka的方式來實現的。

2. 使用python同步mysql到redis由於數據較多，一條一條讀出來寫到redis太慢，有沒有可以批量操作的。

MYSQL快速同步數據到Redis
舉例場景：存儲游戲玩家的任務數據，游戲伺服器啟動時將mysql中玩家的數據同步到redis中。
從MySQL中將數據導入到Redis的Hash結構中。當然，最直接的做法就是遍歷MySQL數據，一條一條寫入到Redis中。這樣沒什麼錯，但是速度會非常慢。如果能夠想法使得MySQL的查詢輸出數據直接能夠與Redis命令行的輸入數據協議相吻合，可以節省很多消耗和縮短時間。
Mysql資料庫名稱為：GAME_DB, 表結構舉例：
CREATE TABLE TABLE_MISSION (
playerId int(11) unsigned NOT NULL,
missionList varchar(255) NOT NULL,
PRIMARY KEY (playerId)
);

Redis中的數據結構使用哈希表：
鍵KEY為mission, 哈希域為mysql中對應的playerId, 哈希值為mysql中對應的missionList。 數據如下：
[root@iZ23zcsdouzZ ~]# redis-cli
127.0.0.1:6379> hget missions 36598
"{\"10001\":{\"status\":1,\"progress\":0},\"10002\":{\"status\":1,\"progress\":0},\"10003\":{\"status\":1,\"progress\":0},\"10004\":{\"status\":1,\"progress\":0}}"

快速同步方法：
新建一個後綴.sql文件：mysql2redis_mission.sql
內容如下：
SELECT CONCAT(
"*4\r\n",
'$', LENGTH(redis_cmd), '\r\n',
redis_cmd, '\r\n',
'$', LENGTH(redis_key), '\r\n',
redis_key, '\r\n',
'$', LENGTH(hkey), '\r\n',
hkey, '\r\n',
'$', LENGTH(hval), '\r\n',
hval, '\r'
)
FROM (
SELECT
'HSET' as redis_cmd,
'missions' AS redis_key,
playerId AS hkey,
missionList AS hval
FROM TABLE_MISSION
) AS t

創建shell腳本mysql2redis_mission.sh
內容：
mysql GAME_DB --skip-column-names --raw < mission.sql | redis-cli --pipe

Linux系統終端執行該shell腳本或者直接運行該系統命令，即可將mysql資料庫GAME_DB的表TABLE_MISSION數據同步到redis中鍵missions中去。mysql2redis_mission.sql文件就是將mysql數據的輸出數據格式和redis的輸入數據格式協議相匹配，從而大大縮短了同步時間。
經過測試，同樣一份數據通過單條取出修改數據格式同步寫入到redis消耗的時間為5min, 使用上面的sql文件和shell命令，同步完數據僅耗時3s左右。

3. redis和mysql區別是什麼

1.mysql和redis的資料庫類型
mysql是關系型資料庫，主要用於存放持久化數據，將數據存儲在硬碟中，讀取速度較慢。
redis是NOSQL，即非關系型資料庫，也是緩存資料庫，即將數據存儲在緩存中，緩存的讀取速度快，能夠大大的提高運行效率，但是保存時間有限
2.mysql的運行機制
mysql作為持久化存儲的關系型資料庫，相對薄弱的地方在於每次請求訪問資料庫時，都存在著I/O操作，如果反復頻繁的訪問資料庫。第一：會在反復鏈接資料庫上花費大量時間，從而導致運行效率過慢；第二：反復的訪問資料庫也會導致資料庫的負載過高，那麼此時緩存的概念就衍生了出來。
3.緩存
緩存就是數據交換的緩沖區（cache），當瀏覽器執行請求時，首先會對在緩存中進行查找，如果存在，就獲取；否則就訪問資料庫。
緩存的好處就是讀取速度快
4.redis資料庫
redis資料庫就是一款緩存資料庫，用於存儲使用頻繁的數據，這樣減少訪問資料庫的次數，提高運行效率。
5.redis和mysql的區別總結
（1）類型上
從類型上來說，mysql是關系型資料庫，redis是緩存資料庫
（2）作用上
mysql用於持久化的存儲數據到硬碟，功能強大，但是速度較慢
redis用於存儲使用較為頻繁的數據到緩存中，讀取速度快
（3）需求上
mysql和redis因為需求的不同，一般都是配合使用。

4. 請教redis如何做到和mysql資料庫的同步

者數據同步的關鍵在於mysql資料庫中主鍵，方案是在redis啟動時區mysql讀取所有表鍵值存入redis中，往redis寫數據是，對redis主鍵自增並進行讀取，若mysql更新失敗，則需要及時清除緩存及同步redis主鍵。 參考代碼如下： String tbname = "login"; //獲取mysql表主鍵值--redis啟動時 long id = MySQL.getID(tbname); //設置redis主鍵值--redis啟動時 redisService.set(tbname, String.valueOf(id)); System.out.println(id); long l = redisService.incr(tbname); System.out.println(l); Login login = new Login(); login.setId(l); login.setName("redis"); redisService.hmset(String.valueOf(login.getId()), login); boolean b = MySQL.insert("insert into login(id,name) values(" + login.getId() + ",'" + login.getName() + "')"); /** * * 隊列處理器更新mysql失敗： * * 清除緩存數據，同時主鍵值自減 */ if (!b) { redisService.delKeyAndDecr (tbname, "Login:"+String.valueOf(login.getId())); // redisService.delete("Login:"+String.valueOf(login.getId())); //redisService.decr(tbname); } System.out.println(redisService.exists("Login:"+String.valueOf(login.getId()))); System.out.println(redisService.get(tbname));

5. redis 和 mysql 數據同步問題

結構不同
先講MySQL，MySQL中一個事務提交之後就永久寫入了，同時將事務的操作寫入日誌。然後，slave從master中請求日誌，復制這個事務的操作（注意不是sql語句）。
而Redis的主從同步和數據快照有關，Redis定期將內存中數據作快照保存在文件中，mater只要將文件發送給slave更新就可以了。
MySQL的slave需要請求從從某個事務（就是slave剛完成的那個）開始的所有日誌，而redis不需要，slave只要將收到的快照排隊，一個一個復制到硬碟、內存就行了。

6. redis怎麼與mysql同步java代碼

redis應該算是本地緩存，而mysql的話是資料庫，你的意思應該是：怎麼用java代碼同步資料庫中的數據到redis。如果是這種情況的話：目前項目中會用一個定時任務定時去讀取資料庫中的數據，然後放到redis，或者在項目初始化讀取資料庫然後再放到redis

7. 資料庫db與緩存redis的數據同步

總的思路就是跑一個觸發器服務，根據新增、更新選擇不同的路徑，進行同步數據操作。

8. 當資料庫里的數據修改以後怎麼和redis緩存進行同步

當資料庫里的數據修改以後怎麼和redis緩存進行同步？
在一台機器上啟動3個redis,一個做master,兩個做slave。 Master 埠:6380 Slave1 埠:6381 Slave2埠:6382

9. 如何同步到redis

在Redis中，用戶可以通過執行SLAVEOF命令或者設置slaveof選項，讓一個伺服器去復制（replicate）另一個伺服器，我們稱呼被復制的伺服器為主伺服器（master），而對主伺服器進行復制的伺服器則被稱為從伺服器（slave），如圖所示。

步驟5：發送埠信息

身份驗證步驟之後，從伺服器將執行命令REPLCONF listening-port <port-number>，向主伺服器發送從伺服器的監聽埠號。

主伺服器在接收到這個命令之後，會將埠號記錄在從伺服器所對應的客戶端狀態的slave_listening_port屬性中：

typedefstructredisClient{
//...
//從伺服器的監聽埠號
intslave_listening_port;
//...

｝redisClient;

slave_listening_port屬性目前唯一的作用就是在主伺服器執行INFO replication命令時列印出從伺服器的埠號。

步驟6：同步

在這一步，從伺服器將向主伺服器發送PSYNC命令，執行同步操作，並將自己的資料庫更新至主伺服器資料庫當前所處的狀態。

需要注意的是在執行同步操作前，只有從伺服器是主伺服器的客戶端。但是執行從不操作之後，主伺服器也會稱為從伺服器的客戶端：

步驟7：命令傳播

當完成了同步之後，主從伺服器就會進入命令傳播階段，這時主伺服器只要一直將自己執行的寫命令發送給從伺服器，而從伺服器只要一直接收並執行主伺服器發來的寫命令，就可以保證主從伺服器一直保持一致了。

心跳檢測

在命令傳播階段，從伺服器默認會以每秒一次的頻率，向主伺服器發送命令：REPLCONF ACK <replication_offset>

其中replication_offset是從伺服器當前的復制偏移量。

發送REPLCONF ACK命令對於主從伺服器有三個作用：

檢測主從伺服器的網路連接狀態

如果主伺服器超過一秒鍾沒有收到從伺服器發來的REPLCONF ACK命令，那麼主伺服器就知道主從伺服器之間的連接出現問題了。

通過向主伺服器發送INFO replication命令，在列出的從伺服器列表的lag一欄中，我們可以看到相應從伺服器最後一次向主伺服器發送REPLCONF ACK命令距離現在過了多少秒：

127.0.0.1:6379>INFOreplication
#Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=12345,state=online,offset=211,lag=0

#剛剛發送過REPLCONFACK命令
slave1:ip=127.0.0.1,port=56789,state=online,offset=197,lag=15

#15秒之前發送過REPLCONFACK命令

master_repl_offset:211
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2
repl_backlog_histlen:210

在一般情況下，lag的值應該在0秒或者1秒之間跳動，如果超過1秒的話，那麼說明主從伺服器之間的連接出現了故障。

輔助實現min-slaves配置選項

Redis的min-slaves-to-write和min-slaves-max-lag兩個選項可以防止主伺服器在不安全的情況下執行寫命令。

舉個例子，如果我們向主伺服器提供以下設置：

min-slaves-to-write3
min-slaves-max-lag10

那麼在從伺服器的數量少於3個，或者三個從伺服器的延遲（lag）值都大於或等於10秒時，主伺服器將拒絕執行寫命令，這里的延遲值就是上面提到的INFO replication命令的lag值。

檢測命令丟失

我們從命令：REPLCONF ACK <replication_offset>就可以知道，每發送一次這個命令從伺服器都會向主伺服器報告一次自己的復制偏移量。那此時盡管主伺服器發送給從伺服器的SET key value丟失了。也無所謂，主伺服器馬上就知道了。

10. redis數據如何同步到資料庫

同步到資料庫，這應該是直接進行授權證，應該就可以進行通話，而且應該同步上的，應該比較樸素，應該能告知這些同步的。