数据库数据写入redis

‘壹’ 系统用户业务主角和涉众三者的关系

系统用户业务主角和涉众三者的关系？答：主角又称参与者，官方定义是：在系统之外与系统交互的人或事。所以要找到参与者，首先要分清楚系统的边界，即系统之外是哪里。可以通过两个问题来找到这个边界：

   1、 谁对系统有着明确的目标和要求并且主动发出动灶搜作（系统外部）？

   2、系统是为谁服务的（系统内部）？

   主角不一定是人，可以是发出启动一个用例动作的任何事物，如计算机系统，计时器，传感器等...

   主角与涉众的关系：涉众是与要建设的这个系统有利益相关的一切人和事，主角是涉众代表。

  主角与用户关系：用户是系统的使用者，是主角的实例。

  主角与角色的关系：角色是主角的职责，角色是将众多参与者职责中抽象出相同的那一部分，将其命名而形成一个角色。角色一般适用于概念阶段的模型里面，以表达业务的逻辑理解。
打开CSDN APP，看更多技术内容

UML（thinking in uml 学习）--参与者和业务工人和涉众
占位 哈哈哈哈
继续访问
【数据库系统】第三讲 关系模型的基本概念
3.1 关系模型概述 1、关系模型的提出 2、关系模型的研究内容 一个关系就是一个Table 关系模型就是处理Table的，由三部分组成： 描述DB各种数据的基本结构形式(Table/Relation) 描述Table与Table之间所可能发生的各种操作(关系运算) 描述这些操作所应遵循的约束条件(完整性约束) 简单的说，即Table如何描如旁述，有哪些操作、结果是什么、有哪些约束等 3、关系模型...
继续访问

Actor模型学习
最近看到了一篇写的贼好的blog，讲的完全详细，看得出来笔者的功力，所以赶紧转载过来，最下面有原文的地址。 大家一起共勉！ 传统的游戏服务器要么是单线程要么是多线程，过去几十年里CPU一直遵循摩尔定律发展，带来的结果是单核频率越来越高。而近几年摩尔定义在CPU上已然失效，为什么呢？ 大于在2003年左右，计算机的核心特性经历了一个重要的变化，处理器的速度达到了一个顶点。在接下来近15年里，时钟...
继续访问
Actor模型概念
转载自：https://blog.csdn.net/u014659211/article/details/63686965 从实习到现在，一直在做Unity相关的业务，不知不觉中感觉已经不在关注服务器相关的技术了。一次偶然的机会再腾讯的gad平台上观看了云风在15年在腾讯做的skynet讲座（http://gad.qq.com/content/coursedetail/467），skynet是用...
继续访问
深入解析actor 模型（一)： actor 介绍及在游戏行业应用
1 介绍 1.1 什么是actor 对于刚接触actor的我，第一感觉就像redis一样，每个actor就是一个redis 实例，都有自己消息队列，actor相互通信通过将消息发给对方，消息发送进对方的消息队列，等待对方线程处理。来看看我们之前做项目的痛点。 游戏服务器通常分为多个服，每个服上有多个玩家。假设玩家与玩家数据交互操作，这时怎么避免数据竞争？两隐橡历种解决方案： 1、将数据写入redis 首先redis效率高，也是单线程模型，不存在数据竞争，但是也有它的不足之处，操作redis 会受网络影响
继续访问

java actor akka_如何使用Akka actor处理Java期货
我在Java Web应用程序中有一个分层架构. UI层只是Java,服务是类型化的Akka actor,外部服务调用(WS,DB等)包含在Hystrix命令中.UI调用服务,服务返回Akka未来.这是Akka的未来,因为我希望使用Akka期货提供的onComplete和onFailure回调来简化UI编码.然后,该服务创建执行某些映射等的未来,并将调用包装回返回Java未来的HystrixComm...
继续访问
Actor模型
传统的游戏服务器要么是单线程要么是多线程，过去几十年里CPU一直遵循摩尔定律发展，带来的结果是单核频率越来越高。而近几年摩尔定义在CPU上已然失效，为什么呢？ 大于在2003年左右，计算机的核心特性经历了一个重要的变化，处理器的速度达到了一个顶点。在接下来近15年里，时钟速度是呈线性增长的，而不会像以前那样以指数级的速度增长。 由于CPU的工艺制程和发热稳定性之间难以取舍，取而代之...
继续访问
actor-kotlin
actor-kotlin Java动态伪装工具，能够用伪装接口代理真实对象。(The Java dynamic camouflage tool can use the camouflage interface to proxy real objects.) 纯Kotlin开发，使用简单但功能强大，可用于组件化开发或插件化项目开发。 Android Demo: https://github.com/xuehuiniaoyu/actor-demo implementation 'io.github.xuehui
继续访问
天天酷跑多态
package Tian; public class Actor{ String name; Pet pet; package Tian; public final class Bear extends Pet { public void run(){ System.out.println("我是雄二，我喜欢蜂蜜"); } } ...
继续访问
并发模型值Actor和CSP
CSP的是(CSP)的缩写，翻译成中文是顺序通信进程，简称CSP的核心思想是多个线程之间通过Channel来通信，对应到golang中的chan结构，对应到python中是QueueGo语言的CSP模型是由协程Goroutine与通道ChannelGo协程goroutine是一种轻量线程，它不是操作系统的线程，而是将一个操作系统线程分段使用，通过调度器实现协作式调度。是一种绿色线程，微线程，它与Coroutine协程也有区别，能够在发现堵塞后启动新的微线程。通道channel类似Unix的Pipe。....
继续访问

Actor模型和CSP模型的区别
Akka/Erlang的actor模型与Go语言的协程Goroutine与通道Channel代表的CSP(Communicating Sequential Processes)模型有什么区别呢？ 首先这两者都是并发模型的解决方案，我们看看Actor和Channel这两个方案的不同： Actor模型 在Actor模型中，主角是Actor，类似一种worker，Actor彼此之间直接...
继续访问
Actor模式初步入门
Actor模型概念 Actor模型为并行而生，简单说是未解决高并发的一种编程思路。在Actor模型中，主角是Actor，类似一种worker，Actor彼此之间直接发送消息，不需要经过什么中介，消息是异步发送和处理的。在Actor模式中，“一切皆是Actor”，所有逻辑或者模块均别看做Actor，通过不同Actor之间的消息传递实现模块之间的通信和交互。Actor模型描述了一...
继续访问
并行编程模型之Actor/CSP/PGAS
并行编程模型之Actor/CSP/PGASActor1.背景2. 简介3.actor组成ActorMailbox邮箱behavior行为4.优势无锁异步隔离容错分布式5.劣势6.实践素数计算CSP1.简介2.CSP与go语言2.1 组成2.2Goroutine调度器3.Actor模型和CSP模型的区别PGAS1.简介2.实现 Actor 1.背景   处理并发问题就是如何保证共享数据的一致性和正确性，一般来说有两种策略用来在并发线程中进行通信：共享数据和消息传递。   熟悉c和java并发编程的都会比较熟悉
继续访问
go Actor模型和CSP模型的区别
Actor模型和CSP模型的区别 Akka/Erlang的actor模型与Go语言的协程Goroutine与通道Channel代表的CSP(Communicating Sequential Processes)模型有什么区别呢？ 首先这两者都是并发模型的解决方案，我们看看Actor和Channel这两个方案的不同： Actor模型 在Actor模型中，主角是Actor，类似一种worker，Actor彼此之间直接发送消息，不需要经过什么中介，消息是异步发送和处理的 Actor.
继续访问
控制`Actor`朝向,运动 Learn Unreal Engine (with C++)
控制`Actor`的朝向,以及

‘贰’ 微博的系统架构，想用mysql+redis配合使用，想问一下具体要怎么操作

微博的系统架构，想用mysql+redis配合使用，具体操作步骤：
写入数据到Redis,，然后在写个运行cron的脚本，美妙搏游读内存，并写入数据库即可。
使用注意：
1、MySQL使用需要注意的地方：
1) 、存储引擎选择InnoDB，在高并发下读写有很好的表现；
2)、 数据合理分表分区，均衡各数据库服务器的负载；
3) 、适当作数据的冗余，便于在cache失效时的快速恢复；
2、Redis使用需要注意的地方：
1) 、合理规划cache；
将访问量高的热点数据统计出来、分类稿键缓基敬销存。
2)、 缓存的压缩；
在高访问量和高并发下，每一个字节的减少都是巨大的节省。
3、数据实时性与一致性。

‘叁’ 怎样把读出来的数据存到redis数据库

应用Redis实现数据的读写，同时利用队列处理器定时将数据写入mysql。同并物键时要注意避免冲突，在redis启动时去mysql读取所有表键值存入redis中，往redis写数据时，对redis主键自增并蚂隐进行读取，若mysql更新失败，则需要及时清除缓存及同步redis主键。这样处理，主要是实时读写redis，而mysql数据则通过队列异步处理，缓解mysql压力，不过这种方法应用场景主要基于高并发，而且redis的高可用集群架构相对更复杂绝巧，一般不是很推荐。

‘肆’ 数据存到redis 过后怎么处理放到数据库

1、 快照的方式持久化到磁盘
自动持久化规则配置
save 900 1
save 300 10
save 60 10000
上面的配置规则意思如下:
# In the example below the behaviour will be to save:
# after 900 sec (15 min) if at least 1 key changed
# after 300 sec (5 min) if at least 10 keys changed
# after 60 sec if at least 10000 keys changed
redis也可以关闭自动持久化，注释掉这些save配置，或者save “”
如果后台保存到磁盘发生错误,将停止写操作.
stop-writes-on-bgsave-error yes
使用LZF压缩rdb文件,这会耗CPU, 但是可以减少磁盘占用.
rdbcompression yes
保存rdb和加载rdb文件的时候检验，可以防止错误，但是要付出约10%的性能，可以关闭他，提高性能。
rdbchecksum yes
导出的rdb文件名
dbfilename mp.rdb
设模配稿置工作目录, rdb文件会写到该目录, append only file也会存储在该目录下.
dir ./
Redis自动快照保存到磁盘或者调用bgsave，是后台进程完成的，其他客户端仍然和可以读写redis服务器，后台保存快照到磁盘会占用大卖燃量内存。调用save保存内存中的数据到磁盘，将阻塞客户端请求，直到保存完毕。
调用shutdown命令，Redis服务器会先调用save，所有数据持久化到磁盘之后才会真正退出。
对于数据丢失的问题：
如果服务器crash，从上一次快照之后的数据将全部丢失。所以在设置保存规则的时候，要根据实际业务设置允许的范围。
如果对于数据敏感的业务，在程序中要使用恰当的日志，在服务器crash之后，通过日志恢复数据。
2、 Append-only file 的方式持久化

另外一种方式为递增的方式,将会引起数据变化的操作, 持久化到文件中, 重启redis的时候,通过操作命令,恢复数据.

每次执行写操作命令之后,都会将数据写到server.aofbuf中。
# appendfsync always
appendfsync everysec
# appendfsync no

当配置为always的时候，每次server.aofbuf中的数据写入到文件旦孝之后,才会返回给客户端，这样可以保证数据不丢，但是频繁的IO操作，会降低性能。

everysec每秒写一次，这可能会丢失一秒内的操作。

aof最大的问题就是随着时间append file会变的很大，所以我们需要bgrewriteaof命令重新整理文件，只保留最新的kv数据。

‘伍’ Redis 如何保持和 MySQL 数据一致

redis在启动之后，从数据库加载数据。

读请求：

不要求强一致性的读请求，走redis，要求强一致性的直接从mysql读取

写请求：

数据首先都写到数据库，之后更新redis（先写redis再写mysql，如果写入失败事务回滚会造成redis中存在脏数据）

在并发不高的情况下，读操作优先读取redis，不存在的话就去访问MySQL，并把读到的数据写回Redis中；写操作的话，直接写MySQL，成功后再写入Redis(可以在MySQL端定义CRUD触发器，在触发CRUD操作后写数据到Redis，也可以在Redis端解析binlog，再做相应的操作)

在并发高的情况下，读操作和上面一样，写操作是异步写，写入Redis后直接返回，然后定期写入MySQL

1.当更新数据时，如更新某商品的库存，当前商品的库存是100，现在要更新为99，先更新数据库更改成99，然后删除缓存，发现删除缓存失败了，这意味着数据库存的是99，而缓存是100，这导致数据库和缓存不一致。

解决方法：

这种情况应该是先删除缓存，然后在更新数据库，如果删除缓存失败，那就不要更新数据库，如果说删除缓存成功，而更新数据库失败，那查询的时候只是从数据库里查了旧的数据而已，这样就能保持数据库与缓存的一致性。

2.在高并发的情况下，如果当删除完缓存的时候，这时去更新数据库，但还没有更新完，另外一个请求来查询数据，发现缓存里没有，就去数据库里查，还是以上面商品库存为例，如果数据库中产品的库存是100，那么查询到的库存是100，然后插入缓存，插入完缓存后，原来那个更新数据库的线程把数据库更新为了99，导致数据库与缓存不一致的情况

解决方法：

遇到这种情况，可以用队列的去解决这个问，创建几个队列，如20个，根据商品的ID去做hash值，然后对队列个数取摸，当有数据更新请求时，先把它丢到队列里去，当更新完后在从队列里去除，如果在更新的过程中，遇到以上场景，先去缓存里看下有没有数据，如果没有，可以先去队列里看是否有相同商品ID在做更新，如果有也把查询的请求发送到队列里去，然后同步等待缓存更新完成。

这里有一个优化点，如果发现队列里有一个查询请求了，那么就不要放新的查询操作进去了，用一个while（true）循环去查询缓存，循环个200MS左右，如果缓存里还没有则直接取数据库的旧数据，一般情况下是可以取到的。

1、读请求时长阻塞

由于读请求进行了非常轻度的异步化，所以一定要注意读超时的问题，每个读请求必须在超时间内返回，该解决方案最大的风险在于可能数据更新很频繁，导致队列中挤压了大量的更新操作在里面，然后读请求会发生大量的超时，最后导致大量的请求直接走数据库，像遇到这种情况，一般要做好足够的压力测试，如果压力过大，需要根据实际情况添加机器。

2、请求并发量过高

这里还是要做好压力测试，多模拟真实场景，并发量在最高的时候QPS多少，扛不住就要多加机器，还有就是做好读写比例是多少

3、多服务实例部署的请求路由

可能这个服务部署了多个实例，那么必须保证说，执行数据更新操作，以及执行缓存更新操作的请求，都通过nginx服务器路由到相同的服务实例上

4、热点商品的路由问题，导致请求的倾斜

某些商品的读请求特别高，全部打到了相同的机器的相同丢列里了，可能造成某台服务器压力过大，因为只有在商品数据更新的时候才会清空缓存，然后才会导致读写并发，所以更新频率不是太高的话，这个问题的影响并不是很大，但是确实有可能某些服务器的负载会高一些。

img

搜索微信号（ID：芋道源码），可以获得各种 Java 源码解析。

并且，回复【书籍】后，可以领取笔者推荐的各种 Java 从入门到架构的书籍。

‘陆’ redis怎么实现和数据库同步

1：读取数据的时候先从redis里面查，若没有，再去数据库查备胡森，同时写到redis里面，并且要设置失效时间。 2：存数据的时候要具体情况具体分析，可以选择同时插到数据库和redis（要是做神存放到redis中，最好设置仿亩失效时间），也可以选择直接插到数据库里面，少考虑一些问题。

‘柒’ redis怎么实现数据库的缓存

大致为两种措施：

一、脚本同步：
1、自己写脚本将数据库数据写入到redis/memcached。
2、这就涉及到实时数据变更的问题（mysql row binlog的实时分析），binlog增量订阅Alibaba 的canal ，以及缓存层数据 丢失/失效 后的数据同步恢复问题。

二、业务层实现：
1、先读取nosql缓存层，没有数据再读取mysql层，并写入数据到nosql。
2、nosql层做好多节点分布式（一致性hash），以及节点失效后替代方案（多层hash寻找相邻替代节点），和数据震荡恢复了。

redis实现数据库缓存的分析：

• 对于变化频率非常快的数据来说，如果还选择传统的静态缓存方式（Memocached、File System等）展示数据，可能在缓存的存取上会有很大的开销，并不能很好的满足需要，而Redis这样基于内存的NoSQL数据库，就非常适合担任实时数据的容器。

• 但是往往又有数据可靠性的需求，采用MySQL作为数据存储，不会因为内存问题而引起大粗李数据丢失，同时也可以利用关系数据库的特性实现很多功能。所以就会很自然的想到是否可以采用MySQL作为数据存储引擎，Redis则作为Cache。

• MySQL到Redis数据复制方案，无论MySQL还是Redis，自身都带有数据同步的机制，比较常用的MySQL的Master/Slave模式，就是由Slave端分析Master的binlog来实现的，这样的数据复制其实还是一个异步过程，只不滚迟过当服务器都在同一内凳蠢网时，异步的延迟几乎可以忽略。那么理论上也可用同样方式，分析MySQL的binlog文件并将数据插入Redis。

• 因此这里选择了一种开发成本更加低廉的方式，借用已经比较成熟的MySQL UDF，将MySQL数据首先放入Gearman中，然后通过一个自己编写的PHP Gearman Worker，将数据同步到Redis。比分析binlog的方式增加了不少流程，但是实现成本更低，更容易操作。

‘捌’ 使用python同步mysql到redis由于数据较多，一条一条读出来写到redis太慢，有没有可以批量操作的。

MYSQL快速同步数据到Redis
举例场景：存储游戏玩家的任务数据，游戏服务器启动时将mysql中玩家的数据同步到redis中。
从MySQL中将数据导入到Redis的Hash结构中。当然，最直接的做法就是遍历MySQL数据，一条一条写入到Redis中。这样没什么错，但是速度会非常慢。如果能够想法使得MySQL的查询输出数据直接能够与Redis命令行的输入数据协议相吻合，可以节省很多消耗和缩短时间。
Mysql数据库名称为：GAME_DB, 表结构举例：
CREATE TABLE TABLE_MISSION (
playerId int(11) unsigned NOT NULL,
missionList varchar(255) NOT NULL,
PRIMARY KEY (playerId)
);

Redis中的数据结构使用哈希表：
键KEY为mission, 哈希域为mysql中对应的playerId, 哈希值为mysql中对应的missionList。 数据如下：
[root@iZ23zcsdouzZ ~]# redis-cli
127.0.0.1:6379> hget missions 36598
"{\"10001\":{\"status\":1,\"progress\":0},\"10002\":{\"status\":1,\"progress\":0},\"10003\":{\"status\":1,\"progress\":0},\"10004\":{\"status\":1,\"progress\":0}}"

快速同步方法：
新建一个后缀.sql文件：mysql2redis_mission.sql
内容如下：
SELECT CONCAT(
"*4\r\n",
'$', LENGTH(redis_cmd), '\r\n',
redis_cmd, '\r\n',
'$', LENGTH(redis_key), '\r\n',
redis_key, '\r\n',
'$', LENGTH(hkey), '\r\n',
hkey, '\r\n',
'$', LENGTH(hval), '\r\n',
hval, '\r'
)
FROM (
SELECT
'HSET' as redis_cmd,
'missions' AS redis_key,
playerId AS hkey,
missionList AS hval
FROM TABLE_MISSION
) AS t

创建shell脚本mysql2redis_mission.sh
内容：
mysql GAME_DB --skip-column-names --raw < mission.sql | redis-cli --pipe

Linux系统终端执行该shell脚本或者直接运行该系统命令，即可将mysql数据库GAME_DB的表TABLE_MISSION数据同步到redis中键missions中去。mysql2redis_mission.sql文件就是将mysql数据的输出数据格式和redis的输入数据格式协议相匹配，从而大大缩短了同步时间。
经过测试，同样一份数据通过单条取出修改数据格式同步写入到redis消耗的时间为5min, 使用上面的sql文件和shell命令，同步完数据仅耗时3s左右。

‘玖’ 如何将数据库数据复制到redis中

简而言之，Redis是一种强大的key-value数据库，之所以强大有两点：响应速度快(所枣渣型以数据内存存储，只在必要时写入磁盘)，特性丰富(支持多种数据类型，以及各类型上的复杂操作)。

事实上，Redis的一个重要特性就是它并非通常意义上的数据库，虽然称之为数据库是因为它可以为你存储和维护数据，但它并不像关系数据库那样提供任何的SQL方言。不过不用担心，Redis并不是吞噬数据的黑洞，它只是不支持SQL及相关功能，但却提供了稳健的协议用于与之交互。

在Redis中，没有数据表的概念，也无须关心select、join、view等操作或功能，同时也不提供类似于int或varchar的数据字段。你面对的将是相对原始的数据集合及数据类型。

探索之二：Available datatypes

下面我们深入看下这个奇怪的数据库是如何工作的。如上所见，Redis是基于key-value范式存储数据，所以先来重点看下"key"的概念。

key本质上就是简单的字符串，诸如"username"、"password"等。在定义key时，除了不能使用空格，你可以随意的使用普通的字符、数字等，像".",":","_"等在定义key时都能正常使用，所以像"user_name", "user:123:age", "user:123:username"都是不错的key的定义方式。

不像RDBMS中的字段名称，这里的key是Redis中的重要组成部分，所以我们必须在处理key时多加小心。在下面的讲述中，Redis并没有table的概念，所以像"SELECT username from users WHERE user_id=123;"这种简单任务都只能换种方式实现，为了达到这种目的凳猜，在Redis上，一种方式是通过key "user:123:username"来获取结果value。如你所见，key的定义中携带了神秘信息(像user ids)。在Redis中，key的重要性可见一斑。(其他key-value数据库中key的地位也是如此梁乱。)

‘拾’ 怎么从redis内存数据库读取数据写入数据库

redis中的“半持久化模式”和“全持久化模式”
Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到一个append
only
file(aof)里面(这称为“全持久化模式”)。它提供了