sql读写分离
⑴ sql Server 中对同一张表频繁的读写,有什么好办法避免锁等待
禁止对原数据表直接写操作,减少占用。
读取无限制,所有用户只对各自读取后另外生成的临时表进行写操作。保存时,按临时表内容改写原数据表。仅保存时,获取原数据表写操作权限。
⑵ MSSQL SERVER 怎么实现读写分离
主机A为写库。主机B为读库,应用程序当写入到主机A时,采用发布订阅中的事务日志模式,将数据同步至主机B中,这样主机B为应用程序提供接近于实时的数据读取服务。
如果有自增ID主键,也可以采用insert 命令,隔一段时间执行一次也行。
就看应用对数据需求了
⑶ SpringBoot项目中实现MySQL读写分离
但我们仔细观察我们会发现,当我们的项目都是用的单体数据库时,那么就可能会存在如下问题:
为了解决上述提到的两个问题,我们可以准备两 (多) 台MySQL,一台主( Master )服务器,一台从( Slave )服务器,主库的 数据变更 (写、更新、删除这些操作) ,需要 同步 到从库中 (主从复制) 。而用户在访问我们项目时,如果是 写操作 (insert、update、delete),则直接操作 主库 ;如果是 读操作 (select) ,则直接操作从库,这种结构就是 读写分离 啦。
在这种读写分离的结构中,从库是可以有多个的
MySQL主从复制是一个 异步 的复制过程,底层是基于Mysql数据库自带的 二进制日志 功能。就是一台或多台MySQL数据库(slave,即 从库 )从另一台MySQL数据库(master,即 主库 )进行日志的复制,然后再解析日志并应用到自身,最终实现 从库 的数据和 主库 的数据保持一致。MySQL主从复制是 MySQL数据库自带功能,无需借助第三方工具。
二进制日志(BINLOG)记录了所有的 DDL(数据定义语言)语句和 DML(数据操纵语言)语句,但是不包括数据查询语句。此日志对于灾难时的数据恢复起着极其重要的作用,MySQL的主从复制, 就是通过该binlog实现的。默认MySQL是未开启该日志的。
在环境搭建之前,我们需要准备好两台服务器,如果生活富裕使用的是两台云服务器的时候记得要开放安全组,即防火墙;如果是比狗子我生活好点但也是用的虚拟机的话,记得别分这么多内存启动蓝屏了(别问怎么知道的)
这里就不给大家展示数据库的安装和防火墙的操作了,这个我感觉网上好多资源都能够满足遇到的问题,在搭建主从库的时候有在网上见到过说MySQL版本要一致的,我也没太留意直接就在之前的MySQL上操作了,大家可以自己去验证一下。
服务器:192.168.150.100(别试了黑不了的,这是虚拟机的ip)
这里有三个方法都能重启MySQL,最简单的无疑就是一关一开:
登录进去MySQL之后才能够执行下面的命令,因为这是SQL命令,linux不认识这玩意是啥。
这个时候还 不用退出MySQL ,因为下面的命令还是SQL命令,执行下面的SQL,可以拿到我们后面需要的两个重要参数。
执行完这一句SQL之后,==不要再操作主库!不要再操作主库!不要再操作主库!==重要的事情说三遍,因为再操作主库之后可能会导致红框中的 两个属性值会发生变化 ,后面如果发生了错误可能就和这里有那么两毛钱关系了。
服务器:192.168.150.101(别试了黑不了的,这也是虚拟机的ip)
这里要注意server-id和主库以及其他从库都不能相同,否则后面将会配置不成功。
这里有三个方法都能重启MySQL,最简单的无疑就是一关一开:
登录进去MySQL之后才能够执行下面的命令,因为这是SQL命令
参数说明:
这个时候还 不用退出MySQL ,因为下面的命令还是SQL命令,执行下面的SQL,可以看到从库的状态信息。通过状态信息中的 Slave_IO_running 和 Slave_SQL_running 可以看出主从同步是否就绪,如果这两个参数全为 Yes ,表示主从同步已经配置完成。
这可能是由于linux 是复制出来的,MySQL中还有一个 server_uuid 是一样的,我们也需要修改。 vim /var/lib/mysql/auto.cnf
这应该就是各位大牛设置server_id的时候不小心设置相同的id了,修改过来就行,步骤在上面的配置中。
这是狗子在操作过程中搞出来的一个错误……
出错的原因是在主库中删除了用户信息,但是在从库中同步的时候失败导致同步停止,下面记录自己的操作(是在进入MySQL的操作且是从库)。
在数据库中操作时,一定要注意当前所在的数据库是哪个,作为一个良好的实践:在SQL语句前加 USE dbname 。
Sharding-JDBC定位为 轻量级Java框架 ,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以 jar包 形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动, 完全兼容JDBC和各种ORM框架 。
使用Sharding-JDBC可以在程序中轻松的实现数据库 读写分离 。
Sharding-JDBC具有以下几个特点:
下面我们将用ShardingJDBC在项目中实现MySQL的读写分离。
在pom.xml文件中导入ShardingJDBC的依赖坐标
在application.yml中增加数据源的配置
这时我们就可以对我们项目中的配置进行一个测试,下面分别调用一个更新接口和一个查询接口,通过查看日志中记录的数据源来判断是否能够按照我们预料中的跑。
搞定!!!程序正常按照我们预期的成功跑起来了,成功借助ShardingJDBC在我们项目中实现了数据库的读写分离。
⑷ 主机sql数据库占用磁盘IO读写过高,怎么解决
1、首先登录SQL Server实例,如下图所示。
⑸ 怎么实现sql数据库读写分离
在数据库上点右键,就有数据库分离的菜单项,直接点击就好了
你在哪里抄来抄了错误的东西吗?或者你尝试刷新数据。
显然是数据库连接字符串,不,啊,你要连接本地(local)数据库实例名称不会是localhost
⑹ 怎样做mssql数据库 分库读写分离
sqlserver2008 怎样进行数据库分离??在数据库上点右键,就有数据库分离的菜单项,直接点击就好了
你在哪里抄来抄了错误的东西吗?或者你尝试刷新数据。
显然是数据库连接字符串,不,啊,你要连接本地(local)数据库实例名称不会是localhost
⑺ net 怎么使用sqlserver读写分离
在任务栏上,单击“开始”,然后单击“运行”。
在“运行”对话框中,复制并粘贴以下命令,或自己键入以下命令:
C:\WINNT\IsUninst.exe -f"C:\Program Files\Microsoft SQL Server\MSSQL$Server1\Uninst.is" -c"C:\Program Files\Microsoft SQL Server\MSSQL$Server1\sqlsun.dll" -Mssql.miff i=I1
⑻ mysql读写分离在sql里怎么保证查询走主库增删改走从库
你说反了吧,增删改应该走主库,查询走从库
一般是借助数据库中间件来完成的,不会自己的手动写这些的
例如:借助ShardingProxy,只要配置中写明主库和从库,然后后端连接此中间件,那么不需要修改代码,有关增删改的会被拦截然后到主库执行,有关查询的会到从库执行
详细的可以到官方网站shardingsphere学习,比手动写容易多了
⑼ MySQL Proxy怎样配置lua脚本来实现对SQL语句的拦截和修改
Mysql Proxy Lua读写分离设置是本文要介绍的内容,主要是来了解Mysql Proxy的Mysql 分离设置,为了未来MySQL读写分离的需要, 先行对MySQL官方的Mysql Proxy产品进行了初步测试. 以下是测试过程,二进制版Mysql Proxy可以去下载。
1、设置说明
Master服务器: 192.168.41.196 Slave服务器: 192.168.41.197 Proxy服务器: 192.168.41.203
2、安装Mysql Proxy
在Proxy服务器上安装即可. 如果源码方式安装, 需提前安装pkg-config,libevent,glibc,lua等依赖包, 非常麻烦, 建议直接使用二进制版.
# cd /u01/software/mysql # tar -zxvf Mysql Proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz -C /usr/local # cd /usr/local # ln -s Mysql Proxy-0.8.1-linux-rhel5-x86-32bit Mysql Proxy # vi + ~/.bash_profile export PATH=$PATH:/usr/local/Mysql Proxy/bin/ # . ~/.bash_profile
3、Mysql Proxy选项说明
# Mysql Proxy help-all
管理功能选项:
admin-address=host:port 指定一个mysqo-proxy的管理端口, 缺省是4041; admin-username=<string> username to allow to log in admin-password=<string> password to allow to log in admin-lua-script=<filename> script to execute by the admin plugin
代理功能选项:
-P, proxy-address=<host:port> 是Mysql Proxy 服务器端的监听端口, 缺省是4040; -r, proxy-read-only-backend-addresses=<host:port> 只读Slave的地址和端口, 缺省为不设置; -b, proxy-backend-addresses=<host:port> 远程Master地址和端口, 可设置多个做failover和load balance, 缺省是127.0.0.1:3306; proxy-skip-profiling 关闭查询分析功能, 缺省是打开的; proxy-fix-bug-25371 修正 mysql的libmysql版本大于5.1.12的一个#25371号bug; -s, proxy-lua-script=<file> 指定一个Lua脚本来控制Mysql Proxy的运行和设置, 这个脚本在每次新建连接和脚本发生修改的的时候将重新调用;
其他选项:
defaults-file=<file>配置文件, 可以把Mysql Proxy的参数信息置入一个配置文件里; daemon Mysql Proxy以守护进程方式运行 pid-file=file 设置Mysql Proxy的存储PID文件的路径 keepalive try to restart the proxy if it crashed, 保持连接启动进程会有2个, 一号进程用来监视二号进程, 如果二号进程死掉自动重启proxy.
4、数据库准备工作
(1)安装半同步补丁(建议)
读写分离不能回避的问题之一就是延迟, 可以考虑Google提供的SemiSyncReplication补丁.
(2)给用户授权
在Master/Slave建立一个测试用户, 因为以后客户端发送的SQL都是通过Mysql Proxy服务器来转发, 所以要确保可以从Mysql Proxy服务器上登录MySQL主从库.
mysql> grant all privileges on *.* to 'u_test'@'192.168.41.203' identified by 'xxx' with grant option;
(3)在Master建立测试表
mysql> create table db_test.t_test (col varchar(10)); mysql> insert into db_test.t_test values ('testA'); mysql> select * from db_test.t_test; +-+ | col | +-+ | testA | +-+
5、Mysql Proxy启动
(1)修改读写分离lua脚本
默认最小4个最大8个以上的客户端连接才会实现读写分离, 现改为最小1个最大2个:
# vi +40 /usr/local/Mysql Proxy/share/doc/Mysql Proxy/rw-splitting.lua connection pool if not proxy.global.config.rwsplit then proxy.global.config.rwsplit = { min_idle_connections = 1, max_idle_connections = 2, is_debug = true } end
这是因为Mysql Proxy会检测客户端连接, 当连接没有超过min_idle_connections预设值时, 不会进行读写分离, 即查询操作会发生到Master上.
(2)启动Mysql Proxy
建议使用配置文件的形式启动, 注意配置文件必须是660权限, 否则无法启动. 如果有多个Slave的话, proxy-read-only-backend-addresses参数可以配置多个以逗号分隔的IP:Port从库列表.
# killall Mysql Proxy # vi /etc/Mysql Proxy.cnf [Mysql Proxy] admin-username=wangnc admin-password=iamwangnc admin-lua-script=/usr/local/Mysql Proxy/lib/Mysql Proxy/lua/admin.lua proxy-backend-addresses=192.168.41.196:3351 proxy-read-only-backend-addresses=192.168.41.197:3351 proxy-lua-script=/usr/local/Mysql Proxy/share/doc/Mysql Proxy/rw-splitting.lua log-file=/var/tmp/Mysql Proxy.log log-level=debug daemon=true keepalive=true # chmod 660 /etc/Mysql Proxy.cnf # Mysql Proxy defaults-file=/etc/Mysql Proxy.cnf # ps -ef | grep Mysql Proxy | grep -v grep root 1869 1 0 18:16 ? 00:00:00 /usr/local/Mysql Proxy/libexec/Mysql Proxy defaults-file=/etc/Mysql Proxy.cnf root 1870 1869 0 18:16 ? 00:00:00 /usr/local/Mysql Proxy/libexec/Mysql Proxy defaults-file=/etc/Mysql Proxy.cnf # tail -50f /var/tmp/Mysql Proxy.log
6、客户端连接测试
(1)先停止Slave的复制进程
mysql> stop slave;
(2)连接Proxy端口, 插入数据
# mysql -uu_test -pxxx -h192.168.41.203 -P4040 -Ddb_test mysql> insert into db_test.t_test values ('testB'); mysql> select * from db_test.t_test; +-+ | col | +-+ | testA | | testB | +-+
(3)多开几个客户端, 连接Proxy端口, 查询数据
# mysql -uu_test -pxxx -h192.168.41.203 -P4040 -Ddb_test mysql> select * from db_test.t_test; +-+ | col | +-+ | testA | +-+
如果查询不到上步新插入的数据, 说明连接到了Slave, 读写分离成功. 在同一线程再插入数据并验证:
mysql> insert into db_test.t_test values ('testC'); mysql> select * from db_test.t_test; +-+ | col | +-+ | testA | +-+
发现insert操作成功, 但是select不出刚插入的数据, 说明同一线程也读写分离成功. 从日志中可以验证:
# tail -50f /var/tmp/Mysql Proxy.log ... [read_query] 192.168.41.203:45481 current backend = 0 client default db = db_test client username = u_test query = select * from db_test.t_test sending to backend : 192.168.41.197:3351 is_slave : true server default db: db_test server username : u_test in_trans : false in_calc_found : false COM_QUERY : true [read_query] 192.168.41.203:45481 current backend = 0 client default db = db_test client username = u_test query = insert into db_test.t_test values ('testC') sending to backend : 192.168.41.196:3351 is_slave : false server default db: db_test server username : u_test in_trans : false in_calc_found : false COM_QUERY : true
(4)测试完毕后, 启动Slave的复制进程
mysql> start slave;
7、正式环境说明
1、Mysql Proxy当前还只是个测试版, MySQL官方还不建议用到生产环境中;
2、Mysql Proxy的rw-splitting.lua脚本在网上有很多版本, 但是最准确无误的版本仍然是源码包中所附带的rw-splitting.lua脚本, 如果有lua脚本编程基础的话, 可以在这个脚本的基础上再进行优化;
3、Mysql Proxy实际上非常不稳定, 在高并发或有错误连接的情况下, 进程很容易自动关闭, 因此打开keepalive参数让进程自动恢复是个比较好的办法, 但还是不能从根本上解决问题, 因此通常最稳妥的做法是在每个从服务器上安装一个Mysql Proxy供自身使用, 虽然比较低效但却能保证稳定性;
4、Amoeba for MySQL是一款优秀的中间件软件, 同样可以实现读写分离, 负载均衡等功能, 并且稳定性要大大超过Mysql Proxy, 建议大家用来替代Mysql Proxy, 甚至MySQL-Cluster.
小结:详解Mysql Proxy Lua读写分离设置的内容介绍完了,希望通过本文的学习能对你有所帮助!