pythonredis集群

⑴ redis集群，有一个服务器和另一个服务器是怎样均衡负载的

Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。
它提供了python，Ruby，Erlang，PHP客户端，使用很方便。
性能测试结果：
SET操作每秒钟 110000 次，GET操作每秒钟 81000 次，服务器配置如下：
Linux 2.6, Xeon X3320 2.5Ghz.
stackoverflow 网站使用 Redis 做为缓存服务器。

⑵ 怎么指定redis集群节点的主从关系

市面上太多kv的缓存，最常用的就属memcache了，但是memcache存在单点问题，不过小日本有复制版本，但是使用的人比较少，redis的出现让kv内存存储的想法成为现实。今天主要内容便是redis主从实现简单的集群，实际上redis的安装配置砸门ttlsa之前就有个文章，废话少说，进入正题吧

Redis简介

redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、 list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操 作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的 是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。

 

1. 下载软件包

# cd /usr/local/src/

# wget http://redis.googlecode.com/files/redis-2.6.11.tar.gz

2. Redis安装

主从都需要安装

# tar -xzvf redis-2.6.11.tar.gz

# mv redis-2.6.11 /usr/local/

# cd /usr/local/redis-2.6.11/

# make

备注：这边就不make install 了，直接使用make好的文件

3. redis配置

找到配置文件/usr/local/redis-2.6.11/redis.conf

修改如下内容：

daemonize no 改为 yes # 是否后台运行

port 6379 改

⑶ python2.7安装rediscluster模块报错，求助

1如果是在windows上请下载PYTHON2.6的安装程序，然后直接运行即可安装完成。2安装完成后需要到系统的环境变量处设置PYTHON的环境变量具体设置方法如图3在命令行键入python遍可以进入PYTHON的交互编程界面。如果需要在LINUX上安装以CENTOS为例：1，用ROOT方式登陆到系统输入yuminstallpython即可完成安装。2运行SHELL输入PYTHON即可运行。3执行在shell中输入pythonany.py即可

⑷ 编写一个python程序实现redis集群的访问

用python-2.7.3\python是对的，但是你的hello.py放在那里？你需要先用“cd 目录名”转换当前目录到存放hello.py的地方，然后执行python-2.7.3\python hello.py。

⑸ python怎么使用redis

（1）使用 # easy_install redis
（2）直接编译安装
#wget https://pypi.python.org/packages/source/r/redis/redis-2.9.1.tar.gz
#tar xvzf redis-2.9.1.tar.gz
#cd redis-2.9.1
#python setup.py install

⑹ python中redis服务怎么起

redis-py提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，
并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。
import redis 导入redis模块，通过python操作redis 也可以直接在redis主机的服务端操作缓存数据库
r = redis.Redis(host='192.168.19.130', port=6379) host是redis主机，需要redis服务端和客户端都起着 redis默认端口是6379
r.set('foo', 'Bar') key是"foo" value是"bar" 将键值对存入redis缓存
print r.get('foo') Bar 取出键foo对应的值！

⑺ 大数据培训什么

大数据课程大纲

javaSE：java入门、java基本语法、流程控制语句、数组、面向对象、常用类、集合、IO、多线程、网络编程、正则+反射+xml

Mysql：MySQL数据库基础、数据库连接池、JDBC、MySQL数据库高级

JAVAEE：HTML、CSS、JSP与Servlet、SSM框架、Java、maven、应用案例

LINUX：在虚拟机中安装Centos7.0、Linux简介及权限概述、Shell基本命令、文档目录管理、用户与用户组管理、进程管理、软件管理、shell编程、网络管理和多机操作

HADOOP：hadoop概述、zookeeper安装与使用、hadoop安装、yarn资源管理器、hadoop服务器基础环境、hadoop伪分布式环境、hdfs分布式文件系统、maprecer分布式计算系统

HIVE：hive介绍与安装、hive表操作、hive排序、hive数据类型与基础语法、hive大数据查询、hive函数

HBASE：hbase概述、hbase原理、hbase的java操作、hbase的高级、hbase安装、hbase的shell操作、hbase的filter操作

OOZIE：oozie原理与安装、oozie的任务配置、oozie任务调度

FLUME：flume概述与安装、fume定制开发、flume高级应用

PYTHON：python基础、python语法、python高级开发、python开发环境安装、python组件

REDIS：redis概述、redis集群模式、redis单机模式、redis开发

KAFKA：kafka概述与集群安装、kafka调优、kafka的api操作

SCALA：scala理念与生态、scala基础语法、scala开发环境安装、scala高级特性

SPARK：spark介绍、常用Transformations算子、spark环境搭建、spark-sql、spark-streaming、rdd原理、spark常用Actions算子、spark-core、spark-hbase、spark调优

ELK：Lucene概述、elasticsearch单机安装、elasticsearch开发、elasticsearch概述、elasticsearch集群安装

FLINK：flink概述、flink窗口、flink安装、flink开发

⑻ redis到底是个什么东西

1. 什么是Redis

Redis是由意大利人Salvatore Sanfilippo（网名：antirez）开发的一款内存高速缓存数据库。Redis全称为：Remote Dictionary Server（远程数据服务），该软件使用C语言编写，Redis是一个key-value存储系统，它支持丰富的数据类型，如：string、list、set、zset(sorted set)、hash。

2. Redis特点

Redis以内存作为数据存储介质，所以读写数据的效率极高，远远超过数据库。以设置和获取一个256字节字符串为例，它的读取速度可高达110000次/s，写速度高达81000次/s。

Redis跟memcache不同的是，储存在Redis中的数据是持久化的，断电或重启后，数据也不会丢失。因为Redis的存储分为内存存储、磁盘存储和log文件三部分，重启后，Redis可以从磁盘重新将数据加载到内存中，这些可以通过配置文件对其进行配置，正因为这样，Redis才能实现持久化。

Redis支持主从模式，可以配置集群，这样更利于支撑起大型的项目，这也是Redis的一大亮点。

3. Redis应用场景，它能做什么

众多语言都支持Redis，因为Redis交换数据快，所以在服务器中常用来存储一些需要频繁调取的数据，这样可以大大节省系统直接读取磁盘来获得数据的I/O开销，更重要的是可以极大提升速度。

拿大型网站来举个例子，比如a网站首页一天有100万人访问，其中有一个板块为推荐新闻。要是直接从数据库查询，那么一天就要多消耗100万次数据库请求。上面已经说过，Redis支持丰富的数据类型，所以这完全可以用Redis来完成，将这种热点数据存到Redis（内存）中，要用的时候，直接从内存取，极大的提高了速度和节约了服务器的开销。

总之，Redis的应用是非常广泛的，而且极有价值，真是服务器中的一件利器，所以从现在开始，我们就来一步步学好它。

⑼ Python开发需要自己配置redis集群吗

这个不好说，如果领导让你干，临时现学现卖就好了，网络一大堆。那么多配置需要改，如果不是每天都要弄这个，谁也记不住啊。现在你就熟悉远离，知道怎么网络到方法就好了。或者把教程保存好。

⑽ 如何用Python一门语言通吃高性能并发，GPU计算和深度学习

第一个就是并发本身所带来的开销即新开处理线程、关闭处理线程、多个处理线程时间片轮转所带来的开销。

实际上对于一些逻辑不那么复杂的场景来说这些开销甚至比真正的处理逻辑部分代码的开销更大。所以我们决定采用基于协程的并发方式，即服务进程只有一个(单cpu)所有的请求数据都由这个服务进程内部来维护，同时服务进程自行调度不同请求的处理顺序，这样避免了传统多线程并发方式新建、销毁以及系统调度处理线程的开销。基于这样的考虑我们选择了基于Tornado框架实现api服务的开发。Tornado的实现非常简洁明了，使用python的生成器作为协程，利用IOLoop实现了调度队列。

第二个问题是数据库的性能，这里说的数据库包括MongoDB和Redis，我这里分开讲。

先讲MongoDB的问题，MongoDB主要存储不同的用户对于验证的不同设置，比如该显示什么样的图片。
一开始每次验证请求都会查询MongoDB，当时我们的MongoDB是纯内存的，同时三台机器组成一个复制集，这样的组合大概能稳定承载八九千的qps，后来随着我们验证量越来越大，这个承载能力逐渐就成为了我们的瓶颈。
为了彻底搞定这个问题，我们提出了最极端的解决方案，干脆直接把数据库中的数据完全缓存到服务进程里定期批量更新，这样查询的开销将大大降低。但是因为我们用的是Python，由于GIL的存在，在8核服务器上会fork出来8个服务进程，进程之间不像线程那么方便，所以我们基于mmap自己写了一套伙伴算法构建了一个跨进程共享缓存。自从这套缓存上线之后，Mongodb的负载几乎变成了零。
说完了MongoDB再说Redis的问题，Redis代码简洁、数据结构丰富、性能强大，唯一的问题是作为一个单进程程序，终究性能是有上限的。
虽然今年Redis发布了官方的集群版本，但是经过我们的测试，认为这套分布式方案的故障恢复时间不够优秀并且运维成本较高。在Redis官方集群方案面世之前，开源世界有不少proxy方案，比如Twtter的TwemProxy和豌豆荚的Codis。这两种方案测试完之后给我们的感觉TwemProxy运维还是比较麻烦，Codis使用起来让人非常心旷神怡，无论是修改配置还是扩容都可以在配置页面上完成，并且性能也还算不错，但无奈当时Codis还有比较严重的BUG只能放弃之。
几乎尝试过各种方案之后，我们还是下决心自己实现一套分布式方案，目的是高度贴合我们的需求并且运维成本要低、扩容要方便、故障切换要快最重要的是数据冗余一定要做好。
基于上面的考虑，我们确定基于客户端的分布式方案，通过zookeeper来同步状态保证高可用。具体来说，我们修改Redis源码，使其向zookeeper注册，客户端由zookeeper上获取Redis服务器集群信息并根据统一的一致性哈希算法来计算数据应该存储在哪台Redis上，并在哈希环的下一台Redis上写入一份冗余数据，当读取原始数据失败时可以立即尝试读取冗余数据而不会造成服务中断。