任务如何分配到集群服务器
1. 在Hadoop集群中，任务分配到每个节点上的传统方法是什么，怎么实现随机分配，均衡分配........
默认方法是随机加均衡，几条策略，
一般都会把任务分配给离存储节点之一最近的节点
如果某个节点运算效率过慢就会把这个运算给另一个空闲节点同时做，谁先做完用谁的
如果某段计算实在做不过去，说明程序有问题，会跳过出问题的步骤，做下一步
2. 求集群管理的相关知识！
集群技术案例介绍和具体操作
集群技术案例介绍和具体操作
中国科学院西安网络中心 中科红旗linux培训认证中心
集群技术
1.1 什么是集群
简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提
供一组网络资源。这些单个的计算机系统就是集群的节点（node）。一个理想的
集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一
个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群
系统的节点。
1.2 为什么需要集群
集群并不是一个全新的概念，其实早在七十年代计算机厂商和研究机构就
开始了对集群系统的研究和开发。由于主要用于科学工程计算，所以这些系统并
不为大家所熟知。直到Linux集群的出现，集群的概念才得以广为传播。
对集群的研究起源于集群系统良好的性能可扩展性(scalability)。提高CPU
主频和总线带宽是最初提供计算机性能的主要手段。但是这一手段对系统性能的
提供是有限的。接着人们通过增加CPU个数和内存容量来提高性能，于是出现了
向量机，对称多处理机(SMP)等。但是当CPU的个数超过某一阈值，象SMP这些
多处理机系统的可扩展性就变的极差。主要瓶颈在于CPU访问内存的带宽并不能
随着CPU个数的增加而有效增长。与SMP相反，集群系统的性能随着CPU个数的
增加几乎是线性变化的。图1显示了这中情况。
图1. 几种计算机系统的可扩展性
对于关键业务，停机通常是灾难性的。因为停机带来的损失也是巨大的。下
面的统计数字列举了不同类型企业应用系统停机所带来的损失。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
应用系统每分钟损失(美元)
呼叫中心(Call Center) 27000
企业资源计划(ERP)系统13000
供应链管理(SCM)系统11000
电子商务(eCommerce)系统10000
客户服务(Customer Service Center)系统27000
图2：停机给企业带来的损失
随着企业越来越依赖于信息技术，由于系统停机而带来的损失也越拉越大。
集群系统的优点并不仅在于此。下面列举了集群系统的主要优点：
高可扩展性：如上所述。
高可用性：集群中的一个节点失效，它的任务可传递给其他节点。可以有效防止单点失效。
高性能：负载平衡集群允许系统同时接入更多的用户。
高性价比：可以采用廉价的符合工业标准的硬件构造高性能的系统。
2.1 集群系统的分类
虽然，根据集群系统的不同特征可以有多种分类方法，但是一般把集群系统分为两类：
（1）、高可用(High Availability)集群,简称HA集群。
这类集群致力于提供高度可靠的服务。就是利用集群系统的容错性对外提供7*24小时不间
断的服务，如高可用的文件服务器、数据库服务等关键应用。
目前已经有在Linux下的高可用集群，如Linux HA项目。
负载均衡集群：使任务可以在集群中尽可能平均地分摊不同的计算机进行处理，充分利
用集群的处理能力，提高对任务的处理效率。
在实际应用中这几种集群类型可能会混合使用，以提供更加高效稳定的服务。如在一个使
用的网络流量负载均衡集群中，就会包含高可用的网络文件系统、高可用的网络服务。
（2）、性能计算(High Perfermance Computing)集群，简称HPC集群，也称为科学计算
集群。
在这种集群上运行的是专门开发的并行应用程序，它可以把一个问题的数据分布到多
台的计算机上，利用这些计算机的共同资源来完成计算任务，从而可以解决单机不能胜任
的工作（如问题规模太大，单机计算速度太慢）。
这类集群致力于提供单个计算机所不能提供的强大的计算能力。如天气预报、石油勘探与油
藏模拟、分子模拟、生物计算等。这些应用通常在并行通讯环境MPI、PVM等中开发，由于MPI
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
是目前的标准，故现在多使用MPI为并行环境。
比较有名的集群Beowulf就是一种科学计算集群项目。
3、集群系统转发方式和调度算法
3．1转发方式
目前LVS主要有三种请求转发方式和八种调度算法。根据请求转发方式的不同，所构
架集群的网络拓扑、安装方式、性能表现也各不相同。用LVS主要可以架构三种形式的集群，
分别是LVS/NAT、LVS/TUN和LVS/DR，可以根据需要选择其中一种。
（1）、网络地址转换（LVS/NAT）
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
（2）、直接路由
（3）、IP隧道
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
三种转发方式的比较：
3．2、调度算法
在选定转发方式的情况下，采用哪种调度算法将决定整个负载均衡的性能表现，不同
的算法适用于不同的应用场合，有时可能需要针对特殊场合，自行设计调度算法。LVS的算
法是逐渐丰富起来的，最初LVS只提供4种调度算法，后来发展到以下八种：
1.轮叫调度（Round Robin）
调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均
等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。
2.加权轮叫（Weighted Round Robin）
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样
可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动询问真实服务器的
负载情况，并动态地调整其权值。
3.最少链接（Least Connections）
调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器
上。如果集群系统的真实服务器具有相近的系统性能，采用“最小连接”调度算法可以较
好地均衡负载。
4.加权最少链接（Weighted Least Connections）
在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自
动询问真实服务器的负载情况，并动态地调整其权值。
5.基于局部性的最少链接（Locality-Based Least Connections）
“基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache
集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务
器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且
有服务器处于一半的工作负载，则用“最少链接”的原则选出一个可用的服务器，将请求
发送到该服务器。
6. 带复制的基于局部性最少链接（ Locality-Based Least Connections with
Replication）
“带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要
用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务
器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目
标IP地址找出该目标IP地址对应的服务器组，按“最小连接”原则从服务器组中选出一
台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接
”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服
务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，
以降低复制的程度。
7.目标地址散列（Destination Hashing）
“目标地址散列”调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分
配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，
否则返回空。
8.源地址散列（Source Hashing）
“源地址散列”调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的
散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则
返回空。
了解这些算法原理能够在特定的应用场合选择最适合的调度算法，从而尽可能地保持
Real Server的最佳利用性。当然也可以自行开发算法，不过这已超出本文范围，请参考有
关算法原理的资料。
4．1、什么是高可用性
计算机系统的可用性(availability)是通过系统的可靠性(reliability)和可维护性
(maintainability)来度量的。工程上通常用平均无故障时间(MTTF)来度量系统的可靠性，
用平均维修时间（MTTR）来度量系统的可维护性。于是可用性被定义为：
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
MTTF/(MTTF+MTTR)*100%
业界根据可用性把计算机系统分为如下几类：
可用比例
(Percent
Availability)
年停机时间
(downtime/year
)
可用性分类
99.5 3.7天
常规系统
(Conventional)
99.9 8.8小时可用系统(Available)
99.99 52.6分钟
高可用系统(Highly
Available)
99.999 5.3分钟Fault Resilient
99.9999 32秒Fault Tolerant
为了实现集群系统的高可用性，提高系统的高可性，需要在集群中建立冗余机制。一个功
能全面的集群机构如下图所示
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
负载均衡服务器的高可用性
为了屏蔽负载均衡服务器的失效，需要建立一个备份机。主服务器和备份机上都运行
High Availability监控程序，通过传送诸如“I am alive”这样的信息来监控对方的运
行状况。当备份机不能在一定的时间内收到这样的信息时，它就接管主服务器的服务IP并
继续提供服务；当备份管理器又从主管理器收到“I am alive”这样的信息是，它就释放
服务IP地址，这样的主管理器就开开始再次进行集群管理的工作了。为在住服务器失效的
情况下系统能正常工作，我们在主、备份机之间实现负载集群系统配置信息的同步与备份，
保持二者系统的基本一致。
HA的容错备援运作过程
自动侦测(Auto-Detect)阶段 由主机上的软件通过冗余侦测线，经由复杂的监听程序。逻
辑判断，来相互侦测对方运行的情况，所检查的项目有：
主机硬件(CPU和周边)
主机网络
主机操作系统
数据库引擎及其它应用程序
主机与磁盘阵列连线
为确保侦测的正确性，而防止错误的判断，可设定安全侦测时间，包括侦测时间间隔，
侦测次数以调整安全系数，并且由主机的冗余通信连线，将所汇集的讯息记录下来，以供
维护参考。
自动切换(Auto-Switch)阶段 某一主机如果确认对方故障，则正常主机除继续进行原来的
任务，还将依据各种容错备援模式接管预先设定的备援作业程序，并进行后续的程序及服
务。
自动恢复(Auto-Recovery)阶段 在正常主机代替故障主机工作后，故障主机可离线进行修
复工作。在故障主机修复后，透过冗余通讯线与原正常主机连线，自动切换回修复完成的
主机上。整个回复过程完成由EDI-HA自动完成，亦可依据预先配置，选择回复动作为半自
动或不回复。
4．2、HA三种工作方式：
（1）、主从方式 （非对称方式）
工作原理：主机工作，备机处于监控准备状况；当主机宕机时，备机接管主机的一切工作，
待主机恢复正常后，按使用者的设定以自动或手动方式将服务切换到主机上运行，数据的
一致性通过共享存储系统解决。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
（2）、双机双工方式（互备互援）
工作原理：两台主机同时运行各自的服务工作且相互监测情况，当任一台主机宕机时，另
一台主机立即接管它的一切工作，保证工作实时，应用服务系统的关键数据存放在共享存
储系统中。
（3）、集群工作方式（多服务器互备方式）
工作原理：多台主机一起工作，各自运行一个或几个服务，各为服务定义一个或多个备用
主机，当某个主机故障时，运行在其上的服务就可以被其它主机接管。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
相关文档
http://tech.sina.com.cn/it/2004-04-09/1505346805.shtml
http://stonesoup.esd.ornl.gov
LINUX下的集群实列应用
最近有客户需要一个负载均衡方案，笔者对各种软硬件的负载均衡方案进行了调查和
比较，从IBM sServer Cluster、Sun Cluster PlatForm 等硬件集群，到中软、红旗、
TurboLinux的软件集群，发现无论采用哪个厂商的负载均衡产品其价格都是该客户目前所
不能接受的。于是笔者想到了开放源项目Linux Virtual Server(简称LVS)。经过对LVS的研
究和实验，终于在Red Hat 9.0上用LVS成功地构架了一组负载均衡的集群系统。整个实
现过程整理收录如下，供读者参考。
选用的LVS实际上是一种Linux操作系统上基于IP层的负载均衡调度技术，它在操
作系统核心层上，将来自IP层的TCP/UDP请求均衡地转移到不同的服务器，从而将一组
服务器构成一个高性能、高可用的虚拟服务器。使用三台机器就可以用LVS实现最简单的集
群，如图1所示。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
图1 LVS实现集群系统结构简图
图1显示一台名为Director的机器在集群前端做负载分配工作；后端两台机器称之为
Real Server，专门负责处理Director分配来的外界请求。该集群的核心是前端的Director
机器，LVS就是安装在这台机器上，它必须安装Linux。Real Server则要根据其选用的负
载分配方式而定，通常Real Server上的设置比较少。接下来介绍Director机器上LVS的
安装过程。
安装
LVS的安装主要是在Director机器上进行，Real Server只需针对不同的转发方式做简单
的设定即可。特别是对LVS的NAT方式，Real Server惟一要做的就是设一下缺省的网关。
所以构架集群的第一步从安装Director机器开始。
首先，要在Director机器上安装一个Linux操作系统。虽然早期的一些Red Hat版本，
如6.2、7.2、8.0等自带Red Hat自己的集群软件，或者是在内核中已经支持LVS，但是为
了更清楚地了解LVS的机制，笔者还是选择自行将LVS编入Linux内核的方式进行安装，
Linux版本采用Red Hat 9.0。
如果用户对Red Hat的安装比较了解，可以选择定制安装，并只安装必要的软件包。
安装中请选择GRUB 做为启动引导管理软件。因为GRUB 在系统引导方面的功能远比
LILO强大，在编译Linux内核时可以体会它的方便之处。
LVS是在Linux内核中实现的，所以要对原有的Linux内核打上支持LVS的内核补丁，
然后重新编译内核。支持LVS 的内核补丁可以从LVS 的官方网
http://www.linuxvirtualserver.org 下载，下载时请注意使用的Linux核心版本，必须下载和
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
使用的Linux内核版本相一致的LVS内核补丁才行。对于Red Hat 9.0，其Linux内核版本
是2.4.20，所以对应内核补丁应该是http://www.linuxvirtualserver.org/software/kernel-
2.4/linux-2.4.20-ipvs-1.0.9.patch.gz。笔者经过多次实验，使用Red Hat 9.0自带的Linux
源代码无法成功编译LVS 的相关模组。由于时间关系笔者没有仔细研究，而是另外从
kernel.org上下载了一个tar包格式的2.4.20内核来进行安装，顺利完成所有编译。下面是
整个内核的编译过程：
1.删除Red Hat自带的Linux源代码
# cd /usr/src
# rm -rf linux*
2.下载2.4.20内核
# cd /usr/src
# wget ftp://ftp.kernel.org/pub/linux/kernel/v2.4/linux-2.4.20.tar.bz2
3.解压到当前目录/usr/src
# cd /usr/src
# tar -xjpvf linux-2.4.20.tar.bz2
4.建立链接文件
# cd /usr/src # ln -s linux-2.4.20 linux-2.4 # ln -s linux-2.4.20 linux
5.打上LVS的内核补丁
# cd /usr/src
#wget http://www.linuxvirtualserver.org/software/kernel-2.4/linux-2.4.20-ipvs-
1.0.9.patch.gz
# gzip -cd linux-2.4.20-ipvs-1.0.9.patch.gz
# cd /usr/src/linux
# patch -p1 < ../linux-2.4.20-ipvs-1.0.9.patch
在打补丁时，注意命令执行后的信息，不能有任何错误信息，否则核心或模组很可能
无法成功编译。
6.打上修正ARP问题的内核补丁
# cd /usr/src
# wget http://www.ssi.bg/~ja/hidden-2.4.20pre10-1.diff
# cd /usr/src/linux
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
# patch -p1 < ../hidden-2.4.20pre10-1.diff
这一步在Director机器上可以不做，但是在使用LVS/TUN和LVS/DR方式的Real Server
上必须做。
7.为新核心命名
打开/usr/src/linux/Makefile。注意，在开始部分有一个变量EXTRAVERSION可以自行定
义。修改这个变量，比如改成“EXTRAVERSION=-LVS”后，编译出的核心版本号就会显
示成2.4.20-LVS。这样给出有含义的名称将有助于管理多个Linux核心。
8.检查源代码
# make mrproper
这一步是为确保源代码目录下没有不正确的.o文件及文件的互相依赖。因为是新下载的内
核，所以在第一次编译时，这一步实际可以省略。
9.配置核心选项
# make menuconfig
命令执行后会进入一个图形化的配置界面，可以通过这个友好的图形界面对内核进行定制。
此过程中，要注意对硬件驱动的选择。Linux支持丰富的硬件，但对于服务器而言，用不到
的硬件驱动都可以删除。另外，像Multimedia devices、Sound、Bluetooth support、Amateur
Radio support等项也可以删除。
注意，以下几项配置对LVS非常重要，请确保作出正确的选择：
(1)Code maturity level options项
对此项只有以下一个子选项，请选中为*，即编译到内核中去。
Prompt for development and/or incomplete code/drivers
(2)Networking options项
对此项的选择可以参考以下的配置，如果不清楚含义可以查看帮助：
<*> Packet socket
[ ] Packet socket: mmapped IO
< > Netlink device emulation
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
Network packet filtering (replaces ipchains)
[ ] Network packet filtering debugging
Socket Filtering
<*> Unix domain sockets
TCP/IP networking
IP: multicasting
IP: advanced router
IP: policy routing
[ ] IP: use netfilter MARK value as routing key
[ ] IP: fast network address translation
<M> IP: tunneling
IP: broadcast GRE over IP
[ ] IP: multicast routing
[ ] IP: ARP daemon support (EXPERIMENTAL)
[ ] IP: TCP Explicit Congestion Notification support
[ ] IP: TCP syncookie support (disabled per default)
IP: Netfilter Configuration --->
IP: Virtual Server Configuration --->
(3)Networking options项中的IP: Virtual Server Configuration项
如果打好了LVS的内核补丁，就会出现此选项。进入Virtual Server Configuration选项，
有以下子选项：
<M> virtual server support (EXPERIMENTAL)
IP virtual server debugging
(12) IPVS connection table size (the Nth power of 2)
--- IPVS scheler
<M> round-robin scheling
<M> weighted round-robin scheling
<M> least-connection scheling scheling
<M> weighted least-connection scheling
<M> locality-based least-connection scheling
<M> locality-based least-connection with replication scheling
<M> destination hashing scheling
<M> source hashing scheling
<M> shortest expected delay scheling
<M> never queue scheling
--- IPVS application helper
<M> FTP protocol helper
以上所有项建议全部选择。
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
(4)Networking options项中的IP: Netfilter Configuration项
对于2.4版本以上的Linux Kernel来说，iptables是取代早期ipfwadm和ipchains的
更好选择，所以除非有特殊情况需要用到对ipchains和ipfwadm的支持，否则就不要选它。
本文在LVS/NAT方式中，使用的就是iptables，故这里不选择对ipchains和ipfwadm的
支持：
< > ipchains (2.2-style) support
< > ipfwadm (2.0-style) support
10. 编译内核
(1)检查依赖关系
# make dep
确保关键文件在正确的路径上。
(2)清除中间文件
# make clean
确保所有文件都处于最新的版本状态下。
(3)编译新核心
# make bzImage
(4)编译模组
# make moles
编译选择的模组。
(5)安装模组
# make moles_install
# depmod -a
生成模组间的依赖关系，以便modprobe定位。
(6)使用新模组
# cp System.map /boot/System.map-2.4.20-LVS
# rm /boot/System.map
# ln -s /boot/System.map-2.4.20-LVS /boot/System.map
# cp arch/i386/boot/bzImage /boot/vmlinuz-2.4.20-LVS
# rm /boot/vmlinuz
# ln -s /boot/vmlinuz-2.4.20-LVS /boot/vmlinuz
# new-kernel-pkg --install --mkinitrd --depmod 2.4.20-LVS
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
(7)修改GRUB，以新的核心启动
执行完new-kernel-pkg命令后，GRUB的设置文件/etc/grub.conf中已经增加了新核心的
启动项，这正是开始安装Linux时推荐使用GRUB做引导程序的原因。
grub.conf中新增内容如下：
title Red Hat Linux (2.4.20-LVS)
root (hd0,0)
kernel /boot/vmlinuz-2.4.20LVS ro root=LABEL=/
initrd /boot/initrd-2.4.20LVS.img
将Kernel项中的root=LABEL=/改成 root=/dev/sda1 (这里的/dev/sda1是笔者Linux的根
分区，读者可根据自己的情况进行不同设置）。
保存修改后，重新启动系统:
# reboot
系统启动后，在GRUB的界面上会出现Red Hat Linux(2.4.20-LVS)项。这就是刚才编译的
支持LVS的新核心，选择此项启动，看看启动过程是否有错误发生。如果正常启动，ipvs
将作为模块加载。同时应该注意到，用LVS的内核启动后在/proc目录中新增了一些文件，
比如/proc/sys/net/ipv4/vs/*。
11.安装IP虚拟服务器软件ipvsadm
用支持LVS的内核启动后，即可安装IP虚拟服务器软件ipvsadm了。用户可以用tar包或
RPM 包安装，tar 包可以从以下地址http://www.linuxvirtualserver.org/software/kernel-
2.4/ipvsadm-1.21.tar.gz 下载进行安装。
这里采用源RPM包来进行安装：
# wget http://www.linuxvirtualserver.org/software/kernel-2.4/ipvsadm-1.21-7.src.rpm
# rpmbuild --rebuild ipvsadm-1.21-7.src.rpm
# rpm -ivh /usr/src/redhat/RPMS/i386/ipvsadm-1.21-7.i386.rpm
注意：高版本的rpm命令去掉了--rebuild这个参数选项，但提供了一个rpmbuild命令来实
现它。这一点和以前在Red Hat 6.2中以rpm—rebuild XXX.src.rpm来安装源RPM包的习
惯做法有所不同。
安装完，执行ipvsadm命令，应该有类似如下的信息出现：
# ipvsadm
中科红旗linux技术支持服务中心---西安站 http://linux.xab.ac.cn
中国科学院西安网络中心 中科红旗linux培训认证中心
IP Virtual Server version 1.0.9 (size=4096)
Prot LocalAddress:Port Scheler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
出现类似以上信息，表明支持LVS 的内核和配置工具ipvsadm 已完全安装，这台
Director机器已经初步安装完成，已具备构架各种方式的集群的条件。
实例
理解了上述关于请求转发方式和调度算法的基本概念后，就可以运用LVS来具体实现
几种不同方式的负载均衡的集群系统。LVS的配置是通过前面所安装的IP虚拟服务器软件
ipvsadm来实现的。ipvsadm与LVS的关系类似于iptables和NetFilter的关系，前者只是
一个建立和修改规则的工具，这些命令的作用在系统重新启动后就消失了，所以应该将这
些命令写到一个脚本里，然后让它在系统启动后自动执行。网上有不少配置LVS的工具，
有的甚至可以自动生成脚本。但是自己手工编写有助于更深入地了解，所以本文的安装没
有利用其它第三方提供的脚本，而是纯粹使用ipvsadm命令来配置。
下面就介绍一下如何配置LVS/NAT、LVS/TUN、LVS/DR方式的负载均衡集群。
1.设定LVS/NAT方式的负载均衡集群
NAT是指Network Address Translation，它的转发流程是：Director机器收到外界请求，
改写数据包的目标地址，按相应的调度算法将其发送到相应Real Server上，Real Server
处理完该请求后，将结果数据包返回到其默认网关，即Director机器上，Dire
3. 服务器集群怎么实现
不难，硬件用路由器，软件嘛，操作系统用WIN2003
server
enterprise
企业版，推荐一并安装R2升级包，所有机器组局域网，用一台千兆网卡做域控，架设流媒体服务器，其他机做为域成员加入进来，内网IP各用各的，外网用端口映射到一个IP，用域控做网络流量负载平衡，域控机器配置要强，如果你网络流量大，建议用专业级服务器，至强+2Gb+SCSI硬盘之类，看你环境要求了，如果必要可以上双至强，再用一台512mb内存的p4
2.0G以上机做备份域控，这样主域控上下线或重启或出故障不影响域内成员正常工作，备份域控凑合就可以了，按我上面的要求就行，当然，有钱可以用好的
如果你安全性要求高，建议路由前端用普通P4+512Mb内存机器架ISA2004
server组防火墙，配置的好效果比一般的硬件防火墙要好，完全不影响网络环境运行，域内成员可以裸奔不怕毒和黑
至于域内成员机，如果仅全力供应片源，当前主流家用机型就够用了
服务器建议用hp
360G系列，目前价位不算高，性价比还不错，售后很好，如果你对建网不怎么了解，可以让他们帮你装，买他们的服务器就是要利用他们的人力资源嘛
路由器可以选用飞鱼星4200以上机型，电信网通双WAN口，是可以提供150～250台机器的大型网吧专用的，内置参数非常丰富
另外再多罗嗦几句，板卡不要买七彩虹的，我上过当，七彩虹本身是咨讯公司，没有任何板卡生产能力，都是同德代工的，以为它的出货量大，就选了它，结果广告上的指标参数和实际产品根本不同，水份太多太多了，售后也很烂，特此建议……
楼下别再抄袭我了，每天都被抄走好几个200分最佳，实在是郁闷！
4. 如何让定时任务在集群web服务器上执行
可以使用Nginx，Haproxy，LVS做负载。前提是：需要一个外网IP，并且两个WEB中的应用要同步，数据库要同步，否则随便访问的结果不一样。此外你现有两台数据是怎么同步的。有内网IP？
5. 服务器如何实现集群和负载均衡
很多组织机构慢慢的在不同的服务器和地点部署sql
server数据库——为各种应用和目的——开始考虑通过sql
server集群的方式来合并。
将sql
server实例和数据库合并到一个中心的地点可以减低成本，尤其是维护和软硬件许可证。此外，在合并之后，可以减低所需机器的数量，这些机器就可以用于备用。
当寻找一个备用，比如高可用性的环境，企业常常决定部署microsoft的集群架构。我常常被问到小的集群(由较少的节点组成)sql
server实例和作为中心解决方案的大的集群哪一种更好。在我们比较了这两个集群架构之后，我让你们自己做决定。
什么是microsoft集群服务器
mscs是一个windows
server企业版中的内建功能。这个软件支持两个或者更多服务器节点连接起来形成一个“集群”，来获得更高的可用性和对数据和应用更简便的管理。mscs可以自动的检查到服务器或者应用的失效，并从中恢复。你也可以使用它来(手动)移动服务器之间的负载来平衡利用率以及无需停机时间来调度计划中的维护任务。
这种集群设计使用软件“心跳”来检测应用或者服务器的失效。在服务器失效的事件中，它会自动将资源(比如磁盘和ip地址)的所有权从失效的服务器转移到活动的服务器。注意还有方法可以保持心跳连接的更高的可用性，比如站点全面失效的情况下。
mscs不要求在客户计算机上安装任何特殊软件，因此用户在灾难恢复的经历依赖于客户-服务器应用中客户一方的本质。客户的重新连接常常是透明的，因为mscs在相同的ip地址上重启应用、文件共享等等。进一步，为了灾难恢复，集群的节点可以处于分离的、遥远的地点。
在集群服务器上的sql
server
sql
server
2000可以配置为最多4个节点的集群，而sql
server
2005可以配置为最多8个节点的集群。当一个sql
server实例被配置为集群之后，它的磁盘资源、ip地址和服务就形成了集群组来实现灾难恢复。
sql
server
2000允许在一个集群上安装16个实例。根据在线帮助，“sql
server
2005在一个服务器或者处理器上可以支持最多50个sql
server实例，”但是，“只能使用25个硬盘驱动器符，因此如果你需要更多的实例，那么需要预先规划。”
注意sql
server实例的灾难恢复阶段是指sql
server服务开始所需要的时间，这可能从几秒钟到几分钟。如果你需要更高的可用性，考虑使用其他的方法，比如log
shipping和数据库镜像。
单个的大的sql
server集群还是小的集群
下面是大的、由更多的节点组成的集群的优点：
◆更高的可用新(更多的节点来灾难恢复)。
◆更多的负载均衡选择(更多的节点)。
◆更低廉的维护成本。
◆增长的敏捷性。多达4个或者8个节点，依赖于sql版本。
◆增强的管理性和简化环境(需要管理的少了)。
◆更少的停机时间(灾难恢复更多的选择)。
◆灾难恢复性能不受集群中的节点数目影响。
下面是单个大的集群的缺点：
◆集群节点数目有限(如果需要第9个节点怎么办)。
◆在集群中sql实例数目有限。
◆没有对失效的防护——如果磁盘阵列失效了，就不会发生灾难恢复。
◆使用灾难恢复集群，无法在数据库级别或者数据库对象级别，比如表，创建灾难恢复集群。
虚拟化和集群
虚拟机也可以参与到集群中，虚拟和物理机器可以集群在一起，不会发生问题。sql
server实例可以在虚拟机上，但是性能可能会受用影响，这依赖于实例所消耗的资源。在虚拟机上安装sql
server实例之前，你需要进行压力测试来验证它是否可以承受必要的负载。
在这种灵活的架构中，如果虚拟机和物理机器集群在一起，你可以在虚拟机和物理机器之间对sql
server进行负载均衡。比如，使用虚拟机上的sql
server实例开发应用。然后在你需要对开发实例进行压力测试的时候，将它灾难恢复到集群中更强的物理机器上。
集群服务器可以用于sql
server的高可用性、灾难恢复、可扩展性和负载均衡。单个更大的、由更多的节点组成的集群往往比小的、只有少数节点的集群更好。大个集群允许更灵活环境，为了负载均衡和维护，实例可以从一个节点移动到另外的节点。
6. 服务器集群，负载均衡，分布式等问题
集群和负载均衡的区别如下：
1、集群(Cluster)
所谓集群是指一组独立的计算机系统构成的一个松耦合的多处理器系统,它们之间通过网络实现进程间的通信?应用程序可以通过网络共享内存进行消息传送,实现分布式计算机?
2、负载均衡(Load Balance)
网络的负载均衡是一种动态均衡技术,通过一些工具实时地分析数据包,掌握网络中的数据流量状况,把任务合理均衡地分配出去?这种技术基于现有网络结构,提供了一种扩展服务器带宽和增加服务器吞吐量的廉价有效的方法,加强了网络数据处理能力,提高了网络的灵活性和可用性?
3、特点
(1)高可靠性(HA)?利用集群管理软件,当主服务器故障时,备份服务器能够自动接管主服务器的工作,并及时切换过去,以实现对用户的不间断服务?
(2)高性能计算(HP)?即充分利用集群中的每一台计算机的资源,实现复杂运算的并行处理,通常用于科学计算领域,比如基因分析?化学分析等?
(3)负载平衡?即把负载压力根据某种算法合理分配到集群中的每一台计算机上,以减轻主服务器的压力,降低对主服务器的硬件和软件要求?
LVS系统结构与特点
1. Linux Virtual Server:简称LVS?是由中国一个Linux程序员章文嵩博士发起和领导的,基于Linux系统的服务器集群解决方案,其实现目标是创建一个具有良好的扩展性?高可靠性?高性能和高可用性的体系?许多商业的集群产品,比如RedHat的Piranha? Turbo Linux公司的Turbo Cluster等,都是基于LVS的核心代码的?
2. 体系结构:使用LVS架设的服务器集群系统从体系结构上看是透明的,最终用户只感觉到一个虚拟服务器?物理服务器之间可以通过高速的 LAN或分布在各地的WAN相连?最前端是负载均衡器,它负责将各种服务请求分发给后面的物理服务器,让整个集群表现得像一个服务于同一IP地址的虚拟服务器?
3. LVS的三种模式工作原理和优缺点: Linux Virtual Server主要是在负载均衡器上实现的,负载均衡器是一台加了 LVS Patch的2.2.x版内核的Linux系统?LVS Patch可以通过重新编译内核的方法加入内核,也可以当作一个动态的模块插入现在的内核中?
7. 什么是服务器集群
分布式与集群是不一样的，简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。
采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。
而采用集群方案，同样提供10台服务器，每台服务器都能独立处理这个任务。假设有10个任务同时到达，10个服务器将同时工作，10小后，10个任务同时完成，这样，整体来看，还是1小时内完成一个任务。
(7)任务如何分配到集群服务器扩展阅读
分布式系统可以分为机体内系统、建筑物内系统、建筑物间系统和不同地理范围的区域系统等，它们的耦合度依次由高到低按应用领域的性质决定耦合度，可以分成三类：
一、是面向计算任务的分布并行计算机系统和分布式多用户计算机系统，它们要求尽可能高的耦合度，以便发展成为能分担大型计算机和分时计算机系统所完成的工作。
二、是面向管理信息的分布式数据处理系统。耦合度可以适当降低。
三、是面向过程控制的分布式计算机控制系统。耦合度要求适中，当然对于某些实时应用，其耦合度的要求可能很高。
8. 非常好奇，服务器集群是怎么实现的，比如IIS
集群，无非就是一大波服务器而已
高可用集群<HA>：简单的就是一台服务器坏掉了，服务可以自动切换到另外一台，比如keeplive热备
负载均衡集群<LB>：就是把流量分到n台服务器，访问人数多时会用，先访问分发服务器，然后分发根据自己的算法分给后面的服务器，比如nginx、LVS
科学计算机集群HPC：就是讲好多好多好多服务器连在一起执行任务，比如.........这个没有玩过
至于这么实现，都是软件啦，还有一种叫高可用负载均衡集群，就是将12都做到
9. 怎么样做集群服务如题 谢谢了
集群，英文名称为Cluster，通俗地说，集群是这样一种技术：它至少将两个系统连接到一起，使两台服务器能够像一台机器那样工作或者看起来好像一台机器。采用集群系统通常是为了提高系统的稳定性和网络中心的数据处理能力及服务能力。 举个例子来说，我们架设了一台WWW服务器，上面构建了一个电子商务网站，然而随着时间的推移，名声越来越大，这时点击率也就越来越高，WWW服务器的负载也就越来越高。这种情况下，我们就必须提升WWW服务器的能力，以满足以益增长的服务请求。这时，我们就面临两种选择： 1）升级WWW服务器，采用更快的CPU，增加更多的内存，使其具有更强的性能；但日益增长的服务请求又会使服务器再次过载，需要再次升级，这样就陷入了升级的怪圈。还有，升级时还得考虑到服务如何接续，能否中止！ 2）增加WWW服务器，让多台服务器来完成相同的服务。 第二种方法就是服务器集群，简而言之，就是一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。一个服务器集群包含多台拥有共享数据存储空间的服务器，各服务器之间通过内部局域网进行相互通信；当其中一台服务器发生故障时，它所运行的应用程序将由其他的服务器自动接管；在大多数情况下，集群中所有的计算机都拥有一个共同的名称，集群系统内任意一台服务器都可被所有的网络用户所使用。在集群系统中运行的服务器并不一定是高档产品，但服务器的集群却可以提供相当高性能的不停机服务；每一台服务器都可承担部分计算任务，并且由于群集了多台服务器的性能，因此，整体系统的计算能力将有所提高；同时，每台服务器还能承担一定的容错任务，当其中某台服务器出现故障时，系统可以在专用软件的支持下将这台服务器与系统隔离，并通过各服务器之间的负载转移机制实现新的负载平衡，同时向系统管理员发出报警信号。 目前，有两种常用的服务器集群方法，一种是将备份服务器连接在主服务器上,当主服务器发生故障时,备份服务器才投入运行,把主服务器上所有任务接管过来。另一种方法是将多台服务器连接,这些服务器一起分担同样的应用和数据库计算任务,改善关键大型应用的响应时间。同时,每台服务器还承担一些容错任务,一旦某台服务器出现故障时,系统可以在系统软件的支持下,将这台服务器与系统隔离,并通过各服务器的负载转嫁机制完成新的负载分配。PC服务器中较为常见的是两台服务器的集群,UNIX系统可支持8台服务器的集群系统,康柏的专用系统OpenVMS可支持多达96台服务器的集群系统。 在集群系统中，所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。集群必须可以协调管理各分离组件的错误和失败，并可透明的向集群中加入组件。用户的公共数据被放置到了共享的磁盘柜中，应用程序被安装到了所有的服务器上，也就是说，在集群上运行的应用需要在所有的服务器上安装一便。当集群系统在正常运转时，应用只在一台服务器上运行，并且只有这台服务器才能操纵该应用在共享磁盘柜上的数据区，其它的服务器监控这台服务器，只要这台服务器上的应用停止运行（无论是硬件损坏、操作系统死机、应用软件故障，还是人为误操作造成的应用停止运行），其它的服务器就会接管这台服务器所运行的应用，并将共享磁盘柜上的相应数据区接管过来。其接管过程如下图所示（以应用A为例）： 1.应用A正常工作时； 2.应用A停止工作后，其它的备用服务器将该应用接管过来。 具体接管过程分三部执行： a.系统接管 b.加载应用 c.客户端连接 集群系统的优势在于以下几点： 一、集群系统可解决所有的服务器硬件故障，当某一台服务器出现任何故障，如：硬盘、内存、CPU、主板、I/O板以及电源故障，运行在这台服务器上的应用就会切换到其它的服务器上。 二、集群系统可解决软件系统问题，我们知道，在计算机系统中，用户所使用的是应用程序和数据，而应用系统运行在操作系统之上，操作系统又运行在服务器上。这样，只要应用系统、操作系统、服务器三者中的任何一个出现故障，系统实际上就停止了向客户端提供服务，比如我们常见的软件死机，就是这种情况之一，尽管服务器硬件完好，但服务器仍旧不能向客户端提供服务。而集群的最大优势在于对故障服务器的监控是基于应用的，也就是说，只要服务器的应用停止运行，其它的相关服务器就会接管这个应用，而不必理会应用停止运行的原因是什么。 三、集群系统可以解决人为失误造成的应用系统停止工作的情况，例如，当管理员对某台服务器操作不当导致该服务器停机，因此运行在这台服务器上的应用系统也就停止了运行。由于集群是对应用进行监控，因此其它的相关服务器就会接管这个应用。 集群系统的不足之处在于： 我们知道集群中的应用只在一台服务器上运行，如果这个应用出现故障，其它的某台服务器会重新启动这个应用，接管位于共享磁盘柜上的数据区，进而使应用重新正常运转。我们知道整个应用的接管过程大体需要三个步骤：侦测并确认故障、后备服务器重新启动该应用、接管共享的数据区。因此在切换的过程中需要花费一定的时间，原则上根据应用的大小不同切换的时间也会不同，越大的应用切换的时间越长
10. storm怎么提交到远程集群所在服务器
向集群提交任务:
1）启动Storm Topology：
storm jar allmycod.MyTopology arg1 arg2 arg3
其中，allmycode.jar是包含Topology实现代码的jar包，.MyTopology的main方法是Topology的入口，arg1、arg2和arg3为.MyTopology执行时需要传入的参数。
2）停止Storm Topology：
storm kill {toponame}
其中，{toponame}为Topology提交到Storm集群时指定的Topology任务名称。