集群linux

A. linux服务器集群只允许堡垒机SSH登录

    在局域网中的Linux服务器集群，为了保障运维安全，只能从堡垒机登录到各个Linux服务器。那么需要对Linux服务器集群进行安全加固，限制访问权限。在堡垒机上可以部署脚本来记录用户操作的审计日志（详情参考笔者的文章），那么整个局域网的Linux服务器集群的安全性就可以大大提高。

    堡垒机作用明显，其提供运维统一入口和安全审计功能，切断直接访问和事后审计定责，解决“运维混乱”变得“运维有序” 。

   下面是三种方法总结。分别从服务端，系统端、防火墙端来完成只允许堡垒机SSH登录的功能。

1、/etc/ssh/sshd_config

    修改添加AllowUsers到ssh配置文件/etc/ssh/sshd_config  ：

    AllowUsers [email protected].*

    然后重启 sshd服务：systemctl restart sshd

2、hosts.allow与hosts.deny

    修改/etc/hosts.deny中添加设置 sshd : ALL ，拒绝所有的访问；

    修改/etc/hosts.allow，添加设置sshd : 20.132.4.* ，单独开启某个IP地址 。

    这两个文件优先级为先检查hosts.deny，再检查hosts.allow。

    更加详细信息参考笔者的文章-Linux中hosts.allow与hosts.deny  。

3、iptables防火墙

    tcp协议中，禁止所有的ip访问本机的22端口。

    iptables -I INPUT -p tcp--dport 22 -j DROP

    只允许20.132.4.* 访问本机的22端口

    iptables  -I  INPUT  -s  20.132.4.*   -ptcp  --dport  22  -j   ACCEPT

    另外/etc/pam.d/sshd也可以提供访问控制功能，调用的pam_access.so模块是根据主机名、IP地址和用户实现全面的访问控制，pam_access.so模块的具体工作行为根据配置文件/etc/security/access.conf来决定。但是囿于资料过少，待以后遇到再解决把。

B. 什么是Linux集群

1.集群就是一堆集群一起提供用户的访问。

2.集群目的：

a.7*24随时服务

b.三高：高并发、高数据量、高带宽下的大量用户访问问题。
3.单机就类似街边小餐馆，集群就类似大酒店

C. 什么是Linux集群

集群通信系统是一种计算机系统，
它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。简单地说，集群(cluster)就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。一个理想的集群，用户是不会意识到集群系统底层的节点的。在他们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。
集群已不是一个全新的概念，早在七十年代计算机厂商和研究机构就对集群系统进行了研究和开发。这些系统不为大家熟知，是因为它主要用于科学工程计算。直到Linux集群的出现，集群的概念才得以广泛传播。集群系统主要分为高可用(High
Availability)集群，简称HA集群，和高性能计算(High Perfermance Computing)集群，简称HPC集群。
在Linux出现前，集群系统采用的操作系统主要有VMS、UNIX和WindowsNT。到九十年代末期，linux操作系统不断走向成熟，它的健壮性不断增强，并且提供了GNU软件和标准化的PVM、MPI消息传递机制，最重要的是Linux在普通PC机上提供了对高性能网络的支持，这样就大大推动了基于Linux的集群系统的普及和发展。

D. Linux集群系统时间同步

环境准备：

要做到服务器集群的时间同步，集群中各台机器的时区必须相同的，我们在国内就使用中国时区，如果你的机器的时区不是"Asia/Shanghai"，需要修改时区

CentOS 中时区是以文件形式存在，当前正在使用的时区文件位于
/etc/localtime ，其他时区文件则位于 /usr/share/zoneinfo 下，中国时区的文件全路径是 /usr/share/zoneinfo/Asia/Shanghai

要更改时区，直接使用如下命令就OK

需要使用 tzselect 命令去生成时区文件，生成好的时区文件就在/usr/share/zoneinfo 目录下，具体步骤去下：

使用 date -s 命令来修改系统时间

让集群所有的服务器的时间同步，就用远程连接工具连接所有服务器，然后在所有的服务器中同时执行 date -s 命令设置时间，然后在所有的服务器中执行 hwclock -w 命令即可

美国标准技术院时间服务器：time.nist.gov（192.43.244.18）
上海交通大学网络中心NTP服务器地址：ntp.sjtu.e.cn（202.120.2.101）
中国国家授时中心服务器地址：cn.pool.ntp.org（210.72.145.44）

若以上提供的网络时间服务器不可用，请自行上网寻找可用的网络时间服务器

<1> 使用命令： crontab -e

<2> 然后往里加入一行内容

上面的配置表示，每隔十分钟从 202.120.2.101 该时间服务器同步一次时间。

<3> 保存退出

以上两步操作可以让node01这个服务器每隔10分钟去指定的服务器同步时间，如果需要让集群中的所有服务器(hadoop01-hadoop04)时间同步，那么每台服务器都要做以上两步操作。

node01的IP为192.168.21.101，让它作为时间服务器，192.168.21.0局域网内的所有服务器都向它同步时间，而node01这台时间服务器本身，向外网时间服务器同步时间(比如中国国家授时中心服务器)

我用node01

我去掉了所有的默认注释，对其中的修改写了自己的注释，没有写注释的是默认配置

因为ntpd服务开启之后，就不能手动同步时间了，那么为什么要先手动同步时间呢？
当server(中国国家授时中心服务器)与client(node01)之间的时间误差过大时（可能是1000秒），node01去同步时间可能对系统和应用带来不可预知的问题，node01将停止时间同步！所以如果发现node01启动之后时间并不进行同步时，应该考虑到可能是时间差过大引起的，此时需要先手动进行时间同步！

看到红色框中的内容，表示连接和监听已正确

这里的前4行就是我们配置的4个中国国家授时中心的服务器的信息

最后一行就是本地时间服务的信息

下面对每个列的意义进行说明：

同样，服务启动后需要等待5-10分钟才能看到这个正常的信息
到这里，我们局域网内的时间服务器node01就已经配置完毕了

文件内容如下：
同样，没有写注释的都是默认的配置

原因同(5)

到这里，利用局域网内一台时间服务器来同步整个集群时间的全部配置就已经完成

说明：若以上提供的网络时间服务器不可用，请自行上网寻找可用的网络时间服务器，另外需要关闭各服务器的防火墙，才能进行时间同步

参考文章：
内网环境NTP服务及时间同步(CentOS6.x)配置和部署
配置NTP服务ntpd/ntp.conf（搭建Hadoop集群可参考）

E. Linux集群主要有哪几类

集群类型
最常见的三种群集类型包括高性能科学群集、负载均衡群集和高可用性群集。
科学群集
通常，第一种涉及为群集开发并行编程应用程序，以解决复杂的科学问题。这是并行计算的基础，尽管它不使用专门的并行超级计算机，这种超级计算机内部由十至上万个独立处理器组成。但它却使用商业系统，如通过高速连接来链接的一组单处理器或双处理器 PC，并且在公共消息传递层上进行通信以运行并行应用程序。因此，您会常常听说又有一种便宜的 Linux 超级计算机问世了。但它实际是一个计算机群集，其处理能力与真的超级计算机相等，通常一套象样的群集配置开销要超过 $100,000。这对一般人来说似乎是太贵了，但与价值上百万美元的专用超级计算机相比还算是便宜的。
负载均衡群集
负载均衡群集为企业需求提供了更实用的系统。如名称所暗示的，该系统使负载可以在计算机群集中尽可能平均地分摊处理。该负载可能是需要均衡的应用程序处理 负载或网络流量负载。这样的系统非常适合于运行同一组应用程序的大量用户。每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载，以实现平衡。 对于网络流量也是如此。通常，网络服务器应用程序接受了太多入网流量，以致无法迅速处理，这就需要将流量发送给在其它节点上运行的网络服务器应用。还可以 根据每个节点上不同的可用资源或网络的特殊环境来进行优化。
高可用性群集
高可用性群集的出现是为了使群集的整体服务尽可能可用，以便考虑计算硬件和软件的易错性。如果高可用性群集中的主节点发生了故障，那么这段时间内将由次节 点代替它。次节点通常是主节点的镜像，所以当它代替主节点时，它可以完全接管其身份，并且因此使系统环境对于用户是一致的。
在群集的这三种基本类型之间，经常会发生混合与交杂。于是，可以发现高可用性群集也可以在其节点之间均衡用户负载，同时仍试图维持高可用性程度。同样，可 以从要编入应用程序的群集中找到一个并行群集，它可以在节点之间执行负载均衡。尽管集群系统本身独立于它在使用的软件或硬件，但要有效运行系统时，硬件连 接将起关键作用。
更多知识请网络《Linux就该这么学》

F. [ray入门] 在Linux上安装部署Ray集群

Ray 是一个高性能分布式计算框架，借助它可以非常容易的构建分布式运算任务。本文将介绍如何在Linux上部署Ray集群：

Ray集群由一个 Head 节点和多个 Worker 节点组成：

为了方便，我们最好利用 Anaconda 构建来一个独立的python运行环境。(当然你也可以直接使用系统内python运行环境，那么你可以跳过此步骤)

为ray准备一个python环境，以python3.8.8示例：

安装完之后，最好重新登录一下，或者执行一下 source ~/.bashrc 使得环境变量生效

安装ray(版本为1.7.0)，这里为了加快速度指定了阿里的镜像源：

在 192.168.100.1 上启动Head节点:

正常会看到如下输出：

输出信息包含了2个关键信息，需要别注意：

在 192.168.100.2 上，按照上面的步骤将python和ray安装好，注意它们的版本必须保持一致。
（另外，Worker不是必须的，因为Head节点本身就具有worker角色）

访问dashboard： http://192.168.100.1:8265

无法访问Ray Dashboard的几个原因

G. Linux HA 集群原理和配置-02

本文介绍在Linux HA集群中的仲裁和分区概念。

集群正常工作时，所有节点都在一个分区内（partition），分区内的所有节点将选举出一个仲裁节点，这个仲裁节点负责向其他节点发送集群控制命令。当网络发生故障时，集群中的节点发现无法和仲裁节点通信，则会在可通信的范围内重新选举一个新的仲裁节点。此时集群内可能出现多个仲裁节点，每个仲裁节点的管理范围为一个分区。

下文中将通过防火墙策略的设置模拟集群网络中通信出现异常的各种情况，如：

通过防火墙策略可以精准控制两两节点之间的连通性，使我们能更准确的了解在网络连通性发生变化对集群的影响。

在所有节点上启动防火墙，并添加策略对整个管理网络192.168.56.0/24放通。

保存上述策略，之后在实验过程会使用iptables命名加入新策略模拟网络通信异常效果，如果需要恢复网络通信正常状态，直接不保存策略重启firewalld服务即可。

通过pcs status查看集群状态：

上述结果显示当前集群只有一个分区，分区内的节点包括全部3台主机，仲裁节点是ha-host3，这表示集群间的通信是完好的。下图显示当前集群状态：

在ha-host1上添加以下策略：

该策略将使得ha-host1和ha-host3之间的通信中断，在所有节点上查看集群状态：

上面的结果显示，ha-host1失去和当前仲裁节点ha-host3的联系之后，和ha-host2一起组成新的分区并选举出ha-host2作为新的仲裁节点。有趣的是ha-host2和ha-host3的通信并未中断，但是他被“优先级较高的ha-host1抢走并推举为老大”，剩下ha-host3独自留在其自身所在的分区。此时ha-host3所在的分区提示了“partition WITHOUT quorum”，表示该分区中的节点数目不超过一半。

下图显示当前集群状态：

在ha-host1上再添加策略：

使其和当前的仲裁节点ha-host2的通信中断，集群状态变为：

发现ha-host2和ha-host3一起组成了新的分区，由于ha-host1所在分区节点数不足一半，无法启动资源，虚拟ip资源vip被切换到了ha-host2上。下图显示当前集群状态：

如果再把ha-host2和ha-host3直接的通信中断，此时3个节点间两两均无法通信。每个节点都是一个分区，每个分区的主机数均不过半，因此无法启动任何资源，原先运行在ha-host2上的vip也停止了。

当前集群状态如下图：

H. Linux集群命令分发执行脚本

    如果没有运维人员或运维软件，但是又面临在一个集群中每台机器都执行一个命令时，总不能真的登录每一台吧。那这里就起一个简单的命令分发执行脚本。

0、确保脚本所在的机器能够免密登录到集群其他机器

    SSH免密登录配置

1、将集群的IP都写入一个文件中

2、编写命令分发脚本

如果机器数量少，可以替换第三行语句为

如果机器IP配置的映射名有规律，也可以替换第三行语句为

同时后面的 $i 替换为 hadoop$i 

3、测试

I. Linux集群使用命令

存储NAS 文件操作
df -h查看空间使用情况

警惕超大 nohup.out

任务提交
任务提交前

qhost--查看集群负载状态

qsub / qsub-sge.pl--提交任务

qstat--查看任务状态

qdel / qmod--任务控制

任务查看

qhost -j---列出所有用户在每个节点上的任务

qhost -q---列出每个节点上每个队列的任务数

qhost -u username---列出某个用户在每个节点上的任务

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任务查看2

qstat -u username---查看某个用户的任务

qstat -u *,---查看所有用户的任务

qstat –j jobs_ID---查看某个任务的详细信息

查看.e和.o文件

.e：错误信息

.o：标准输出
任务控制

qdel jobID---删除某个任务

qdel -u username---删除某个用户的所有任务

qmod -s jobID--挂起某个任务

qmod -us jobID---继续运行某个挂起的任务

按任务占用内存大小选择相应的队列

查看队列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平台

general.q--96G节点

middle.q--96G节点

great.q--大内存节点

plus.q--大内存节点

single.q--Trinity组装

single._p.q---Trinity组装（占用内存较大）

TOP监视
编辑于 2017-04-21

J. Linux集群常用指令

姓名：张昊楠   学号：21021210691

存储NAS 文件操作

df -h查看空间使用情况

警惕超大 nohup.out

ls   当前路径下的文件列表

pwd  查看当前路径

cd    进入某个文件夹

任务提交

任务提交前

qhost--查看集群负载状态

qsub / qsub-sge.pl--提交任务

qstat--查看任务状态

qdel / qmod--任务控制

任务查看

qhost -j---列出所有用户在每个节点上的任务

qhost -q---列出每个节点上每个队列的任务数

qhost -u username---列出某个用户在每个节点上的任务

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任务查看2

qstat -u username---查看某个用户的任务

qstat -u *,---查看所有用户的任务

qstat –j jobs_ID---查看某个任务的详细信息

查看.e和.o文件

.e：错误信息

.o：标准输出

任务控制

qdel jobID---删除某个任务

qdel -u username---删除某个用户的所有任务

qmod -s jobID--挂起某个任务

qmod -us jobID---继续运行某个挂起的任务

按任务占用内存大小选择相应的队列

查看队列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平台

general.q--96G节点

middle.q--96G节点

great.q--大内存节点

plus.q--大内存节点

single.q--Trinity组装

single._p.q---Trinity组装（占用内存较大）