linux系統集群

❶ linux集群系統時間同步

環境准備：

要做到伺服器集群的時間同步，集群中各台機器的時區必須相同的，我們在國內就使用中國時區，如果你的機器的時區不是"Asia/Shanghai"，需要修改時區

CentOS 中時區是以文件形式存在，當前正在使用的時區文件位於
/etc/localtime ，其他時區文件則位於 /usr/share/zoneinfo 下，中國時區的文件全路徑是 /usr/share/zoneinfo/Asia/Shanghai

要更改時區，直接使用如下命令就OK

需要使用 tzselect 命令去生成時區文件，生成好的時區文件就在/usr/share/zoneinfo 目錄下，具體步驟去下：

使用 date -s 命令來修改系統時間

讓集群所有的伺服器的時間同步，就用遠程連接工具連接所有伺服器，然後在所有的伺服器中同時執行 date -s 命令設置時間，然後在所有的伺服器中執行 hwclock -w 命令即可

美國標准技術院時間伺服器：time.nist.gov（192.43.244.18）
上海交通大學網路中心NTP伺服器地址：ntp.sjtu.e.cn（202.120.2.101）
中國國家授時中心伺服器地址：cn.pool.ntp.org（210.72.145.44）

若以上提供的網路時間伺服器不可用，請自行上網尋找可用的網路時間伺服器

<1> 使用命令： crontab -e

<2> 然後往裡加入一行內容

上面的配置表示，每隔十分鍾從 202.120.2.101 該時間伺服器同步一次時間。

<3> 保存退出

以上兩步操作可以讓node01這個伺服器每隔10分鍾去指定的伺服器同步時間，如果需要讓集群中的所有伺服器(hadoop01-hadoop04)時間同步，那麼每台伺服器都要做以上兩步操作。

node01的IP為192.168.21.101，讓它作為時間伺服器，192.168.21.0區域網內的所有伺服器都向它同步時間，而node01這台時間伺服器本身，向外網時間伺服器同步時間(比如中國國家授時中心伺服器)

我用node01

我去掉了所有的默認注釋，對其中的修改寫了自己的注釋，沒有寫注釋的是默認配置

因為ntpd服務開啟之後，就不能手動同步時間了，那麼為什麼要先手動同步時間呢？
當server(中國國家授時中心伺服器)與client(node01)之間的時間誤差過大時（可能是1000秒），node01去同步時間可能對系統和應用帶來不可預知的問題，node01將停止時間同步！所以如果發現node01啟動之後時間並不進行同步時，應該考慮到可能是時間差過大引起的，此時需要先手動進行時間同步！

看到紅色框中的內容，表示連接和監聽已正確

這里的前4行就是我們配置的4個中國國家授時中心的伺服器的信息

最後一行就是本地時間服務的信息

下面對每個列的意義進行說明：

同樣，服務啟動後需要等待5-10分鍾才能看到這個正常的信息
到這里，我們區域網內的時間伺服器node01就已經配置完畢了

文件內容如下：
同樣，沒有寫注釋的都是默認的配置

原因同(5)

到這里，利用區域網內一台時間伺服器來同步整個集群時間的全部配置就已經完成

說明：若以上提供的網路時間伺服器不可用，請自行上網尋找可用的網路時間伺服器，另外需要關閉各伺服器的防火牆，才能進行時間同步

參考文章：
內網環境NTP服務及時間同步(CentOS6.x)配置和部署
配置NTP服務ntpd/ntp.conf（搭建Hadoop集群可參考）

❷ 什麼是Linux集群

1.集群就是一堆集群一起提供用戶的訪問。

2.集群目的：

a.7*24隨時服務

b.三高：高並發、高數據量、高帶寬下的大量用戶訪問問題。
3.單機就類似街邊小餐館，集群就類似大酒店

❸ 如何對區域網內的多台Linux進行集群化管理

它非常適合用來快速配置一個集群中的所有運行相同服務和具備相同配置的計算機節點。現在有大量的開源管理工具，都可以實現這樣的管理，比如dsh、SUSE Manager等。下面是用ClusterSSH管理多台Linux伺服器的具體過程。
如果你是一名Linux系統管理員，那你每天一定會和許許多多的機器打交道，因為你要定期監測和維護這些機器，如一批Web伺服器，如果你要同時在多台機器上敲入相同的命令，你可能會通過SSH登錄，然後逐台敲入，如果使用ClusterSSH，可以為你節省不少類似的工作時間。
ClusterSSH是用Tk/Perl包裝XTerm和SSH後形成的新工具，就其本身而言，它可以運行在任何兼容POSIX的操作系統上，我曾經在Linux，Solaris和Mac OS X上運行過它，它需要Perl庫Tk（在Debian或Ubuntu上就是perl-tk）和X11::Protocol（在Debian或Ubuntu上就是libx11-protocol-perl），此外，xterm和OpenSSH是必不可少的。
安裝在Debian或Ubuntu上安裝ClusterSSH是相當簡單的，只需要敲入sudo apt-get install clusterssh就可以安裝好，至於依賴包你也不必擔心，一切都會為你裝好的，它也提供了適合Fedora的rpm包，在FreeBSD上可通過port系統安裝，還為Mac OS X准備了MacPort版本，因此你可以在你的蘋果電腦上安裝ClusterSSH，當然，如果你是極客，也可以下載源代碼自己編譯。
配置可以通過ClusterSSH的全局配置文件/etc/clusters，或用戶home目錄下的。csshrc文件來配置它，我喜歡用戶級的配置方式，這樣同一個系統中的不同用戶可以根據自己的喜好進行配置，ClusterSSH定義了一個「cluster」機器組，你可以通過一個界面來控制這個組中的所有機器，在配置文件的頂端「clusters」部分，你可以詳盡地列出你的集群，然後用獨立的段落來描述每個集群。
例如，假設我有兩個集群，每個集群由兩台機器組成，「Cluster1」由「Test1」和「Test2」兩台機器組成，「Cluster2」由「Test3」和「Test4」兩台機器組成，~.csshrc（或/etc/clusters）配置文件的內容看起來應該是：
clusters = cluster1 cluster2
cluster1 = test1 test2
cluster2 = test3 test4你也可以創建中間集群（包含其它集群的集群），如果你想創建一個名叫「all」的集群包含所有的機器，有兩種實現手段，首先，你可以創建一個包含所有機器的集群，如：
clusters = cluster1 cluster2 all
cluster1 = test1 test2
cluster2 = test3 test4
all = test1 test2 test3 test4但我更喜歡的方法是使用一個包含其它集群的中間集群：
clusters = cluster1 cluster2 allcluster1 = test1 test2

❹ Linux系統 CentOS 7怎麼搭建集群

CentOS 7下怎麼搭建高可用集群。高可用集群是指以減少服務中斷時間為目的的伺服器集群技術。它通過保護用戶的業務程序對外不間斷提供的服務，把因軟體/硬體/人為造成的故障對業務的影響降低到最小程度。那麼新的centos下怎麼來搭建高可用集群。環境：本文以兩台機器實現雙集熱備高可用集群，主機名node1的IP為192.168.122.168 ，主機名node2的IP為192.168.122.169 。
一、安裝集群軟體必須軟體pcs，pacemaker，corosync，fence-agents-all，如果需要配置相關服務，也要安裝對應的軟體
二、配置防火牆
1、禁止防火牆和selinux
修改/etc/sysconfig/selinux確保SELINUX=disabled，然後執行setenforce 0或者reboot伺服器以生效
2、設置防火牆規則
三、各節點之間主機名互相解析分別修改2台主機名分別為node1和node2，在centos 7中直接修改/etc/hostname加入本機主機名和主機表，然後重啟網路服務即可。
配置2台主機的主機表，在/etc/hosts中加入
四、各節點之間時間同步在node1和node2分別進行時間同步，可以使用ntp實現。
五、各節點之間配置ssh的無密碼密鑰訪問。下面的操作需要在各個節點上操作。
兩台主機都要互相可以通信，所以兩台主機都得互相生成密鑰和復制公鑰，相互的節點上的hosts文件是都要解析對方的主機名， 192.168.122.168 node1 192.168.122.169 node2
六、通過pacemaker來管理高可用集群
1、創建集群用戶
為了有利於各節點之間通信和配置集群，在每個節點上創建一個hacluster的用戶，各個節點上的密碼必須是同一個。

❺ [ray入門] 在Linux上安裝部署Ray集群

Ray 是一個高性能分布式計算框架，藉助它可以非常容易的構建分布式運算任務。本文將介紹如何在Linux上部署Ray集群：

Ray集群由一個 Head 節點和多個 Worker 節點組成：

為了方便，我們最好利用 Anaconda 構建來一個獨立的python運行環境。(當然你也可以直接使用系統內python運行環境，那麼你可以跳過此步驟)

為ray准備一個python環境，以python3.8.8示例：

安裝完之後，最好重新登錄一下，或者執行一下 source ~/.bashrc 使得環境變數生效

安裝ray(版本為1.7.0)，這里為了加快速度指定了阿里的鏡像源：

在 192.168.100.1 上啟動Head節點:

正常會看到如下輸出：

輸出信息包含了2個關鍵信息，需要別注意：

在 192.168.100.2 上，按照上面的步驟將python和ray安裝好，注意它們的版本必須保持一致。
（另外，Worker不是必須的，因為Head節點本身就具有worker角色）

訪問dashboard： http://192.168.100.1:8265

無法訪問Ray Dashboard的幾個原因

❻ 什麼是Linux集群

集群通信系統是一種計算機系統，
它通過一組鬆散集成的計算機軟體和/或硬體連接起來高度緊密地協作完成計算工作。簡單地說，集群(cluster)就是一組計算機，它們作為一個整體向用戶提供一組網路資源。這些單個的計算機系統就是集群的節點(node)。一個理想的集群，用戶是不會意識到集群系統底層的節點的。在他們看來，集群是一個系統，而非多個計算機系統。並且集群系統的管理員可以隨意增加和刪改集群系統的節點。
集群已不是一個全新的概念，早在七十年代計算機廠商和研究機構就對集群系統進行了研究和開發。這些系統不為大家熟知，是因為它主要用於科學工程計算。直到Linux集群的出現，集群的概念才得以廣泛傳播。集群系統主要分為高可用(High
Availability)集群，簡稱HA集群，和高性能計算(High Perfermance Computing)集群，簡稱HPC集群。
在Linux出現前，集群系統採用的操作系統主要有VMS、UNIX和WindowsNT。到九十年代末期，linux操作系統不斷走向成熟，它的健壯性不斷增強，並且提供了GNU軟體和標准化的PVM、MPI消息傳遞機制，最重要的是Linux在普通PC機上提供了對高性能網路的支持，這樣就大大推動了基於Linux的集群系統的普及和發展。

❼ Linux集群主要有哪幾類

集群類型
最常見的三種群集類型包括高性能科學群集、負載均衡群集和高可用性群集。
科學群集
通常，第一種涉及為群集開發並行編程應用程序，以解決復雜的科學問題。這是並行計算的基礎，盡管它不使用專門的並行超級計算機，這種超級計算機內部由十至上萬個獨立處理器組成。但它卻使用商業系統，如通過高速連接來鏈接的一組單處理器或雙處理器 PC，並且在公共消息傳遞層上進行通信以運行並行應用程序。因此，您會常常聽說又有一種便宜的 Linux 超級計算機問世了。但它實際是一個計算機群集，其處理能力與真的超級計算機相等，通常一套象樣的群集配置開銷要超過 $100,000。這對一般人來說似乎是太貴了，但與價值上百萬美元的專用超級計算機相比還算是便宜的。
負載均衡群集
負載均衡群集為企業需求提供了更實用的系統。如名稱所暗示的，該系統使負載可以在計算機群集中盡可能平均地分攤處理。該負載可能是需要均衡的應用程序處理 負載或網路流量負載。這樣的系統非常適合於運行同一組應用程序的大量用戶。每個節點都可以處理一部分負載，並且可以在節點之間動態分配負載，以實現平衡。 對於網路流量也是如此。通常，網路伺服器應用程序接受了太多入網流量，以致無法迅速處理，這就需要將流量發送給在其它節點上運行的網路伺服器應用。還可以 根據每個節點上不同的可用資源或網路的特殊環境來進行優化。
高可用性群集
高可用性群集的出現是為了使群集的整體服務盡可能可用，以便考慮計算硬體和軟體的易錯性。如果高可用性群集中的主節點發生了故障，那麼這段時間內將由次節 點代替它。次節點通常是主節點的鏡像，所以當它代替主節點時，它可以完全接管其身份，並且因此使系統環境對於用戶是一致的。
在群集的這三種基本類型之間，經常會發生混合與交雜。於是，可以發現高可用性群集也可以在其節點之間均衡用戶負載，同時仍試圖維持高可用性程度。同樣，可 以從要編入應用程序的群集中找到一個並行群集，它可以在節點之間執行負載均衡。盡管集群系統本身獨立於它在使用的軟體或硬體，但要有效運行系統時，硬體連 接將起關鍵作用。
更多知識請網路《Linux就該這么學》

❽ Linux HA 集群原理和配置-02

本文介紹在Linux HA集群中的仲裁和分區概念。

集群正常工作時，所有節點都在一個分區內（partition），分區內的所有節點將選舉出一個仲裁節點，這個仲裁節點負責向其他節點發送集群控制命令。當網路發生故障時，集群中的節點發現無法和仲裁節點通信，則會在可通信的范圍內重新選舉一個新的仲裁節點。此時集群內可能出現多個仲裁節點，每個仲裁節點的管理范圍為一個分區。

下文中將通過防火牆策略的設置模擬集群網路中通信出現異常的各種情況，如：

通過防火牆策略可以精準控制兩兩節點之間的連通性，使我們能更准確的了解在網路連通性發生變化對集群的影響。

在所有節點上啟動防火牆，並添加策略對整個管理網路192.168.56.0/24放通。

保存上述策略，之後在實驗過程會使用iptables命名加入新策略模擬網路通信異常效果，如果需要恢復網路通信正常狀態，直接不保存策略重啟firewalld服務即可。

通過pcs status查看集群狀態：

上述結果顯示當前集群只有一個分區，分區內的節點包括全部3台主機，仲裁節點是ha-host3，這表示集群間的通信是完好的。下圖顯示當前集群狀態：

在ha-host1上添加以下策略：

該策略將使得ha-host1和ha-host3之間的通信中斷，在所有節點上查看集群狀態：

上面的結果顯示，ha-host1失去和當前仲裁節點ha-host3的聯系之後，和ha-host2一起組成新的分區並選舉出ha-host2作為新的仲裁節點。有趣的是ha-host2和ha-host3的通信並未中斷，但是他被「優先順序較高的ha-host1搶走並推舉為老大」，剩下ha-host3獨自留在其自身所在的分區。此時ha-host3所在的分區提示了「partition WITHOUT quorum」，表示該分區中的節點數目不超過一半。

下圖顯示當前集群狀態：

在ha-host1上再添加策略：

使其和當前的仲裁節點ha-host2的通信中斷，集群狀態變為：

發現ha-host2和ha-host3一起組成了新的分區，由於ha-host1所在分區節點數不足一半，無法啟動資源，虛擬ip資源vip被切換到了ha-host2上。下圖顯示當前集群狀態：

如果再把ha-host2和ha-host3直接的通信中斷，此時3個節點間兩兩均無法通信。每個節點都是一個分區，每個分區的主機數均不過半，因此無法啟動任何資源，原先運行在ha-host2上的vip也停止了。

當前集群狀態如下圖：