伺服器集群搭建技術
⑴ 怎麼做集群伺服器
網站的文件集群跟備份很重要。首先推薦伺服器使用lnmp環境(linux+nginx+mysql+php),然後在來做集群。集群分三步走:
第一:域名支持智能解析。
第二:組建好主伺服器跟分伺服器。
第三:安裝好自動備份軟體,推薦:rsync。使用增量備份。設置1分鍾自動發送一次。
原理如下:a為主伺服器,b為分伺服器。在a伺服器上面更新網站的新內容,生成的新文件,在1分鍾內,自動檢測a伺服器文件是否有變動,如果有,自動更新。以此類推。組建集群。
⑵ 雲伺服器還需要自己搭建集群嗎
需要。
需要自己搭建集群。創建一個集群,並同時創建若干個雲伺服器。您可以通過容器服務直接創建一個包含若干個新雲伺服器的集群。
雲伺服器租用價格低於傳統的物理伺服器租用,且無需支付押金。具有快速供應和部署能力。
⑶ 伺服器集群怎麼搭建Linux平台的
linux伺服器集群平台的搭建比較簡單,有專門的均衡軟體,比如lvs,lvs是一個集群系統,由很多伺服器組成,可以根據需要,把它門分為三層,一層是前端機,用於均衡,相當於公平為系統分配工作,二層是伺服器群,比如web伺服器群,DNS,mail群等,這些就是接待員,把均衡器分配的工作進行處理,第三層是存儲設備,用於存儲數據,相當於檔案庫。
知道這些後,要搭建就非常容易,有現成的軟體,比如我有四台web伺服器,2台資料庫,1台前置機 ,安裝linux系統,安裝lvs軟體,比如
heartbeat-2.1.4-9.el5.i386.rpm
heartbeat-ldirectord-2.1.4-9.el5.i386.rpm
libnet-1.1.4-3.el5.i386.rpm
heartbeat-devel-2.1.4-9.el5.i386.rpm
heartbeat-pils-2.1.4-10.el5.i386.rpm
perl-MailTools-1.77-1.el5.noarch.rpm
heartbeat-gui-2.1.4-9.el5.i386.rpm
heartbeat-stonith-2.1.4-10.el5.i386.rpm
當然還需要配置,你可以自己網路有關lvs集群的詳細安裝說明。希望能幫助你。
⑷ Linux系統 CentOS 7怎麼搭建集群
CentOS 7下怎麼搭建高可用集群。高可用集群是指以減少服務中斷時間為目的的伺服器集群技術。它通過保護用戶的業務程序對外不間斷提供的服務,把因軟體/硬體/人為造成的故障對業務的影響降低到最小程度。那麼新的centos下怎麼來搭建高可用集群。環境:本文以兩台機器實現雙集熱備高可用集群,主機名node1的IP為192.168.122.168 ,主機名node2的IP為192.168.122.169 。
一、安裝集群軟體必須軟體pcs,pacemaker,corosync,fence-agents-all,如果需要配置相關服務,也要安裝對應的軟體
二、配置防火牆
1、禁止防火牆和selinux
修改/etc/sysconfig/selinux確保SELINUX=disabled,然後執行setenforce 0或者reboot伺服器以生效
2、設置防火牆規則
三、各節點之間主機名互相解析分別修改2台主機名分別為node1和node2,在centos 7中直接修改/etc/hostname加入本機主機名和主機表,然後重啟網路服務即可。
配置2台主機的主機表,在/etc/hosts中加入
四、各節點之間時間同步在node1和node2分別進行時間同步,可以使用ntp實現。
五、各節點之間配置ssh的無密碼密鑰訪問。下面的操作需要在各個節點上操作。
兩台主機都要互相可以通信,所以兩台主機都得互相生成密鑰和復制公鑰,相互的節點上的hosts文件是都要解析對方的主機名, 192.168.122.168 node1 192.168.122.169 node2
六、通過pacemaker來管理高可用集群
1、創建集群用戶
為了有利於各節點之間通信和配置集群,在每個節點上創建一個hacluster的用戶,各個節點上的密碼必須是同一個。
⑸ 如何最快搭建LINUX伺服器集群
1.2.並行技術
這是一個非常簡單的建造四節點的小集群系統的例子,它是構建在Linux操作系統上,通過MPICH軟體包實現的,希望這個小例子能讓大家對集群系統的構建有一個最基本的了解。
2.使用MPICH構建一個四節點的集群系統
這是一個非常簡單的建造四節點的小集群系統的例子,它是構建在Linux操作系統上,通過MPICH軟體包實現的,希望這個小例子能讓大家對集群系統的構建有一個最基本的了解。
2.1 所需設備
1).4台採用Pentium II處理器的PC機,每台配
置64M內存,2GB以上的硬碟,和EIDE介面的光碟驅動器。
2).5塊100M快速乙太網卡,如SMC 9332 EtherPower 10/100(其中四塊卡用於連接集群中的結點,另外一塊用於將集群中的其中的一個節點與其它網路連接。)
3).5根足夠連接集群系統中每個節點的,使用5類非屏蔽雙絞線製作的RJ45纜線
4).1個快速乙太網(100BASE-Tx)的集線器或交換機
5).1張Linux安裝盤
2.2 構建說明
對計算機硬體不熟的人,實施以下這些構建步驟會感到吃力。如果是這樣,請找一些有經驗的專業人士尋求幫助。
1. 准備好要使用的採用Pentium II處理器的PC機。確信所有的PC機都還沒有接上電源,打開PC機的機箱,在准備與網路上的其它設備連接的PC機上安裝上兩塊快速乙太網卡,在其它的 PC機上安裝上一塊快速乙太網卡。當然別忘了要加上附加的內存。確定完成後蓋上機箱,接上電源。
2. 使用4根RJ45線纜將四台PC機連到快速乙太網的集線器或交換機上。使用剩下的1根RJ45線將額外的乙太網卡(用於與其它網路相連的那塊,這樣機構就可以用上集群)連接到機構的區域網上(假定你的機構區域網也是快速乙太網),然後打開電源。
3. 使用LINUX安裝盤在每一台PC機上安裝。請確信在LINUX系統中安裝了C編譯器和C的LIB庫。當你配置TCP/IP時,建議你為四台PC分別指定為192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台PC為你的伺服器節點(擁有兩塊網卡的那台)。在這個伺服器節點上的那塊與機構區域網相連的網卡,你應該為其指定一個與機構區域網吻合的IP地址。
4.當所有PC都裝好Linux系統後,編輯每台機器的/etc/hosts文件,讓其包含以下幾行:
192.168.1.1 node1 server
192.168.1.2 node2
192.168.1.3 node3
192.168.1.4 node4
編輯每台機器的/etc/hosts.equiv文件,使其包含以下幾行:
node1
node2
node3
node4
$p#
以下的這些配置是為了讓其能使用MPICH』s p4策略去執行分布式的並行處理應用。
1. 在伺服器節點
,建一個/mirror目錄,並將其配置成為NFS伺服器,並在/etc/exports文件中增加一行:
/mirror node1(rw) node2(rw) node3(rw) node4(rw)
2. 在其他節點上,也建一個/mirror目錄,關在/etc/fstab文件中增加一行:
server:/mirror /mirror nfs rw,bg,soft 0 0
3. /mirror這個目錄從伺服器上輸出,裝載在各個客戶端,以便在各個節點間進行軟體任務的分發。
4. 在伺服器節點上,安裝MPICH。MPICH的文檔可在
5.任何一個集群用戶(你必須在每一個節點新建一個相同的用戶),必須在/mirror目錄下建一個屬於它的子目錄,如 /mirror/username,用來存放MPI程序和共享數據文件。這種情況,用戶僅僅需要在伺服器節點上編譯MPI程序,然後將編譯後的程序拷貝到在/mirror目錄下屬於它的的子目錄中,然後從他在/mirror目錄下屬於它的的子目錄下使用p4 MPI策略運行MPI程序。
2.3 MPICH安裝指南
1.如果你有gunzip,就d下載mpich.tar.gz,要不然就下載mpich.tar.Z。你可以到http://www.mcs.anl.gov/mpi/mpich/downloa下載,也可以使用匿名ftp到ftp.mcs.anl.gov的pub/mpi目錄拿。(如果你覺得這個東西太大,你可以到pub/mpi/mpisplit中取分隔成塊的幾個小包,然後用cat命令將它們合並)
2.解壓:gunzip ;c mpich.tar.gz tar xovf-(或zcat mpich.tar.Ztar xovf-)
3.進入mpich目錄
4.執行:./configure為MPICH選擇一套適合你的實際軟硬體環境的參數組,如果你對這些默認選擇的參數不滿意,可以自己進行配置(具體參見MPICH的配置文檔)。最好選擇一個指定的目錄來安裝和配置MPICH,例如:
./configure -prefix=/usr/local/mpich-1.2.0
5.執行:make >&make.log 這會花一段較長的時間,不同的硬體環境花的時間也就不同,可能從10分鍾到1個小時,甚至更多。
6.(可選)在工作站網路,或是一台單獨的工作站,編輯mpich/util/machines/machines.xxx(xxx是MPICH對你機器體系結構取的名稱,你能很容易的認出來)以反映你工作站的當地主機名。你完全可以跳過這一步。在集群中,這一步不需要。
7.(可選)編譯、運行一個簡單的測試程序:
cd examples/basic
make cpi
ln ;s ../../bin/mpirun mpirun
./mpirun ;np 4 cpi
此時,你就在你的系統上運行了一個MPI程序。
8.(可選)構建MPICH其餘的環境,為ch_p4策略使
用安全的服務會使得任何啟動速度加快,你可以執行以下命令構建:
make serv_p4
(serv_p4是一個較新的P4安全服務的版本,它包含在MPICH 1.2.0版中),nupshot程序是upshot程序的一個更快版本,但他需要tk 3.6版的源代碼。如果你有這個包,你就用以下命令可以構建它:
make nupshot
9.(可選)如果你想將MPICH安裝到一個公用的地方讓其它人使用它,你可以執行:
make install 或 bin/mpiinstall
你可以使用-prefix選項指定MPICH安裝目錄。安裝後將生成include、lib、bin、sbin、www和man目錄以及一個小小的示例目錄,
到此你可以通告所有的用戶如何編譯、執行一個MPI程序。
⑹ 如何搭建伺服器集群
可以通過兩種方法創建集群:1.創建一個集群,並同時創建若干個雲伺服器。可以通過容器服務直接創建一個包含若干個新雲伺服器的集群。2.創建一個零節點的集群並添加已有的雲伺服器。創建一個零節點的集群。如果您已經在雲伺服器 ECS 上購買了若干個雲伺服器,可以在容器服務上創建一個零節點的集群。
⑺ 如何快速構建高可用集群
我們在信息中心的伺服器中實施了虛擬化技術,任何一台物理伺服器的斷電都會導致多個虛擬機停止工作。一個高可用的(HA)集群系統可以幫助我們預防這種情況出現,當主機故障發生後,虛擬機可以在集群系統中迅速重建。舉例來說,假設虛擬化集群中的一個物理節點失效,虛擬機可以迅速遷移到其他節點繼續運行。在這種集群模式下,即使在伺服器宕機的情況下,核心業務系統仍然可以持續地提供服務。
在Xen虛擬機可以被集群系統管理並實現在節點間自由遷移之前,所有節點必須具備訪問虛擬機的配置文件及後端存儲的能力。在本文中,TechTarget中國的特約虛擬化專家Sander van Vugt將講述如何對它們實現共享訪問。
實現對虛擬機配置文件的訪問
實現虛擬機配置文件在所有節點的共享訪問是非常簡單的。首先,把文件存放在SAN系統中的邏輯單元號LUN(logic unitnumber)上;接下來,把LUN中/etc/xen/vm目錄映射給節點中所有相關主機;最後,把配置文件設置為網路共享狀態,使其所在目錄可以被主機動態載入。或者您也可以在配置發生變化後,手動同步文件(而且這種變化並不會經常發生)。然而,為了虛擬機後端存儲的共享訪問,設置方式是完全不同的。
配置後端存儲設備
這里提供兩種不同的配置虛擬機後端存儲的方法。第一種是,虛擬機默認狀態下是把後端存儲作為一個文件來處理的。在這種情形下,設置該文件可以被集群中的每個主機訪問就可以共享了。同時,我們建議把該文件放置在安全的集群文件系統中,例如Oracle的Oracle Cluster FileSystem 2。
第二種更加簡單的方式是,設置專門的設備作為後端存儲。當創建虛擬機時,在安裝過程中把邏輯卷配置為虛擬機的後端存儲。這樣,只需確保邏輯卷是位於SAN中的LUN上,並且可以被集群中的所有主機訪問到就可以了。
配置Xen主機
在准備好多個Xen主機後,就可以開始創建集群系統了。首先,從主伺服器上啟動hb_gui終端,並認證為hacluster用戶。接下來,選擇Configuration進行配置,再選擇Resources。在這頁中,單擊Add,對Primitive相關選項進行配置。最後,為resource命名輸入其ID(在測試過程中,命名為\"Xen-node\"是個不錯的選擇)。下一步依次選擇Class OCF, ProviderHeartbeat和Type Xen進行相應配置。全部完成後,點擊Forward。
在下一個窗口中,我們可以進一步配置新Xen虛擬機的相應參數。選擇Instance Attributes頁,在xmfile參數中指定正確的Xen虛擬機配置文件。然後,提供虛擬機配置文件的完整路徑並點擊Apply。現在我們已經在集群中創建了源虛擬機。
到現在,在hb_gui終端的管理窗口中,我們已經可以看到源虛擬機了,但是它還處於非激活狀態。右鍵點擊虛擬機,選擇Start。
恭喜,現在我們已經完成第一台集群系統中虛擬機的創建。
⑻ 伺服器集群怎麼實現
不難,硬體用路由器,軟體嘛,操作系統用WIN2003
server
enterprise
企業版,推薦一並安裝R2升級包,所有機器組區域網,用一台千兆網卡做域控,架設流媒體伺服器,其他機做為域成員加入進來,內網IP各用各的,外網用埠映射到一個IP,用域控做網路流量負載平衡,域控機器配置要強,如果你網路流量大,建議用專業級伺服器,至強+2Gb+SCSI硬碟之類,看你環境要求了,如果必要可以上雙至強,再用一台512mb內存的p4
2.0G以上機做備份域控,這樣主域控上下線或重啟或出故障不影響域內成員正常工作,備份域控湊合就可以了,按我上面的要求就行,當然,有錢可以用好的
如果你安全性要求高,建議路由前端用普通P4+512Mb內存機器架ISA2004
server組防火牆,配置的好效果比一般的硬體防火牆要好,完全不影響網路環境運行,域內成員可以裸奔不怕毒和黑
至於域內成員機,如果僅全力供應片源,當前主流家用機型就夠用了
伺服器建議用hp
360G系列,目前價位不算高,性價比還不錯,售後很好,如果你對建網不怎麼了解,可以讓他們幫你裝,買他們的伺服器就是要利用他們的人力資源嘛
路由器可以選用飛魚星4200以上機型,電信網通雙WAN口,是可以提供150~250台機器的大型網吧專用的,內置參數非常豐富
另外再多羅嗦幾句,板卡不要買七彩虹的,我上過當,七彩虹本身是咨訊公司,沒有任何板卡生產能力,都是同德代工的,以為它的出貨量大,就選了它,結果廣告上的指標參數和實際產品根本不同,水份太多太多了,售後也很爛,特此建議……
樓下別再抄襲我了,每天都被抄走好幾個200分最佳,實在是郁悶!
⑼ ES集群原理與搭建
查看集群健康狀況:URL+ /GET _cat/health
Cluster
代表一個集群,集群中有多個節點,其中有一個為主節點,這個主節點是可以通過選舉產生的,主從節點是對於集群內部來說的。es的一個概念就是去中心化,字面上理解就是無中心節點,這是對於集群外部來說的,因為從外部來看es集群,在邏輯上是個整體,你與任何一個節點的通信和與整個es集群通信是等價的。
Shards
代表索引分片,es可以把一個完整的索引分成多個分片,這樣的好處是可以把一個大的索引拆分成多個,分布到不同的節點上。構成分布式搜索。分片的數量只能在索引創建前指定,並且索引創建後不能更改。
replicas
代表索引副本,es可以設置多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜索請求進行負載均衡。
Recovery
代表數據恢復或叫數據重新分布,es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配,掛掉的節點重新啟動時也會進行數據恢復。
(2)、ES為什麼要實現集群
在單台ES伺服器節點上,隨著業務量的發展索引文件慢慢增多,會影響到效率和內存存儲問題等。
我們可以採用ES集群,將單個索引的分片到多個不同分布式物理機器上存儲,從而可以實現高可用、容錯性等。
ES集群中索引可能由多個分片構成,並且每個分片可以擁有多個副本。通過將一個單獨的索引分為多個分片,我們可以處理不能在一個單一的伺服器上面運行的大型索引,簡單的說就是索引的大小過大,導致效率問題。不能運行的原因可能是內存也可能是存儲。由於每個分片可以有多個副本,通過將副本分配到多個伺服器,可以提高查詢的負載能力。
(3)、ES是如何解決高並發
ES是一個分布式全文檢索框架,隱藏了復雜的處理機制,內部使用 分片機制、集群發現、分片負載均衡請求路由。
Shards 分片:代表索引分片,es可以把一個完整的索引分成多個分片,這樣的好處是可以把一個大的索引拆分成多個,分布到不同的節點上。構成分布式搜索。分片的數量只能在索引創建前指定,並且索引創建後不能更改。
Replicas分片:代表索引副本,es可以設置多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜索請求進行負載均衡。
1、每個索引會被分成多個分片shards進行存儲,默認創建索引是分配5個分片進行存儲。每個分片都會分布式部署在多個不同的節點上進行部署,該分片成為primary shards。
注意:索引的主分片primary shards定義好後,後面不能做修改。
2、為了實現高可用數據的高可用,主分片可以有對應的備分片replics shards,replic shards分片承載了負責容錯、以及請求的負載均衡。
注意: 每一個主分片為了實現高可用,都會有自己對應的備分片,主分片對應的備分片不能存放同一台伺服器上。主分片primary shards可以和其他replics shards存放在同一個node節點上。
3、documnet routing(數據路由)
當客戶端發起創建document的時候,es需要確定這個document放在該index哪個shard上。這個過程就是數據路由。
路由演算法:shard = hash(routing) % number_of_primary_shards
如果number_of_primary_shards在查詢的時候取余發生的變化,無法獲取到該數據
注意:索引的主分片數量定義好後,不能被修改
高可用視圖分析(下圖所示:上面的圖,如果節點1與節點2宕機了,es集群數據就不完整了。下面圖,如果節點1與節點2宕機了,es集群數據還是完整的)
(1)、伺服器環境
准備三台伺服器集群
| 伺服器名稱 | IP地址 |
| node-1 | 192.168.212.182 |
| node-2 | 192.168.212.183 |
| node-3 | 192.168.212.184 |
(2)、關閉防火牆
(3)、**** http://192.168.212.185:9200/_cat/nodes?pretty
*號表示為master節點
注意:
注意克隆data文件會導致數據不同步
報該錯誤解決辦法 :
failed to send join request to master
因為克隆導致data文件也克隆呢,直接清除每台伺服器data文件。