刀片伺服器集群搭建教程

A. 如何用IBM的伺服器做集群系統

科學計算領域,伺服器集群這種計算工具有相當重要的作用,通常一個集群可以有幾十、幾百顆處理器通過高速網路連接組合在一起，形成巨大的計算資源為特定的應用服務。
我們首先來介紹一下集群，Cluster集群技術可如下定義：一組相互獨立的伺服器在網路中表現為單一的系統，並以單一系統的模式加以管理。此單一系統為客戶工作站提供高可靠性的服務。
大多數模式下，集群中所有的計算機擁有一個共同的名稱，集群內任一系統上運行的服務可被所有的網路客戶所使用。Cluster必須可以協調管理各分離的組件的錯誤和失敗，並可透明地向Cluster中加入組件。
一個Cluster包含多台（至少二台）擁有共享數據存儲空間的伺服器。任何一台伺服器運行一個應用時，應用數據被存儲在共享的數據空間內。每台伺服器的操作系統和應用程序文件存儲在其各自的本地儲存空間上。
Cluster內各節點伺服器通過一內部區域網相互通訊。當一台節點伺服器發生故障時，這台伺服器上所運行的應用程序將在另一節點伺服器上被自動接管。當一個應用服務發生故障時，應用服務將被重新啟動或被另一台伺服器接管。當以上任一故障發生時，客戶將能很快連接到新的應用服務上。
由於組成集群的機器不盡相同，所以我們通常可以把集群分成兩種：工作站集群和胖節點集群。
工作站集群（COW）
工作站集群的節點機規模一般都比較小，常常配備的示2-4顆處理器的伺服器，採用通常的乙太網或者InfiniBand來連接，一般採用Linux集群操作系統來對集群進行管理。
這種集群最常見的是PC伺服器廠商的PC－Cluster集群或者刀片伺服器集群，他的優點主要是價格便宜和容易部署，所以很多小的伺服器廠商也可以做這種集群。在國外，很多大學生通過一個公用的高速專用網路，將數十台的PC聯在一起，用Linux集群操作系統來管理，就構成了這種集群。
這種集群的缺點是不太穩定，不能運行大規模的商業應用軟體。而且由於這種鬆散連接，使得佔用的空間可能比較大，散熱也成問題。
胖節點集群
胖節點集群的伺服器節點多是8-16顆CPU的SMP伺服器，其穩定性大大提高，通過專有技術用乙太網或者InfiniBand連接，系統採用UNIX操作系統，應用經過優化的專用集群管理軟體。常見的機器有IBM的
Cluster1600和HPQ
AlphaServer
SC，他的好處是節點機的性能比較穩定，系統節點不太容易出問題，這樣就可以運行大型的應用程序，應用到商業或者科學計算中。它的擴展性也比較好，支持所有並行方式，但是相比於前一種，價格也要貴很多。國外和國內都有這種應用案例，當然這種價格也不是一般企業和機構可以採用的，多數是原來做商業計算或者科研。
詳情請參照：http://article.pchome.net/content-123394.html

B. 配置hadoop集群是怎麼配置的

在過去，大數據處理主要是採用標准化的刀片式伺服器和存儲區域網路（SAN）來滿足網格和處理密集型工作負載。然而隨著數據量和用戶數的大幅增長，基礎設施的需求已經發生變化，硬體廠商必須建立創新體系，來滿足大數據對包括存儲刀片，SAS（串列連接SCSI）開關，外部SATA陣列和更大容量的機架單元的需求。即尋求一種新的方法來存儲和處理復雜的數據，Hadoop正是基於這樣的目的應運而生的。Hadoop的數據在集群上均衡分布，並通過復制副本來確保數據的可靠性和容錯性。因為數據和對數據處理的操作都是分布在伺服器上，處理指令就可以直接地發送到存儲數據的機器。這樣一個集群的每個伺服器器上都需要存儲和處理數據，因此必須對Hadoop集群的每個節點進行配置，以滿足數據存儲和處理要求。
Hadoop框架中最核心的設計是為海量數據提供存儲的HDFS和對數據進行計算的MapRece。MapRece的作業主要包括從磁碟或從網路讀取數據，即IO密集工作，或者是計算數據，即CPU密集工作。Hadoop集群的整體性能取決於CPU、內存、網路以及存儲之間的性能平衡。因此運營團隊在選擇機器配置時要針對不同的工作節點選擇合適硬體類型。一個基本的Hadoop集群中的節點主要有：Namenode負責協調集群中的數據存儲，DataNode存儲被拆分的數據塊，Jobtracker協調數據計算任務，最後的節點類型是Secondarynamenode，幫助NameNode收集文件系統運行的狀態信息。

在集群中，大部分的機器設備是作為Datanode和TaskTracker工作的。Datanode/TaskTracker的硬體規格可以採用以下方案：
4個磁碟驅動器（單盤1-2T），支持JBOD
2個4核CPU,至少2-2.5GHz
16-24GB內存
千兆乙太網
Namenode提供整個HDFS文件系統的namespace管理，塊管理等所有服務,因此需要更多的RAM，與集群中的數據塊數量相對應，並且需要優化RAM的內存通道帶寬，採用雙通道或三通道以上內存。硬體規格可以採用以下方案：
8-12個磁碟驅動器（單盤1-2T）
2個4核/8核CPU
16-72GB內存
千兆/萬兆乙太網
Secondarynamenode在小型集群中可以和Namenode共用一台機器，較大的群集可以採用與Namenode相同的硬體。考慮到關鍵節點的容錯性，建議客戶購買加固的伺服器來運行的Namenodes和Jobtrackers，配有冗餘電源和企業級RAID磁碟。最好是有一個備用機，當 namenode或jobtracker 其中之一突然發生故障時可以替代使用。

目前市場上的硬體平台滿足Datanode/TaskTracker節點配置需求的很多，，據了解深耕網路安全硬體平台多年的立華科技瞄準了Hadoop的發展前景，適時推出了專門針對NameNode的設備----雙路至強處理器搭載12塊硬碟的FX-3411，將計算與存儲完美融合，四通道內存的最大容量可達到256GB，完全滿足NameNode對於一個大的內存模型和沉重的參考數據緩存組合的需求。

同時在網路方面，FX-3411支持的2個PCI-E*8的網路擴展，網路吞吐達到80Gbps，更是遠遠滿足節點對千兆乙太網或萬兆乙太網的需求。此外針對Datanode/TaskTracker等節點的配置需求，立華科技不僅推出了可支持單路至強E38核處理器和4塊硬碟的標准品FX-3210，還有可以全面客制化的解決方案，以滿足客戶的不同需求。

Hadoop集群往往需要運行幾十，幾百或上千個節點，構建匹配其工作負載的硬體，可以為一個運營團隊節省可觀的成本，因此，需要精心的策劃和慎重的選擇。