集群編譯怎麼製作

㈠ 高性能高並發網站架構，教你搭建Redis5緩存集群

一、Redis集群介紹

Redis真的是一個優秀的技術，它是一仔圓種key-value形式的Nosql內存資料庫，由ANSI C編寫，遵守BSD協議、支持網路、可基於內存亦可持久化的日誌型、Key-Value資料庫，並提供多種語言的API。 Redis最大的特性是它會將所有數據都放在內存中，所以讀寫速度性能非常好。Redis是基於內存進行操作的，性能較高，可以很好的在一定程度上解決網站一瞬間的並發量，例如商品搶購秒殺等活動。

網站承受高並發訪問壓力的同時，還需要從海量數據中查詢出滿足條件的數據，需要快速響應，前端發送請求、後端和mysql資料庫交互，進行sql查詢操作，讀寫比較慢，這時候引入Redis ,把從mysql 的數據緩存到Redis 中，下次讀取時候性能就會提高；當然，它也支持將內存中的數據以快照和日誌的形式持久化到硬碟，這樣即使在斷電、機器故障等異常情況發生時數據也不會丟失，Redis能從硬碟中恢復快照數據到內存中。

Redis 發布了穩定版本的 5.0 版本，放棄 Ruby的集群方式，改用 C語言編寫的 redis-cli的方式，是集群的構建方式復雜度大大降低。Redis-Cluster集群採用無中心結構，每個節點保存數據和整個集群狀態，每個節點都和其他所有節點連接。

為了保證數據的高可用性，加入了主從模式，一個主節點對應一個或多個從節點，主節點提供數據存取，從節點則是從主節點拉取數據備份，當這個主節點掛掉後，就會有這個從節點選取一個來充當主節點，從而保證集群不會掛掉。

redis-cluster投票:容錯，投票過程是集群中所有master參與,如果半數以上master節點與master節點通信超過(cluster-node-timeout),認為當前master節點掛掉。

集群中至少應該有奇數個節點，所以至少有三個節點，每個節點至少有一個備份節點，所以下面使用6節點枝辯（主節點、備份節點由redis-cluster集群確定）。6個節點分布在一台機器上，採用三主三從的模式。實際應用中，最好用多台機器，比如說6個節點分布到3台機器上，redis在建立集群時為自動的將主從節點進行不同機器的分配。

二、單機redis模式

下載源碼redis5.0並解壓編譯

wget http://download.redis.io/releases/redis-5.0.0.tar.gz

tar xzf redis-5.0.0.tar.gz

cd redis-5.0.0

make

redis前端啟動需要改成後台啟動.

修改redis.conf文件,將daemonize no -> daemonize yes

vim redis.conf

啟動redis

/www/server/redis/src/redis-server /www/server/redis/redis.conf

查看redis是否在運行

ps aux|grep redis

現在是單機redis模式完成。

三、redis集群模式：

1.創猛戚缺建6個Redis配置文件

cd /usr/local/

mkdir redis_cluster //創建集群目錄

cd redis_cluster

mkdir 7000 7001 7002 7003 7004 7005//分別代表6個節點

其對應埠 7000 7001 7002 70037004 7005

2.復制配置文件到各個目錄

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7000/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7001/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7002/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7003/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7004/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7005/

3.分別修改配置文件

vim /usr/local/redis_cluster/7000/redis.conf

vim /usr/local/redis_cluster/7001/redis.conf

vim /usr/local/redis_cluster/7002/redis.conf

vim /usr/local/redis_cluster/7003/redis.conf

vim /usr/local/redis_cluster/7004/redis.conf

vim /usr/local/redis_cluster/7005/redis.conf

如下

port 7000 #埠

cluster-enabled yes #啟用集群模式

cluster-config-file nodes_7000.conf ＃集群的配置 配置文件首次啟動自動生成

cluster-node-timeout 5000 #超時時間 5秒

appendonly yes ＃aof日誌開啟 它會每次寫操作都記錄一條日誌

daemonize yes #後台運行

protected-mode no #非保護模式

pidfile /var/run/redis_7000.pid

//下面可以不寫

#若設置密碼，master和slave需同時配置下面兩個參數：

masterauth "jijiji" #連接master的密碼

requirepass "jijiji" #自己的密碼

cluster-config-file，port，pidfile對應數字

4.啟動節點

cd /www/server/redis/src/

./redis-server /usr/local/redis_cluster/7000/redis.conf

./redis-server /usr/local/redis_cluster/7001/redis.conf

./redis-server /usr/local/redis_cluster/7002/redis.conf

./redis-server /usr/local/redis_cluster/7003/redis.conf

./redis-server /usr/local/redis_cluster/7004/redis.conf

./redis-server /usr/local/redis_cluster/7005/redis.conf

查看redis運行

ps aux|grep redis

5.啟動集群

/www/server/redis/src/redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1

這里使用的命令是create，因為我們要創建一個新的集群。 該選項--cluster-replicas 1意味著我們希望每個創建的主伺服器都有一個從服。

輸入yes

至此，Reids5 集群搭建完成。

6.檢查Reids5集群狀態

可以執行redis-cli --cluster check host:port檢查集群狀態slots詳細分配。

redis-cli --cluster info 127.0.0.1:7000

7.停止Reids5集群

（1）.因為Redis可以妥善處理SIGTERM信號，所以直接kill -9也是可以的，可以同時kill多個,然後再依次啟動。

kill -9 PID PID PID

（2）.redis5 提供了關閉集群的工具，修改文件： /www/server/redis/utils/create-cluster/create-cluster

埠PROT設置為6999，NODES為6，工具會生成 7000-7005 六個節點 用於操作。

修改後，執行如下命令關閉集群：

/www/server/redis/utils/create-cluster/create-cluster stop

重新啟動集群：

/www/server/redis/utils/create-cluster/create-cluster start

8.幫助信息

執行redis-cli --cluster help,查看更多幫助信息

redis-cli --cluster help

吉海波

㈡ 如何快速地編寫和運行一個屬於自己的MapRece例子程序

大數據的時代， 到處張嘴閉嘴都是Hadoop, MapRece, 不跟上時代怎麼行？ 可是對一個hadoop的新手， 寫一個屬於自己的MapRece程序還是小有點難度的， 需要建立一個maven項目， 還要搞清楚各種庫的依賴， 再加上編譯運行， 基本上頭大兩圈了吧。 這也使得很多隻是想簡單了解一下MapRece的人望而卻步。
本文會教你如何用最快最簡單的方法編寫和運行一個屬於自己的MapRece程序， let's go!
首先有兩個前提：
1. 有一個已經可以運行的hadoop 集群（也可以是偽分布系統)， 上面的hdfs和maprece工作正常 （這個真的是最基本的了， 不再累述， 不會的請參考 http://hadoop.apache.org/docs/current/)
2. 集群上安裝了JDK (編譯運行時會用到）
正式開始
1. 首先登入hadoop 集群裡面的一個節點， 創建一個java源文件， 偷懶起見， 基本盜用官方的word count (因為本文的目的是教會你如何快編寫和運行一個MapRece程序， 而不是如何寫好一個功能齊全的MapRece程序）
內容如下：
import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.maprece.Job;
import org.apache.hadoop.maprece.Mapper;
import org.apache.hadoop.maprece.Recer;
import org.apache.hadoop.maprece.lib.input.FileInputFormat;
import org.apache.hadoop.maprece.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class myword {

public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{

private final static IntWritable one = new IntWritable(1);
private Text word = new Text();

public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}

public static class IntSumRecer
extends Recer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();

public void rece(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}

public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println('Usage: wordcount <in> <out>');
System.exit(2);
}
Job job = new Job(conf, 'word count');
job.setJarByClass(myword.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumRecer.class);
job.setRecerClass(IntSumRecer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}

與官方版本相比， 主要做了兩處修改
1） 為了簡單起見，去掉了開頭的 package org.apache.hadoop.examples;
2） 將類名從 WordCount 改為 myword, 以體現是我們自己的工作成果 :)
2. 拿到hadoop 運行的class path, 主要為編譯所用
運行命令
hadoop classpath

保存打出的結果，本文用的hadoop 版本是Pivotal 公司的Pivotal hadoop, 例子：
/etc/gphd/hadoop/conf:/usr/lib/gphd/hadoop/lib/*:/usr/lib/gphd/hadoop/.//*:/usr/lib/gphd/hadoop-hdfs/./:/usr/lib/gphd/hadoop-hdfs/lib/*:/usr/lib/gphd/hadoop-hdfs/.//*:/usr/lib/gphd/hadoop-yarn/lib/*:/usr/lib/gphd/hadoop-yarn/.//*:/usr/lib/gphd/hadoop-maprece/lib/*:/usr/lib/gphd/hadoop-maprece/.//*::/etc/gphd/pxf/conf::/usr/lib/gphd/pxf/pxf-core.jar:/usr/lib/gphd/pxf/pxf-api.jar:/usr/lib/gphd/publicstage:/usr/lib/gphd/gfxd/lib/gemfirexd.jar::/usr/lib/gphd/zookeeper/zookeeper.jar:/usr/lib/gphd/hbase/lib/hbase-common.jar:/usr/lib/gphd/hbase/lib/hbase-protocol.jar:/usr/lib/gphd/hbase/lib/hbase-client.jar:/usr/lib/gphd/hbase/lib/hbase-thrift.jar:/usr/lib/gphd/hbase/lib/htrace-core-2.01.jar:/etc/gphd/hbase/conf::/usr/lib/gphd/hive/lib/hive-service.jar:/usr/lib/gphd/hive/lib/libthrift-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-metastore.jar:/usr/lib/gphd/hive/lib/libfb303-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-common.jar:/usr/lib/gphd/hive/lib/hive-exec.jar:/usr/lib/gphd/hive/lib/postgresql-jdbc.jar:/etc/gphd/hive/conf::/usr/lib/gphd/sm-plugins/*:

3. 編譯
運行命令
javac -classpath xxx ./myword.java

xxx部分就是上一步裡面取到的class path
運行完此命令後， 當前目錄下會生成一些.class 文件， 例如：
myword.class myword$IntSumRecer.class myword$TokenizerMapper.class
4. 將class文件打包成.jar文件
運行命令
jar -cvf myword.jar ./*.class

至此, 目標jar 文件成功生成
5. 准備一些文本文件， 上傳到hdfs, 以做word count的input
例子：
隨意創建一些文本文件， 保存到mapred_test 文件夾
運行命令
hadoop fs -put ./mapred_test/

確保此文件夾成功上傳到hdfs 當前用戶根目錄下
6. 運行我們的程序
運行命令
hadoop jar ./myword.jar myword mapred_test output

順利的話， 此命令會正常進行， 一個MapRece job 會開始工作， 輸出的結果會保存在 hdfs 當前用戶根目錄下的output 文件夾裡面。
至此大功告成！
如果還需要更多的功能， 我們可以修改前面的源文件以達到一個真正有用的MapRece job。
但是原理大同小異， 練手的話， 基本夠了。
一個拋磚引玉的簡單例子， 歡迎板磚。
轉載

㈢ hadoop 2.8.2 怎麼編譯

在不使用eclipse情況使java程序在hadoop
2.2中運行的完整過程。整個過程中其實分為java程序的編譯，生成jar包，運行測試。
這三個步驟運用的命令都比較簡單，主要的還是如何找到hadoop
2.2提供給java程序用來編譯的jar包。具體可以查看:
HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib目錄
下面會通過一個在hadoop中創建一個目錄的JAVA例子來進行演示
具體代碼如下：
package
com.wan.demo;
import
java.io.IOException;
import
org.apache.hadoop.conf.Configuration;
import
org.apache.hadoop.fs.FileSystem;
import
org.apache.hadoop.fs.Path;
public
class
HADemo
{
public
static
void
main(String[]
args)
{
//
TODO
Auto-generated
method
stub
mkdir(args[0]);
}
public
static
void
mkdir(String
dir){
Configuration
configuration=new
Configuration();
FileSystem
fs;
try
{
fs
=
FileSystem.get(configuration);
fs.mkdirs(new
Path(dir));
fs.close();
}
catch
(IOException
e)
{
//
TODO
Auto-generated
catch
block
e.printStackTrace();
}
}
}
把HADemo.java文件拷貝到linux環境中
配置HADOOP_HOME/bin到環境中，啟動集群，進入HADemo.java文件目錄中
注:下面的lib目錄裡面的文件由HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/
webhdfs/WEB-INF/lib目錄中獲取，下面做的目的是為了縮減命令長度
1.編譯java
#
mkdir
class
#Javac
-classpath
.:lib/hadoop-common-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar
-d
class
HADemo.java
2.生成jar包
#jar
-cvf
hademo.jar
-C
class/
.
added
manifest
adding:
com/(in
=
0)
(out=
0)(stored
0%)
adding:
com/wan/(in
=
0)
(out=
0)(stored
0%)
adding:
com/wan/demo/(in
=
0)
(out=
0)(stored
0%)
adding:
com/wan/demo/HADemo.class(in
=
844)
(out=
520)(deflated
38%)
3.測試運行
#hadoop
jar
hademo.jar
com.wan.demo.HADemo
/test
檢測：
#hadoop
fs
-ls
/

㈣ 如何搭建android編譯集群

編譯配置

編譯前

（不建議寫到環境變數中）

㈤ Gitlab+Jenkins+Docker+Harbor+K8s集群搭建CICD平台

上帝藉由各種途徑使人變得孤獨，好讓我們可以走向自己。 ——赫爾曼·黑塞《德米安》

CI即為 持續集成(Continue Integration,簡稱CI) ，用通俗的話講，就是 持續的整合版本庫代碼編譯後製作應用鏡像 。建立有效的持續集成環境可以減少開發過程中一些不必要的問題、 提高代碼質量、快速迭代 等,

Jenkins :基於Java開發的一種持續集成工具,用於監控持續重復的工作,旨在提供一個開放易用的軟體平台,使軟體的持續集成變成可能。
Bamboo : 是一個企業級商用軟體,可以部署在大規模生產環境中。

CD即持續交付Continuous Delivery和持續部署Continuous Deployment，用通俗的話說，即可以持續的部署到生產環境給客戶使用，這里分為兩個階段，持續交付我理解為滿足上線條件的過程，但是沒有上線，持續部署，即為上線應用的過程

關於 CD環境 ，我們使用以前搭建好的 K8s集群 ，K8s集群可以實現應用的 健康 檢測，動態擴容，滾動更新 等優點，關於K8s集群的搭建，小夥伴可以看看我的其他文章

拉取鏡像，啟動並設置開機自啟

配置docker加速器

GitLab 不多介紹。一個基於Git的版本控制平台，,提供了Git倉庫管理、代碼審查、問題跟蹤、活動反饋和wiki，當然同時也提供了

切記:這里的埠要設置成80，要不push項目會提示沒有報錯，如果宿主機埠被佔用，需要把這個埠騰出來

external_url 'http://192.168.26.55』

gitlab_rails[『gitlab_ssh_host』] = 餘.168.26.55』

gitlab_rails[gitlab_shell_ssh_port] = 222

修改完配置文件之後。直接啟動容器

相關的git命令

下面我們要配置私有的docker鏡像倉庫，用到的機器為：

這里倉庫我們選擇 harbor ，因為有web頁面，當然也可以使用 registry

首先需要設置selinux、防火牆

安裝並啟動docker並安裝docker-compose，關於docker-compose，這里不用了解太多，一個輕量的docker編排工具

解壓harbor 安裝包：harbor-offline-installer-v2.0.6.tgz，導入相關鏡像

修改配置文件

harbor.yml：設置IP和用戶名密碼

./prepare && ./install.sh

查看相關的鏡像

訪問測試

這里因為我們要在192.168.26.55(CI伺服器)上push鏡像到192.168.26.56(私倉)，所有需要修改CI伺服器上的Docker配置。添加倉庫地址

修改後的配置文件

載入使其生效

CI機器簡單測試一下

push一個鏡像，可以在私倉的web頁面查看

鏡像jenkins拉取

這里為什麼要改成 1000，是因為容器里是以 jenkins 用戶的身份去讀寫數據，而在容器里jenkins 的 uid 是 1000，

更換國內清華大學鏡像,Jenkins下載插件特別慢，更換國內的清華源的鏡像地址會快不少

"http://www.google.com/" 替換為 "http://www..com/"

替換後查看

重啟docker，獲取登錄密匙

需要修改jenkins綁定的docker的啟動參數 ， ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2376 -H fd:// --containerd=/run/containerd/containerd.sock

修改鏡像庫啟動參數後需要重啟docker

後面 gitlab 要和 jenkins 進行聯動，所以必須要需要對 jenkins 的安全做一些設置，依次點擊 系統管理-全局安全配置-授權策略，勾選"匿名用戶具有可讀許可權"

添加 JVM 運行參數 -Dhudson.security.csrf..DISABLE_CSRF_PROTECTION=true 運行跨站請求訪問

這里的話我們要通過jenkins上的kubectl客戶端連接k8s,所以我們需要安裝一個k8s的客戶端kubectl，下載k8s客戶端

然後拷貝kubeconfig 證書,k8s集群中查看證書位置,這里的證書是之前創建好的,小夥伴可以看看我之前的文章

命令測試沒有問題

我們要部署 Nginx 來運行 hexo 博客系統， hexo 編譯完後為一堆靜態文件，所以我們需要創建一個 svc 和一個 deploy ，使用 SVC 提供服務，使用 deploy 提供服務能力,使用 Nginx+hexo的靜態文件 構成的鏡像

這里我們先用一個Nginx鏡像來代替hexo博客的鏡像

查看deployments和pod

訪問測試沒有問題，之後我們配置好jenkins上的觸發器，直接替換就OK

我們通過 kubectl set 命令更新 deploy 的鏡像時，獲取的鏡像是通過私倉獲取的，所以需要在啟動參數添加私倉地址

這里所有的節點都需要設置後重啟docker

訪問jenkins，接下來才是重點，我們要的jenkins上配置整個CICD流程，從而實現自動化

下面我們編譯一下hexo，生成public的一個文件夾,然後上傳gitlab

同時需要編寫Dockerfile文件來創建鏡像

㈥ 製作一個簡單的編譯器

還能編譯匯編。。。
我暈。。。
我想這個不是一般人可以做到的，祝你好運！
如果你僅僅針對文本編輯器的話就好辦了。

㈦ 如何最快搭建LINUX伺服器集群

1.2.並行技術
這是一個非常簡單的建造四節點的小集群系統的例子，它是構建在Linux操作系統上，通過MPICH軟體包實現的，希望這個小例子能讓大家對集群系統的構建有一個最基本的了解。
2.使用MPICH構建一個四節點的集群系統
這是一個非常簡單的建造四節點的小集群系統的例子，它是構建在Linux操作系統上，通過MPICH軟體包實現的，希望這個小例子能讓大家對集群系統的構建有一個最基本的了解。
2.1 所需設備
1).4台採用Pentium II處理器的PC機，每台配
置64M內存，2GB以上的硬碟，和EIDE介面的光碟驅動器。
2).5塊100M快速乙太網卡，如SMC 9332 EtherPower 10/100(其中四塊卡用於連接集群中的結點，另外一塊用於將集群中的其中的一個節點與其它網路連接。)
3).5根足夠連接集群系統中每個節點的，使用5類非屏蔽雙絞線製作的RJ45纜線
4).1個快速乙太網(100BASE-Tx)的集線器或交換機
5).1張Linux安裝盤
2.2 構建說明
對計算機硬體不熟的人，實施以下這些構建步驟會感到吃力。如果是這樣，請找一些有經驗的專業人士尋求幫助。
1. 准備好要使用的採用Pentium II處理器的PC機。確信所有的PC機都還沒有接上電源，打開PC機的機箱，在准備與網路上的其它設備連接的PC機上安裝上兩塊快速乙太網卡，在其它的 PC機上安裝上一塊快速乙太網卡。當然別忘了要加上附加的內存。確定完成後蓋上機箱，接上電源。
2. 使用4根RJ45線纜將四台PC機連到快速乙太網的集線器或交換機上。使用剩下的1根RJ45線將額外的乙太網卡(用於與其它網路相連的那塊，這樣機構就可以用上集群)連接到機構的區域網上(假定你的機構區域網也是快速乙太網)，然後打開電源。
3. 使用LINUX安裝盤在每一台PC機上安裝。請確信在LINUX系統中安裝了C編譯器和C的LIB庫。當你配置TCP/IP時，建議你為四台PC分別指定為192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台PC為你的伺服器節點(擁有兩塊網卡的那台)。在這個伺服器節點上的那塊與機構區域網相連的網卡，你應該為其指定一個與機構區域網吻合的IP地址。
4.當所有PC都裝好Linux系統後，編輯每台機器的/etc/hosts文件，讓其包含以下幾行：
192.168.1.1 node1 server
192.168.1.2 node2
192.168.1.3 node3
192.168.1.4 node4
編輯每台機器的/etc/hosts.equiv文件，使其包含以下幾行：
node1
node2
node3
node4
$p#
以下的這些配置是為了讓其能使用MPICH』s p4策略去執行分布式的並行處理應用。
1. 在伺服器節點
，建一個/mirror目錄，並將其配置成為NFS伺服器，並在/etc/exports文件中增加一行：
/mirror node1(rw) node2(rw) node3(rw) node4(rw)
2. 在其他節點上，也建一個/mirror目錄，關在/etc/fstab文件中增加一行：
server:/mirror /mirror nfs rw,bg,soft 0 0
3. /mirror這個目錄從伺服器上輸出，裝載在各個客戶端，以便在各個節點間進行軟體任務的分發。
4. 在伺服器節點上，安裝MPICH。MPICH的文檔可在
5.任何一個集群用戶(你必須在每一個節點新建一個相同的用戶)，必須在/mirror目錄下建一個屬於它的子目錄，如 /mirror/username，用來存放MPI程序和共享數據文件。這種情況，用戶僅僅需要在伺服器節點上編譯MPI程序，然後將編譯後的程序拷貝到在/mirror目錄下屬於它的的子目錄中，然後從他在/mirror目錄下屬於它的的子目錄下使用p4 MPI策略運行MPI程序。
2.3 MPICH安裝指南
1.如果你有gunzip，就d下載mpich.tar.gz，要不然就下載mpich.tar.Z。你可以到http://www.mcs.anl.gov/mpi/mpich/downloa下載，也可以使用匿名ftp到ftp.mcs.anl.gov的pub/mpi目錄拿。(如果你覺得這個東西太大，你可以到pub/mpi/mpisplit中取分隔成塊的幾個小包，然後用cat命令將它們合並)
2.解壓：gunzip ;c mpich.tar.gz tar xovf-(或zcat mpich.tar.Ztar xovf-)
3.進入mpich目錄
4.執行：./configure為MPICH選擇一套適合你的實際軟硬體環境的參數組，如果你對這些默認選擇的參數不滿意，可以自己進行配置(具體參見MPICH的配置文檔)。最好選擇一個指定的目錄來安裝和配置MPICH，例如：
./configure -prefix=/usr/local/mpich-1.2.0
5.執行：make >&make.log 這會花一段較長的時間，不同的硬體環境花的時間也就不同，可能從10分鍾到1個小時，甚至更多。
6.(可選)在工作站網路，或是一台單獨的工作站，編輯mpich/util/machines/machines.xxx(xxx是MPICH對你機器體系結構取的名稱，你能很容易的認出來)以反映你工作站的當地主機名。你完全可以跳過這一步。在集群中，這一步不需要。
7.(可選)編譯、運行一個簡單的測試程序：
cd examples/basic
make cpi
ln ;s ../../bin/mpirun mpirun
./mpirun ;np 4 cpi
此時，你就在你的系統上運行了一個MPI程序。
8.(可選)構建MPICH其餘的環境，為ch_p4策略使
用安全的服務會使得任何啟動速度加快，你可以執行以下命令構建：
make serv_p4
(serv_p4是一個較新的P4安全服務的版本，它包含在MPICH 1.2.0版中)，nupshot程序是upshot程序的一個更快版本，但他需要tk 3.6版的源代碼。如果你有這個包，你就用以下命令可以構建它：
make nupshot
9.(可選)如果你想將MPICH安裝到一個公用的地方讓其它人使用它，你可以執行：
make install 或 bin/mpiinstall
你可以使用-prefix選項指定MPICH安裝目錄。安裝後將生成include、lib、bin、sbin、www和man目錄以及一個小小的示例目錄，
到此你可以通告所有的用戶如何編譯、執行一個MPI程序。

㈧ 如何製作arm-linux-gcc編譯工具

一、下載源文件
源代碼文件及其版本：
binutils-2.19.tar.bz2, gcc-core-4.4.4.tar.bz2 gcc-g++-4.4.4.tar.bz2 Glibc-2.7.tar.bz2 Glibc-ports-2.7.tar.bz2 Gmp-4.2.tar.bz2 mpfr-2.4.0.tar.bz2mpc-1.0.1.tar.gz Linux-2.6.25.tar.bz2 （由於我在編譯出錯的過程中，根據出錯的信息修改了相關的C代碼，故而沒有下載相應的補丁）
一般一個完整的交叉編譯器涉及到多個軟體，主要包括bilinguals、cc、glibc等。其中，binutils主要生成一些輔助工具；gcc是用來生成交叉編譯器，主要生成arm-linux-gcc交叉編譯工具，而glibc主要提供用戶程序所需要的一些基本函數庫。

二、建立工作目錄
編譯所用主機型號 fc14.i686，虛擬機選的是VM7.0，Linux發行版選的是Fedora9,
第一次編譯時用的是root用戶（第二次用一般用戶yyz）, 所有的工作目錄都在/home/yyz/cross下面建立完成，首先在/home/yyz目錄下建立cross目錄，然後進入工作目錄，查看當前目錄。命令如下：

創建工具鏈文件夾：
[root@localhost cross]# mkdir embedded-toolchains
下面在此文件夾下建立如下幾個目錄：
setup-dir：存放下載的壓縮包；
src-dir：存放binutils、gcc、glibc解壓之後的源文件；
Kernel：存放內核文件，對內核的配置和編譯工作也在此完成；
build-dir ：編譯src-dir下面的源文件，這是GNU推薦的源文件目錄與編譯目錄分離的做法；
tool-chain：交叉編譯工具鏈的安裝位；
program：存放編寫程序；
doc:說明文檔和腳本文件；
下面建立目錄，並拷貝源文件。
[root@localhost cross] #cd embedded- toolchains
[root@localhost embedded- toolchains] #mkdir setup-dir src-dir kernel build-dir tool-chain program doc
[root@localhost embedded- toolchains] #ls
build-dir doc kernel program setup-dir src-dir tool-chain
[root@localhost embedded- toolchains] #cd setup-dir
拷貝源文件：
這里我們採用直接拷貝源文件的方法，首先應該修改setup-dir的許可權
[root@localhost embedded- toolchains] #chmod 777 setup-dir
然後直接拷貝/home/yyz目錄下的源文件到setup-dir目錄中，如下圖：

建立編譯目錄：
[root@localhost setup-dir] #cd ../build-dir
[root@localhost build -dir] #mkdir build-binutils build-gcc build-glibc
三、輸出環境變數
輸出如下的環境變數方便我們編譯。
為簡化操作過程。下面就建立shell命令腳本environment-variables：
[root@localhost build -dir] #cd ../doc
[root@localhost doc] #mkdir scripts
[root@localhost doc] #cd scripts
用編輯器vi編輯環境變數腳本envionment-variables：[root@localhost scripts]
#vi envionment-variables
export PRJROOT=/home/yyz/cross/embedded-toolchains
export TARGET=arm-linux
export PREFIX=$PRJROOT/tool-chain
export TARGET_PREFIX=$PREFIX/$TARGET
export PATH=$PREFIX/bin:$PATH
截圖如下：
執行如下語句使環境變數生效：
[root@localhost scripts]# source ./environment-variables
四、建立二進制工具（binutils）
下面將分步介紹安裝binutils-2.19.1的過程。
[root@localhost script] # cd $PRJROOT/src-dir
[root@localhost src-dir] # tar jxvf ../setup-dir/binutils-2.19.1.tar.bz2
[root@localhost src-dir] # cd $PRJROOT/build-dir/build-binutils
創建Makefile：
[root@localhost build-binutils] #../../src-dir/binutils-2.19.1/configure --target=$TARGET --prefix=$PREFIX
在build-binutils目錄下面生成Makefile文件，然後執行make，make install,此過程比較緩慢，大約需要一個15分鍾左右。完成後可以在$PREFIX/bin下面看到我們的新的binutil。
輸入如下命令
[root@localhost build-binutils]#ls $PREFIX/bin

㈨ linux下apache+tomcat集群詳細配置

環境：
操作系統均為：CentOS 5.1
Apache2.X伺服器一台：IP地址192.168.232.4；安裝路徑/usr/local/apache；
Tomcat6伺服器一台：IP地址192.168.232.5；安裝路徑/usr/local/tomcat；
Tomcat6伺服器一台：IP地址192.168.232.6；安裝路徑/usr/local/tomcat；

配置：
Apache安裝：
#./configure --prefix=/usr/local/apache --enable-moles=so --enable-mods-shared=all --enable-proxy --enable-proxy-connect --enable-proxy-ftp --enable-proxy-http --enable-proxy-ajp --enable-proxy-balancer --enable-rewrite
注釋：激活tomcat集群需要的 enable-proxy，enable-proxy-http，enable-proxy-connect，enable-proxy-ajp和enable-proxy-balancer，其中proxy-ajp和proxy-balancer必須依賴proxy，如果是自定義的編譯除了以上幾個必須的模塊外，mod_status也要編譯進去，切記。enable-proxy-ftp可以不編譯。
#make;make install

製作Apache啟動項：
#cp support/apachectl /etc/rc.d/init.d/httpd
#vi /etc/rc.d/init.d/httpd
添加以下內容：（包括＃號）
# Startup script for the Apache Web Server
# chkconfig: 2345 85 15
# description: Apache is a World Wide Web server .It is used to server
# HTML files and CGI.
# processname: httpd
# pidfile: /usr/local/apache/log/httpd.pid
# config: /usr/local/apache/conf/httpd.conf
增加服務項
#chkconfig --add httpd
#chmod 755 /etc/rc.d/init.d/httpd
#chkconfig --level 345 httpd on

JDK安裝：
#chmod a+x jdk-6u4-linux-i586-rpm.bin
#./jdk-6u4-linux-i586-rpm.bin

JAVA環境變數設置：
#vi /etc/profile
在文件最後添加以下內容：
JAVA_HOME=/usr/java/jdk1.6.0_04
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
PATH=$JAVA_HOME/bin:$PATH
CATALINA_HOME=/usr/local/tomcat
export JAVA_HOME CLASSPATH PATH CATALINA_HOME
執行如下命令使環境變數生效：
source /etc/profile
測試配置是否成功：
java –version

Tomcat安裝：
#wget [url]http://apache.mirror.phpchina.com/tomcat/tomcat-6/v6.0.16/bin/apache-tomcat-6.0.16.tar.gz[/url]
#tar zxvf apache-tomcat-6.0.16.tar.gz
#mv apache-tomcat-6.0.16 /usr/local/tomcat

Tomcat隨機啟動：
#vi /etc/rc.local
添加以下內容：
/usr/local/tomcat/bin/startup.sh

tomcat6配置文件server.xml：
把
<!-- You should set jvmRoute to support load-balancing via AJP ie :
<Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm1">
-->
<Engine name="Catalina" defaultHost="localhost">
改成

<!-- You should set jvmRoute to support load-balancing via AJP ie :
-->
<Engine name="Standalone" defaultHost="localhost" jvmRoute="tomcatX">
<!--
<Engine name="Catalina" defaultHost="localhost">
-->
說明：
第一台tomcat就把jvmRoute="tomcat1"
第二台tomcat就把jvmRoute="tomcat2"

把
<!--
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>
-->
去掉注釋變為
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>
***群集詳細配置***
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
channelSendOptions="8">

<Manager className="org.apache.catalina.ha.session.DeltaManager"
expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"/>

<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<Membership className="org.apache.catalina.tribes.membership.McastService"
address="228.0.0.4"
port="45564"
frequency="500"
dropTime="3000"/>
<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="auto"
port="4000"
autoBind="100"
selectorTimeout="5000"
maxThreads="6"/>

<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
</Sender>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
</Channel>

<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
filter=""/>
<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
tempDir="/tmp/war-temp/"
deployDir="/tmp/war-deploy/"
watchDir="/tmp/war-listen/"
watchEnabled="false"/>

<ClusterListener className="org.apache.catalina.ha.session."/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>

配置應用的web.xml：
在每個webapps應用中,修改配置文件web.xml文件 添加元素<distributable/>
在web.xml文件中<web-app>元素下增加以下內容：
<!--此應用將與群集伺服器復制Session-->
<distributable/>
具體修改如下:
修改前:
<?xml version="1.0" encoding="ISO-8859-1"?>
<web-app xmlns="[url]http://java.sun.com/xml/ns/javaee[/url]"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://java.sun.com/xml/ns/javaee [url]http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd[/url]"
version="2.5">
</web-app>
修改後:
<?xml version="1.0" encoding="ISO-8859-1"?>
<web-app xmlns="[url]http://java.sun.com/xml/ns/javaee[/url]"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://java.sun.com/xml/ns/javaee [url]http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd[/url]"
version="2.5">
<!--此應用將與群集伺服器復制Session-->
<distributable/>
</web-app>
配置apache的ajp負載均衡功能：
確保將以下Mole的注釋去掉
LoadMole proxy_mole moles/mod_proxy.so
LoadMole proxy_connect_mole moles/mod_proxy_connect.so
LoadMole proxy_ftp_mole moles/mod_proxy_ftp.so
LoadMole proxy_http_mole moles/mod_proxy_http.so
LoadMole proxy_ajp_mole moles/mod_proxy_ajp.so
LoadMole proxy_balancer_mole moles/mod_proxy_balancer.so
LoadMole status_mole moles/mod_status.so
增加以下內容：
# Proxypass Config
Include conf/extra/httpd-modproxy.conf
建立文件httpd-modproxy.conf輸入內容：
<Location /server-status>
SetHandler server-status
Order Deny,Allow
Deny from all
Allow from all
</Location>
<Location /balancer-manager>
SetHandler balancer-manager
Order Deny,Allow
Deny from all
Allow from all
</Location>
ProxyRequests Off
ProxyPass / balancer://tomcatcluster stickysession=jsessionid nofailover=On

<Proxy balancer://tomcatcluster>
BalancerMember [url]http://192.168.232.5:8080[/url] loadfactor=1
BalancerMember [url]http://192.168.232.6:8080[/url] loadfactor=2
</Proxy>
注釋：
ProxyRequests Off 表示啟用反向代理，必須開啟；
ProxyPass為代理轉發的Url,即將所有訪問/的請求轉發到群集balancer://tomcatcluster，這里為/即將所有訪問/的請求轉發到群集balancer://tomcatcluster的/test目錄；
BalancerMember為群集的成員,即群集伺服器1或2,負載均衡伺服器會根據均衡規則來將請求轉發給BalancerMember；

調試負載均衡集群系統：
訪問apache伺服器的web服務：[url]http://192.168.232.4/balancer-manager[/url]
如果顯示負載均衡有關信息則說明成功了，接著可以訪問[url]http://192.168.232.4/[/url]即訪問到了tomcat的應用
***必須先啟動Tomcat服務再啟動Apache服務！***

參考文檔：
[url]http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html[/url]
[url]http://tomcat.apache.org/tomcat-6.0-doc/balancer-howto.html[/url]
[url]http://man.chinaunix.net/newsoft/ApacheMenual_CN_2.2new/mod/mod_proxy.html[/url]
[url]http://man.chinaunix.net/newsoft/ApacheMenual_CN_2.2new/mod/mod_proxy_balancer.html[/url]

㈩ 如何在多個機器上搭建celery的集群環境

1、torm集群中包含兩類節點：主控節點（Master Node）和工作節點（Work Node）。其分別對應的角色如下：
主控節點（Master Node）上神局運行一個被稱為Nimbus的後台程序，它負責在Storm集群內分發代碼，分配任務給工作機器，並且負責監控集群運行狀態。Nimbus的作用類似於Hadoop中JobTracker的角色。
每個工作節點（Work Node）上運行一個被稱為Supervisor的後台程序。Supervisor負責監聽從Nimbus分配給它執行的任務，據此啟動或停止執行任務的工作進程。每一個工作進程執行一個Topology的子集；一個運行中的Topology由分布在不同工作節點上的多個工作進程組成。
Nimbus和Supervisor節點之間所有的協調工作是通過Zookeeper集群來實現的。此外，Nimbus和Supervisor進程都是快速失敗（fail-fast)和無狀態（stateless）的；Storm集群所有的狀態要麼在Zookeeper集群中，要麼存儲在本地磁碟上。這意味著你可以用kill -9來殺死Nimbus和Supervisor進程，它們在重啟後可以繼續工作。這個設計使得Storm集群擁有不可思議的穩定性。
如何安裝部署Storm集群
這一章節將詳細描述如何搭建一個Storm集群。下面是接下來需要依次完成的安裝步驟：•搭建Zookeeper集群；•安裝Storm依賴庫；•下載並解壓Storm發布版本；•修改storm.yaml配置文件；•啟動Storm各個後台進程。
2.1 搭建Zookeeper集群
Storm使用Zookeeper協調集群，由於Zookeeper並不用於消息傳遞，所以Storm給Zookeeper帶來的壓力相當低。大多數情況下，單個櫻旁節點的Zookeeper集群足夠勝任，不過脊瞎橡為了確保故障恢復或者部署大規模Storm集群，可能需要更大規模節點的Zookeeper集群（對於Zookeeper集群的話，官方推薦的最小節點數為3個）。在Zookeeper集群的每台機器上完成以下安裝部署步驟：
1）下載安裝Java JDK，官方下載鏈接為javasuncom/javase/downloads/indexjsp，JDK版本為JDK 6或以上。
2）根據Zookeeper集群的負載情況，合理設置Java堆大小，盡可能避免發生swap，導致Zookeeper性能下降。保守期間，4GB內存的機器可以為Zookeeper分配3GB最大堆空間。
3）下載後解壓安裝Zookeeper包，官方下載鏈接為hadoopapacheorg/zookeeper/releaseshtml。
4）根據Zookeeper集群節點情況，創建如下格式的Zookeeper配置文件zoo.cfg：tickTime=2000dataDir=/var/zookeeper/clientPort=2181initLimit=5syncLimit=2server.1=zoo1:2888:3888server.2=zoo2:2888:3888server.3=zoo3:2888:3888
其中，dataDir指定Zookeeper的數據文件目錄；其中server.id=host:port:port，id是為每個Zookeeper節點的編號，保存在dataDir目錄下的myid文件中，zoo1~zoo3表示各個Zookeeper節點的hostname，第一個port是用於連接leader的埠，第二個port是用於leader選舉的埠。
5）在dataDir目錄下創建myid文件，文件中只包含一行，且內容為該節點對應的server.id中的id編號。
6）啟動Zookeeper服務：
java -cp zookeeper.jar:lib/log4j-1.2.15.jar:conf \ org.apache.zookeeper.server.quorum.QuorumPeerMain zoo.cfg
也可以通過bin/zkServer.sh腳本啟動Zookeeper服務。
7）通過Zookeeper客戶端測試服務是否可用：•Java客戶端下，執行如下命令：
java -cp zookeeper.jar:src/java/lib/log4j-1.2.15.jar:conf:src/java/lib/jline-0.9.94.jar \ org.apache.zookeeper.ZooKeeperMain -server 127.0.0.1:2181
也可以通過bin/zkCli.sh腳本啟動Zookeeper Java客戶端。•C客戶端下，進入src/c目錄下，編譯單線程或多線程客戶端：
./configuremake cli_stmake cli_mt
運行進入C客戶端：
cli_st 127.0.0.1:2181cli_mt 127.0.0.1:2181
至此，完成了Zookeeper集群的部署與啟動。
3、向集群提交任務
1）啟動Storm Topology：
storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3
其中，allmycode.jar是包含Topology實現代碼的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3為org.me.MyTopology執行時需要傳入的參數。
2）停止Storm Topology：
storm kill {toponame}
其中，{toponame}為Topology提交到Storm集群時指定的Topology任務名稱。