centos編譯hadoop
⑴ centos 7一台伺服器怎麼安裝hadoop偽分布
安裝步驟
1、首先下載安裝包tar zxvf hadoop-2.7.1.tar.gz
2.在虛擬機中解壓安裝包
3.安裝目錄下創建數據存放的文件夾，tmp、hdfs、hdfs/data、hdfs/name
4、修改/home/yy/hadoop-2.7.1/etc/hadoop下的配置文件
修改core-site.xml，加上
fs.defaultFS
hdfs://s204:9000
hadoop.tmp.dir
file:/home/yy/hadoop-2.7.1/tmp
io.file.buffer.size
131702
5.修改hdfs-site.xml，加上
dfs.namenode.name.dir
file:/home/yy/hadoop-2.7.1/dfs/name
dfs.datanode.data.dir
file:/home/yy/hadoop-2.7.1/dfs/data
dfs.replication
2
dfs.namenode.secondary.http-address
s204:9001
dfs.webhdfs.enabled
true
6.修改mapred-site.xml，加上
maprece.framework.name
yarn
maprece.jobhistory.address
s204:10020
maprece.jobhistory.webapp.address
s204:19888
7.修改yarn-site.xml，加上
yarn.nodemanager.aux-services
maprece_shuffle
yarn.nodemanager.auxservices.maprece.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
s204:8032
yarn.resourcemanager.scheler.address
s204:8030
yarn.resourcemanager.resource-tracker.address
s204:8031
yarn.resourcemanager.admin.address
s204:8033
yarn.resourcemanager.webapp.address
s204:8088
yarn.nodemanager.resource.memory-mb
768
8、配置/home/yy/hadoop-2.7.1/etc/hadoop目錄下hadoop-env.sh、yarn-env.sh的java_HOME，否則啟動時會報error
export JAVA_HOME=/home/yy/jdk1.8
9.配置/home/yy/hadoop-2.7.1/etc/hadoop目錄下slaves
加上你的從伺服器，我這里只有一個s205
配置成功後，將hadhoop復制到各個從伺服器上
scp -r /home/yy/hadoop-2.7.1 root@s205:/home/yy/
10.主伺服器上執行bin/hdfs namenode -format
進行初始化
sbin目錄下執行 ./start-all.sh
可以使用jps查看信息
停止的話，輸入命令，sbin/stop-all.sh
11.這時可以瀏覽器打開s204:8088查看集群信息啦
到此配置完成
hadoop
⑵ centos6.5 能不能用來搭建Hadoop集群
可以，我們現網項目70%的系統都是CentOS6.5 64bit。當然搭建集群和操作系統版本關系不大。如果其他後續問題可以私聊我。
⑶ 如何在Centos6.5下部署hadoop2.2單機偽分布式
hadoop2.x的穩定版本，已經發布多時了，散仙一直都用的hadoop1.x的版本，最近有項目用到hadoop2.x，
所以就開始折騰hadoop2.x了，在hadoop2.x的版本里，目前最新版本已經到hadoop2.4了，但散仙在這里用的是
hadoop2.2.0的版本，為什麼用它？ 因為這是一個穩定的版本，所以相對來說，問題比較少。
散仙在上篇博客，已經講了如何在編譯hadoop2.2.0的64位的版本，如果有不清楚怎麼編譯，可以參考散仙上篇博文，在這里就不涉及了。
下面，散仙以表格的形式描述下偽分布式安裝
系統環境如下：
序號
名稱
描述
1
系統環境
Centos6.5
2
JAVA環境
JDK1.7
3
Haoop版本
hadoop2.2.0
安裝步驟如下：
序號
步驟
1
解壓hadoop，並配置環境變數
2
使用which hadoop命令，測試是否成功
3
配置core-site.xml
4
配置hdfs-site.xml
5
配置yarn-site.xml（非必須，使用默認也可）
6
配置mapred-site.xml
7
配置mapred-env.sh裡面的JAVA路徑
8
如上的配置完成後，需要新建幾個文件夾，來提供HDFS的格式化底層一個是hadoop的tmp文件夾，另外的是namenode和datanode的文件夾，來分別存儲各自的信息
9
上面一切完成後，即可執行hadoop namenode -format 進行格式化
10
然後啟動偽分布式集群，執行命令sbin/start-all.sh 最後使用JPS查看JAVA進程
11
配置本機的hosts文件，映射主機名信息
下面來詳細說下，各個步驟的具體操作：
在這之前，最好配置好本機的SSH無密碼登陸操作，避免hadoop進程之間通信時，需要驗證。
下面是各個xml文件的配置
<!-- core-site.xml配置 -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.46.28:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
</configuration>
<!-- hdfs-site.xml配置 -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hadoop/nddir</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hadoop/dddir</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
<!-- yarn-site.xml 不用配置，使用默認屬性即可 -->
<configuration>
</configuration>
<!-- mapred-site.xml的配置 -->
<configuration>
<property>
<name>maprece.cluster.temp.dir</name>
<value></value>
<description>No description</description>
<final>true</final>
</property>
<property>
<name>maprece.cluster.local.dir</name>
<value></value>
<description>No description</description>
<final>true</final>
</property>
</configuration>
mapred-env.sh裡面的配置
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding right ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
export JAVA_HOME=/usr/local/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA
#export HADOOP_JOB_HISTORYSERVER_OPTS=
#export HADOOP_MAPRED_LOG_DIR="" # Where log files are stored. $HADOOP_MAPRED_HOME/logs by default.
#export HADOOP_JHS_LOGGER=INFO,RFA # Hadoop JobSummary logger.
#export HADOOP_MAPRED_PID_DIR= # The pid files are stored. /tmp by default.
#export HADOOP_MAPRED_IDENT_STRING= #A string representing this instance of hadoop. $USER by default
#export HADOOP_MAPRED_NICENESS= #The scheling priority for daemons. Defaults to 0.
然後，建對應的幾個文件夾即可，路徑都在hadoop2.2的根目錄下即可,
然後執行格式化命令bin/hadoop namenode -format即可；
最後使用jps命令，查看進程，如果有以下幾個進程名稱，就代表部署偽分布式成功
4887 NodeManager
4796 ResourceManager
4661 SecondaryNameNode
4524 DataNode
4418 NameNode
6122 Jps
然後，訪問界面埠，注意與之前的配置文件里一致，namenode的埠號仍為50070,原來1.x的50030埠，已經沒有了，可以訪問8088的yarn的埠，來查看，具體的截圖如下：
OK，此時，我們已經成功的完成偽分布式的部署，下一步我們要做的，就是跑一個經典的MR程序Hellow World，來測試我們的集群了。
⑷ 我在CentOS系統中配置hadoopp，在eclipse中運行hadoopp的wordcount.java源代碼
新建一個hadoop工程，如圖
建一個運行wordcount的類，先不管他什麼意思，代碼如下
[java] view plain
/**
* Project: hadoop
*
* File Created at 2012-5-21
* $Id$
*/
package seee.you.app;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.maprece.Job;
import org.apache.hadoop.maprece.Mapper;
import org.apache.hadoop.maprece.Recer;
import org.apache.hadoop.maprece.lib.input.FileInputFormat;
import org.apache.hadoop.maprece.lib.output.FileOutputFormat;
public class WordCount {
public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumRecer extends Recer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public void rece(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
if (args.length != 2) {
System.err.println("Usage: wordcount ");
System.exit(2);
}
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setRecerClass(IntSumRecer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
這時候右鍵run on hadoop
這時候不幸的是，報錯了，錯誤信息如下：
[java] view plain
12/05/23 19:38:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/05/23 19:38:51 ERROR security.UserGroupInformation: PriviledgedActionException as:yongkang.qiyk cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-yongkang\mapred\staging\yongkang.qiyk-1840800210\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-yongkang\mapred\staging\yongkang.qiyk-1840800210\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
at org.apache.hadoop.maprece.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:856)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)
at org.apache.hadoop.maprece.Job.submit(Job.java:500)
at org.apache.hadoop.maprece.Job.waitForCompletion(Job.java:530)
at seee.you.app.WordCount.main(WordCount.java:80)
錯誤信息很明顯了，at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682) 這一行的方法報錯了
網上查到這是由於0.20.203.0以後的版本的許可權認證引起的，只有去掉才行
修改hadoop源代碼，去除許可權認證，修改FileUtil.java的checkReturnValue方法，如下：
[java] view plain
private static void checkReturnValue(boolean rv, File p,
FsPermission permission
) throws IOException {
// if (!rv) {
// throw new IOException("Failed to set permissions of path: " + p +
// " to " +
// String.format("%04o", permission.toShort()));
// }
}
去掉這一行後，需要重新編譯打包下，打包成功之後，可以將hadoop-core-1.0.2.jar拷貝到hadoop根目錄下，eclipse中重新導入下即可（我用的這個1.0.2是從網上下載的修改好的，比較省事）
這時重新運行下實例，運行實例需要配置下arguments參數，我的配置如下：
run一下，結果如下，說明已經成功了
[java] view plain
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
****hdfs://10.16.110.7:9000/user/yongkang/test-in
INFO input.FileInputFormat: Total input paths to process : 0
INFO mapred.JobClient: Running job: job_local_0001
INFO mapred.Task: Using ResourceCalculatorPlugin : null
INFO mapred.LocalJobRunner:
INFO mapred.Merger: Merging 0 sorted segments
INFO mapred.Merger: Down to the last merge-pass, with 0 segments left of total size: 0 bytes
INFO mapred.LocalJobRunner:
INFO mapred.Task: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
INFO mapred.LocalJobRunner:
INFO mapred.Task: Task attempt_local_0001_r_000000_0 is allowed to commit now
INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to /user/yongkang/test-out6
INFO mapred.JobClient: map 0% rece 0%
INFO mapred.LocalJobRunner: rece > rece
INFO mapred.Task: Task 'attempt_local_0001_r_000000_0' done.
INFO mapred.JobClient: map 0% rece 100%
INFO mapred.JobClient: Job complete: job_local_0001
INFO mapred.JobClient: Counters: 10
INFO mapred.JobClient: File Output Format Counters
INFO mapred.JobClient: Bytes Written=0
INFO mapred.JobClient: FileSystemCounters
INFO mapred.JobClient: FILE_BYTES_READ=8604
INFO mapred.JobClient: FILE_BYTES_WRITTEN=51882
INFO mapred.JobClient: Map-Rece Framework
INFO mapred.JobClient: Rece input groups=0
INFO mapred.JobClient: Combine output records=0
INFO mapred.JobClient: Rece shuffle bytes=0
INFO mapred.JobClient: Rece output records=0
INFO mapred.JobClient: Spilled Records=0
INFO mapred.JobClient: Total committed heap usage (bytes)=5177344
INFO mapred.JobClient: Rece input records=0
⑸ 怎麼測試centos安裝了hadoop
1、下載hadoop包
wget
2、tar xvzf hadoop-0.20.2.tar.gz
3、安裝JDK，從oracle網站上直接下載JDK，地址：
4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,當前目錄下出現了jdk1.6.0_21目錄
5、配置java環境變數 vi /etc/profile
復制代碼代碼如下:
export JAVA_HOME=/root/src/hadoop/jdk1.6.0_21
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
在終端下執行 source /etc/profile 使配置生效
6、可以用以下命令查看
顯示JAVA版本 java -vesion
復制代碼代碼如下:
echo $JAVA_HOME
which java
echo $PATH
echo $CLASSPATH
如果java -version沒有顯示你的JDK的版本，請檢查你的path的設置。
7、配置hadoop環境變數 vi /etc/profile
復制代碼代碼如下:
export HADOOP_INSTALL=/root/src/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_INSTALL/bin
source /etc/profile 使配置生效
8、測試環境
hadoop version 顯示
Hadoop 0.20.2
Subversion -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010
9、配置
hadoop每一個組件都使用一個XML文件配置，核心屬性在core-site.xml中，HDFS屬性在hdfs-site.xml中，MapRece屬性在mapred-site.xml中。這些文件都在conf子目錄下。
hadoop有本地模式、偽分布模式和完全分布模式三種，默認配置為本地模式，沒有守護進程，一切都運行在單個JVM上。
⑹ centOS裝Hadoop軟體，總是出現如下問題，這是為什麼，怎麼解決
本想Ubuntupython版本更換3.1結御載Python2.6.5系統應用軟體都見重新安裝Python2.6.5恢復辦
系統CentOS,安裝python2.7.8Object/unicodeobject.c候錯求解決辦
執行步驟：
wget再python2.7.8tar.gz包tar zxvf 解壓cd進入目錄./configure編譯執行make候Object/unicodeobject.o 停止報錯：
gcc: Internal error: Killed (program cc1)
Please submit a full bug report.
See <> for instructions.
make: *** [Objects/unicodeobject.o] Error 1
我剛始安裝包錯我安裝2.7.6候報同錯我弄午求解決求幫忙
------------------------------
其實安裝python2.7.* 我運行Django web伺服器 Django貌似要求python2.7.*版本我執行python manage.py runserver
候給我報錯
Traceback (most recent call last):
File "manage.py", line 8, in <mole>
from django.core.management import execute_from_command_line
File "/usr/lib/python2.6/site-packages/Django-1.7-py2.6.egg/django/core/management/__init__.py", line 68
commands = {name: 'django.core' for name in find_commands(__path__[0])}
^
SyntaxError: invalid syntax
伺服器django1.7.0,本發用django1.6.5我同升級1.7能運行。
⑺ hadoop集群環境搭建使用ubtunu還是centos比較好
centos，建議使用centos，你會發現非常多的商業公司部署在生產環境上的伺服器都是使用的CentOS系統，CentOS是從RHEL源代碼編譯的社區重新發布版。CentOS簡約，命令行下的人性化做得比較好，穩定，有著強大的英文文檔與開發社區的支持。與Redhat有著相同的淵源。雖然不單獨提供商業支持，但往往可以從Redhat中找到一絲線索。相對debian來說，CentOS略顯體積大一點。是一個非常成熟的Linux發行版。
⑻ 如何在CentOS6.5下編譯64位的Hadoop2.x
一、預先安裝必要軟體
1、需要的軟體：java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake
檢測系統中是否已安裝了某一軟體命令：rpm -qa|grep 軟體名，如檢測系統中是否安裝了svn：
$ rpm -qa|grep svn
2、如果已安裝，則跳過，如果沒有安裝，用命令：yum install svn進行安裝，如：
$ yum install svn
如果yum命令安裝失敗（找不到相應的包），則需手動下載相應的軟體包進行安裝，比如maven, protobuf這兩個個軟體；
二、安裝maven
1、軟體包：apache-maven-3.0.5-bin.tar.gz
不要使用最新的Maven3.1.1，與Maven3.0.x存在兼容性問題，所以老是出現java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter之類的錯誤。選擇3.0.5版本：apache-maven-3.0.5-bin.tar.gz
將apache-maven-3.0.5-bin.tar.gz移動到/usr目錄（軟體包所在目錄）：
# mv ./apache-maven-3.0.5-bin.tar.gz /usr
進入/usr目錄，解壓（/usr目錄）：
# tar –zxvf apache-maven-3.0.5-bin.tar.gz ./
刪除解壓後的壓縮包（/usr目錄）：
# rm –rf apache-maven-3.0.5-bin.tar.gz
將/usr / apache-maven-3.0.5/bin加到環境變數中
# vi /etc/profile
在PATH行的最後加上「:/usr/apache-maven-3.0.5/bin」
2、使配置生效：
# source /etc/profile
驗證是否安裝成功：
# mvn –version
三、安裝protobuf
1、軟體包：protobuf-2.5.0.tar.gz
將protobuf-2.5.0.tar.gz移動到/usr目錄（軟體包所在目錄）：
# mv ./ protobuf-2.5.0.tar.gz /usr
進入/usr目錄，解壓（/usr目錄）：
# tar –zxvf protobuf-2.5.0.tar.gz ./
刪除解壓後的壓縮包（/usr目錄）：
# rm –rf protobuf-2.5.0.tar.gz
進入/usr/protobuf-2.5.0目錄：
# cd /usr/protobuf-2.5.0
2、依次執行下列命令：
# ./configure
# make
# make check
# make install
檢測是否安裝成功：
# protoc --version
四、下載hadoop-2.2.0源碼並編譯
在/usr目錄進行
用svn下載hadoop-2.2.0源碼，命令：
$ svn checkout 'http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0'
源碼下載完成後，在/usr目錄下會有一個release-2.2.0目錄，進入該目錄：
$ cd /usr/release-2.2.0
$ ls –la
編譯源碼：
$ mvn package -Pdist,native -DskipTests –Dtar --不生成文檔
$ mvn package -Pdist,native,docs,src -DskipTests –Dtar --生成文檔，需要安裝findbugs，並設置FINDBUGS_HOME環境變數
編譯的時間比較久，編譯過程中會聯網下載所需要的包，機子沒聯網是不會成功編譯的。
編譯結束，最後列印的信息如下，每一項均是『SUCCESS』，則編譯成功：
編譯好的代碼包在/usr/release-2.2.0/hadoop-dist/target目錄下：
$ cd /usr/release-2.2.0/hadoop-dist/target
$ ls –la
因為是在64位系統下編譯的，所以編譯出來的代碼包是64位版本的；可以直接將/usr/release-2.2.0/hadoop-dist/target目錄下的hadoop-2.2.0或者hadoop-2.2.0.tar.gz拷貝到其他linux64位平台進行搭建hadoop集群。
說明：
1、 機器得連網，如果沒聯網找可以聯網的機器下載，但是編譯時還是要下載一些東西，所以，實在不行。最好找相同平台（可以是虛擬機）能上網的機器做下面工作，弄好了再把編譯好的代碼包拷回來。
2、 命令操作中，『#』開頭的是在root用戶進行，『$』開頭的是在普通用戶下進行
⑼ hadoop在centos下怎麼安裝
先說一下要准備哪些軟體和信息： VMware-workstation； CentOS-6.0-i386-bin-DVD； eclipse-jee-luna-SR1-win32； hadoop-0.20.2； jdk-6u27-linux-i586； （由於hadoop對版本的要求較高，大家還是不要輕易更換版本，這里列出來的各種軟體都是穩定發布版，網上很容易可以download到的）。 整個教程分為這樣5個部分來說：1）在Windows下安裝虛擬機Vmware，並新建一個虛擬機裝好centos系統；2）centos下設置ssh服務無密碼登錄；3）centos下安裝jdk，並配置環境變數；4）centos下安裝hadoop，並配置文件；5）windows下安裝jdk和eclipse，並將eclipse與centos下的hadoop連接。可以說這5個部分每一個都很重要，尤其是第4）步。下面我們就詳細說一下每一步該怎麼做。 Step 0: 請大家先在windows下新建一個普通用戶，用戶名為hadoop，我們所有的軟體全在這個下面安裝，用戶名最好要是hadoop，因為這個要和後面很多username相同，設為hadoop比較好記。 1）在Windows下安裝虛擬機Vmware，並新建一個虛擬機裝好centos系統； 首先，下載VMware-workstation並安裝，這步驟和一般windows下安裝軟體的過程是一樣的，入門小白也會熟練操作，這里就節省點兒空間給後面重要的步驟了~ 然後，在Vmware的主頁上新建一個虛擬機 一路下一步，直到讓你選擇系統鏡像路徑，我們選擇centos系統映像，如上圖，點擊下一步。然後，需要你輸入linux的用戶名，這個比較重要，最好填寫hadoop，因為這個名字在後面要用到好多次！ 後面還是一路的「下一步」，直到讓你設置虛擬機的內存大小，建議為1024M。如上圖。後面就是要選擇和虛擬機的網路類型有關的設置了，建議為「使用網路地址轉換NAT」，如下圖。這一步我當時選擇了自動橋接的功能，找了一個晚上的錯誤。。。時間就這樣白花花的沒了~~ 之後還是一路的「下一步」，幾乎都是使用它推薦的設置，我們就可以新建一個centos，等待個幾分鍾然後就可以進入centos界面了。看到那一抹科技藍，有沒有讓你心動了呢~~哈哈哈，你確實走好了第一步！ 2）centos下設置ssh服務無密碼登錄； 在桌面右擊，選擇openin Terminal，這個就是linux的終端了。希望讀者有一些linux操作系統的基礎，這樣子上手更快一些。不過要是沒有的話，也沒有關系，我們是面向新手的教程。 2.1. 先在linux命令行中輸入su，提示密碼，輸入你自己設置的密碼，這樣子你後面的操作都具有了linux系統下的最高許可權——root許可權。 2.2. 在設置ssh無密碼登錄之前，有一個特別重要的要先出好：關閉SELinux。這是因為centos會自動阻止你修改sshservice，我們只有關閉SELinux，重啟才能生效。如何做，如下： 修改/etc/selinux/config文件 將SELINUX=enforcing改為SELINUX=disabled 重啟機器即可 （note：在linux下修改文件，vi命令後會進入到文件窗口，按i進入insert，修改完畢之後再按esc推出insert，輸入；:wq!保存並退出~這里要感謝泡哥，改了半天都不行，還是泡哥指點迷津了~~） 2.3. 在linux命令行里輸入：ssh-keygen -t rsa，然後一路回車。 root@hadoopName-desktop:~$ssh-keygen -t rsa Generating public/private rsakey pair. Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密鑰保存位置，直接回車保持默認； Createddirectory '/home/zhangtao/.ssh'. Enter passphrase(empty for no passphrase): //設置密鑰的密碼，空密碼直接回車即可； Enter samepassphrase again: //確認上一步設置的密碼。 然後進入 /root/.ssh/下面，會看到兩個文件 id_rsa.pub，id_rsa， 然後執行cp id_rsa.pub authorized_keys 然後 ssh localhost 驗證是否成功，第一次要你輸入yes，以後就不需要了。 如下圖，由於我又驗證了一次，所以還需要輸入y，如果你是第一次驗證是不要的。 至此，ssh服務無密碼登錄設置完畢！ 3）centos下安裝jdk，並配置環境變數； 這一步中可以分為兩步：安裝jdk、配置jdk環境變數。 3.1. 第一步：root 用戶登陸，使用命令mkdir /usr/program新建目錄/usr/program ,下載 JDK 安裝包jdk-6u13-linux-i586.bin，將其復制到目錄/usr/program下，用cd命令進入該目錄，執行命令「./ jdk-6u13-linux-i586.bin」，命令運行完畢即安裝完成，將在目錄下生成文件夾/jdk1.6.0_13，此即為jdk被成功安裝到目錄：/usr/program/jdk1.6.0_13下。 3.2. root 用戶登陸，命令行中執行命令「vi/etc/profile」,並加入以下內容，配置環境變數(注意/etc/profile這個文件很重要，後面 Hadoop 的配置還會用到)。 # set java environment exportJAVA_HOME=/usr/program/jdk1.6.0_27 exportJRE_HOME=/usr/program/jdk1.6.0_27/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 在vi編輯器增加以上內容後保存退出，並執行以下命令使配置生效！ #chmod +x /etc/profile ；增加執行許可權 #source /etc/profile；使配置生效！ 配置完畢後，在命令行中輸入：java -version，就會出現安裝jdk的信息。 這時，jdk的安裝和配置環境變數就成功了~
⑽ 如何在CentOS下安裝Hadoop並與Eclipse連接
1）在Windows下安裝虛擬機Vmware，並新建一個虛擬機裝好centos系統；
首先，下載VMware-workstation並安裝，這步驟和一般windows下安裝軟體的過程是一樣的，入門小白也會熟練操作，這里就節省點兒空間給後面重要的步驟了~
然後，在Vmware的主頁上新建一個虛擬機，如下圖：
一路下一步，直到讓你選擇系統鏡像路徑，我們選擇centos系統映像，如上圖，點擊下一步。然後，需要你輸入linux的用戶名，這個比較重要，最好填寫hadoop，因為這個名字在後面要用到好多次！
後面還是一路的「下一步」，直到讓你設置虛擬機的內存大小，建議為1024M。如上圖。後面就是要選擇和虛擬機的網路類型有關的設置了，建議為「使用網路地址轉換NAT」，如下圖。這一步我當時選擇了自動橋接的功能，找了一個晚上的錯誤。。。時間就這樣白花花的沒了~~
之後還是一路的「下一步」，幾乎都是使用它推薦的設置，我們就可以新建一個centos，等待個幾分鍾然後就可以進入centos界面了。看到那一抹科技藍，有沒有讓你心動了呢~~哈哈哈，你確實走好了第一步！
2）centos下設置ssh服務無密碼登錄；
在桌面右擊，選擇openin Terminal，這個就是linux的終端了。希望讀者有一些linux操作系統的基礎，這樣子上手更快一些。不過要是沒有的話，也沒有關系，我們是面向新手的教程。
2.1. 先在linux命令行中輸入su，提示密碼，輸入你自己設置的密碼，這樣子你後面的操作都具有了linux系統下的最高許可權——root許可權。
2.2. 在設置ssh無密碼登錄之前，有一個特別重要的要先出好：關閉SELinux。這是因為centos會自動阻止你修改sshservice，我們只有關閉SELinux，重啟才能生效。如何做，如下：
修改/etc/selinux/config文件
將SELINUX=enforcing改為SELINUX=disabled
重啟機器即可
（note：在linux下修改文件，vi命令後會進入到文件窗口，按i進入insert，修改完畢之後再按esc推出insert，輸入；:wq!保存並退出~這里要感謝泡哥，改了半天都不行，還是泡哥指點迷津了~~）
2.3. 在linux命令行里輸入：ssh-keygen -t rsa，然後一路回車。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密鑰保存位置，直接回車保持默認；
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //設置密鑰的密碼，空密碼直接回車即可；
Enter samepassphrase again: //確認上一步設置的密碼。
然後進入 /root/.ssh/下面，會看到兩個文件 id_rsa.pub，id_rsa，
然後執行cp id_rsa.pub authorized_keys
然後 ssh localhost 驗證是否成功，第一次要你輸入yes，以後就不需要了。
如下圖，由於我又驗證了一次，所以還需要輸入y，如果你是第一次驗證是不要的。
至此，ssh服務無密碼登錄設置完畢！
3）centos下安裝jdk，並配置環境變數；
這一步中可以分為兩步：安裝jdk、配置jdk環境變數。