centos编译hadoop
⑴ centos 7一台服务器怎么安装hadoop伪分布
安装步骤
1、首先下载安装包tar zxvf hadoop-2.7.1.tar.gz
2.在虚拟机中解压安装包
3.安装目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name
4、修改/home/yy/hadoop-2.7.1/etc/hadoop下的配置文件
修改core-site.xml，加上
fs.defaultFS
hdfs://s204:9000
hadoop.tmp.dir
file:/home/yy/hadoop-2.7.1/tmp
io.file.buffer.size
131702
5.修改hdfs-site.xml，加上
dfs.namenode.name.dir
file:/home/yy/hadoop-2.7.1/dfs/name
dfs.datanode.data.dir
file:/home/yy/hadoop-2.7.1/dfs/data
dfs.replication
2
dfs.namenode.secondary.http-address
s204:9001
dfs.webhdfs.enabled
true
6.修改mapred-site.xml，加上
maprece.framework.name
yarn
maprece.jobhistory.address
s204:10020
maprece.jobhistory.webapp.address
s204:19888
7.修改yarn-site.xml，加上
yarn.nodemanager.aux-services
maprece_shuffle
yarn.nodemanager.auxservices.maprece.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
s204:8032
yarn.resourcemanager.scheler.address
s204:8030
yarn.resourcemanager.resource-tracker.address
s204:8031
yarn.resourcemanager.admin.address
s204:8033
yarn.resourcemanager.webapp.address
s204:8088
yarn.nodemanager.resource.memory-mb
768
8、配置/home/yy/hadoop-2.7.1/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的java_HOME，否则启动时会报error
export JAVA_HOME=/home/yy/jdk1.8
9.配置/home/yy/hadoop-2.7.1/etc/hadoop目录下slaves
加上你的从服务器，我这里只有一个s205
配置成功后，将hadhoop复制到各个从服务器上
scp -r /home/yy/hadoop-2.7.1 root@s205:/home/yy/
10.主服务器上执行bin/hdfs namenode -format
进行初始化
sbin目录下执行 ./start-all.sh
可以使用jps查看信息
停止的话，输入命令，sbin/stop-all.sh
11.这时可以浏览器打开s204:8088查看集群信息啦
到此配置完成
hadoop
⑵ centos6.5 能不能用来搭建Hadoop集群
可以，我们现网项目70%的系统都是CentOS6.5 64bit。当然搭建集群和操作系统版本关系不大。如果其他后续问题可以私聊我。
⑶ 如何在Centos6.5下部署hadoop2.2单机伪分布式
hadoop2.x的稳定版本，已经发布多时了，散仙一直都用的hadoop1.x的版本，最近有项目用到hadoop2.x，
所以就开始折腾hadoop2.x了，在hadoop2.x的版本里，目前最新版本已经到hadoop2.4了，但散仙在这里用的是
hadoop2.2.0的版本，为什么用它？ 因为这是一个稳定的版本，所以相对来说，问题比较少。
散仙在上篇博客，已经讲了如何在编译hadoop2.2.0的64位的版本，如果有不清楚怎么编译，可以参考散仙上篇博文，在这里就不涉及了。
下面，散仙以表格的形式描述下伪分布式安装
系统环境如下：
序号
名称
描述
1
系统环境
Centos6.5
2
JAVA环境
JDK1.7
3
Haoop版本
hadoop2.2.0
安装步骤如下：
序号
步骤
1
解压hadoop，并配置环境变量
2
使用which hadoop命令，测试是否成功
3
配置core-site.xml
4
配置hdfs-site.xml
5
配置yarn-site.xml（非必须，使用默认也可）
6
配置mapred-site.xml
7
配置mapred-env.sh里面的JAVA路径
8
如上的配置完成后，需要新建几个文件夹，来提供HDFS的格式化底层一个是hadoop的tmp文件夹，另外的是namenode和datanode的文件夹，来分别存储各自的信息
9
上面一切完成后，即可执行hadoop namenode -format 进行格式化
10
然后启动伪分布式集群，执行命令sbin/start-all.sh 最后使用JPS查看JAVA进程
11
配置本机的hosts文件，映射主机名信息
下面来详细说下，各个步骤的具体操作：
在这之前，最好配置好本机的SSH无密码登陆操作，避免hadoop进程之间通信时，需要验证。
下面是各个xml文件的配置
<!-- core-site.xml配置 -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.46.28:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
</configuration>
<!-- hdfs-site.xml配置 -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hadoop/nddir</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hadoop/dddir</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
<!-- yarn-site.xml 不用配置，使用默认属性即可 -->
<configuration>
</configuration>
<!-- mapred-site.xml的配置 -->
<configuration>
<property>
<name>maprece.cluster.temp.dir</name>
<value></value>
<description>No description</description>
<final>true</final>
</property>
<property>
<name>maprece.cluster.local.dir</name>
<value></value>
<description>No description</description>
<final>true</final>
</property>
</configuration>
mapred-env.sh里面的配置
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding right ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
export JAVA_HOME=/usr/local/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA
#export HADOOP_JOB_HISTORYSERVER_OPTS=
#export HADOOP_MAPRED_LOG_DIR="" # Where log files are stored. $HADOOP_MAPRED_HOME/logs by default.
#export HADOOP_JHS_LOGGER=INFO,RFA # Hadoop JobSummary logger.
#export HADOOP_MAPRED_PID_DIR= # The pid files are stored. /tmp by default.
#export HADOOP_MAPRED_IDENT_STRING= #A string representing this instance of hadoop. $USER by default
#export HADOOP_MAPRED_NICENESS= #The scheling priority for daemons. Defaults to 0.
然后，建对应的几个文件夹即可，路径都在hadoop2.2的根目录下即可,
然后执行格式化命令bin/hadoop namenode -format即可；
最后使用jps命令，查看进程，如果有以下几个进程名称，就代表部署伪分布式成功
4887 NodeManager
4796 ResourceManager
4661 SecondaryNameNode
4524 DataNode
4418 NameNode
6122 Jps
然后，访问界面端口，注意与之前的配置文件里一致，namenode的端口号仍为50070,原来1.x的50030端口，已经没有了，可以访问8088的yarn的端口，来查看，具体的截图如下：
OK，此时，我们已经成功的完成伪分布式的部署，下一步我们要做的，就是跑一个经典的MR程序Hellow World，来测试我们的集群了。
⑷ 我在CentOS系统中配置hadoopp，在eclipse中运行hadoopp的wordcount.java源代码
新建一个hadoop工程，如图
建一个运行wordcount的类，先不管他什么意思，代码如下
[java] view plain
/**
* Project: hadoop
*
* File Created at 2012-5-21
* $Id$
*/
package seee.you.app;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.maprece.Job;
import org.apache.hadoop.maprece.Mapper;
import org.apache.hadoop.maprece.Recer;
import org.apache.hadoop.maprece.lib.input.FileInputFormat;
import org.apache.hadoop.maprece.lib.output.FileOutputFormat;
public class WordCount {
public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumRecer extends Recer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public void rece(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
if (args.length != 2) {
System.err.println("Usage: wordcount ");
System.exit(2);
}
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setRecerClass(IntSumRecer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
这时候右键run on hadoop
这时候不幸的是，报错了，错误信息如下：
[java] view plain
12/05/23 19:38:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/05/23 19:38:51 ERROR security.UserGroupInformation: PriviledgedActionException as:yongkang.qiyk cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-yongkang\mapred\staging\yongkang.qiyk-1840800210\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-yongkang\mapred\staging\yongkang.qiyk-1840800210\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
at org.apache.hadoop.maprece.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:856)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)
at org.apache.hadoop.maprece.Job.submit(Job.java:500)
at org.apache.hadoop.maprece.Job.waitForCompletion(Job.java:530)
at seee.you.app.WordCount.main(WordCount.java:80)
错误信息很明显了，at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682) 这一行的方法报错了
网上查到这是由于0.20.203.0以后的版本的权限认证引起的，只有去掉才行
修改hadoop源代码，去除权限认证，修改FileUtil.java的checkReturnValue方法，如下：
[java] view plain
private static void checkReturnValue(boolean rv, File p,
FsPermission permission
) throws IOException {
// if (!rv) {
// throw new IOException("Failed to set permissions of path: " + p +
// " to " +
// String.format("%04o", permission.toShort()));
// }
}
去掉这一行后，需要重新编译打包下，打包成功之后，可以将hadoop-core-1.0.2.jar拷贝到hadoop根目录下，eclipse中重新导入下即可（我用的这个1.0.2是从网上下载的修改好的，比较省事）
这时重新运行下实例，运行实例需要配置下arguments参数，我的配置如下：
run一下，结果如下，说明已经成功了
[java] view plain
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
****hdfs://10.16.110.7:9000/user/yongkang/test-in
INFO input.FileInputFormat: Total input paths to process : 0
INFO mapred.JobClient: Running job: job_local_0001
INFO mapred.Task: Using ResourceCalculatorPlugin : null
INFO mapred.LocalJobRunner:
INFO mapred.Merger: Merging 0 sorted segments
INFO mapred.Merger: Down to the last merge-pass, with 0 segments left of total size: 0 bytes
INFO mapred.LocalJobRunner:
INFO mapred.Task: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
INFO mapred.LocalJobRunner:
INFO mapred.Task: Task attempt_local_0001_r_000000_0 is allowed to commit now
INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to /user/yongkang/test-out6
INFO mapred.JobClient: map 0% rece 0%
INFO mapred.LocalJobRunner: rece > rece
INFO mapred.Task: Task 'attempt_local_0001_r_000000_0' done.
INFO mapred.JobClient: map 0% rece 100%
INFO mapred.JobClient: Job complete: job_local_0001
INFO mapred.JobClient: Counters: 10
INFO mapred.JobClient: File Output Format Counters
INFO mapred.JobClient: Bytes Written=0
INFO mapred.JobClient: FileSystemCounters
INFO mapred.JobClient: FILE_BYTES_READ=8604
INFO mapred.JobClient: FILE_BYTES_WRITTEN=51882
INFO mapred.JobClient: Map-Rece Framework
INFO mapred.JobClient: Rece input groups=0
INFO mapred.JobClient: Combine output records=0
INFO mapred.JobClient: Rece shuffle bytes=0
INFO mapred.JobClient: Rece output records=0
INFO mapred.JobClient: Spilled Records=0
INFO mapred.JobClient: Total committed heap usage (bytes)=5177344
INFO mapred.JobClient: Rece input records=0
⑸ 怎么测试centos安装了hadoop
1、下载hadoop包
wget
2、tar xvzf hadoop-0.20.2.tar.gz
3、安装JDK，从oracle网站上直接下载JDK，地址：
4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,当前目录下出现了jdk1.6.0_21目录
5、配置java环境变量 vi /etc/profile
复制代码代码如下:
export JAVA_HOME=/root/src/hadoop/jdk1.6.0_21
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
在终端下执行 source /etc/profile 使配置生效
6、可以用以下命令查看
显示JAVA版本 java -vesion
复制代码代码如下:
echo $JAVA_HOME
which java
echo $PATH
echo $CLASSPATH
如果java -version没有显示你的JDK的版本，请检查你的path的设置。
7、配置hadoop环境变量 vi /etc/profile
复制代码代码如下:
export HADOOP_INSTALL=/root/src/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_INSTALL/bin
source /etc/profile 使配置生效
8、测试环境
hadoop version 显示
Hadoop 0.20.2
Subversion -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010
9、配置
hadoop每一个组件都使用一个XML文件配置，核心属性在core-site.xml中，HDFS属性在hdfs-site.xml中，MapRece属性在mapred-site.xml中。这些文件都在conf子目录下。
hadoop有本地模式、伪分布模式和完全分布模式三种，默认配置为本地模式，没有守护进程，一切都运行在单个JVM上。
⑹ centOS装Hadoop软件，总是出现如下问题，这是为什么，怎么解决
本想Ubuntupython版本更换3.1结御载Python2.6.5系统应用软件都见重新安装Python2.6.5恢复办
系统CentOS,安装python2.7.8Object/unicodeobject.c候错求解决办
执行步骤：
wget再python2.7.8tar.gz包tar zxvf 解压cd进入目录./configure编译执行make候Object/unicodeobject.o 停止报错：
gcc: Internal error: Killed (program cc1)
Please submit a full bug report.
See <> for instructions.
make: *** [Objects/unicodeobject.o] Error 1
我刚始安装包错我安装2.7.6候报同错我弄午求解决求帮忙
------------------------------
其实安装python2.7.* 我运行Django web服务器 Django貌似要求python2.7.*版本我执行python manage.py runserver
候给我报错
Traceback (most recent call last):
File "manage.py", line 8, in <mole>
from django.core.management import execute_from_command_line
File "/usr/lib/python2.6/site-packages/Django-1.7-py2.6.egg/django/core/management/__init__.py", line 68
commands = {name: 'django.core' for name in find_commands(__path__[0])}
^
SyntaxError: invalid syntax
服务器django1.7.0,本发用django1.6.5我同升级1.7能运行。
⑺ hadoop集群环境搭建使用ubtunu还是centos比较好
centos，建议使用centos，你会发现非常多的商业公司部署在生产环境上的服务器都是使用的CentOS系统，CentOS是从RHEL源代码编译的社区重新发布版。CentOS简约，命令行下的人性化做得比较好，稳定，有着强大的英文文档与开发社区的支持。与Redhat有着相同的渊源。虽然不单独提供商业支持，但往往可以从Redhat中找到一丝线索。相对debian来说，CentOS略显体积大一点。是一个非常成熟的Linux发行版。
⑻ 如何在CentOS6.5下编译64位的Hadoop2.x
一、预先安装必要软件
1、需要的软件：java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake
检测系统中是否已安装了某一软件命令：rpm -qa|grep 软件名，如检测系统中是否安装了svn：
$ rpm -qa|grep svn
2、如果已安装，则跳过，如果没有安装，用命令：yum install svn进行安装，如：
$ yum install svn
如果yum命令安装失败（找不到相应的包），则需手动下载相应的软件包进行安装，比如maven, protobuf这两个个软件；
二、安装maven
1、软件包：apache-maven-3.0.5-bin.tar.gz
不要使用最新的Maven3.1.1，与Maven3.0.x存在兼容性问题，所以老是出现java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter之类的错误。选择3.0.5版本：apache-maven-3.0.5-bin.tar.gz
将apache-maven-3.0.5-bin.tar.gz移动到/usr目录（软件包所在目录）：
# mv ./apache-maven-3.0.5-bin.tar.gz /usr
进入/usr目录，解压（/usr目录）：
# tar –zxvf apache-maven-3.0.5-bin.tar.gz ./
删除解压后的压缩包（/usr目录）：
# rm –rf apache-maven-3.0.5-bin.tar.gz
将/usr / apache-maven-3.0.5/bin加到环境变量中
# vi /etc/profile
在PATH行的最后加上“:/usr/apache-maven-3.0.5/bin”
2、使配置生效：
# source /etc/profile
验证是否安装成功：
# mvn –version
三、安装protobuf
1、软件包：protobuf-2.5.0.tar.gz
将protobuf-2.5.0.tar.gz移动到/usr目录（软件包所在目录）：
# mv ./ protobuf-2.5.0.tar.gz /usr
进入/usr目录，解压（/usr目录）：
# tar –zxvf protobuf-2.5.0.tar.gz ./
删除解压后的压缩包（/usr目录）：
# rm –rf protobuf-2.5.0.tar.gz
进入/usr/protobuf-2.5.0目录：
# cd /usr/protobuf-2.5.0
2、依次执行下列命令：
# ./configure
# make
# make check
# make install
检测是否安装成功：
# protoc --version
四、下载hadoop-2.2.0源码并编译
在/usr目录进行
用svn下载hadoop-2.2.0源码，命令：
$ svn checkout 'http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0'
源码下载完成后，在/usr目录下会有一个release-2.2.0目录，进入该目录：
$ cd /usr/release-2.2.0
$ ls –la
编译源码：
$ mvn package -Pdist,native -DskipTests –Dtar --不生成文档
$ mvn package -Pdist,native,docs,src -DskipTests –Dtar --生成文档，需要安装findbugs，并设置FINDBUGS_HOME环境变量
编译的时间比较久，编译过程中会联网下载所需要的包，机子没联网是不会成功编译的。
编译结束，最后打印的信息如下，每一项均是‘SUCCESS’，则编译成功：
编译好的代码包在/usr/release-2.2.0/hadoop-dist/target目录下：
$ cd /usr/release-2.2.0/hadoop-dist/target
$ ls –la
因为是在64位系统下编译的，所以编译出来的代码包是64位版本的；可以直接将/usr/release-2.2.0/hadoop-dist/target目录下的hadoop-2.2.0或者hadoop-2.2.0.tar.gz拷贝到其他linux64位平台进行搭建hadoop集群。
说明：
1、 机器得连网，如果没联网找可以联网的机器下载，但是编译时还是要下载一些东西，所以，实在不行。最好找相同平台（可以是虚拟机）能上网的机器做下面工作，弄好了再把编译好的代码包拷回来。
2、 命令操作中，‘#’开头的是在root用户进行，‘$’开头的是在普通用户下进行
⑼ hadoop在centos下怎么安装
先说一下要准备哪些软件和信息： VMware-workstation； CentOS-6.0-i386-bin-DVD； eclipse-jee-luna-SR1-win32； hadoop-0.20.2； jdk-6u27-linux-i586； （由于hadoop对版本的要求较高，大家还是不要轻易更换版本，这里列出来的各种软件都是稳定发布版，网上很容易可以download到的）。 整个教程分为这样5个部分来说：1）在Windows下安装虚拟机Vmware，并新建一个虚拟机装好centos系统；2）centos下设置ssh服务无密码登录；3）centos下安装jdk，并配置环境变量；4）centos下安装hadoop，并配置文件；5）windows下安装jdk和eclipse，并将eclipse与centos下的hadoop连接。可以说这5个部分每一个都很重要，尤其是第4）步。下面我们就详细说一下每一步该怎么做。 Step 0: 请大家先在windows下新建一个普通用户，用户名为hadoop，我们所有的软件全在这个下面安装，用户名最好要是hadoop，因为这个要和后面很多username相同，设为hadoop比较好记。 1）在Windows下安装虚拟机Vmware，并新建一个虚拟机装好centos系统； 首先，下载VMware-workstation并安装，这步骤和一般windows下安装软件的过程是一样的，入门小白也会熟练操作，这里就节省点儿空间给后面重要的步骤了~ 然后，在Vmware的主页上新建一个虚拟机 一路下一步，直到让你选择系统镜像路径，我们选择centos系统映像，如上图，点击下一步。然后，需要你输入linux的用户名，这个比较重要，最好填写hadoop，因为这个名字在后面要用到好多次！ 后面还是一路的“下一步”，直到让你设置虚拟机的内存大小，建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了，建议为“使用网络地址转换NAT”，如下图。这一步我当时选择了自动桥接的功能，找了一个晚上的错误。。。时间就这样白花花的没了~~ 之后还是一路的“下一步”，几乎都是使用它推荐的设置，我们就可以新建一个centos，等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝，有没有让你心动了呢~~哈哈哈，你确实走好了第一步！ 2）centos下设置ssh服务无密码登录； 在桌面右击，选择openin Terminal，这个就是linux的终端了。希望读者有一些linux操作系统的基础，这样子上手更快一些。不过要是没有的话，也没有关系，我们是面向新手的教程。 2.1. 先在linux命令行中输入su，提示密码，输入你自己设置的密码，这样子你后面的操作都具有了linux系统下的最高权限——root权限。 2.2. 在设置ssh无密码登录之前，有一个特别重要的要先出好：关闭SELinux。这是因为centos会自动阻止你修改sshservice，我们只有关闭SELinux，重启才能生效。如何做，如下： 修改/etc/selinux/config文件 将SELINUX=enforcing改为SELINUX=disabled 重启机器即可 （note：在linux下修改文件，vi命令后会进入到文件窗口，按i进入insert，修改完毕之后再按esc推出insert，输入；:wq!保存并退出~这里要感谢泡哥，改了半天都不行，还是泡哥指点迷津了~~） 2.3. 在linux命令行里输入：ssh-keygen -t rsa，然后一路回车。 root@hadoopName-desktop:~$ssh-keygen -t rsa Generating public/private rsakey pair. Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密钥保存位置，直接回车保持默认； Createddirectory '/home/zhangtao/.ssh'. Enter passphrase(empty for no passphrase): //设置密钥的密码，空密码直接回车即可； Enter samepassphrase again: //确认上一步设置的密码。 然后进入 /root/.ssh/下面，会看到两个文件 id_rsa.pub，id_rsa， 然后执行cp id_rsa.pub authorized_keys 然后 ssh localhost 验证是否成功，第一次要你输入yes，以后就不需要了。 如下图，由于我又验证了一次，所以还需要输入y，如果你是第一次验证是不要的。 至此，ssh服务无密码登录设置完毕！ 3）centos下安装jdk，并配置环境变量； 这一步中可以分为两步：安装jdk、配置jdk环境变量。 3.1. 第一步：root 用户登陆，使用命令mkdir /usr/program新建目录/usr/program ,下载 JDK 安装包jdk-6u13-linux-i586.bin，将其复制到目录/usr/program下，用cd命令进入该目录，执行命令“./ jdk-6u13-linux-i586.bin”，命令运行完毕即安装完成，将在目录下生成文件夹/jdk1.6.0_13，此即为jdk被成功安装到目录：/usr/program/jdk1.6.0_13下。 3.2. root 用户登陆，命令行中执行命令“vi/etc/profile”,并加入以下内容，配置环境变量(注意/etc/profile这个文件很重要，后面 Hadoop 的配置还会用到)。 # set java environment exportJAVA_HOME=/usr/program/jdk1.6.0_27 exportJRE_HOME=/usr/program/jdk1.6.0_27/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 在vi编辑器增加以上内容后保存退出，并执行以下命令使配置生效！ #chmod +x /etc/profile ；增加执行权限 #source /etc/profile；使配置生效！ 配置完毕后，在命令行中输入：java -version，就会出现安装jdk的信息。 这时，jdk的安装和配置环境变量就成功了~
⑽ 如何在CentOS下安装Hadoop并与Eclipse连接
1）在Windows下安装虚拟机Vmware，并新建一个虚拟机装好centos系统；
首先，下载VMware-workstation并安装，这步骤和一般windows下安装软件的过程是一样的，入门小白也会熟练操作，这里就节省点儿空间给后面重要的步骤了~
然后，在Vmware的主页上新建一个虚拟机，如下图：
一路下一步，直到让你选择系统镜像路径，我们选择centos系统映像，如上图，点击下一步。然后，需要你输入linux的用户名，这个比较重要，最好填写hadoop，因为这个名字在后面要用到好多次！
后面还是一路的“下一步”，直到让你设置虚拟机的内存大小，建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了，建议为“使用网络地址转换NAT”，如下图。这一步我当时选择了自动桥接的功能，找了一个晚上的错误。。。时间就这样白花花的没了~~
之后还是一路的“下一步”，几乎都是使用它推荐的设置，我们就可以新建一个centos，等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝，有没有让你心动了呢~~哈哈哈，你确实走好了第一步！
2）centos下设置ssh服务无密码登录；
在桌面右击，选择openin Terminal，这个就是linux的终端了。希望读者有一些linux操作系统的基础，这样子上手更快一些。不过要是没有的话，也没有关系，我们是面向新手的教程。
2.1. 先在linux命令行中输入su，提示密码，输入你自己设置的密码，这样子你后面的操作都具有了linux系统下的最高权限——root权限。
2.2. 在设置ssh无密码登录之前，有一个特别重要的要先出好：关闭SELinux。这是因为centos会自动阻止你修改sshservice，我们只有关闭SELinux，重启才能生效。如何做，如下：
修改/etc/selinux/config文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可
（note：在linux下修改文件，vi命令后会进入到文件窗口，按i进入insert，修改完毕之后再按esc推出insert，输入；:wq!保存并退出~这里要感谢泡哥，改了半天都不行，还是泡哥指点迷津了~~）
2.3. 在linux命令行里输入：ssh-keygen -t rsa，然后一路回车。
root@hadoopName-desktop:~$ssh-keygen -t rsa
Generating public/private rsakey pair.
Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密钥保存位置，直接回车保持默认；
Createddirectory '/home/zhangtao/.ssh'.
Enter passphrase(empty for no passphrase): //设置密钥的密码，空密码直接回车即可；
Enter samepassphrase again: //确认上一步设置的密码。
然后进入 /root/.ssh/下面，会看到两个文件 id_rsa.pub，id_rsa，
然后执行cp id_rsa.pub authorized_keys
然后 ssh localhost 验证是否成功，第一次要你输入yes，以后就不需要了。
如下图，由于我又验证了一次，所以还需要输入y，如果你是第一次验证是不要的。
至此，ssh服务无密码登录设置完毕！
3）centos下安装jdk，并配置环境变量；
这一步中可以分为两步：安装jdk、配置jdk环境变量。