VMware下Hadoop 2.4.1完全分布式集群平台安装与设置

4.1 编译hadoop-2.4.1-src.tar.gz源包

对于64位操作系统，需要重新编译源码包。

Hadoop下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/

4.2 解压安装包hadoop-2.4.1.tar.gz

hadoop@master:/home/duanwf/Installpackage$ sudo tar zxvf hadoop-2.4.1.tar.gz -C /opt/

 

4.3 Hadoop环境变量配置

修改/etc/profile文件，加入以下内容：

hadoop@master:~$ sudo vi /etc/profileexport HADOOP_DEV_HOME=/home/hadoop/hadoop-2.4.1/export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}export YARN_HOME=${HADOOP_DEV_HOME}export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoopexport PATH=$HADOOP_DEV_HOME/bin:$HADOOP_DEV_HOME/sbin:$PATH

 

使修改的配置生效，在终端输入命令：

hadoop@master:~$ source /etc/profile

 

查看Hadoop环境变量是否生效，在终端执行命令：

hadoop@master:~$ hadoop Usage: hadoop [--config confdir] COMMAND where COMMAND is one of: fs run a generic filesystem user client version print the version jar <jar> run a jar file checknative [-a|-h] check native hadoop and compression libraries availability distcp <srcurl> <desturl> copy file or directories recursively archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive classpath prints the class path needed to get the Hadoop jar and the required libraries daemonlog get/set the log level for each daemon or CLASSNAME run the class named CLASSNAME Most commands print help when invoked w/o parameters.

　　　　 

4.4 hadoop配置

配置之前，需要在master本地文件系统创建以下文件夹：

~/dfs/name

~/dfs/data

~/temp

hadoop@master:~$ mkdir ~/dfs hadoop@master:~$ mkdir ~/temp hadoop@master:~$ mkdir ~/dfs/name hadoop@master:~$ mkdir ~/dfs/data

　　　　 

这里要涉及到的配置文件有7个：

~/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

~/hadoop-2.4.1/etc/hadoop/yarn-env.sh

~/hadoop-2.4.1/etc/hadoop/slaves

~/hadoop-2.4.1/etc/hadoop/core-site.xml

~/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

~/hadoop-2.4.1/etc/hadoop/mapred-site.xml.template

~/hadoop-2.4.1/etc/hadoop/yarn-site.xml

 

Hadoop配置文件修改

　　 

4.5 复制到其他节点

　　进入slave1:

hadoop@slave1:~$ scp -r hadoop@master:/home/hadoop/hadoop-2.4.1/ /home/hadoop/

　　进入slave2:

hadoop@slave2:~$ scp -r hadoop@master:/home/hadoop/hadoop-2.4.1/ /home/hadoop/

 

4.6 Hadoop启动

(1)格式化HDFS

格式化HDFS：hadoop@master:~/hadoop-2.4.1$ ./bin/hdfs namenode -format

 

(2)启动HDFS

执行一下命令启动HDFS，会自动启动所有master的namenode和slave1,slave2的datanode：

 

hadoop@master:~/hadoop-2.4.1$ ./sbin/start-dfs.sh

 

【出现问题】

mkdir: 无法创建目录"/home/hadoop/hadoop-2.4.1/logs": 权限不够 

【解决办法】

在master上都执行命令：

hadoop@master:~$ sudo chown -R hadoop:hadoop hadoop-2.4.1/

slave1和slave2同样需要执行。

 

重新启动HDFS

hadoop@master:~/hadoop-2.4.1$ ./sbin/start-dfs.sh

 

检查Hadoop集群是否安装好了，在master上面运行jps，如果有NameNode这个进程，说明master安装好了：

hadoop@master:~/hadoop-2.4.1$ jps 31711 SecondaryNameNode 31464 NameNode 31857 Jps

 

在slave1上面运行jps，如果有DataNode这个进程，说明slave1安装好了。

hadoop@slave1:~$ jps 5529 DataNode 5610 Jps

 

在slave2上面运行jps，如果有DataNode这个进程，说明slave1安装好了。

hadoop@slave2:~$ jps 8119 Jps 8035 DataNode