对于Hadoop的布署方式来说,分为单机布署、伪分布署式布署和分布式布署三种方式。其中属单机布署最为简单。大致分为三个步骤:

1、下载Hadoop压缩包,并解压;

2、修改环境变量;

3、测试是否安装成功。

下面就这三个步骤进行详细介绍。

 

步骤详解:

0、前置条件,操作系统上已正确安装JAVA,并配置好环境变量JAVA_HOME。如果这个步骤不清楚,可点击这里

1、下载Hadoop压缩包(点击进入下载地址)【如果要其它的Hadoop历史版本,可点击这里

当前下载了hadoop-2.10.2,并在电服上新建/hadoop目录。在这里路径下对压缩包进行解压:

tar -zxvf hadoop-2.10.2.tar.gz

解压完成后,可得到hadoop-2.10.2目录。

 2、配置环境变量HADOOP_HOME

vi /etc/profile

在文件末尾添加

export HADOOP_HOME=/hadoop/hadoop-2.10.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改成功后,重新加载环境变量

source /ect/profile

3、测试是否安装成功

hadoop version

如果能看到hadoop的版本号,说明hadoop已安装并配置成功。

 

备注:

1、如果前期没有配置的JAVA_HOME环境变量,则安装后需要到$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件中将JAVA_HOME变量修改成JAVA的安装目录。

 2、安装后,如果发现hadoop根目录所属权限有误,需要进行修改。

chown -R root:root hadoop-2.10.2

 3、在$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.2.jar下封装了一些例子,可以先试用一下。

在/hadoop目录下创建input和output两个目录

mkdir /hadoop/input
mkdir /hadoop/output

复制配置文件到input目录中

cp /hadoop/hadoop-2.10.2/etc/hadoop/*.xml /hadoop/input

进入mapreduce目录

cd /hadoop/hadoop-2.10.2/share/hadoop/mapreduce

 1) 词频统计wordcount

hadoop jar hadoop-mapreduce-examples-2.10.2.jar wordcount /hadoop/input/ /hadoop/output/00

 注意:输出路径不能存在,hadoop会自动创建。运行成功后到/hadoop/output/00目录下可以看到两个文件:

 第一个表示数据,可以用cat命令查看;第二个表示执行成功。

2) 圆周率pi

hadoop jar hadoop-mapreduce-examples-2.10.2.jar pi 10 10

 第一个表示执行10次map任务,第二个表示投掷次数。

 

到这里,hadoop单机版本的布署已经完成,我们可以开始hadoopr的学习之旅啦:)

 

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。