Windows10下配置Hadoop2-x环境

1.下载Hadoop并解压

下载地址

http://hadoop.apache.org/#Download+Hadoop

解压到路径：

C:\Hadoop\hadoop-2.6.5

由于Hadoop在windows上支持的不如linux好，推荐有条件的话仍在Linux上配置Hadoop环境，如果仍要在Windows上使用Hadoop的话，我们需要在Hadoop的解压路径的：”C:\Hadoop\hadoop-2.6.5\bin”路径下添加两个文件：

hadoop.dll、winutils.exe

并且将 hadoop.dll 复制到系统路径中：

C:\Windows\System32

2.配置环境变量

打开:

我的电脑(右击选择属性)–>高级系统设置–>环境变量–>点击新建

添加环境变量:

HADOOP_HOME

对应值为Hadoop安装路径:

C:\Hadoop\hadoop-2.6.5

然后修改环境变量Path: 在尾部新添加Hadoop的bin目录(尾部没有”;”则记得添加”;”):

C:\Hadoop\hadoop-2.6.5\bin

检查Hadoop环境是否配置好： 在cmd终端中输入：

hadoop version

如果输出Hadoop的版本则环境配置完成，若出现JAVA_HOME错误则可能是因为Java默认安装在”C:\Program Files\Java”路径下，出错原因是路径”Program Files”中包含空格，这里应该修改JAVA_HOME为：”C:\Progra~1\Java\jdk1.8.0_151″，即将”Program Files”修改为”Progra~1″；或者将Java安装在不含空格的路径中以解决问题。

3. 修改Hadoop配置文件

在”C:\Hadoop\hadoop-2.6.5\etc\hadoop”目录下修改一下几个xml配置文件： （1）core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

（2）hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

（3）mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

（4）yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

4. 运行Hadoop(以管理员身份运行cmd终端)

（1）格式化namenode 在Hadoop路径下：

hadoop namenode -format

全部启动：

hadoop .\sbin\start-all.cmd

创建输入文件夹：

hadoop fs -mkdir /user/"your user name"/input    //中间需要填写window系统中注册的用户名，去C:\user\下查找

将自己创建的文件file1复制到输入文件夹中：

hadoop fs -put file1 /user/***/input

运行word count示例：

 hadoop jar .\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.6.5.jar wordcount input outpu

注意：这里可能会报错：

Exception message: CreateSymbolicLink error (1314)

这个错误的原因很可能是用户权限问题，使用管理员权限运行程序则可成功运行。

文章永久链接：https://tech.souyunku.com/?p=42571