学步园

　　今天早上帮一新人远程搭建Hadoop集群(1.x或者0.22以下版本)，感触颇深，在此写下最简单的Apache Hadoop搭建方法，给新人提供帮助，我尽量说得详尽点；点击查看Avatorhadoop搭建步骤。

1.环境准备:

　　1).机器准备：安装目标机器要能相互ping通，所以对于不同机器上的虚拟机要采取"桥连接"的方式进行网络配置(如果是宿主方式，要先关闭宿主机防火墙；上网方式的具体配置方法请google vmvair上网配置、Kvm桥连接上网、Xen在安装的时候就能够手动配置局域网IP，实在不行，请留言)；关闭机器的防火墙：/etc/init.d/iptables stop;chkconfig iptables off;修改机器的主机名建议用hadoopservern，n为实际你给机器的机器编号，因为主机名如果含有'_''.'等特殊符号会导致启动问题的。修改机器的/etc/hosts，将IP和hostname的映射关系添加进去。

　　2).下载稳定版本Hadoop包并解压，配置Java环境(对于java环境，一般都配置~/.bash_profile，考虑到机器的安全性问题)；

　　3).免密钥，这里有个小的技巧：在hadoopserver1上

　　　　ssh-kengen -t rsa -P '';一路回车

　　　　ssh-copy-id user@host;

　　　　然后将~/.ssh/目录下的id_rsa和id_rsa.pub，复制到其它机器；

　　　　ssh hadoopserver2；运行scp -r ~/.ssh/authorized_keys hadoopserver1:~/.ssh/；这样所有的免密钥都完成了，可以相互互相ssh；多实际，多学习，网上没有说hadoop免密钥用用ssh-copy-id来简化操作的。

2.步骤：

　　1).在hadoopserver1(namenode)上hadoop解压目录的conf下修改下面几个文件:

　　　　core-site.xml:

　　　　　　

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
          <name>fs.default.name</name>
          <value>hdfs://hadoopserver1:9000</value>
</property>

<property>
          <name>hadoop.tmp.dir</name>
          <value>/xxx/hadoop-version/tmp</value>
</property>

</configuration>

 

　　　　hdfs-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
    
    <property>
          <name>dfs.replication</name>
          <value>3</value>
        </property>

        <property>
          <name>dfs.name.dir</name>
          <value>/xxx/hadoop-version/name</value>
        </property>

        <property>
          <name>dfs.data.dir</name>
          <value>/xxx/hadoop-version/data</value>
        </property>

        <property>
          <name>dfs.block.size</name>
          <value>670720</value>
        </property>
<!--
<property>
  <name>dfs.secondary.http.address</name>
  <value>0.0.0.0:60090</value>
  <description>
    The secondary namenode http server address and port.
    If the port is 0 then the server will start on a free port.
  </description>
</property>

<property>
  <name>dfs.datanode.address</name>
  <value>0.0.0.0:60010</value>
  <description>
    The address where the datanode server will listen to.
    If the port is 0 then the server will start on a free port.
  </description>
</property>

<property>
  <name>dfs.datanode.http.address</name>
  <value>0.0.0.0:60075</value>
  <description>
    The datanode http server address and port.
    If the port is 0 then the server will start on a free port.
  </description>
</property>

<property>
  <name>dfs.datanode.ipc.address</name>
  <value>0.0.0.0:60020</value>
  <description>
    The datanode ipc server address and port.
    If the port is 0 then the server will start on a free port.
  </description>
</property>



<property>
  <name>dfs.http.address</name>
  <value>0.0.0.0:60070</value>
  <description>
    The address and the base port where the dfs namenode web ui will listen on.
    If the port is 0 then the server will start on a free port.
  </description>
</property>
-->

<property>
  <name>dfs.support.append</name>
  <value>true</value>
  <description>Does HDFS allow appends to files?
               This is currently set to false because there are bugs in the
               "append code" and is not supported in any prodction cluster.
  </description>
</property>

</configuration>

　　　　mapred-site.xml

　　　　　　

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>


        <property>
          <name>mapred.job.tracker</name>
          <value>hadoopserver1:9001</value>
        </property>

        <property>
          <name>mapred.tasktracker.map.tasks.maximum</name>
          <value>2</value>
        </property>

        <property>
          <name>mapred.tasktracker.reduce.tasks.maximum</name>
          <value>2</value>
        </property>
<!--
<property>    
  <name>mapred.job.tracker.http.address</name>
  <value>0.0.0.0:50030</value>
  <description>
    The job tracker http server address and port the server will listen on.
    If the port is 0 then the server will start on a free port.
  </description>
</property>

<property>
  <name>mapred.task.tracker.http.address</name>
  <value>0.0.0.0:60060</value>
  <description>
    The task tracker http server address and port.
    If the port is 0 then the server will start on a free port.
  </description>
</property>
-->


</configuration>

　　　　master中填写的是secondname的hostname，用来告知hadoop在这个机器上启动secondname；

　　　　slaves则标示的是datanode节点，一行一个hostname

　　2).修改hadoop-env.sh：

　　　　指定JAVA_HOME到你的java安装目录

　　　　添加一个启动环境：export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true"。用来保证绑定IPV4IP；

　　3).手动分发：scp -r hadoop目录 hadoopserver1...n:/相同前缀目录/

　　4).启动：

　　　　bin/hadooop namenode -format

　　　　bin/start-all.sh

　　5).在浏览器里输入http://hadoopserver1的iP:50070即可查看机器的状态