学步园

周日在公司一边玩，一边鼓捣，把hadoop鼓捣完了，建了一个master，三个slave

答题的过程是这样的。

1.在master和slave上分别创建用户hadoop，修改hostname，/etc/sysconfig/network，修改hosts，用机器名字来识别不用的机器 /etc/hosts

2.完成master到slave，slave到master的无密码登录

3.javasdk的安装，mkdir  /usr/java;cd /usr/java; ./jdk-6u31-linux-i586.bin，这样jdk安装完事了

4.在/etc/profile里配置jdk的环境变量，测试是否成功

# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31/
export JRE_HOME=/usr/java/jdk1.6.0_31/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

5.安装hadoop，mkdir /usr/hadoop; cd /usr/hadoop;tar -xzvf hadoop-1.2.1.tar.gz;chow hadoop:hadoop hadoop;

6.配置hadoop,在hadoop-env.sh里面加入JAVA_HOME路径，在/etc/profile里面加入hadoop的home路径

# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

7.配置core-site.xml，hdfs-site.xml，mapred-site.xml三个文件

core-site.xml是Hadoop核心配置文件，这里配置的是HDFS的地址和端口号

<configuration>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/hadoop/tmp</value>
    </property>
    <!-- file system properties -->
    <property>
            <name>fs.default.name</name>
            <value>hdfs://192.168.74.132:9000</value>
    </property>
</configuration>

注：hadoop.tmp.dir的文件问题需要自己去新建

hdfs-site.xml是Hadoop中HDFS的配置，配置的备份方式默认为3。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

mpred-site.xml是Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>http://192.168.74.132:8021</value>
    </property>
</configuration>

8.修改master和slave 

master ：

192.168.74.132

slave：

Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop
slaves (END) 

9.整体的搭建完成了，下面就是需要把这个配置 原封不动的scp到其他三台slave机器上面，这个操作就算完成了。

10.注意的问题，关闭iptables。

HDFS端口

mapred端口