现在的位置: 首页 > 云计算 > 正文

搭建hadoop的一点总结

2013年05月08日 云计算 ⁄ 共 2358字 ⁄ 字号 评论关闭

周日在公司一边玩,一边鼓捣,把hadoop鼓捣完了,建了一个master,三个slave

答题的过程是这样的。

1.在master和slave上分别创建用户hadoop,修改hostname,/etc/sysconfig/network,修改hosts,用机器名字来识别不用的机器 /etc/hosts

2.完成master到slave,slave到master的无密码登录

3.javasdk的安装,mkdir  /usr/java;cd /usr/java; ./jdk-6u31-linux-i586.bin,这样jdk安装完事了

4.在/etc/profile里配置jdk的环境变量,测试是否成功

# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31/
export JRE_HOME=/usr/java/jdk1.6.0_31/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

5.安装hadoop,mkdir /usr/hadoop; cd /usr/hadoop;tar -xzvf hadoop-1.2.1.tar.gz;chow hadoop:hadoop hadoop;

6.配置hadoop,在hadoop-env.sh里面加入JAVA_HOME路径,在/etc/profile里面加入hadoop的home路径

# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

7.配置core-site.xml,hdfs-site.xml,mapred-site.xml三个文件

core-site.xml是Hadoop核心配置文件,这里配置的是HDFS的地址和端口号

<configuration>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/hadoop/tmp</value>
    </property>
    <!-- file system properties -->
    <property>
            <name>fs.default.name</name>
            <value>hdfs://192.168.74.132:9000</value>
    </property>
</configuration>

注:hadoop.tmp.dir的文件问题需要自己去新建

hdfs-site.xml是Hadoop中HDFS的配置,配置的备份方式默认为3。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

mpred-site.xml是Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>http://192.168.74.132:8021</value>
    </property>
</configuration>

8.修改master和slave 

master :

192.168.74.132

slave:

Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop
slaves (END) 

9.整体的搭建完成了,下面就是需要把这个配置 原封不动的scp到其他三台slave机器上面,这个操作就算完成了。

10.注意的问题,关闭iptables。

HDFS端口

参数 描述 默认 配置文件 例子值
fs.default.name namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/
dfs.http.address  NameNode web管理端口 50070  hdfs-site.xml  0.0.0.0:50070
dfs.datanode.address datanode 控制端口 50010  hdfs-site.xml  0.0.0.0:50010
dfs.datanode.ipc.address datanode的RPC服务器地址和端口  50020 hdfs-site.xml 0.0.0.0:50020
dfs.datanode.http.address datanode的HTTP服务器和端口  50075 hdfs-site.xml  0.0.0.0:50075


                                         
                     
                   
                   
             

mapred端口

参数 描述 默认  配置文件 例子值
mapred.job.tracker job tracker交互端口  8021 mapred-site.xml hdfs://master:8021/
mapred.job.tracker.http.address job tracker的web管理端口 50030 mapred-site.xml  0.0.0.0:50030
mapred.task.tracker.http.address task tracker的HTTP端口 50060 mapred-site.xml 0.0.0.0:50060


                                            
                    
 

抱歉!评论已关闭.