现在的位置: 首页 > 综合 > 正文

初识hadoop笔记(一)

2017年12月21日 ⁄ 综合 ⁄ 共 1033字 ⁄ 字号 评论关闭

hadoop 可分为单节点方式配置, 伪分布式配置,集群方式

安装单节点的hadoop无须配置,在这种方式下Hadoop 
被认为是一个单独的Java 进程,通常用来调试

伪分布式配置:
可以帮伪分布式的hadoop 看做是只有一个节点的集群
节点既是master  也是 NameNode  也是 datanode

既是JobTraker 也是TaskTraker.

Hadoop 配置文件说明

查看配置文件,进入conf文件夹 修改配置文件:

1. Hadoop-env.sh: 配置JAVA 系统环境

 export JAVA_HOME=""

2. core-site.xml  这是Hadoop 核心配置文件 这里配置HDFS的地址和端口号

 
 <configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

 

3. hdfs-site.xml  配置Hadoop中HDFS的配置,默认的备份方式为3,在单机版的hadoop中需要改为1.

<configuration>
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
</configuration>

4. mapred-site.xml 配置Hadoop中的MapReduce 的配置文件,主要配置了JobTracker地址和端口。

<configuration>
<property>
	<name>mapred.job.tracker</name>
	<value>localhost:9001</value>
</property>
</configuration>

tips: 如果安装的是0.20之前的版本,那么只有一个配置文件既为Hadoop-site.xml

配置完毕后,在启动Hadoop前 需要格式化Hadoop的文件系统HDFS ,进入Hadoop文件夹 

bin/hadoop namenode -format

bin/start-all.sh (全部启动)

bin/start-dfs.sh (HDFS启动)

bin/start-mapred.sh (MapReduce 启动)

验证是否安装成功 浏览器分别访问

http://localhost:50030 (Mapreduce的web页面)

http://localhost:50070(HDFS的web页面)

抱歉!评论已关闭.