现在的位置: 首页 > 综合 > 正文

Hadoop2.0.3-alpha包结构分析

2017年11月15日 ⁄ 综合 ⁄ 共 719字 ⁄ 字号 评论关闭

Hadoop2.0的目录结构:

Hadoop2.0的目录结构很像Linux操作系统的目录结构,各个目录的作用如下:

  (1)   在新版本的hadoop中,由于使用hadoop的用户被分成了不同的用户组,就像Linux一样。因此执行文件和脚本被分成了两部分,分别存放在bin和sbin目录下。存放在sbin目录下的是只有超级用户(superuser)才有权限执行的脚本,比如start-dfs.sh, start-yarn.sh, stop-dfs.sh, stop-yarn.sh等,这些是对整个集群的操作,只有superuser才有权限。而存放在bin目录下的脚本所有的用户都有执行的权限,这里的脚本一般都是对集群中具体的文件或者block pool操作的命令,如上传文件,查看集群的使用情况等。

  (2)   etc目录下存放的就是在0.23.0版本以前conf目录下存放的东西,就是对common, hdfs, mapreduce(yarn)的配置信息。

  (3)   include和lib目录下,存放的是使用Hadoop的C语言接口开发用到的头文件和链接的库。

  (4)   libexec目录下存放的是hadoop的配置脚本,具体怎么用到的这些脚本,我也还没跟踪到。目前我就是在其中hadoop-config.sh文件中增加了JAVA_HOME环境变量。

  (5)   logs目录在download到的安装包里是没有的,如果你安装并运行了hadoop,就会生成logs 这个目录和里面的日志。

  (6)   share这个文件夹存放的是doc文档和最重要的Hadoop源代码编译生成的jar包文件,就是运行hadoop所用到的所有的jar包。

抱歉!评论已关闭.