现在的位置: 首页 > 综合 > 正文

hadoop生态系统搭建(hadoop hive hbase zookeeper oozie sqoop)

2017年11月15日 ⁄ 综合 ⁄ 共 779字 ⁄ 字号 评论关闭

详细过程参见官方文档,这里只介绍常见的一些问题:

1、首先是版本的选择,一般选择cloudera 的cdh版,注意相互之间的兼容性,否则出现莫名其妙的问题都不知道怎么解决。

2、配置ssh无密码访问时要注意,.ssh目录的权限问题,跟各个开发包一样,各节点必须一致,否则会出现启动hadoop时让手动输密码。

3、在配置conf下文件时要注意,某些属性的值必须是hadoop程序有写权限的目录,比如:hadoop.tmp.dir


4、Hadoop-env.sh中要配置JAVA_HOME,不管profile或.bash_profile有没配置

5、hive的配置只要关联正确hadoop的namenode即可,元数据库可用默认的derby,也可通过修改配置实用mysql

6、hbase的master最好不用作regionserver。

7、zk的连接数要改的大一点,默认是30个,并且尽量与hadoop node节点分开,因为hadoop的暂时负担过重等异常会严重影响zk与hbase的正常工作,比如导致zk长时间选举不出leader,hbase 各节点会相继挂掉。

8、安装oozie依赖ext包,因为console会用到这个框架,console的时间默认显示GMT格式,看着很别扭,通过修改Coordinate 属性timezone改成 GMT +8 北京时间。(貌似不可以)

9、sqoop解压后,要配置SQOOP_HOME,hdfs需要跟那种类型的RDB交互就下相应的JDBC驱动,放入lib下。

10、hadoop,hbase,需要在各自的集群中每个节点都安装,zookeeper根据需要安装,一般奇数个,数量越多,选举负担中,但数量越少,系统稳定性下降,使用时跟据实际情况选择方案,hive,oozie,sqoop只需要在需要执行客户端程序的机器上安装,只要能连上hadoop。

抱歉!评论已关闭.