现在的位置: 首页 > 综合 > 正文

infoq hadoop oozie 简介 学习笔记

2019年06月16日 ⁄ 综合 ⁄ 共 637字 ⁄ 字号 评论关闭

1 功能:将多个Map/Reduce job或pig job组成一个整体,完成一个更大的任务。


2 oozie是java应用程序,需要一个servlet容器运行载体。


3 需要一个数据库支持,数据库保存流程定义和流程实例数据(流程状态、流程变量)。


4 流程模型的数据结构为有向无环图。


5 流程定义标准为自定义的hpdl。


6 hdpl非常简洁,分为流程控制(决定流程的路径怎么走,像编程语言中的顺序、if、while关键字)和动作(执行具体的hadoop作业)两种节点。


7 动作(action)节点支持Hadoop map-reduce, Hadoop file system, Pig, Java 和Oozie sub-workflow五种动作(SSH action is removed from Oozie schema 0.2)。


8  在oozie中动作(action)节点起触发作用,被触发的作业由Hadoop Map/Reduce framework执行。


9  由于oozie中的被触发的任务执行方式是异步的,所以oozie中需要有回调(给任务一个回调url)和轮询两种方式获取任务执行结果,推进流程的执行。


10 在oozie流程定义中可设置参数,调用时必须设置参数值。


11 oozie由客户端和服务器两个组件构成。


12  Map/Reduce jobs在oozie有两种调用方式:一种是在动作(action)节点直接设置Mapper和Reducer类;第二种是在设置一个普通java类,在java类中调用hadoop
api。

抱歉!评论已关闭.