现在的位置: 首页 > 综合 > 正文

使用Kettle来完成数据迁移

2014年02月20日 ⁄ 综合 ⁄ 共 424字 ⁄ 字号 评论关闭

有一个概念上的BI项目,但是又没有时间去写ETL工具,写的windows服务自己实现也挺费劲,有个java版自己写的伪ETL工具也很难用,于是考虑使用开源ETL,虽然对项目来说是大炮打蚊子。不过还得打阿。

调查了一圈,选用Kettle,由于资料不多,也懒得去搜一知半解的教程,自己瞎琢磨一会,果然够尿一壶的。

背景是从不同的几个数据库中,抽取一些信息,很少的转换和清洗,步骤如下

1 创建本地和远程的数据连接

2 在数据中心上创建一个setting表,主要是配置变量,用来保存增量关键值,

3创建转换,使用一个输入表,取得配置的参数,然把参数传入到另外一个输入表中,得到所需要的字段,再把取得的输入导入到输出表中

4 创建JOb,使用刚才创建的转换。


使用bat command可以执行job,或者生成bat文件用windows schedule来设置。

郁闷了一会,Kettle有企业版的,包含调度功能,目前正在下载,还没有找到破解版本,如果能破解后,给大家发jar文件。

抱歉!评论已关闭.