现在的位置: 首页 > 综合 > 正文

Hive UDF开发(多个参数)

2014年09月05日 ⁄ 综合 ⁄ 共 589字 ⁄ 字号 评论关闭
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。
Hive的UDF开发只需要重构UDF类的evaluate函数即可。例:

package com.sohu.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

public class Md5 extends UDF {
	public String evaluate(String url,Integer num) {
		try {

			return MD5Util.getMD5Str(url).substring(0,
					num-1);

		} catch (Exception e) {
			e.printStackTrace();
			return url;

		}

	}
}

将该java文件编译成md5.jar

hive>add jar md5.jar;

hive>create temporary function md5 as 'com.sohu.hive.udf.Md5';
hive>select md5(url,10) from focuspvlog limit 2;
hive>drop temporary function md5

注:

  1. md5为临时的函数,所以每次进入hive都需要add jar以及create temporary操作
  2. UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF

抱歉!评论已关闭.