现在的位置: 首页 > 综合 > 正文

用Java代码通过JDBC连接Hiveserver

2018年06月05日 ⁄ 综合 ⁄ 共 2050字 ⁄ 字号 评论关闭

我们可以通过CLI、Client、Web UI等Hive提供的方式来和Hive通信,但这三种方式中最常用的是CLI;Client是Hive的客户端,用户连接至Hive Server。在启动Client模式的时候,需要指出Hive Server所在的节点,并且在该节点启动Hive Server。Web UI的方式是通过浏览器访问Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。

Hive提供了JDBC驱动,使得我们可以用Java代码来连接Hive并进行一些类似于关系型数据库的sql语句查询操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive0.11.0版本之前,只有HiveServer服务可用,你得在程序操作Hive之前,在Hive安装的服务器上打开HiveServer服务,如下:

[wyp@localhost /home/q/hive-0.11.0]$ bin/hive --service hiveserver -p 10001

上面的命令表示你已经成功打开的端口为10001(默认的端口是10000)启动了HiveServer服务。这时候,你就可以通过Java代码来连接HiveServer,代码如下:

public class HiveJdbcTest {

	//定义HiveJDBC驱动名
	private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
	
	public static void main(String[] args) {
		
		try {
			//加载驱动
			Class.forName(driverName);
			//获取连接
			Connection connection = DriverManager.getConnection("jdbc:hive://master:10001/hive", "root", "1111");
			//获取Statement
			Statement statement = connection.createStatement();
			
			//定义运行的HQL语句
			String queryHQL = "select name,salary from employees";
			
			//执行查询语句
			ResultSet res = statement.executeQuery(queryHQL);
			
			//遍历集合取数据
			while (res.next()){
				System.out.println(res.getString(1) +"\t"+ res.getFloat(2));
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
	
}

程序运行结果:

上面是用Java连接HiveServer,而HiveServer本身存在很多问题(比如:安全性、并发性等);针对这些问题,Hive0.11.0版本提供了一个全新的服务:HiveServer2,这个服务很好的解决了HiveServer存在的安全性、并发性等问题。这个服务的启动程序在${HIVE_HOME}/bin/hiveserver2里面,你可以通过下面的方式来启动HiveServer2服务:

$HIVE_HOME/bin/hiveserver2

也可以通过下面的方式启动HiveServer2

$HIVE_HOME/bin/hive --service hiveserver2

两种方式效果都是一样的。但是以前的程序需要修改两个地方,如下所示:

private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
改为
private static String driverName = "org.apache.hive.jdbc.HiveDriver";


Connection con = DriverManager.getConnection("jdbc:hive://master:10001/hive", "root", "1111");
改为
Connection con = DriverManager.getConnection("jdbc:hive2://master:10001/hive", "root", "1111");

其它的不变就可以了。

项目所使用的Maven依赖:

<dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-jdbc</artifactId>
        <version>0.11.0</version>
</dependency>

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.2.0</version>
</dependency>

文章来自过往记忆http://www.iteblog.com/archives/846

【上篇】
【下篇】

抱歉!评论已关闭.