现在的位置: 首页 > 综合 > 正文

hive导出查询结果到本地文件

2013年08月17日 ⁄ 综合 ⁄ 共 446字 ⁄ 字号 评论关闭

最近在使用hive时,需要将hive查询的数据导出到本地文件系统,HQL语法如下:

INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
  查询结果导出到本地文件后,试图使用excel加载时遇上了麻烦:不知道hive导出文件时使用的分隔符,
  使用文本编辑器打开也显示乱码。
  最后在官方文档上找了半天才发现,hive使用 ^A 符号作为域的分隔符,原文如下:
 Data written to the filesystem is serialized as text with columns separated by ^A

在python中可以使用line.split('\x01')来进行切分

如果确实需要将查询结果导出到本地文件,最好使用hive的命令:

  1. bin/hive -e "select * from test" >> res.csv  
  2.   
  3. 或者是:  
  4.   
  5. bin/hive -f sql.q >> res.csv  
  6.   
  7. 其中文件sql.q写入你想要执行的查询语句
     

抱歉!评论已关闭.