1.文档编写目的
前面我们讲过《
如何使用java代码通过JDBC连接Impala(附 github 源码)
》,本篇文章主要讲述如何使用Java代码通过 jdbc 的方式连接Hive。
- 内容概述
1.环境准备
2.非Kerberos及Kerberos环境连接示例
- 测试环境
1.Kerberos集群CDH5.11.2,OS为Redhat7.2
2.非Kerberos集群CDH5.13,OS为CentOS6.5
- 前置条件
1.集群已安装HiveServer2服务正常
2.Kerberos和非Kerberos集群HiveServer2服务正常
2.环境准备
1.创建Java工程jdbcdemo
2.添加Maven依赖
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.5</version> </dependency> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.1.0</version> </dependency>
3.非Kerberos环境
1.示例代码
private static String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver"; private static String CONNECTION_URL ="jdbc:hive2://54.251.129.76:10000/"; static { try { Class.forName(JDBC_DRIVER); } catch (Exception e) { e.printStackTrace(); } } public static void main(String[] args) { System.out.println("通过JDBC连接非Kerberos环境下的HiveServer2"); Connection connection = null; ResultSet rs = null; PreparedStatement ps = null; try { connection = DriverManager.getConnection(CONNECTION_URL); ps = connection.prepareStatement("select * from test_table"); rs = ps.executeQuery(); while (rs.next()) { System.out.println(rs.getInt(1) + "-------" + rs.getString(2)); } } catch (Exception e) { e.printStackTrace(); } finally { JDBCUtils.disconnect(connection, rs, ps); } }
2.示例代码运行
4.Kerberos环境
连接Kerberos环境下的Hive需要准备Kerberos的krb5.conf文件及keytab文件。
注意:Fayson的测试环境是AWS,所以将kdc和HiveServer2服务的IP地址修改为相应的外网地址,JDBC的URL后Kerberos信息是连接的HiveServer2服务对应Prinical信息。
- krb5.conf配置,直接将集群的krb5.conf文件拷贝至本地开发环境下
# configuration snippets may be placed in this directory as well includedir /etc/krb5.conf.d/ [logging] default = FILE:/ var /log/krb5libs.log kdc = FILE:/var/log/krb5kdc.log admin_server = FILE:/var/log/kadmind.log [libdefaults] dns_lookup_realm = false ticket_lifetime = 24h renew_lifetime = 7d forwardable = true rdns = false default_realm = CLOUDERA.COM #default_ccache_name = KEYRING:persistent:%{uid} [realms] CLOUDERA.COM = { kdc = 54.179.148.25 admin_server = 54.179.148.25 }
keytab文件生成
[ec2-user@ip-172-31-22-86 ~]$ sudo kadmin.local Authenticating as principal hive/admin@CLOUDERA.COM with password. kadmin.local: xst -norandkey -k fayson.keytab fayson@CLOUDERA.COM
1.示例代码
private static String JDBC_DRIVER = "org.apache.hive.jdbc.HiveDriver"; private static String CONNECTION_URL ="jdbc:hive2://54.179.148.25:10000/;principal=hive/ip-172-31-22-86.ap-southeast-1.compute.internal@CLOUDERA.COM"; static { try { Class.forName(JDBC_DRIVER); } catch (ClassNotFoundException e) { e.printStackTrace(); } } public static void main(String[] args) throws Exception { //登录Kerberos账号 System.setProperty("java.security.krb5.conf", "/Volumes/Transcend/keytab/krb5.conf"); Configuration configuration = new Configuration(); configuration.set("hadoop.security.authentication" , "Kerberos" ); UserGroupInformation. setConfiguration(configuration); UserGroupInformation.loginUserFromKeytab("fayson@CLOUDERA.COM", "/Volumes/Transcend/keytab/fayson.keytab"); Connection connection = null; ResultSet rs = null; PreparedStatement ps = null; try { connection = DriverManager.getConnection(CONNECTION_URL); ps = connection.prepareStatement("select * from test_table"); rs = ps.executeQuery(); while (rs.next()) { System.out.println(rs.getInt(1)); } } catch (Exception e) { e.printStackTrace(); } finally { JDBCUtils.disconnect(connection, rs, ps); } }
2.示例代码运行
GitHub源码地址:
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
您可能还想看
安装
CENTOS6.5安装CDH5.12.1(一)
CENTOS6.5安装CDH5.12.1(二)
CENTOS7.2安装CDH5.10和Kudu1.2(一)
CENTOS7.2安装CDH5.10和Kudu1.2(二)
如何在CDH中安装Kudu&Spark2&Kafka
如何升级Cloudera Manager和CDH
如何卸载CDH(附一键卸载github源码)
如何迁移Cloudera Manager节点
如何在Windows Server2008搭建DNS服务并配置泛域名解析
安全
如何在CDH集群启用Kerberos
如何在Hue中使用Sentry
如何在CDH启用Kerberos的情况下安装及使用Sentry(一)
如何在CDH启用Kerberos的情况下安装及使用Sentry(二)
如何在CDH未启用认证的情况下安装及使用Sentry
如何使用Sentry管理Hive外部表权限
如何使用Sentry管理Hive外部表(补充)
如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据
Windows Kerberos客户端配置并访问CDH
数据科学
如何在CDSW中使用R绘制直方图
如何使用Python Impyla客户端连接Hive和Impala
如何在CDH集群安装Anaconda&搭建Python私有源
如何使用CDSW在CDH中分布式运行所有R代码
如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业
如何使用R连接Hive与Impala
如何在Redhat中安装R的包及搭建R的私有源
如何在Redhat中配置R环境
什么是sparklyr
其他
CDH网络要求(Lenovo参考架构)
大数据售前的中年危机
如何实现CDH元数据库MySQL的主备
如何在CDH中使用HPLSQL实现存储过程
如何在Hive&Impala中使用UDF
Hive多分隔符支持示例
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操