本文主要是介绍使用Coral将HiveView转为PrestoSQL,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
文章目录
- 前言
- 环境准备
- 使用Coral
- 总结
前言
随着技术的发展,Hive的计算逐渐被新生的引擎Spark、Presto这些取代。但是数据仓库元数据的管理依旧是交给HiveMetaStore,一些留存的View可能也需要使用新的引擎执行。
Spark对Hive的语法兼容较好,不用担心ViewSQL的转换问题;Presto则严格地遵循ANSI标准,对Hive的兼容较差。
于是有了一些项目将Hive的SQL转为其他引擎的SQL,Coral就是其中之一。
环境准备
已经有hive环境的可以直接使用自己的Hive环境
如果没有hive的话,可以使用docker迅速搭建起一套Hive环境
git clone https://github.com/big-data-europe/docker-hive.git
按照docker-hive项目的README.md准备好后,建立一个view准备之后使用
CREATE VIEW IF NOT EXISTS pmod_view AS
SELECT pmod(-9, 4) FROM pokes
使用Coral
- 引入依赖
- hive-jdbc用于查询
- coral-trino转换SQL
- junit用于编写单元测试
<dependency><groupId>org.apache.hive</groupId><artifactId>hive-metastore</artifactId><version>2.3.2</version></dependency><!-- https://mvnrepository.com/artifact/com.linkedin.coral/coral-trino --><dependency><groupId>com.linkedin.coral</groupId><artifactId>coral-trino</artifactId><version>1.0.89</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.13</version><scope>test</scope></dependency>
- 简单演示
使用Coral将HiveSQL转为PrestoSQL
@Testpublic void testHive2Trino() throws Exception {//连接HMSHiveConf hiveConf = new HiveConf();hiveConf.set("hive.metastore.uris", "thrift://127.0.0.1:9083");HiveMetaStoreClient hiveMetaStoreClient = new HiveMetaStoreClient(hiveConf);//获得view的原始SQL即HiveSQLString dbName = "test";String viewName = "pmod_view";String viewSql = hiveMetaStoreClient.getTable(dbName, viewName).getViewOriginalText();System.out.println(viewSql);//将HiveView转为PrestoSQLHiveToRelConverter hiveToRelConverter = HiveToRelConverter.create(new HiveMscAdapter(hiveMetaStoreClient));RelNode relNode = hiveToRelConverter.convertView(dbName, viewName);RelToTrinoConverter relToTrinoConverter = new RelToTrinoConverter();String prestoSql = relToTrinoConverter.convert(relNode);System.out.println(prestoSql);}
转换成功:Presto没有Hive的pmod,但是可以通过改写实现相同的语义。
总结
Coral目前还只支持部分SQL的转换,但是也极大的方便了分析师们。因为只需要编写HMS的客户端,将其交给Coral就能拿到符合其他引擎语法的SQL。
这篇关于使用Coral将HiveView转为PrestoSQL的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!