本文主要是介绍【湖仓一体尝试】MYSQL和HIVE数据联合查询,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。
先来个完工环境照:
mysql+hadoop+hive+flink+iceberg+trino
得益于IBM OPENJ9的优化,完全启动后的内存占用:
1)执行联合查询后的
2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境
HIVE里ICEBERG的表和数据:
-- iceberg.test.my_tbl definition
CREATE TABLE iceberg.test.my_tbl (
user_id integer,
user_name varchar,
country varchar,
birthday date
)
WITH (
format = 'PARQUET',
format_version = 2,
location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',
partitioning = ARRAY['country']
);
MYSQL里的表和数据:
-- dict.dict.country definition
CREATE TABLE dict.dict.country (
country_name varchar(2) NOT NULL,
country_cn varchar(20) NOT NULL
);
联合查询的执行结果:
这篇关于【湖仓一体尝试】MYSQL和HIVE数据联合查询的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!