本文主要是介绍Hive与PrestoSQL中的并列列转行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
并列列转行
- 1、背景描述
- 2、Hive实现
- 3、PrestoSQL实现
1、背景描述
通常我们在处理数据时,如果遇到一个字段存储多个值,常常需要把一行数据转换为多行数据,形成标准的结构化数据
例如,将下面的两列数据并列转换为三行,使得code
和name
一一对应的
id | code | name |
---|---|---|
1 | a、b、c | A、B、C |
2、Hive实现
使用Hive的lateral view posexplode
实现
select id, pos1, sub_code, pos2, sub_name from tmp
lateral view posexplode(split(code,'、')) v1 as pos1, sub_code
lateral view posexplode(split(name,'、')) v2 as pos2, sub_name
where id='1' and pos1=pos2
3、PrestoSQL实现
使用PrestoSQL的cross join unnest
实现
with temp1 as(select id,sub_name,row_number() over() rnfrom tempcross join unnest(split(code, '、')) as t (sub_name)where id='1'),
temp2 as (select id,sub_code,row_number() over() rnfrom tempcross join unnest(split(name, '、')) as t (sub_code)where id='1')
select *
from temp1
left join temp2
on temp1.rn = temp2.rn
这篇关于Hive与PrestoSQL中的并列列转行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!