本文主要是介绍(04)Hive的相关概念——order by 、sort by、distribute by 、cluster by,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Hive中的排序通常涉及到order by 、sort by、distribute by 、cluster by
一、语法
selectcolumn1,column2, ...
from table
[where 条件]
[group by column]
[order by column]
[cluster by column| [distribute by column] [sort by column]
[limit [offset,] rows];
二、排序介绍
2.1 order by
Hive的order by 与其他的sql一样,对所有数据进行排序,即:全局排序,只有一个 Reducer。在严格模式(set hive.mapred.mode=strict
)下,执行order by 必须加上limit 子句,避免数据集行数过大。order by 字段 ,默认是升序。
2.2 distribute by和sort by
针对order by的缺点,Hive提供了distribute by 分区和sort by 排序。例如: select * from user_info distribute by user_id sort by login_date desc;
- distribute by
shuffle阶段,基于key值,可以控制数据发往具体某个分区 ,相同key的数据会分发到同一个reduceTask中。
distribute by类似 MR 中的自定义分区 partition ,distribute by 的分区规则是:分区字段的hashcode值对reduce 个数取模后, 余数相同的数据会分发到同一个reduceTask中。
- sort by
指定sort by后,可以在每个reducer端做排序,即可以保证局部有序(每个reducer出来的数据是有序的,但是不能保证所有的数据是有序的,除非只有一个reducer)。
指定sort by好处是:执行了局部排序之后可以为接下去的全局排序提高不少的效率。
2.3 cluster by
select * from user_info distribute by user_id sort by user_id;
--等价于
select * from user_info cluster by user_id;
三、总结
- order by全局排序,只有一个reducer,结果输出在一个文件中,当数据量较大时,需要较长的计算时间;
- distribute by根据指定字段将数据分组,分组编号 = 【字段的hashcode 】% 【reduce数】,sort by是在分组之后,每个组内局部排序,即保障了每个reducer端的数据有序;
- cluster by既有分组,又有排序,前提是分组与排序字段相同,当distribute和sort的字段是同一个时,cluster by = distribute by + sort by
这篇关于(04)Hive的相关概念——order by 、sort by、distribute by 、cluster by的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!