本文主要是介绍hive参数hive.mapred.mode分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Hive配置中有个参数hive.mapred.mode,分为nonstrict,strict,默认是nonstrict
如果设置为strict,会对三种情况的语句在compile环节做过滤:
1. 笛卡尔积Join。这种情况由于没有指定reduce join key,所以只会启用一个reducer,数据量大时会造成性能瓶颈
-
// Use only 1 reducer in case of cartesian product
-
if (reduceKeys.size() == 0) {
-
numReds = 1;
-
// Cartesian product is not supported in strict mode
-
if (conf.getVar(HiveConf.ConfVars.HIVEMAPREDMODE).equalsIgnoreCase(
-
"strict")) {
-
throw new SemanticException(ErrorMsg.NO_CARTESIAN_PRODUCT.getMsg());
-
}
-
}
2. order by后面不跟limit。order by会强制将reduce number设置成1,不加limit,会将所有数据sink到reduce端来做全排序。
-
if (sortExprs == null) {
-
sortExprs = qb.getParseInfo().getOrderByForClause(dest);
-
if (sortExprs != null) {
-
assert numReducers == 1;
-
// in strict mode, in the presence of order by, limit must be specified
-
Integer limit = qb.getParseInfo().getDestLimit(dest);
-
if (conf.getVar(HiveConf.ConfVars.HIVEMAPREDMODE).equalsIgnoreCase(
-
"strict")
-
&& limit == null) {
-
throw new SemanticException(generateErrorMessage(sortExprs,
-
ErrorMsg.NO_LIMIT_WITH_ORDERBY.getMsg()));
-
}
-
}
-
}
3. 读取的表是partitioned table,但没有指定partition predicate。
注:如果是多级分区表的话,只要出现任何一个就放行
-
// If the "strict" mode is on, we have to provide partition pruner for
-
// each table.
-
if ("strict".equalsIgnoreCase(HiveConf.getVar(conf,
-
HiveConf.ConfVars.HIVEMAPREDMODE))) {
-
if (!hasColumnExpr(prunerExpr)) {
-
throw new SemanticException(ErrorMsg.NO_PARTITION_PREDICATE
-
.getMsg("for Alias \"" + alias + "\" Table \""
-
+ tab.getTableName() + "\""));
-
}
-
}
这三种case在数据量比较大的情况下都会造成生成低效的MR Job,影响执行时间和效率,不过直接抛出exception又感觉太forcefully了。
可以在一些非线上生产环境下的ad-hoc查询端中开启strict mode,比如hiveweb,运营工具。
本文链接http://blog.csdn.net/lalaguozhe/article/details/12044181,转载请注明
================================================================
1. order by
Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reducer)。但是对于大量数据这将会消耗很长的时间去执行。
这里跟传统的sql还有一点区别:如果指定了hive.mapred.mode=strict(默认值是nonstrict),这时就必须指定limit来限制输出条数,原因是:所有的数据都会在同一个reducer端进行,数据量大的情况下可能不能出结果,那么在这样的严格模式下,必须指定输出的条数。
2. sort by
Hive中指定了sort by,那么在每个reducer端都会做排序,也就是说保证了局部有序(每个reducer出来的数据是有序的,但是不能保证所有的数据是有序的,除非只有一个reducer),好处是:执行了局部排序之后可以为接下去的全局排序提高不少的效率(其实就是做一次归并排序就可以做到全局排序了)。
3. distribute by和sort by一起使用
ditribute by是控制map的输出在reducer是如何划分的,举个例子,我们有一张表,mid是指这个store所属的商户,money是这个商户的盈利,name是这个store的名字
store:
mid money name
AA 15.0 商店1
AA 20.0 商店2
BB 22.0 商店3
CC 44.0 商店4
执行hive语句:
select mid, money, name from store distribute by mid sort by mid asc, money asc
我们所有的mid相同的数据会被送到同一个reducer去处理,这就是因为指定了distribute by mid,这样的话就可以统计出每个商户中各个商店盈利的排序了(这个肯定是全局有序的,因为相同的商户会放到同一个reducer去处理)。这里需要注意的是distribute by必须要写在sort by之前。
4. cluster by
cluster by的功能就是distribute by和sort by相结合,如下2个语句是等价的:
select mid, money, name from store cluster by mid
select mid, money, name from store distribute by mid sort by mid
如果需要获得与3中语句一样的效果:
select mid, money, name from store cluster by mid sort by money
注意被cluster by指定的列只能是降序,不能指定asc和desc
原文:https://blog.csdn.net/jthink_/article/details/38903775
这篇关于hive参数hive.mapred.mode分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!