HiveQL 去重操作 和SQL一样，HiveQL中同样支持DISTINCT操作，如下示例： (1) SELECT  count(DISTINCT uid) FROM log (2) SELECT ip, count(DISTINCT uid) FROM log GROUP BY ip (3) SELECT ip,  count(DISTINCT uid, uname) FROMlog

Group By 语句 1.Map 端部分聚合： 并不是所有的聚合操作都需要在 Reduce 端完成，很多聚合操作都可以先在 Map 端进行部分聚合，最后在 Reduce 端得出最终结果。 基于 Hash 参数包括： hive.map.aggr = true 是否在 Map 端进行聚合，默认为 True hive.groupby.mapaggr.checkinterval = 1