本文主要是介绍Hive开发经验总结，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1. 了解Hive的基本概念
对Hive基本概念的了解，有助于对移动开发平台的理解与掌握，便于项目开展。尤其是其与普通关系型数据库的区别。
2. 数据倾斜（Data skew）
概念：简单理解就是数据分布不均匀。有这么一种说法：正常的数据分布理论上都是倾斜的，就是我们所说的20-80原理：80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量。
产生场景：group by和 join
解决方法：
a) 调整reduce内存值
b) 指定key值（distribute by、cluster by）
c) 将reduce阶段的join操作调整到map阶段
3. 小技巧
建立中间表
有些程序的逻辑较为复杂，可通过分析拆解为多个中间表的形式。
建立中间表的好处主要有两点：
a) 降低单个程序的复杂度，提供运行成功率；
b) 数据可溯源，易于后期扩展。
建立临时表
在一个程序内建立临时表类似于视图的功能，保存中间结果用于计算，提高运行效率。
数据规范化
项目中使用到的数据来自不同部门，由不同的人生产，容易出现很多格式上不一致的问题。
a) null值处理
null值用于运算的结果始终为null，程序中可使用 nvl(字段名,默认值) 进行处理，以防出错。
b) 空白符处理
数据表中某些字段使用空格补全，如经常出现product_no字段，用户手机号前后存在空格，导致匹配失败。可使用trim()函数处理
c) 注意分隔符
因为hive是“读模式”，一定要注意表的分隔符，如app名称字段“生活|美团”，如果再使用“|”作为表分隔符则会出错。
极大表与极小表关联问题
将join操作调整到map阶段执行，避免产生笛卡尔积，提升运行效率
select /+mapjoin( tab_small )/ from tab_small join tab_huge on …
这篇关于Hive开发经验总结的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
