面试必备技能-HiveSQL优化

2024-09-06 22:08

本文主要是介绍面试必备技能-HiveSQL优化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Hive SQL基本上适用大数据领域离线数据处理的大部分场景。Hive SQL的优化也是我们必须掌握的技能,而且,面试一定会问。那么,我希望面试者能答出其中的80%优化点,在这个问题上才算过关。


  • Hive优化目标

    • 在有限的资源下,执行效率更高

  • 常见问题

    • 数据倾斜

    • map数设置

    • reduce数设置

    • 其他


  • Hive执行

    • HQL --> Job --> Map/Reduce

    • 执行计划

      • explain [extended] hql

      • 样例

      • select col,count(1) from test2 group by col;

      • explain select col,count(1) from test2 group by col;


Hive表优化

  • 分区

    • set hive.exec.dynamic.partition=true;

    • set hive.exec.dynamic.partition.mode=nonstrict;

    • 静态分区

    • 动态分区

  • 分桶

    • set hive.enforce.bucketing=true;

    • set hive.enforce.sorting=true;

  • 数据

    • 相同数据尽量聚集在一起




Hive Job优化

  • 并行化执行

    • 每个查询被hive转化成多个阶段,有些阶段关联性不大,则可以并行化执行,减少执行时间

    • set hive.exec.parallel= true;

    • set hive.exec.parallel.thread.numbe=8;

  • 本地化执行

    • job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)

    • job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)

    • job的reduce数必须为0或者1

    • set hive.exec.mode.local.auto=true;

    • 当一个job满足如下条件才能真正使用本地模式:

  • job合并输入小文件

    • set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

    • 合并文件数由mapred.max.split.size限制的大小决定

  • job合并输出小文件

    • set hive.merge.smallfiles.avgsize=256000000;当输出文件平均小于该值,启动新job合并文件

    • set hive.merge.size.per.task=64000000;合并之后的文件大小

  • JVM重利用

    • set mapred.job.reuse.jvm.num.tasks=20;

    • JVM重利用可以使得JOB长时间保留slot,直到作业结束,这在对于有较多任务和较多小文件的任务是非常有意义的,减少执行时间。当然这个值不能设置过大,因为有些作业会有reduce任务,如果reduce任务没有完成,则map任务占用的slot不能释放,其他的作业可能就需要等待。

  • 压缩数据

    • set hive.exec.compress.output=true;

    • set mapred.output.compreession.codec=org.apache.hadoop.io.compress.GzipCodec;

    • set mapred.output.compression.type=BLOCK;

    • set hive.exec.compress.intermediate=true;

    • set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;

    • set hive.intermediate.compression.type=BLOCK;

    • 中间压缩就是处理hive查询的多个job之间的数据,对于中间压缩,最好选择一个节省cpu耗时的压缩方式

    • hive查询最终的输出也可以压缩

Hive Map优化


  • set mapred.map.tasks =10; 无效

  • (1)默认map个数

    • default_num=total_size/block_size;

  • (2)期望大小

    • goal_num=mapred.map.tasks;

  • (3)设置处理的文件大小

    • split_size=max(mapred.min.split.size,block_size);

    • split_num=total_size/split_size;

  • (4)计算的map个数

    • compute_map_num=min(split_num,max(default_num,goal_num))

  • 经过以上的分析,在设置map个数的时候,可以简答的总结为以下几点:

    • 增大mapred.min.split.size的值

    • 如果想增加map个数,则设置mapred.map.tasks为一个较大的值

    • 如果想减小map个数,则设置mapred.min.split.size为一个较大的值

    • 情况1:输入文件size巨大,但不是小文件

    • 情况2:输入文件数量巨大,且都是小文件,就是单个文件的size小于blockSize。这种情况通过增大mapred.min.split.size不可行,需要使用combineFileInputFormat将多个input path合并成一个InputSplit送给mapper处理,从而减少mapper的数量。

  • map端聚合

    • set hive.map.aggr=true;

  • 推测执行

    • mapred.map.tasks.apeculative.execution

Hive Shuffle优化


  • Map端

    • io.sort.mb

    • io.sort.spill.percent

    • min.num.spill.for.combine

    • io.sort.factor

    • io.sort.record.percent

  • Reduce端

    • mapred.reduce.parallel.copies

    • mapred.reduce.copy.backoff

    • io.sort.factor

    • mapred.job.shuffle.input.buffer.percent

    • mapred.job.shuffle.input.buffer.percent

    • mapred.job.shuffle.input.buffer.percent

Hive Reduce优化


  • 需要reduce操作的查询

    • group by,join,distribute by,cluster by...

    • order by比较特殊,只需要一个reduce

    • sum,count,distinct...

    • 聚合函数

    • 高级查询

  • 推测执行

    • mapred.reduce.tasks.speculative.execution

    • hive.mapred.reduce.tasks.speculative.execution

  • Reduce优化

    • numRTasks = min[maxReducers,input.size/perReducer]

    • maxReducers=hive.exec.reducers.max

    • perReducer = hive.exec.reducers.bytes.per.reducer

    • hive.exec.reducers.max 默认 :999

    • hive.exec.reducers.bytes.per.reducer 默认:1G

    • set mapred.reduce.tasks=10;直接设置

    • 计算公式


Hive查询操作优化


join优化

  • 关联操作中有一张表非常小

  • 不等值的链接操作

  • set hive.auto.current.join=true;

  • hive.mapjoin.smalltable.filesize默认值是25mb

  • select /*+mapjoin(A)*/ f.a,f.b from A t join B f on (f.a=t.a)

  • hive.optimize.skewjoin=true;如果是Join过程出现倾斜,应该设置为true

  • set hive.skewjoin.key=100000; 这个是join的键对应的记录条数超过这个值则会进行优化

  • mapjoin

  • 简单总结下,mapjoin的使用场景:

Bucket join

  • 两个表以相同方式划分桶

  • 两个表的桶个数是倍数关系

  • crete table order(cid int,price float) clustered by(cid) into 32 buckets;

  • crete table customer(id int,first string) clustered by(id) into 32 buckets;

  • select price from order t join customer s on t.cid=s.id


join 优化前

  • select m.cid,u.id from order m join customer u on m.cid=u.id where m.dt='2013-12-12';


join优化后

  • select m.cid,u.id from (select cid from order where dt='2013-12-12')m join customer u on m.cid=u.id;

group by 优化

  • hive.groupby.skewindata=true;如果是group by 过程出现倾斜 应该设置为true

  • set hive.groupby.mapaggr.checkinterval=100000;--这个是group的键对应的记录条数超过这个值则会进行优化


  • count distinct 优化

    • 优化前

      • select count(distinct id) from tablename

    • 优化后

      • select count(1) from (select distinct id from tablename) tmp;

      • select count(1) from (select id from tablename group by id) tmp;

    • 优化前

      • select a,sum(b),count(distinct c),count(distinct d) from test group by a

    • 优化后

      • select a,sum(b) as b,count(c) as c,count(d) as d from(select a,0 as b,c,null as d from test group by a,c union all select a,0 as b,null as c,d from test group by a,d union all select a,b,null as c,null as d from test)tmp1 group by a;


640?wx_fmt=jpeg点赞和转发是最大的支持~


在看点一下 大家都知道 640?wx_fmt=png

这篇关于面试必备技能-HiveSQL优化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143255

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

字节面试 | 如何测试RocketMQ、RocketMQ?

字节面试:RocketMQ是怎么测试的呢? 答: 首先保证消息的消费正确、设计逆向用例,在验证消息内容为空等情况时的消费正确性; 推送大批量MQ,通过Admin控制台查看MQ消费的情况,是否出现消费假死、TPS是否正常等等问题。(上述都是临场发挥,但是RocketMQ真正的测试点,还真的需要探讨) 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说,就是一个分

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

从状态管理到性能优化:全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动

java面试常见问题之Hibernate总结

1  Hibernate的检索方式 Ø  导航对象图检索(根据已经加载的对象,导航到其他对象。) Ø  OID检索(按照对象的OID来检索对象。) Ø  HQL检索(使用面向对象的HQL查询语言。) Ø  QBC检索(使用QBC(Qurey By Criteria)API来检索对象。 QBC/QBE离线/在线) Ø  本地SQL检索(使用本地数据库的SQL查询语句。) 包括Hibern

生信代码入门:从零开始掌握生物信息学编程技能

少走弯路,高效分析;了解生信云,访问 【生信圆桌x生信专用云服务器】 : www.tebteb.cc 介绍 生物信息学是一个高度跨学科的领域,结合了生物学、计算机科学和统计学。随着高通量测序技术的发展,海量的生物数据需要通过编程来进行处理和分析。因此,掌握生信编程技能,成为每一个生物信息学研究者的必备能力。 生信代码入门,旨在帮助初学者从零开始学习生物信息学中的编程基础。通过学习常用