hive小贴士-Hive使用小贴士第一期

2024-04-14 19:48

本文主要是介绍hive小贴士-Hive使用小贴士第一期,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

写在前面的话:

如果你已是独步武林的高手,热烈欢迎你分享自己的经验和技巧

如果你是初出茅庐的新手,希望小贴士可以起到指点迷津或抛砖引玉的作用,助你一路披荆斩棘成为Hive牛人


分区是一个事关重大而新手又容易忽略的问题,在查询中不加分区限制会导致一次遍历所有分区,占用大量服务器资源。所以分区看似简单,

却必须多加注意。

不同类型的表分区方式有所不同,下面根据表的分类来讲解分区的使用方法。

目前较常见的有两种类型的表,拉链表和非拉链表,具体表现形式如下:

Ÿ  拉链表:xx_xx_tablename_chain 

Ÿ  非拉链表: 增量表: xx_xx_tablename           全量快照:xx_xx_tablename_da

拉链表的使用方法:

1.     包含HISTORY分区:

            以订单拉链表为例fdm_pek_orders_chain

            恢复2013-09-01的数据快照: select * from  fdm_pek_orders_chain wherestart_date<='2013-09-01' and end_date >'2013-09-01' ; --适用任何情况

            恢复当前的快照:select * from  fdm_pek_orders_chainwhere dp='ACTIVE' or dp='HISTORY' --注意你要追历史上某一天的数据,就不适用了

2.     不包含HISTORY分区:

            以用户表为例fdm_pek_userinfo_chain

            恢复2013-09-01的数据快照: select * from  fdm_pek_userinfo_chain wherestart_date<='2013-09-01' and end_date >'2013-09-01' ; --适用任何情况

            恢复当前的快照:select * from  fdm_pek_orders_chainwhere dp='ACTIVE' --注意你要追历史上某一天的数据,就不适用了


这篇关于hive小贴士-Hive使用小贴士第一期的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/903852

相关文章

MySQL 日期时间格式化函数 DATE_FORMAT() 的使用示例详解

《MySQL日期时间格式化函数DATE_FORMAT()的使用示例详解》`DATE_FORMAT()`是MySQL中用于格式化日期时间的函数,本文详细介绍了其语法、格式化字符串的含义以及常见日期... 目录一、DATE_FORMAT()语法二、格式化字符串详解三、常见日期时间格式组合四、业务场景五、总结一、

Python中配置文件的全面解析与使用

《Python中配置文件的全面解析与使用》在Python开发中,配置文件扮演着举足轻重的角色,它们允许开发者在不修改代码的情况下调整应用程序的行为,下面我们就来看看常见Python配置文件格式的使用吧... 目录一、INI配置文件二、YAML配置文件三、jsON配置文件四、TOML配置文件五、XML配置文件

Go使用pprof进行CPU,内存和阻塞情况分析

《Go使用pprof进行CPU,内存和阻塞情况分析》Go语言提供了强大的pprof工具,用于分析CPU、内存、Goroutine阻塞等性能问题,帮助开发者优化程序,提高运行效率,下面我们就来深入了解下... 目录1. pprof 介绍2. 快速上手:启用 pprof3. CPU Profiling:分析 C

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi

Python中conda虚拟环境创建及使用小结

《Python中conda虚拟环境创建及使用小结》本文主要介绍了Python中conda虚拟环境创建及使用小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录0.前言1.Miniconda安装2.conda本地基本操作3.创建conda虚拟环境4.激活c

Spring中@Lazy注解的使用技巧与实例解析

《Spring中@Lazy注解的使用技巧与实例解析》@Lazy注解在Spring框架中用于延迟Bean的初始化,优化应用启动性能,它不仅适用于@Bean和@Component,还可以用于注入点,通过将... 目录一、@Lazy注解的作用(一)延迟Bean的初始化(二)与@Autowired结合使用二、实例解

SpringBoot使用Jasypt对YML文件配置内容加密的方法(数据库密码加密)

《SpringBoot使用Jasypt对YML文件配置内容加密的方法(数据库密码加密)》本文介绍了如何在SpringBoot项目中使用Jasypt对application.yml文件中的敏感信息(如数... 目录SpringBoot使用Jasypt对YML文件配置内容进行加密(例:数据库密码加密)前言一、J

Spring Boot 中正确地在异步线程中使用 HttpServletRequest的方法

《SpringBoot中正确地在异步线程中使用HttpServletRequest的方法》文章讨论了在SpringBoot中如何在异步线程中正确使用HttpServletRequest的问题,... 目录前言一、问题的来源:为什么异步线程中无法访问 HttpServletRequest?1. 请求上下文与线

在 Spring Boot 中使用异步线程时的 HttpServletRequest 复用问题记录

《在SpringBoot中使用异步线程时的HttpServletRequest复用问题记录》文章讨论了在SpringBoot中使用异步线程时,由于HttpServletRequest复用导致... 目录一、问题描述:异步线程操作导致请求复用时 Cookie 解析失败1. 场景背景2. 问题根源二、问题详细分

从零教你安装pytorch并在pycharm中使用

《从零教你安装pytorch并在pycharm中使用》本文详细介绍了如何使用Anaconda包管理工具创建虚拟环境,并安装CUDA加速平台和PyTorch库,同时在PyCharm中配置和使用PyTor... 目录背景介绍安装Anaconda安装CUDA安装pytorch报错解决——fbgemm.dll连接p