HIVE_HIVE函数_窗口函数_LAG()/LEAD() 详解

2024-05-03 05:48
文章标签 函数 详解 窗口 hive lag lead

本文主要是介绍HIVE_HIVE函数_窗口函数_LAG()/LEAD() 详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

参考文章:

1.ORALCE函数:LAG()和LEAD() 分析函数详解、

https://blog.csdn.net/pelifymeng2/article/details/70313943

 

 

LAG, LEAD 函数简单介绍

 Lag和Lead分析函数可以在同一次查询中取出同一字段的前N行的数据(Lag)和后N行的数据(Lead)作为独立的列。

  在实际应用当中,若要用到取今天和昨天的某字段差值时,Lag和Lead函数的应用就显得尤为重要。当然,这种操作可以用表的自连接实现,但是 LAG 和 LEAD 与 left join、right join 等自连接相比,效率更高,SQL更简洁。下面我就对这两个函数做一个简单的介绍。 
 

 

函数语法

lag(exp_str,offset,defval) over(partion by ..order by …)

lead(exp_str,offset,defval) over(partion by ..order by …)

其中exp_str是字段名

     Offset是偏移量,即是上1个或上N个的值,假设当前行在表中排在第5行,则offset 为3,则表示我们所要找的数据行就是表中的第2行(即5-3=2)。

     Defval默认值,当两个函数取上N/下N个值,当在表中从当前行位置向前数N行已经超出了表的范围时,lag()函数将defval这个参数值作为函数的返回值,若没有指定默认值,则返回NULL,那么在数学运算中,总要给一个默认值才不会出错。
 

例子 

构建表,插入测试数据

use data_warehouse_test;CREATE TABLE IF NOT EXISTS user_old_salary_info (user_name STRING,salary_vaild_date STRING,salary BIGINT
)
;INSERT OVERWRITE TABLE user_old_salary_info VALUES
('szh', '2011-11-06', 1000)
,('sx', '2011-11-07', 2000)
,('szh', '2015-06-11', 4000)
,('sx', '2016-07-12', 5000)
,('szh', '2017-08-20', 10000)
,('sg', '2017-08-20', 30000)
,('szh', '2020-06-20', 25000)
;

进行相关查询

use data_warehouse_test;SELECT * 
FROM user_old_salary_info
;SELECT user_name, salary, LAG(salary, 1, 0) OVER(PARTITION BY user_name ORDER BY salary_vaild_date) AS last_salary
FROM user_old_salary_info
;SELECT user_name, salary, LEAD(salary, 1, 0) OVER() AS next_salary
FROM user_old_salary_info
;

 

 

查询表中所有的记录:

SELECT * 
FROM user_old_salary_info
;

+---------------------------------+-----------------------------------------+------------------------------+
| user_old_salary_info.user_name  | user_old_salary_info.salary_vaild_date  | user_old_salary_info.salary  |
+---------------------------------+-----------------------------------------+------------------------------+
| szh                             | 2011-11-06                              | 1000                         |
| sx                              | 2011-11-07                              | 2000                         |
| szh                             | 2015-06-11                              | 4000                         |
| sx                              | 2016-07-12                              | 5000                         |
| szh                             | 2017-08-20                              | 10000                        |
| sg                              | 2017-08-20                              | 30000                        |
| szh                             | 2020-06-20                              | 25000                        |
+---------------------------------+-----------------------------------------+------------------------------+

 

=============================

 

某一个员工 本次的薪水 和 上一次的薪水

SELECT user_name, salary, LAG(salary, 1, 0) OVER(PARTITION BY user_name ORDER BY salary_vaild_date) AS last_salary
FROM user_old_salary_info
;

 

+------------+---------+--------------+
| user_name  | salary  | last_salary  |
+------------+---------+--------------+
| sg         | 30000   | 0            |
| sx         | 2000    | 0            |
| sx         | 5000    | 2000         |
| szh        | 1000    | 0            |
| szh        | 4000    | 1000         |
| szh        | 10000   | 4000         |
| szh        | 25000   | 10000        |
+------------+---------+--------------+

 

=============================

 

顺序查看 本次的薪水 和 上一次的薪水

SELECT user_name, salary, LEAD(salary, 1, 0) OVER() AS next_salary
FROM user_old_salary_info
;

 

+------------+---------+--------------+
| user_name  | salary  | next_salary  |
+------------+---------+--------------+
| szh        | 25000   | 30000        |
| sg         | 30000   | 10000        |
| szh        | 10000   | 5000         |
| sx         | 5000    | 4000         |
| szh        | 4000    | 2000         |
| sx         | 2000    | 1000         |
| szh        | 1000    | 0            |
+------------+---------+--------------+

 

这篇关于HIVE_HIVE函数_窗口函数_LAG()/LEAD() 详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/955957

相关文章

java图像识别工具类(ImageRecognitionUtils)使用实例详解

《java图像识别工具类(ImageRecognitionUtils)使用实例详解》:本文主要介绍如何在Java中使用OpenCV进行图像识别,包括图像加载、预处理、分类、人脸检测和特征提取等步骤... 目录前言1. 图像识别的背景与作用2. 设计目标3. 项目依赖4. 设计与实现 ImageRecogni

Java访问修饰符public、private、protected及默认访问权限详解

《Java访问修饰符public、private、protected及默认访问权限详解》:本文主要介绍Java访问修饰符public、private、protected及默认访问权限的相关资料,每... 目录前言1. public 访问修饰符特点:示例:适用场景:2. private 访问修饰符特点:示例:

python管理工具之conda安装部署及使用详解

《python管理工具之conda安装部署及使用详解》这篇文章详细介绍了如何安装和使用conda来管理Python环境,它涵盖了从安装部署、镜像源配置到具体的conda使用方法,包括创建、激活、安装包... 目录pytpshheraerUhon管理工具:conda部署+使用一、安装部署1、 下载2、 安装3

详解Java如何向http/https接口发出请求

《详解Java如何向http/https接口发出请求》这篇文章主要为大家详细介绍了Java如何实现向http/https接口发出请求,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 用Java发送web请求所用到的包都在java.net下,在具体使用时可以用如下代码,你可以把它封装成一

JAVA系统中Spring Boot应用程序的配置文件application.yml使用详解

《JAVA系统中SpringBoot应用程序的配置文件application.yml使用详解》:本文主要介绍JAVA系统中SpringBoot应用程序的配置文件application.yml的... 目录文件路径文件内容解释1. Server 配置2. Spring 配置3. Logging 配置4. Ma

mac中资源库在哪? macOS资源库文件夹详解

《mac中资源库在哪?macOS资源库文件夹详解》经常使用Mac电脑的用户会发现,找不到Mac电脑的资源库,我们怎么打开资源库并使用呢?下面我们就来看看macOS资源库文件夹详解... 在 MACOS 系统中,「资源库」文件夹是用来存放操作系统和 App 设置的核心位置。虽然平时我们很少直接跟它打交道,但了

关于Maven中pom.xml文件配置详解

《关于Maven中pom.xml文件配置详解》pom.xml是Maven项目的核心配置文件,它描述了项目的结构、依赖关系、构建配置等信息,通过合理配置pom.xml,可以提高项目的可维护性和构建效率... 目录1. POM文件的基本结构1.1 项目基本信息2. 项目属性2.1 引用属性3. 项目依赖4. 构

Rust 数据类型详解

《Rust数据类型详解》本文介绍了Rust编程语言中的标量类型和复合类型,标量类型包括整数、浮点数、布尔和字符,而复合类型则包括元组和数组,标量类型用于表示单个值,具有不同的表示和范围,本文介绍的非... 目录一、标量类型(Scalar Types)1. 整数类型(Integer Types)1.1 整数字

Java操作ElasticSearch的实例详解

《Java操作ElasticSearch的实例详解》Elasticsearch是一个分布式的搜索和分析引擎,广泛用于全文搜索、日志分析等场景,本文将介绍如何在Java应用中使用Elastics... 目录简介环境准备1. 安装 Elasticsearch2. 添加依赖连接 Elasticsearch1. 创

Redis缓存问题与缓存更新机制详解

《Redis缓存问题与缓存更新机制详解》本文主要介绍了缓存问题及其解决方案,包括缓存穿透、缓存击穿、缓存雪崩等问题的成因以及相应的预防和解决方法,同时,还详细探讨了缓存更新机制,包括不同情况下的缓存更... 目录一、缓存问题1.1 缓存穿透1.1.1 问题来源1.1.2 解决方案1.2 缓存击穿1.2.1