Hive-2.HiveQL查询中分析函数

2023-11-29 04:08
文章标签 分析 函数 查询 hive hiveql

本文主要是介绍Hive-2.HiveQL查询中分析函数,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1 RANK()函数

返回数据项在分组中的排名,排名相等会在名次中留下空位

 

2 DENSE_RANK()函数

返回数据项在分组中的排名,排名相等会在名次中不会留下空位

3 NTILE()函数

返回n分片后的值

4 ROW_NUMBER()

为每条记录返回一个数字

分析函数案例实战

针对分组后,对组内数据进行排序

(1)Rank函数返回一个唯一的值,除非遇到相同的数据时,此时所有相同数据的排名是一样的, 同时会在最后一条相同记录和下一条不同记录的排名之间空出排名。

(2)Dense_rank函数返回一个唯一的值,除非当碰到相同数据时,此时所有相同数据的排名都是一样的。

(3)Row_number函数返回一个唯一的值,当碰到相同数据时,排名按照记录集中记录的顺序依次递增。

1、创建表

create table student_info(

S_ID  int,

COURSE string,

SCORE int,

CLASS_ID int

)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t';

 

 

2、初始化数据

1000 math 70 1

1000 china 80 1

1000 oracle 90 1

1001 math 80 1

1001 china 75 1

1001 oracle 78 1

1002 math 81 2

1002 china 76 2

1002 oracle 77 2

1003 math 80 2

1003 china 75 2

1003 oracle 78 2

3、统计查询

排名/排序的时候,有时候,我们会想到利用伪列rownum,利用rownum确实可以解决某些场景下的问题(但是相对也比较复杂),而且有些

场景下的问题却很难解决

 

3.1 每个班级同一个科目的成绩排名

 

select S_ID,CLASS_ID,COURSE,SCORE, 

rank() over (partition by CLASS_ID,COURSE  order by SCORE desc ) rk,

dense_rank() over (partition by CLASS_ID,COURSE  order by SCORE desc ) drk,

row_number() over (partition by CLASS_ID,COURSE  order by SCORE desc ) rn

from student_info

 

s_id    class_id         course  score   rk      drk     rn

1000    1         china   80      1       1       1

1001    1        china   75      2       2       2

1001    1        math    80      1       1       1

1000    1         math    70      2       2       2

1000    1        oracle  90      1       1       1

1001    1        oracle  78      2       2       2

1002    2        china   76      1       1       1

1003    2        china   75      2       2       2

1002    2        math    81      1       1       1

1003    2        math    80      2       2       2

1003    2        oracle  78      1       1       1

1002    2        oracle  77      2       2       2

 

 

3.2 统计每门课程的成绩排名

select S_ID,COURSE,SCORE, 

rank() over (partition by COURSE  order by SCORE desc )  rk ,

dense_rank() over (partition by course order by score desc) drk,

row_number() over(partition by course order by score desc) rn

from student_info;

 

s_id    course  score   rk      drk     rn

1000    china   80      1       1       1

1002    china   76      2       2       2

1001    china   75      3       3       3

1003    china   75      3       3       4

1002    math    81      1       1       1

1001    math    80      2       2       2

1003    math    80      2       2       3

1000    math    70      4       3       4

1000    oracle  90      1       1       1

1001    oracle  78      2       2       2

1003    oracle  78      2       2       3

1002    oracle  77      4       3       4

 

 

3.3 统计每门课程的成绩排名前2名的人员

select * from (

select S_ID,COURSE,SCORE, 

rank() over (partition by COURSE  order by SCORE desc )  rk ,

dense_rank() over (partition by course order by score desc) drk,

row_number() over(partition by course order by score desc) rn

from student_info) t

where t.drk<=2

 

 

t.s_id  t.course        t.score t.rk    t.drk   t.rn

1000    china    80      1       1       1

1002    china    76      2       2       2

1002    math     81      1       1       1

1001    math     80      2       2       2

1003    math     80      2       2       3

1000    oracle    90      1       1       1

1001    oracle   78      2       2       2

1003    oracle    78      2       2       3

 

 

注意:如果只是简单的想到去用rownum <= 2 得到的结果显然不可能是正确的。

这篇关于Hive-2.HiveQL查询中分析函数的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/431390

相关文章

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

hdu1171(母函数或多重背包)

题意:把物品分成两份,使得价值最接近 可以用背包,或者是母函数来解,母函数(1 + x^v+x^2v+.....+x^num*v)(1 + x^v+x^2v+.....+x^num*v)(1 + x^v+x^2v+.....+x^num*v) 其中指数为价值,每一项的数目为(该物品数+1)个 代码如下: #include<iostream>#include<algorithm>

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

MOLE 2.5 分析分子通道和孔隙

软件介绍 生物大分子通道和孔隙在生物学中发挥着重要作用,例如在分子识别和酶底物特异性方面。 我们介绍了一种名为 MOLE 2.5 的高级软件工具,该工具旨在分析分子通道和孔隙。 与其他可用软件工具的基准测试表明,MOLE 2.5 相比更快、更强大、功能更丰富。作为一项新功能,MOLE 2.5 可以估算已识别通道的物理化学性质。 软件下载 https://pan.quark.cn/s/57

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境,如果是隔离环境,无法连接互联网时,请先按照 离线环境安装依赖的指导进行依赖包的安装,然后按照本文的指导继续操作。如果网络环境可以连接互联网,请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud

C++操作符重载实例(独立函数)

C++操作符重载实例,我们把坐标值CVector的加法进行重载,计算c3=c1+c2时,也就是计算x3=x1+x2,y3=y1+y2,今天我们以独立函数的方式重载操作符+(加号),以下是C++代码: c1802.cpp源代码: D:\YcjWork\CppTour>vim c1802.cpp #include <iostream>using namespace std;/*** 以独立函数

线性因子模型 - 独立分量分析(ICA)篇

序言 线性因子模型是数据分析与机器学习中的一类重要模型,它们通过引入潜变量( latent variables \text{latent variables} latent variables)来更好地表征数据。其中,独立分量分析( ICA \text{ICA} ICA)作为线性因子模型的一种,以其独特的视角和广泛的应用领域而备受关注。 ICA \text{ICA} ICA旨在将观察到的复杂信号

函数式编程思想

我们经常会用到各种各样的编程思想,例如面向过程、面向对象。不过笔者在该博客简单介绍一下函数式编程思想. 如果对函数式编程思想进行概括,就是f(x) = na(x) , y=uf(x)…至于其他的编程思想,可能是y=a(x)+b(x)+c(x)…,也有可能是y=f(x)=f(x)/a + f(x)/b+f(x)/c… 面向过程的指令式编程 面向过程,简单理解就是y=a(x)+b(x)+c(x)

ural 1026. Questions and Answers 查询

1026. Questions and Answers Time limit: 2.0 second Memory limit: 64 MB Background The database of the Pentagon contains a top-secret information. We don’t know what the information is — you