Day3-struct类型、列转行、行转列、函数

2024-04-06 00:36
文章标签 类型 函数 day3 struct 转列 转行

本文主要是介绍Day3-struct类型、列转行、行转列、函数，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Hive

数据类型

struct类型

  1. struct：结构体，对应了Java中的对象，实际上是将数据以json形式来进行存储和处理

  2. 案例

    1. 原始数据

      a tom,19,male amy,18,female
b bob,18,male john,18,male
c lucy,19,female lily,19,female
d henry,18,male david,19,male

    2. 案例

      -- 建表
create table groups (group_id string,mem_a    struct<name:string, age:int, gender:string>,mem_b    struct<name:string, age:int, gender:string>
) row format delimitedfields terminated by ' 'collection items terminated by ',';
-- 加载数据
load data local inpath '/opt/hive_data/infos' into table groups;
-- 查询数据
select * from groups;
-- 获取成员a的信息
select mem_a from groups;
-- 获取成员a的名字
select mem_a.name from groups;

运算符和函数

概述

  1. 在Hive中，提供了非常丰富的运算符和函数，用于对数据进行处理和分析。在Hive中，运算符和函数可以归为一类

  2. 如果需要查看Hive中所有的函数，可以通过

    show functions;

  3. 如果想要查看某一个函数的描述，可以使用

    -- 简略描述
desc function sum;
-- 详细描述
desc function extended sum;

  4. 在Hive中，还允许用户自定义函数

  5. 在Hive中，函数必须结合其他的关键字来构成语句！

入门案例

  1. 案例一：给定字符串表示日期，例如’2024-03-25’，从获取年份

    -- 方式一：以-拆分字符串，获取数组的第一位，将字符串转化为整数类型
select cast(split('2024-03-25', '-')[0] as int);
-- 方式二：正则表达式-捕获组
select cast(regexp_extract('2024-03-25', '(.*)-(.*)-(.*)', 1) as int);
-- 方式三：提供了year函数，直接用于提取年份，要求年月日之间必须用-隔开
select year('2024-03-25');

  2. 案例一：给定字符串表示日期，例如’2024/03/25’，从获取年份

    -- 方式一
select cast(split('2024/03/25', '/')[0] as int);
-- 方式二
select cast(regexp_extract('2024/03/25', '(.*)/(.*)/(.*)', 1) as int);
-- 方式三：先将/替换为-，再利用year函数来提取
select year(regexp_replace('2024/03/25', '/', '-'));

常用函数

nvl函数

  1. nvl(v1, v2)：判断v1的值是否为null，如果v1的值不是null，那么返回v1，如果v1的值是null，那么返回v2

  2. 案例

    1. 原始数据

      1 Adair 800
2 David 600
3 Danny 1000
4 Ben 500
5 Grace
6 Cathy 700
7 Kite
8 Will 600
9 Thomas 800
10 Tony 1000

    2. 案例

      -- 建表
create table rewards (id     int,name   string,reward double
) row format delimited fields terminated by ' ';
-- 加载数据
load data local inpath '/opt/hive_data/rewards' into table rewards;
-- 查询数据
select * from rewards;
-- 计算每一个人平均发到的奖金是多少
-- avg属于聚合函数，所有的聚合函数在遇到null的时候自动跳过不计算
-- select avg(reward) from rewards;
select avg(if(reward is not null, reward, 0.0)) from rewards;
-- nvl
select avg(nvl(reward, 0)) from rewards;
case-when函数

  1. 类似于Java中的switch-case结构，是对不同的情况进行选择

  2. 案例

    1. 原始数据

      1 bob 财务 男
2 bruce 技术 男
3 cindy 技术 女
4 david 财务 男
5 eden 财务 男
6 frank 财务 男
7 grace 技术 女
8 henry 技术 男
9 iran 技术 男
10 jane 财务 女
11 kathy 财务 女
12 lily 技术 女

    2. 案例

      -- 建表
create table employers (id         int,name       string,department string,gender     string
) row format delimited fields terminated by ' ';
-- 加载数据
load data local inpath '/opt/hive_data/employers' into table employers;
-- 查询数据
select *
from employers;
-- 需求：统计每一个部门的男生和女生人数
-- 方式一：sum(if())
select department                   as `部门`,sum(if(gender = '男', 1, 0)) as `男`,sum(if(gender = '女', 1, 0)) as `女`
from employers
group by department;
-- 方式：sum(case-when)
select department                                   as `部门`,sum(case gender when '男' then 1 else 0 end) as `男`,sum(case gender when '女' then 1 else 0 end) as `女`
from employers
group by department;
explode函数

  1. explode在使用的时候，需要传入一个数组或者是映射类型的参数。如果传入的是数组，那么会将数组中的每一个元素拆分成单独的一行构成一列数据；如果传入的是映射，那么会将映射的键和值拆分成两列

  2. 案例：单词统计

    -- 创建目录
dfs -mkdir /words
-- 将文件复制到这个目录下
dfs -cp /txt/words.txt /words
-- 查看数据
dfs -ls /words
-- 建表
-- 注意：数据在HDFS上已经存在，所以应该建立外部表
create external table words (line array<string>
) row format delimitedcollection items terminated by ' 'location '/words';
-- 查询数据
select * from words;
-- 需求：统计这个文件中每一个单词出现的次数
-- 思路
-- 第一步：先将数组中的元素转成一列
select explode(line)
from words;
-- 第二步：统计单词出现的次数
-- 基本结构：select x, count(x) from tableName group by x;
select w, count(w) from (select explode(line) as w from words
) t1 group by w;
列转行

  1. 列转行，顾名思义，指的是将一列的数据拆分成多行数据。在列转行的过程中，最重要的函数就是explode

  2. 案例

    1. 原始数据

      沙丘2 剧情/动作/科幻/冒险
被我弄丢的你 剧情/爱情
堡垒 剧情/悬疑/历史
热辣滚烫 剧情/喜剧
新威龙杀阵 动作/惊悚
周处除三害 动作/犯罪

    2. 案例

      -- 建表
create table movies (name  string,       -- 电影名kinds array<string> -- 电影类型
) row format delimitedfields terminated by ' 'collection items terminated by '/';
-- 加载数据
load data local inpath '/opt/hive_data/movies' into table movies;
-- 查询数据
select * from movies;
-- 需求：查询所有的动作片
-- lateral view function(ex) tableAlias as colAlias
-- 列转行，又称之为'炸列'
select name, k
from movies lateral view explode(kinds) ks as k
where k = '动作';

  3. 案例二

    1. 原始数据

      bob	开朗,活泼	打游戏,打篮球
david	开朗,幽默	看电影,打游戏
lucy	大方,开朗	看电影,听音乐
jack	内向,大方	听音乐,打游戏

    2. 案例

      -- 建表
create table persons (name       string,        -- 姓名characters array<string>, -- 性格hobbies    array<string>  -- 爱好
) row format delimitedfields terminated by '\t'collection items terminated by ',';
-- 加载数据
load data local inpath '/opt/hive_data/persons' into table persons;
-- 查询数据
select * from persons;
-- 获取性格开朗且喜欢打游戏的人
select name, c, h
from personslateral view explode(characters) cs as clateral view explode(hobbies) hs as h
where c = '开朗'and h = '打游戏';
行转列

  1. 行转列，将多行的数据合并成一列

  2. 案例

    select * from students_tmp;
-- 将同年级同班级的学生放到一起
-- collect_list和collect_set将数据合并到一个数组中
-- 不同的地方在于，collect_list允许有重复数据，但是collect_set不允许元素重复
-- concat_ws(符号，元素)，表示将后边的元素之间用指定的符号进行拼接，拼接成一个字符串
select grade                               as `年级`,class                               as `班级`,concat_ws(', ', collect_list(name)) as `学生`
from students_tmp
group by grade, class;

分类

  1. 除了窗口函数以外，将其他的函数分为了3类：UDF、UDAF和UDTF函数
  2. UDF：User Defined Function，用户定义函数，特点是一进一出，即用户输入一行数据会获取到一行结果，例如year，split，concat_ws，regexp_replace，regexp_extract等
  3. UDAF：User Defined Aggregation Function，用户定义聚合函数，特点是多进一出，即用户输入多行数据会获取到一行结果，例如sum，avg，count，max， min，collect_list，collect_set等
  4. UDTF：User Defined Table-generated Function，用户定义表生成函数，特点是一进多出，即用户输入一行数据能够获取到多行结果，例如explode，inline、stack等
  5. 在Hive中，大部分函数都是UDF函数

自定义函数

  1. 自定义UDF：需要定义一个类，Hive1.x和Hive2.x继承UDF类，但是Hive3.x，UDF类已经过时，所以需要继承GenericUDF

  2. 自定义UDTF：需要定义一个类，继承GenericUDTF

  3. 打成jar包，然后上传到HDFS上

  4. 在Hive中创建函数

    -- 基本语法
create function 函数名as '包名.类名'using jar '在HDFS上的存储路径';
-- UDF
create function indexOfas 'com.fesco.AuthUDF'using jar 'hdfs://hadoop01:9000/F_Hive-1.0-SNAPSHOT.jar';
-- UDTF
create function splitLineas 'com.fesco.AuthUDTF'using jar 'hdfs://hadoop01:9000/F_Hive-1.0-SNAPSHOT.jar';-- 测试
select indexOf('welcome', 'm');
select splitLine('welcome to big data', ' ');

  5. 删除函数

    drop function indexOf;

窗口函数

概述

  1. 窗口函数又称之为开窗函数，用于限定要处理的数据范围

  2. 基本语法结构

    分析函数 over(partition by 字段 order by 字段 [desc/asc] rows between 起始范围 and 结束范围)

    1. partition by对数据进行分类

    2. order by对数据进行排序

    3. rows between x and y指定数据的处理范围

      关键字解释
      preceding向前
      following向后
      unbounded无边界
      current row当前行

    4. 示例：假设当前处理的第5行数据

      1. 2 preceding and current row：处理前两行到当前行。即处理第3~5行的数据
      2. current row and 3 following：处理当前行以及向后3行。即处理第5~8行的数据
      3. unbounded preceding and current row：从第一行到当前行
      4. current row and unbounded following：从当前行到最后一行

    5. 分析函数：大致可以分为三组

      1. 聚合函数，例如sum，avg等
      2. 移位函数，包含lag，lead，ntil
      3. 排序函数，包含row_number，rank，dense_rank

案例

  1. 原始数据

    jack,2017-01-01,10
tony,2017-01-02,15
jack,2017-02-03,23
tony,2017-01-04,29
jack,2017-01-05,46
jack,2017-04-06,42
tony,2017-01-07,50
jack,2017-01-08,55
mart,2017-04-08,62
mart,2017-04-09,68
neil,2017-05-10,12
mart,2017-04-11,75
neil,2017-06-12,80
mart,2017-04-13,94

  2. 建表

    -- 建表
create table orders
(name       string,order_date string,cost       int
) row format delimited fields terminated by ',';
-- 加载数据
load data local inpath '/opt/hive_data/orders' into table orders;

  3. 需求一：查询每一位顾客的消费明细以及到消费日期为止的总消费金额

    -- 思路：
-- 1. 拆寻每一位顾客的信息，那么需要按照顾客姓名来分类
-- 2. 按照日期，将订单进行排序
-- 3. 计算总消费金额，所以需要求和
-- 4. 到当前消费日期为止的金额，也就意味着是获取从第一行到当前行的数据来处理
select *,sum(cost) over (partition by name order by order_date rows between unbounded preceding and current row ) as total_cost
from orders;

分析函数

  1. 聚合函数，例如sum，avg，max，min等
  2. 移位函数
    1. lag(colName, n)：以当前行为基础，来处理第前n行的数据
    2. lead(colName, n)：以当前行为基础，来处理第后n行的数据
    3. ntile(n)：要求数据必须有序，将有序的数据依次放入n个桶中，保证每个桶中的数据几乎一致，相差最多不超过1个
  3. 排序函数
    1. row_number：数据排序之后，按顺序给数据进行编号，即使数据相同，也是给定不同的编号
    2. rank：数据排序之后，按顺序给数据进行编号，如果数据相同，则给定相同的序号，会产生空位
    3. dense_rank：数据排序之后，按顺序给数据进行编号，如果数据相同，则给定相同的序号，但是不会产生空位

移位函数案例

  1. 需求二：查询每一位顾客的消费明细以及上一次的消费时间

    select *,lag(order_date, 1) over (partition by name order by order_date) as last_order_date
from orders;

  2. 需求三：查询最早进店消费的前20%的顾客信息

    select * from (select *,ntile(5) over (order by order_date) as nfrom orders
) t1 where n = 1;

排序函数案例

  1. 原始数据

    Bob Chinese 85
Alex Chinese 76
Bill Chinese 78
David Chinese 92
Jack Chinese 69
Lucy Chinese 74
LiLy Chinese 78
Bob Maths 91
Alex Maths 82
Bill Maths 69
David Maths 60
Jack Maths 69
Lucy Maths 71
LiLy Maths 82
Bob English 60
Alex English 62
Bill English 85
David English 85
Jack English 69
Lucy English 78
LiLy English 93

  2. 案例

    -- 建表
create table scores (name    string,subject string,score   int
) row format delimited fields terminated by ' ';
-- 加载数据
load data local inpath '/opt/hive_data/scores' into table scores;
-- 查询数据
select *
from scores tablesample (5 rows);
-- 按科目对成绩进行降序排序
select *,row_number() over (partition by subject order by score desc) as rn,rank() over (partition by subject order by score desc)       as ra,dense_rank() over (partition by subject order by score desc) as dr
from scores;
-- 获取各科目前三名的信息
select * from (select *, rank() over (partition by subject order by score desc) as n from scores
) t where n <= 3;

补充：正则捕获组

概述

  1. 在正则表达式中，将()括起来的部分，称之为捕获组，此时可以将捕获组看作是一个整体

  2. 在正则表达式中，默认会对捕获组进行编号，编号是从1开始的。编号的计算，是从捕获组左半边括号出现的顺序来依次计算的

    例如：(AB(C(D)E)F(G))
1	AB(C(D)E)F(G)
2	C(D)E
3	D
4	G

  3. 在正则表达式中，可以通过\n的形式来引用对应编号的捕获组。例如\1表示引用编号为1的捕获组

这篇关于Day3-struct类型、列转行、行转列、函数的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/878568。

相关文章

hdu1171（母函数或多重背包）

hdu1171（母函数或多重背包）

题意：把物品分成两份，使得价值最接近 可以用背包，或者是母函数来解，母函数（1 + x^v+x^2v+.....+x^num*v）（1 + x^v+x^2v+.....+x^num*v）（1 + x^v+x^2v+.....+x^num*v） 其中指数为价值，每一项的数目为（该物品数+1）个 代码如下： #include<iostream>#include<algorithm>
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
自定义类型：结构体(续)

自定义类型：结构体(续)

目录 一. 结构体的内存对齐 1.1 为什么存在内存对齐？ 1.2 修改默认对齐数 二. 结构体传参 三. 结构体实现位段 一. 结构体的内存对齐 在前面的文章里我们已经讲过一部分的内存对齐的知识，并举出了两个例子，我们再举出两个例子继续说明： struct S3{double a;int b;char c;};int mian(){printf("%zd\n",s
阅读更多...
【编程底层思考】垃圾收集机制，GC算法，垃圾收集器类型概述

【编程底层思考】垃圾收集机制，GC算法，垃圾收集器类型概述

Java的垃圾收集（Garbage Collection，GC）机制是Java语言的一大特色，它负责自动管理内存的回收，释放不再使用的对象所占用的内存。以下是对Java垃圾收集机制的详细介绍： 一、垃圾收集机制概述： 对象存活判断：垃圾收集器定期检查堆内存中的对象，判断哪些对象是“垃圾”，即不再被任何引用链直接或间接引用的对象。内存回收：将判断为垃圾的对象占用的内存进行回收，以便重新使用。
阅读更多...
flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0
阅读更多...
C++操作符重载实例(独立函数)

C++操作符重载实例(独立函数)

C++操作符重载实例，我们把坐标值CVector的加法进行重载，计算c3=c1+c2时，也就是计算x3=x1+x2，y3=y1+y2，今天我们以独立函数的方式重载操作符+（加号），以下是C++代码： c1802.cpp源代码： D:\YcjWork\CppTour>vim c1802.cpp #include <iostream>using namespace std;/*** 以独立函数
阅读更多...
两个月冲刺软考——访问位与修改位的题型(淘汰哪一页)；内聚的类型；关于码制的知识点；地址映射的相关内容

两个月冲刺软考——访问位与修改位的题型(淘汰哪一页)；内聚的类型；关于码制的知识点；地址映射的相关内容

1.访问位与修改位的题型(淘汰哪一页) 访问位：为1时表示在内存期间被访问过，为0时表示未被访问；修改位：为1时表示该页面自从被装入内存后被修改过，为0时表示未修改过。 置换页面时，最先置换访问位和修改位为00的，其次是01(没被访问但被修改过)的，之后是10(被访问了但没被修改过)，最后是11。 2.内聚的类型 功能内聚：完成一个单一功能，各个部分协同工作，缺一不可。 顺序内聚：
阅读更多...
函数式编程思想

函数式编程思想

我们经常会用到各种各样的编程思想，例如面向过程、面向对象。不过笔者在该博客简单介绍一下函数式编程思想. 如果对函数式编程思想进行概括，就是f(x) = na(x) , y=uf(x)…至于其他的编程思想，可能是y=a(x)+b(x)+c(x)…，也有可能是y=f(x)=f(x)/a + f(x)/b+f(x)/c… 面向过程的指令式编程 面向过程，简单理解就是y=a(x)+b(x)+c(x)
阅读更多...
Mysql BLOB类型介绍

Mysql BLOB类型介绍

BLOB类型的字段用于存储二进制数据 在MySQL中，BLOB类型，包括：TinyBlob、Blob、MediumBlob、LongBlob，这几个类型之间的唯一区别是在存储的大小不同。 TinyBlob 最大 255 Blob 最大 65K MediumBlob 最大 16M LongBlob 最大 4G
阅读更多...
Oracle type （自定义类型的使用）

Oracle type （自定义类型的使用）

oracle - type   type定义： oracle中自定义数据类型 oracle中有基本的数据类型，如number，varchar2，date，numeric，float....但有时候我们需要特殊的格式， 如将name定义为（firstname,lastname）的形式，我们想把这个作为一个表的一列看待，这时候就要我们自己定义一个数据类型 格式 ：create or repla
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2