硬刚专题
大数据方向另一个十年开启 |《硬刚系列》第一版完结
《硬刚Presto|Presto原理&调优&面试&实战全面升级版》 《硬刚Apache Iceberg | 技术调研&在各大公司的实践应用大总结》 《硬刚ClickHouse | 4万字长文ClickHouse基础&实践&调优全视角解析》 《硬刚数据仓库|SQL Boy的福音之数据仓库体系建模&实施&注意事项小总结》 《硬刚Hive | 4万字基础调优面试小总结》 《硬刚用户画像(一) | 标
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Spark篇
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！ 本文由【王知无】原创，首发于 CSDN博客！ 本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之消息队列篇
📢欢迎关注博客主页：https://blog.csdn.net/u013411339 📢欢迎点赞 👍 收藏 ⭐留言 📝 ，欢迎留言交流！ 📢本文由【王知无】原创，首发于 CSDN博客！ 📢本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接：
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之SparkSQL篇
📢欢迎关注博客主页：https://blog.csdn.net/u013411339 📢欢迎点赞 👍 收藏 ⭐留言 📝 ，欢迎留言交流！ 📢本文由【王知无】原创，首发于 CSDN博客！ 📢本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接：
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇
📢欢迎关注博客主页：https://blog.csdn.net/u013411339 📢欢迎点赞 👍 收藏 ⭐留言 📝 ，欢迎留言交流！ 📢本文由【王知无】原创，首发于 CSDN博客！ 📢本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接：
【硬刚Hive】Hive 中的排序和开窗函数
Hive 中的四种排序 排序操作是一个比较常见的操作，尤其是在数据分析的时候，我们往往需要对数据进行排序，hive 中和排序相关的有四个关键字，今天我们就看一下，它们都是什么作用。 数据准备 下面我们有一份温度数据，tab 分割： 2008 32.02008 21.02008 31.52008 17.02013 34.02015 32.
【硬刚大数据】我们在学习Flink的时候，到底在学习什么？
⭐⭐欢迎关注博客主页：https://blog.csdn.net/u013411339 ⭐⭐欢迎点赞 👍 收藏 ⭐留言 📝 ，欢迎留言交流！ ⭐⭐本文由【王知无】原创，首发于 CSDN博客！ ⭐⭐本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 这是一篇指南和大纲性质的文章。
【硬刚大数据】我们在学习Spark的时候，到底在学习什么？
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 很多小伙伴在群里或者私信留言问我关于Spark的学习路径问题。
【硬刚大数据】Flink在实时在实时计算平台和实时数仓中的企业级应用小结
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 大数据领域自 2010 年开始，以 Hadoop、Hive 为代
【硬刚Hive】Hive面试题(8)Hive调优全方位指南(三)
3、Hive架构层面 3.1 启用本地抓取（默认开启） Hive 的某些 SQL 语句需要转换成 MapReduce 的操作，某些 SQL 语句就不需要转换成 MapReduce 操作，但是同学们需要注意，理论上来说，所有的 SQL 语句都需要转换成 MapReduce 操作，只不过Hive 在转换 SQL 语句的过程中会做部分优化，使某些简单的操作不再需要转换成 MapReduce，例如
【硬刚Hive】Hive面试题(7)Hive调优全方位指南(二)
2、HQL层面优化 2.1 执行计划 explain select * from movies; 2.1 列、行、分区裁剪 列裁剪就是在查询时只读取需要的列 行裁剪就是在查询时只读取需要的行，也就是提前过滤 分区剪裁就是在查询的时候只读取需要的分区。 set hive.optimize.cp = true; 列裁剪，取数只取查询中需要用到的列，默认是trueset hive
【硬刚Hive】Hive面试题(6)Hive调优全方位指南(一)
正文目录 1、表层面 1.1 利用分区表优化 1.2 利用分桶表优化 1.3 选择合适的文件存储格式 1.4 选择合适的压缩格式 2、HQL层面优化 2.1 执行计划 2.1 列、行、分区裁剪 2.2 谓词下推 2.3 合并小文件 2.4 合理设置MapTask并行度 2.5 合理设置ReduceTask并行度 2.6 Join优化 2.7 CBO优化 2.8
【硬刚Hive】Hive面试题(5)UDF,UDTF（二）UDTF
1.udtf介绍及编写 1.1.介绍 HIVE中udtf可以将一行转成一行多列，也可以将一行转成多行多列，使用频率较高。本篇文章通过实际案例剖析udtf的编写及使用方法和原理。 测试数据 drop table if exists test;create table test(ind int,col string,col1 string) ;insert into test values
【硬刚Hive】Hive面试题(4)UDF,UDTF（一）UDF
1 UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 2 UDF的分类 UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函数UDAF：many to one，进来多个出去一个，row mapping。是
【硬刚Hive】Hive面试题（3）：如何用sqoop将hive中分区表的分区字段导入到MySQL中
问题分析: 1.hive中分区表其底层就是HDFS中的多个目录下的单个文件，hive导出数据本质是将HDFS中的文件导出 2.hive中的分区表，因为分区字段（静态分区）不在文件中，所以在sqoop导出的时候，无法将分区字段进行直接导出 思路：在hive中创建一个临时表，将分区表复制过去后分区字段转换为普通字段，然后再用sqoop将tmp表导出即实现需求 步凑如下： 1.创建目标表（
【硬刚Hive】Hive基础（12）：Hive语法(6) DDL(3) hive动态分区
往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 1.创建一个单一字段分区表 1 hive>2 create table dpartition(id int ,name string )
【硬刚Hive】Hive基础（11）：元数据（二）分析Hive表和分区的统计信息(Statistics)
类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。 表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等； 1 新表的统计信息 对于一个新创建的表，默认情况下，如果通过INSERT OVERWRITE的方式插入数据，那么Hive会自动将该表或分区的统计信息更新到元数据。
【硬刚Hive】Hive基础（10）：元数据（一）Hive的元数据表结构详解
1 概述 我们知道Apache Hive 是构建在Apache Hadoop之上的数据仓库。有助于对大型的数据集进行读、写和管理。这也是官网介绍的第一句话，虽然简短但是却能提炼出很多东西，大家可以去细细品味下。该篇博客不做过多讲述。本文我们介绍Hive的原数据表，他默认是存储再derby中的，但是我们一般会修改会mysql。作者使用的也是mysql进行的管理。 2 Hive元数据表结构
【硬刚Hive】Hive面试题（2）：Hive 执行过程实例分析
一、Hive 执行过程概述 1、概述 （1） Hive 将 HQL 转换成一组操作符（Operator），比如 GroupByOperator, JoinOperator 等 （2）操作符 Operator 是 Hive 的最小处理单元 （3）每个操作符代表一个 HDFS 操作或者 MapReduce 作业 （4）Hive 通过 ExecMapper 和 ExecReducer 执行
【硬刚Hadoop】HADOOP入门（4）：使用（3）安装（3）Hadoop运行模式(1)本地运行模式（官方WordCount）
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。 0 简介 1）Hadoop官方网站：Apache Hadoop 2）Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布
【硬刚Hadoop】HADOOP入门（3）：使用（2）安装（2）Hadoop运行环境搭建（开发重点）centos
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。 3 在hadoop102安装JDK 1）卸载现有JDK 注意：安装JDK前，一定确保提前删除了虚拟机自带的JDK。详细步骤见问文档3.1节中卸载JDK步骤。 2）用XShell传输工具将JDK导入到opt目录下面的software文件夹下面 3）在Linux系统下的opt目录中查看
【硬刚Hadoop】HADOOP YARN（1）：YARN资源调度器(1) 入门
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。 Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1 Yarn基本架构 YARN主要由ResourceManager、NodeManager、Applic
【硬刚Hadoop】HADOOP MAPREDUCE（11）：Join应用
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。 1 Reduce Join Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记录。然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要在
【硬刚Hadoop】HADOOP MAPREDUCE（10）：OutputFormat数据输出
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。 1 OutputFormat接口实现类 2 自定义OutputFormat 3 自定义OutputFormat案例实操 1．需求 过滤输入的log日志，包含atguigu的网站输出到e:/atguigu.log，不包含atguigu的网站输出到e:/o
【硬刚Hadoop】HADOOP MAPREDUCE（9）：MapReduce内核源码解析（2）ReduceTask工作机制
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。 1．ReduceTask工作机制 ReduceTask工作机制，如图4-19所示。 图4-19 ReduceTask工作机制 （1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中