Seal^_^【送书活动第2期】——《Flink入门与实战》

2024-04-24 18:28

本文主要是介绍Seal^_^【送书活动第2期】——《Flink入门与实战》,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Seal^_^【送书活动第2期】——《Flink入门与实战》

  • 一、参与方式
  • 二、本期推荐图书
    • 2.1 作者简介
    • 2.2 编辑推荐
    • 2.3 前 言
    • 2.4 本书特点
    • 2.5 内容简介
    • 2.6 本书适用读者
    • 2.7 书籍目录
  • 三、正版购买

一、参与方式

评论:"掌握Flink,驭大数据,实战无惧!",即可参与成功。

1、关注博主的账号。
2、点赞、收藏、评论博主的文章。
3、在文章下留下评论,每位参与者最多可以评论三次。

📚 本次抽奖将 送出1至3本 书籍,具体数量取决于活动期间的阅读量,阅读量越高,送出的书籍数量也会相应增加。

🕚 活动截止时间为 2024年4月30日晚上8点整。博主将会抽奖程序随机抽取幸运观众,并在动态中公布抽奖结果

如果您有特殊需求或想要获取更多福利,请添加博主的微信号(文末)、加入粉丝福利群

注意: 活动结束后,中奖观众将会收到博主的私信通知,请留意查看您的私信消息、关注博主动态查看中奖信息。

二、本期推荐图书

在这里插入图片描述

2.1 作者简介

汪明,中国矿业大学硕士,徐州软件协会副理事长,某创业公司合伙人。从事软件行业十余年,发表论文数十篇。著有图书《Python大数据处理库PySpark实战》《TypeScript实战》《Go并发编程实战》。

2.2 编辑推荐

1、由于阿里对Flink的收购以及改进,目前Flink社区非常活跃,社区一直致力于统一流处理和批处理API,并逐步增强Flink SQL相关功能,即期望通过SQL来满足大部分的大数据ETL处理场景。

2、Flink在百度、阿里、字节跳动、小米和腾讯等商业巨头中有成熟的应用,每日可以处理万亿的事件,且可以维护TB级别的状态信息。

3、如果你对实时大数据处理感兴趣,致力于构建分布式大数据处理应用程序,并且有一点Java编程基础,那么本书适合你。

4、本书先对Flink基本的安装过程进行说明,并对Flink分布式架构、内部数据处理过程等进行详细分析,最后结合一个综合案例讲解大数据实时处理过程。

5、本书以实例为主线,激发读者的阅读兴趣,让读者能够真正学习到Flink 最实用、最前沿的技术。

2.3 前 言

随着物联网、5G以及大数据技术的发展,人类已经进入大数据时代,毫不夸张地说,未来IT相关的职位,一项必备技能就是大数据处理能力。当前,人类基于大数据和人工智能等技术,在特定领域中可以大大提升业务系统的智能化水平。

人类对于计算速度的追求从未停止,即使面对海量的数据,我们也希望大数据框架可以在非常低的延迟下进行响应,从而提升用户的体验。

主流的分布式大数据计算框架有Storm、Spark和Flink,由于阿里对Flink的收购以及改进,目前Flink社区非常活跃,社区一直致力于统一流处理和批处理API,并逐步增强Flink SQL相关功能,即期望通过SQL来满足大部分的大数据ETL处理场景。另外,随着Flink SQL功能的增强和发展,也大大降低了Flink学习的难度。

目前,Flink在百度、阿里、字节跳动、小米和腾讯等商业巨头中有成熟的应用,每日可以处理万亿的事件,且可以维护TB级别的状态信息。Flink支持多种编程语言,可以用Java、Scala以及Python进行大数据业务处理。与此同时,Flink支持灵活的窗口计算以及乱序数据处理,这相对于其他大数据计算框架来说,有比较强的优势。

如果你对实时大数据处理感兴趣,致力于构建分布式大数据处理应用程序,并且有一点Java编程基础,那么本书适合你。本书作为Flink的入门教材,由浅入深地对Flink大数据处理方法进行介绍,特别对常用的DataStream API和DataSet API、Table API 和SQL进行了详细的说明,最后结合实战项目,将各个知识点有机整合,做到理论联系实际。

本书涉及的技术和框架:

本书涉及的技术和框架包括Flink、IntelliJ IDEA、Java、Kafka、jQuery、HTML5、Node.js、Maven。

2.4 本书特点

(1)理论联系实际。本书先对Flink基本的安装过程进行说明,并对Flink分布式架构、内部数据处理过程等进行详细分析,最后结合示例代码进行说明,做到理论联系实际。

(2)深入浅出、轻松易学。本书以实例为主线,激发读者的阅读兴趣,让读者能够真正学习到Flink 最实用、最前沿的技术。

(3)技术新颖、与时俱进。本书结合当前最热门的技术,如Node.js和HTML5等,让读者在学习Flink的同时,了解更多相关的先进技术。

(4)贴心提醒。本书根据需要在各章使用了很多“注意”小栏目,让读者可以在学习过程中更轻松地理解相关知识点及概念。

在这里插入图片描述

2.5 内容简介

Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态的计算,广泛应用于大数据相关的实际业务场景中。本书是一本从零开始讲解Flink的入门教材,学习本书需要有Java编程基础。

本书共分10章,内容包括Flink开发环境搭建、Flink架构和原理、时间和窗口、状态管理和容错机制、数据类型与序列化、DataStream API和DataSet API、Table API和SQL、Flink并行、Flink部署与应用,最后以一个Flink实战项目为例,对Flink相关知识进行综合实践,其中涉及Web页面展示、WebSocket协议和Node.js服务等技术。

本书内容详尽、示例丰富,适合作为Flink初学者必备的参考书,也非常适合作为高等院校和培训机构大数据及相关专业的师生教学参考。

2.6 本书适用读者

1、有一点Java编程基础的初学者

2、大数据处理与分析人员

3、 从事后端开发,对大数据开发有兴趣的人员

4、想用Flink构建大数据应用的人员

5、想从事大数据技术工作的大中专院校学生

6、Java开发和Java架构人员

7、大数据技术培训机构的师生

2.7 书籍目录

第1章 Flink环境搭建 1

1.1 下载安装 1

1.1.1 什么是Flink 1

1.1.2 Flink用户 3

1.1.3 JDK安装 4

1.1.4 Scala安装 7

1.1.5 Python安装 10

1.1.6 FinalShell安装 12

1.2 配置与开发工具 15

1.2.1 基础配置 15

1.2.2 IDEA开发工具 17

1.3 编译 19

1.3.1 Scala项目模板 19

1.3.2 Java项目模板 24

1.3.3 Python项目 28

1.3.4 项目编译 30

1.4 运行Flink应用 31

1.4.1 单机Standalone模式 31

1.4.2 多机Standalone模式 37

1.4.3 On Yarn集群模式 37

1.5 本章小结 38

第2章 定义、架构与原理 39

2.1 流处理的应用场景 39

2.1.1 数据预处理场景 40

2.1.2 预警场景 40

2.1.3 实时数量统计场景 40

2.1.4 数据库交互场景 40

2.1.5 跟踪场景 40

2.1.6 基于数据流的机器学习场景 41

2.1.7 实时自动控制场景 41

2.2 流处理的原理 41

2.2.1 流数据特征 41

2.2.2 Dataflow模型 42

2.2.3 数据流图 43

2.2.4 流处理操作 45

2.2.5 窗口操作 46

2.3 Flink架构分析 49

2.3.1 Flink常见概念 49

2.3.2 Flink主从架构 51

2.3.3 任务和算子链 52

2.4 Flink中的几个语义——Streams、State、Time、API 53

2.4.1 Streams流 53

2.4.2 State状态 54

2.4.3 Time时间 55

2.4.4 API接口 55

2.5 Flink组件 56

2.6 本章小结 57

第3章 时间和窗口 58

3.1 时间 58

3.1.1 Flink中的时间 58

3.1.2 时间的特性 60

3.2 Timestamp和Watermark 61

3.2.1 在SourceFunction中生成 61

3.2.2 在assignTimestampsAndWatermarks中生成 64

3.2.3 Watermarks传播机制 83

3.3 EventTime+Watermark解决乱序数据 95

3.3.1 无迟到的乱序数据 96

3.3.2 有迟到的乱序数据 104

3.4 WindowAssigner、Evictor以及Trigger 109

3.4.1 WindowAssigner 111

3.4.2 Trigger 116

3.4.3 Evictor 122

3.5 Window内部实现 126

3.5.1 Flink Window源码分析 126

3.5.2 Flink Window执行过程 130

3.6 Window使用 131

3.6.1 Time Window 131

3.6.2 Count Window 135

3.6.3 Session Window 138

3.6.4 自定义Window 140

3.7 Window聚合分类 144

3.7.1 增量聚合 144

3.7.2 全量聚合 146

3.8 本章小结 149

第4章 状态管理及容错机制 150

4.1 什么是状态 150

4.2 什么场景会用到状态 150

4.3 状态的类型与使用 151

4.3.1 Keyed State托管状态 152

4.3.2 Operator State托管状态 159

4.4 Checkpoint机制 162

4.4.1 Checkpoint配置 163

4.4.2 State Backends状态后端 164

4.4.3 重启策略 165

4.5 SavePoint机制 169

4.6 本章小结 169

第5章 数据类型与序列化 170

5.1 Flink的数据类型 170

5.1.1 元组类型 171

5.1.2 Java POJOs类型 172

5.1.3 Scala样例类 173

5.1.4 基础类型 174

5.1.5 普通类 175

5.1.6 值类型 177

5.1.7 特殊类型 177

5.2 序列化原理 178

5.3 Flink的序列化过程 181

5.4 序列化的最佳实践 186

5.5 本章小结 186

第6章 DataStream API和DataSet API 187

6.1 DataStream API 187

6.1.1 DataSources数据输入 187

6.1.2 DataSteam转换操作 195

6.1.3 DataSinks数据输出 214

6.2 DataSet API 222

6.2.1 DataSources数据输入 223

6.2.2 DataSet转换操作 227

6.2.3 DataSinks数据输出 235

6.3 迭代计算 238

6.3.1 全量迭代 239

6.3.2 增量迭代 240

6.4 广播变量与分布式缓存 244

6.4.1 广播变量 244

6.4.2 分布式缓存 246

6.5 语义注解 248

6.5.1 Forwarded Fileds注解 248

6.5.2 Non-Forwarded Fileds注解 249

6.5.3 Read Fields注解 250

6.6 本章小结 251

第7章 Table API和SQL 252

7.1 TableEnviroment 252

7.1.1 开发环境构建 253

7.1.2 TableEnvironment基本操作 254

7.1.3 外部连接器 257

7.1.4 时间概念 261

7.1.5 Temporal Tables时态表 263

7.2 WordCount 267

7.3 Table API的操作 268

7.3.1 获取Table 268

7.3.2 输出Table 272

7.3.3 查询Table 275

7.3.4 聚合操作 277

7.3.5 多表关联 278

7.3.6 集合操作 279

7.3.7 排序操作 281

7.4 DataStream、DataSet和Table之间的转换 282

7.4.1 DataStream to Table 283

7.4.2 DataSet to Table 284

7.4.3 Table to DataStream 285

7.4.4 Table to DataSet 287

7.5 window aggregate与non-window aggregate 288

7.6 Flink SQL使用 297

7.6.1 使用SQL CLI客户端 298

7.6.2 在流上运行SQL查询 299

7.6.3 Group Windows窗口操作 300

7.6.4 多表关联 306

7.6.5 集合操作 307

7.6.6 去重操作 308

7.6.7 Top-N操作 310

7.6.8 数据写入 311

7.7 自定义函数 313

7.7.1 Scalar Function 313

7.7.2 Table Function 315

7.7.3 Aggregation Function 317

7.8 本章小结 319

第8章 并行 320

8.1 Flink并行度 320

8.2 TaskManager和Slot 321

8.3 并行度的设置 322

8.3.1 执行环境层面 322

8.3.2 操作算子层面 323

8.3.3 客户端层面 324

8.3.4 系统层面 324

8.3.5 最大并行度 324

8.4 并行度案例分析 325

8.5 本章小结 329

第9章 Flink部署与应用 330

9.1 Flink集群部署 330

9.1.1 Standalone Cluster部署 330

9.1.2 Yarn Cluster部署 333

9.1.3 Kubernetes Cluster部署 334

9.2 Flink高可用配置 340

9.2.1 Standalone集群高可用配置 340

9.2.2 Yarn Session集群高可用配置 341

9.3 Flink安全管理 341

9.3.1 认证目标 341

9.3.2 认证配置 342

9.3.3 SSL配置 343

9.4 Flink集群升级 344

9.4.1 任务重启 344

9.4.2 状态维护 344

9.4.3 版本升级 344

9.5 本章小结 345

第10章 Flink项目实战 346

10.1 实时数据清洗(实时ETL) 346

10.1.1 需求分析 346

10.1.2 项目架构设计 346

10.1.3 项目代码实现 347

10.2 实时数据报表 357

10.2.1 需求分析 357

10.2.2 项目架构设计 357

10.2.3 项目代码实现 357

10.3 本章小结 362

三、正版购买

在这里插入图片描述

有兴趣的朋友可以前往查看。 tmall搜索关键词:

✨ Flink入门与实战,Flink ✨

🛒 链接直达:https://detail.tmall.com/item.htm?spm=a1z10.1-b.w9858442-8055933095.4.fH3HiL&id=651841634753

这篇关于Seal^_^【送书活动第2期】——《Flink入门与实战》的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/932500

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

数论入门整理(updating)

一、gcd lcm 基础中的基础,一般用来处理计算第一步什么的,分数化简之类。 LL gcd(LL a, LL b) { return b ? gcd(b, a % b) : a; } <pre name="code" class="cpp">LL lcm(LL a, LL b){LL c = gcd(a, b);return a / c * b;} 例题:

Java 创建图形用户界面(GUI)入门指南(Swing库 JFrame 类)概述

概述 基本概念 Java Swing 的架构 Java Swing 是一个为 Java 设计的 GUI 工具包,是 JAVA 基础类的一部分,基于 Java AWT 构建,提供了一系列轻量级、可定制的图形用户界面(GUI)组件。 与 AWT 相比,Swing 提供了许多比 AWT 更好的屏幕显示元素,更加灵活和可定制,具有更好的跨平台性能。 组件和容器 Java Swing 提供了许多

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站,手机流量可以访问IPV6网络的服务,为什么不在电脑搭建Home Assistant(hass),来控制你的设备呢?@智能家居 @万物互联

滚雪球学Java(87):Java事务处理:JDBC的ACID属性与实战技巧!真有两下子!

咦咦咦,各位小可爱,我是你们的好伙伴——bug菌,今天又来给大家普及Java SE啦,别躲起来啊,听我讲干货还不快点赞,赞多了我就有动力讲得更嗨啦!所以呀,养成先点赞后阅读的好习惯,别被干货淹没了哦~ 🏆本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,助你一臂之力,带你早日登顶🚀,欢迎大家关注&&收藏!持续更新中,up!up!up!! 环境说明:Windows 10

poj 2104 and hdu 2665 划分树模板入门题

题意: 给一个数组n(1e5)个数,给一个范围(fr, to, k),求这个范围中第k大的数。 解析: 划分树入门。 bing神的模板。 坑爹的地方是把-l 看成了-1........ 一直re。 代码: poj 2104: #include <iostream>#include <cstdio>#include <cstdlib>#include <al

MySQL-CRUD入门1

文章目录 认识配置文件client节点mysql节点mysqld节点 数据的添加(Create)添加一行数据添加多行数据两种添加数据的效率对比 数据的查询(Retrieve)全列查询指定列查询查询中带有表达式关于字面量关于as重命名 临时表引入distinct去重order by 排序关于NULL 认识配置文件 在我们的MySQL服务安装好了之后, 会有一个配置文件, 也就