大数据Flink(一百一十二):Flink SQL作业快速入门

2024-09-04 06:28

本文主要是介绍大数据Flink(一百一十二):Flink SQL作业快速入门,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

Flink SQL作业快速入门

一、进入Flink开发平台

二、​​​​​​​创建作业

三、​​​​​​​​​​​​​​编写作业代码

四、​​​​​​​​​​​​​​进行更多配置

五、​​​​​​​​​​​​​​进行深度检查

六、​​​​​​​​​​​​​​进行作业调试

1、​​​​​​​创建Session集群

2、​​​​​​​​​​​​​​调试

七、​​​​​​​​​​​​​​作业部署

八、​​​​​​​​​​​​​​启动并查看Flink计算结果

九、​​​​​​​​​​​​​​停止作业


Flink SQL作业快速入门

一、进入Flink开发平台

在阿里云官网首页,点击右上角控制台,进入工作台。

直接点击我的资源下的Flink,或者搜索Flink,进入Flink控制台。

点击实例id,进入Flink项目空间。 

二、​​​​​​​​​​​​​​创建作业

在左侧导航栏,单击SQL开发。

在作业草稿下,新建文件夹:阿里云Flink。

在此文件夹下,创建文件夹:快速入门。

在快速入门文件夹下,单击新建作业草稿。 

单击空白的流作业草稿。

单击下一步。

在新建文件草稿对话框,填写作业信息。 

作业参数

说明

示例

文件名称

作业的名称。

说明 作业名称在当前项目中必须保持唯一。

flink-sql-test

存储位置

指定该作业的代码文件所属的文件夹。

还可以在现有文件夹右侧,单击

图标,新建子文件夹。

快速入门

引擎版本

当前作业使用的Flink的引擎版本。

vvr-6.0.7-flink-1.15

单击创建。

三、​​​​​​​​​​​​​​编写作业代码

拷贝如下代码到SQL编辑器上。

--创建一个datagen_source临时表。
CREATE TEMPORARY TABLE datagen_source(randstr VARCHAR
) WITH ('connector' = 'datagen'
);--创建一个print_table临时表。
CREATE TEMPORARY TABLE print_table(randstr  VARCHAR
) WITH ('connector' = 'print','logger' = 'true'
);--将randstr字段的数据打印出来。
INSERT INTO print_table
SELECT SUBSTRING(randstr,0,8) from datagen_source;

说明: 在生产作业中,建议尽量减少临时表的使用,直接使用元数据管理中已经注册的表。 

 

四、​​​​​​​​​​​​​​进行更多配置

在作业开发页面右侧,单击更多配置后,我们可以填写以下参数信息:

  • 引擎版本:建议使用推荐版本或稳定版本,引擎版本标记含义详情如下:
    • 推荐版本(Recommend):当前最新大版本下的最新小版本。
    • 稳定版本(Stable):还在产品服务期内的大版本下最新的小版本,已修复历史版本缺陷。
    • 普通版本(Normal):还在产品服务期内的其他小版本。
    • EOS版本(Eos):超过产品服务期限的版本。
  • 附加依赖文件:作业中需要使用到的附加依赖,例如临时函数等。

 

五、​​​​​​​​​​​​​​进行深度检查

在作业开发页面顶部,单击深度检查,进行语法检查。

六、​​​​​​​​​​​​​​进行作业调试

1、​​​​​​​创建Session集群

调试之前,首先需要创建Session集群并且启动:

在左侧导航栏,单击Session管理。

点击创建Session集群。

按照下图进行配置:

 

点击创建Session集群,等待一会,可以看到集群状态变为运行中。 

2、​​​​​​​​​​​​​​调试

在作业开发页面顶部,单击调试。选择刚才创建的集群,点击下一步。

可以看到调试结果。

 

我们可以使用作业调试功能模拟作业运行、检查输出结果,验证SELECT或INSERT业务逻辑的正确性,提升开发效率,降低数据质量风险。 

七、​​​​​​​​​​​​​​作业部署

在作业开发页面顶部,单击部署,在部署新版本对话框,可根据需要填写或选中相关内容,单击确定。

说明:Session集群适用于非生产环境的开发测试环境,可以使用Session集群模式部署或调试作业,提高作业JM(Job Manager)资源利用率和提高作业启动速度。但不推荐将作业提交至Session集群中,因为会存在业务稳定性问题。 

八、​​​​​​​​​​​​​​启动并查看Flink计算结果

在左侧导航栏,单击作业运维

单击目标作业名称操作列中的启动。

选择无状态启动后,单击启动。当您看到作业状态变为运行中,则代表作业运行正常。

在作业运维详情页面,查看Flink计算结果。

在作业运维页面,单击目标作业名称。

在作业探查页签,在下拉列表中选择运行日志。

单击运行Task Managers页签下的Path,ID。

 单击日志,单击下方页面,ctrl+f,在页面搜索PrintSinkOutputWriter相关的日志信息。

可以看到randstr字段的数据已经打印出来。

点击Stdout,向下拉取页面,同样也能看到结果

 

九、​​​​​​​​​​​​​​停止作业

在作业运维页面单击对应作业右侧的停止,即可停止作业。

如果我们对作业进行了修改(例如更改SQL代码、增删改WITH参数、更改作业版本等),且希望修改生效,则需要先上线,然后停止再启动。另外,如果作业无法复用State,希望作业全新启动时,也需要停止后再启动作业。


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨

这篇关于大数据Flink(一百一十二):Flink SQL作业快速入门的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1135253

相关文章

全面掌握 SQL 中的 DATEDIFF函数及用法最佳实践

《全面掌握SQL中的DATEDIFF函数及用法最佳实践》本文解析DATEDIFF在不同数据库中的差异,强调其边界计算原理,探讨应用场景及陷阱,推荐根据需求选择TIMESTAMPDIFF或inte... 目录1. 核心概念:DATEDIFF 究竟在计算什么?2. 主流数据库中的 DATEDIFF 实现2.1

MySQL 多列 IN 查询之语法、性能与实战技巧(最新整理)

《MySQL多列IN查询之语法、性能与实战技巧(最新整理)》本文详解MySQL多列IN查询,对比传统OR写法,强调其简洁高效,适合批量匹配复合键,通过联合索引、分批次优化提升性能,兼容多种数据库... 目录一、基础语法:多列 IN 的两种写法1. 直接值列表2. 子查询二、对比传统 OR 的写法三、性能分析

MySQL中的LENGTH()函数用法详解与实例分析

《MySQL中的LENGTH()函数用法详解与实例分析》MySQLLENGTH()函数用于计算字符串的字节长度,区别于CHAR_LENGTH()的字符长度,适用于多字节字符集(如UTF-8)的数据验证... 目录1. LENGTH()函数的基本语法2. LENGTH()函数的返回值2.1 示例1:计算字符串

浅谈mysql的not exists走不走索引

《浅谈mysql的notexists走不走索引》在MySQL中,​NOTEXISTS子句是否使用索引取决于子查询中关联字段是否建立了合适的索引,下面就来介绍一下mysql的notexists走不走索... 在mysql中,​NOT EXISTS子句是否使用索引取决于子查询中关联字段是否建立了合适的索引。以下

Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式

《Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式》本文详细介绍如何使用Java通过JDBC连接MySQL数据库,包括下载驱动、配置Eclipse环境、检测数据库连接等关键步骤,... 目录一、下载驱动包二、放jar包三、检测数据库连接JavaJava 如何使用 JDBC 连接 mys

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型(范围、哈希、列表、键值),主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区(Range Partitioning1、新建分区表:2、分