FFA 2023|字节跳动 7 项议题入选

2023-11-30 14:15

本文主要是介绍FFA 2023|字节跳动 7 项议题入选,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,作为最受 Apache Flink 社区开发者期盼的年度峰会之一,FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态,是中国 Flink 开发者和使用者不可错过的的技术盛宴。

今年 Flink Forward Asia(以下简称 FFA ) 回归线下,将于 12 月 8 - 9 日在北京望京凯悦酒店举办。延续 FFA 惯例,峰会所有议题均为开放征集而来,并由专业的议题评选委员会评分筛选,确保内容代表行业领先水平,为开发者们输出更加优质的干货,并为各企业提供可借鉴的实践经验。本次大会,字节跳动 7 项议题入选,包括OLAP Serverless、流批一体、自动化运维的大规模落地实践外,也对抖音、头条等业务背后的监控预警、实时数仓推荐平台实践进行分享。

FFA 2023 官网:https://flink-forward.org.cn/

议题推荐

Flink OLAP Serverless 能力在字节跳动的落地实践

冯向宇,字节跳动基础架构工程师

演讲介绍:随着 Flink OLAP 在高 QPS 下的作业调度和作业执行优化逐渐落地,Flink OLAP 在字节内部的业务规模也大幅增长,同时也遇到了更多样化的计算挑战,其中最主要的一项挑战是计算能力的 Serverless 化。通过开发实现资源隔离、弹性扩缩容、优雅退出、冷启动优化、多策略限流等特性,我们完成了 Flink OLAP的Serverless 能力改造,并在内部成功完成了业务推广。本次分享我们将从 Flink OLAP 遇到的 Serverless 能力挑战、资源隔离实现、云原生能力增强、弹性扩缩容、业务落地及规划等五个方面进行介绍。

流批一体在字节跳动的大规模落地实践

苏德伟,字节跳动基础架构工程师

演讲介绍:Flink 是事实上的流计算标准,但在批计算场景的应用并不广泛。随着 Flink 引擎流批一体能力的完善,在字节跳动内部我们将离线数据同步场景下的 2.2w+ Spark SQL 作业迁移至 Flink Batch SQL,以推进流批一体的落地。Spark SQL 作业具有丰富的 Pattern,我们通过解决大量 Spark SQL 的兼容性问题,并进行数据准确性校验以及自动化迁移,将每日例行作业平滑迁移至 Flink Batch 并在线上稳定运行。本次分享将主要从以下五个部分介绍流批一体在字节跳动的大规模落地实践。

字节全增量一体化实时数据建设方案

秦冰伦:字节跳动实时数据工程师 & 刘想:字节跳动实时数据工程师

演讲介绍:字节的业务包含很多全增量一体化数据场景,典型场景如用户画像、风控、房产等,运营既需要过去长时间范围的数据来挖掘潜在的价值,也对数据新鲜度有很高的诉求,因此实时数据的全增量一体化价值很大。本次分享主要介绍全增量一体化流式计算建设过程中面临的挑战和解决方案。

Flink 自动化运维的大规模落地实践

陈张昊,字节跳动基础架构工程师

演讲介绍:过去几年中,字节跳动内部 Flink 作业规模逐渐增长到数万量级,业务有限的人力趋于无力应对随流量变化需人工调优资源配置、单机问题易导致慢节点需人工迁移等带来的运维压力。面对运维难题,沉淀出一套 Flink 自动化运维体系,并在内部大规模落地实践:托管了 1.5W+ 任务,在流量变化时自动扩缩容以避免消费积压的同时可以提升资源使用率、每日自动迁移 1K+ 次慢节点消除消费积压,有效减轻了业务的 Flink 作业运维压力。本次分享我们将从以下五个方面介绍 Flink 自动化运维的落地实践。

字节跳动实时数仓质量与成本治理平台实践

朱福生,字节跳动数据工程师

演讲介绍:随着业务对数据时效要求的提升和实时任务数量的不断增加,字节跳动已运行了上万的 Flink 实时任务,由于实时任务依赖的组件繁多、开发人员众多 、开发习惯和经验参差不齐等各类主客观因素,导致任务稳定性、资源浪费等问题频出。因此任务治理势在必行,但纵观整个治理过程,仍存在以下矛盾:业务与治理的矛盾、人力与治理的矛盾、问题与可评价的矛盾。本文将通过治理背景、健康分体系、治理收益、健康分规划四个方面来介绍实时健康分如何让实时治理简单、高效、可持续化。

字节推荐面向下一代特征工程架构演进之路

刘首维,字节跳动推荐架构工程师

刘方奇,字节跳动推荐架构工程师

演讲介绍:字节跳动在过去几年的发展中推荐系统基于 Flink、Spark、Hudi 等大数据组件打造了支持万亿数据吞吐的特征生产系统,随着直播、电商、生活服务等业务高速发展和算法工程师规模的扩大,对推荐系统中的离线组件在易用性、成本、架构方面提出了进一步挑战,我们也在此背景下,提出了新一代特征生产和入湖链路,其中包括引入推荐系统 Planner、面向用户的 Python SDK 以及 Flink 流批一体的样本入湖等功能,在开发效率、成本和性能上都有显著收益:其中原始特征生产的开发上线周期从 N 天至 1 周可以降低到小时级,推荐样本入湖的计算性能也提升到了原来的 3 倍+。

Flink 在抖音实时监控预警场景下的落地实践

张宏博,字节跳动数据工程师

演讲介绍:随着实时数仓的发展建设及业务对实时数据的强诉求,实时数仓支持了越来越多高优业务,同时也遇到了新的挑战。从最初快速支持业务,到更加注重时效性、准确性,我们的目标不断提升,架构不断完善,在提升数据时效性、准确性的道路上持续探索。经历了一系列的方案->工具->平台的迭代演进后,最终沉淀了一套基于 Flink SQL 的实时监控预警体系,帮助及时发现数据问题,助力业务实现监控诉求。本次分享从数据层面和业务层面两个角度出发,为大家介绍抖音基于 Flink 的实时监控预警能力落地实践。

直播预约&参会报名

PC 端可前往 FFA 2023 大会官网操作:https://flink-forward.org.cn/。

移动端可关注「Apache Flink」视频号预约直播。

这篇关于FFA 2023|字节跳动 7 项议题入选的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/437332

相关文章

据阿谱尔APO Research调研显示,2023年全球髓内钉市场销售额约为4.7亿美元

根据阿谱尔 (APO Research)的统计及预测,2023年全球髓内钉市场销售额约为4.7亿美元,预计在2024-2030年预测期内将以超过3.82%的CAGR(年复合增长率)增长。 髓内钉市场是指涉及髓内钉制造、分销和销售的行业。髓内钉是一种用于整形外科手术的医疗器械,用于稳定长骨骨折,特别是股骨、胫骨和肱骨。髓内钉通常由不銹钢或钛等材料制成,并插入骨的髓管中,以在愈合过程中提供结构支

Java——IO流(一)-(5/8):IO流概述、字节流-FileInputStream 每次读取一个字节

IO流概述 介绍 输入输出流,用于读写数据。 I指Input,称为输入流:负责把数据读到内存中去。 O指Output,称为输出流:负责写数据出去。 IO流的应用场景 文件内容的读写永久保存应用数据复制粘贴对话通信等等 怎么学IO流 理清楚IO六点分类和体系循序渐进、深入学习每个IO流的作用和用法 IO流的分类 IO流总体来看就有四大类: 字节输入流:以内存

Java代理-动态字节码生成代理的5种方式

上篇讲到了代理模式出现的原因,实现方式以及跟其他相似设计模式的区别。传送门@_@ http://blog.csdn.net/wonking666/article/details/79497547 1.静态代理的不足 设计模式里面的代理模式,代理类是需要手动去写的。但是手写代理的问题颇多 1.如果不同类型的目标对象需要执行同样一套代理的逻辑,比如说在方法调用前后打印参数和结果,那么仍然需要为每

Linux平台与Windows平台字节对齐(一)

记录时间:2014-10-20 20:31 今天白天在整理 winndows平台 + Arm平台的网络数据包。但期间由于经验不足,不了解两平台CPU架构的差距会影响到数据类型的大小,导致在工程非常紧急的时间里还浪费了很多宝贵的时间,鉴于问题的常见性 和 隐秘行,特此列出,以便能帮助需要帮助的人。 解决问题思路:在遇到网络交互数据不对时,可以从如下四方面去排除问题,通常只要使用这三种

2023-2024 学年第二学期小学数学六年级期末质量检测模拟(制作:王胤皓)(90分钟)

word效果预览: 一、我会填 1. 1.\hspace{0.5em} 1. 一个多位数,亿位上是次小的素数,千位上是最小的质数的立方,十万位是 10 10 10 和 15 15 15 的最大公约数,万位是最小的合数,十位上的数既不是质数也不是合数,这个数是 ( \hspace{4em} ),约等于 ( \hspace{1em} ) 万 2. 2.\hspace{0.5em} 2.

字符串到字节数组和字节数组到字符串的转换(编码和解码问题)

/*  * String(byte[] bytes, String charsetName):通过指定的字符集解码字节数组  * byte[] getBytes(String charsetName):使用指定的字符集合把字符串编码为字节数组  *  * 编码:把看得懂的变成看不懂的  * String -- byte[]  *  * 解码:把看不懂的变成看得懂的

java文件流之copy文件(用一次读取一个字节数组方式)

package fileoutputstream;import java.io.FileInputStream;import java.io.FileOutputStream;public class CopyFileDemo {public static void main(String[] args) throws Exception {//封装数据源FileInputStream fis

JavaIO流之创建字节输出流的2中方式

package fileoutputstream;import java.io.File;import java.io.FileOutputStream;public class FileOutputStreamDemo {public static void main(String[] args) throws Exception {//创建字节输出流对象方式1// FileO

http请求获取到的网页源码是字节数组还是字符串?

http请求获取到的网页源码是字节数组,并不是字符串。只有识别了网页所用的编码,例如utf8,将字节数组根据编码的规则, 进行解码,才可以获得网页源码的字符串。编码是将字符串转换为字节数组的过程,解码是将字节数组转换成字符串的过程。

中国港口年鉴(2000-2023年)

数据年限:2000-2023(齐全) 数据格式:pdf、excel 数据内容: 一、记述和反映了中国大陆江、海、河港口在深化改革、调整结构、整合资源、开拓经营、加快建设等方面所取得的成就和发展进程,香港特别行政区、澳门特别行政区、台湾地区港口发展的概况专门列述。 二、本版以每个省(自治区、直辖市)为单位,编排省内各港情况,并在一城一港的基础上编排各市港口情况,然后在各市港口下再列入大型港口企业集团