【2023 云栖】阿里云田奇铣:大模型驱动 DataWorks 数据开发治理平台智能化升级

本文主要是介绍【2023 云栖】阿里云田奇铣:大模型驱动 DataWorks 数据开发治理平台智能化升级,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

云布道师

本文根据 2023 云栖大会演讲实录整理而成,演讲信息如下:

演讲人:田奇铣 | 阿里云 DataWorks 产品负责人

演讲主题:大模型驱动 DataWorks 数据开发治理平台智能化升级

随着大模型掀起 AI 技术革新浪潮,大数据也进入了与 AI 深度结合的创新时期。2023 年云栖大会上,阿里云 DataWorks 产品负责人田奇铣发布了 DataWorks Copilot、DataWorks AI 增强分析、DataWorks 湖仓融合数据管理等众多新产品能力,让 DataWorks 这款已经发展了 14 年的大数据开发治理平台产品,从一站式向智能化不断升级演进。

Data+AI 双轮驱动

进入 AIGC 时代,AI for Data 和 Data for AI 成为当下的热词。AI for Data,这个比较好理解,通过大模型驱动的 AI 智能助手,可以提升数据平台工具的效率。DataWorks 为企业搭建了一站式、全链路的工具链,在这个过程中,也源源不断地为企业构建数据资产,比如数据模型、元数据、数据血缘、数据指标等,在大模型时代,这些也可以称之为企业专属的领域知识,借助大模型强大的语义理解、推理、上下文学习、记忆能力,通过大模型的 Prompt Engineering,DataWorks 一站式平台可以为 AI 智能助手提供更接近的、更及时的、更全面的上下文信息,从而可以让AI 获得更好的效果和性能,这是 Data for AI。有了良好的数据基础,今天我们发布的众多新品就是借助 AI 大模型的能力,通过 Data + AI 双轮驱动,为数据开发和分析提供了新的范式,进一步提升企业获得数据价值的效率。在这里插入图片描述

云栖发布: DataWorks Copilot 智能 SQL 编程助手提升 30% 数据开发分析效率

DataWorks Copilot 是基于 NL2SQL 大模型打造的 SQL 编程助手,我们使用基于公开的数据集训练和微调的 NL2SQL 大模型,结合 Prompt Engineering,提供了丰富的自然语言生成 SQL 的操作。

  • SQL 生成

输入想要查询分析的自然语言描述,例如“统计最近 7 天的商品销售排行”,DataWorks Copilot 将自动生成对应的 SQL 语句。

  • SQL 续写

在 SQL IDE 中编写 SQL 代码时,DataWorks Copilot 能够提供智能代码提示建议,提升 SQL 编程效率。

  • SQL 纠错

当 SQL 运行报错时,DataWorks Copilot 可提供一键纠错服务,帮助 ETL 工程师和分析师快速修复 SQL 错误。

  • SQL 注释

以前写代码注释是个负担,我们自己不想写注释,却又希望别人的代码有注释。DataWorks Copilot 可以批量为建表语句生成字段 Comment 信息,也可以为 SQL 语句添加逐行注释,提升 SQL 的可读性。

  • SQL 解释

对于部分业务人员或者分析师,经常拿到是数仓工程师给到一段比较复杂的取数脚本,使用到的一些高级 SQL 语法和函数不懂什么意思但又想改一改取数逻辑,以前就要到处查资料或者请教别人。DataWorks Copilot 可以直接对 SQL 代码进行解释,帮助我们的业务人员更快理解 SQL 逻辑、用途,提高取数分析和 SQL 学习的效率。
DataWorks Copilot 智能 SQL 编程助手,在我们内部已经使用了一段时间了,根据我们的一些观测,可以为 ETL 开发和数据分析提效 30% 以上。
从 GUI 到 LUI,DataWorks Copilot 辅助 ETL 数仓开发
40 多年前出现了图形用户界面(GUI),大模型强大的自然语言理解能力,带来了全新的自然语言用户界面(LUI),这也是一种全新的人机交互方式,一个软件产品,能否提供 LUI,这也是大模型应用从AI智能助手迈向 AI 原生应用的标志能力之一。DataWorks 也在思考和探索,如何将复杂的产品操作逻辑隐藏在背后,借助大模型,对用户提供简单直接、更符合人性的自然语言用户界面。
我们做了一些产品实践。举几个应用场景,在实际工作中,找表是件头疼的问题,业务人员为了计算一个指标要找数仓的同学问该用哪张表,数仓同学天天应付这类咨询,也很烦躁。DataWorks Copilot 则可以提供通过自然语言快捷找表,让找表这件事情不用东问西问,从而提升企业的数据消费效率。在 ETL 开发过程中,有些操作是比较复杂或者繁琐的,比如调度配置、参数配置、数据质量规则配置,过去往往需要到不同的产品页面来回跳转和手工配置,现在 DataWorks Copilot 提供了对话式的自然语言用户界面,在一个统一对话窗口中,通过自然语言交互就可以完成很多跨产品工具的操作,比如说一句“给某某表配置一个什么质量规则”就可以完成数据质量检测的规则配置。未来,我们将持续丰富自然语言交互界面的覆盖范围。

DataWorks Copilot 提供了两种模型服务,第一种是基于公开数据集训练和微调的NL2SQL 大模型,当前在阿里云 DataWorks 官网可以直接申请参与邀测。如果有的企业对我们的模型效果有更高的期待,或者希望 Copilot 能够回答更贴近企业内部业务,我们可以提供企业专属的模型微调服务,结合阿里云人工智能平台 PAI 以及大模型专家服务,可以为企业量身定制专属代码大模型以及私有化大模型部署服务。

云栖发布:DataWorks AI 增强数据分析

企业在数据生产建设上投入这么多资源,最终希望是洞察数据中的业务价值,指导企业的经营、决策。传统的统计分析方法常常先假设一种统计模型,然后根据数据样本来估计模型参数,从而了解数据的特征,但实际中往往有很多数据并不符合假设的统计模型。探索性数据分析强调让数据自身“说话”,先对数据特征、统计量进行探索,然后再选取合适的模型进一步分析,这是一种更加贴合实际情况的分析方法。在 AI 时代,数据洞察也不断向智能化演进,AI 增强分析利用 AI 技术,可以加速或者自动化数据探索与洞察,帮助分析师从手工数据探索中解放出来。AI 技术还能更好地发现数据中隐藏的规律和趋势,帮助分析师进一步突破自身固有认知的局限。
DataWorks 联合 DataV 数据可视化产品,深度结合 AI 技术,推出了 AI 增强分析产品。目前提供了四项核心能力:

  • 自动数据探查

自动探查数据集,无需专业技术背景即可快速了解数据特征、统计分布。

  • AI 自动图表生成

基于自动数据探查的信息,自动生成数据图表卡片,结合 AI 技术,自动识别不同数据字段组合之间的相关性并生成图表,不需要你手动写很多 SQL 进行分析,可以帮助你快速获得灵感,保存见解。

  • AI 智能数据查询

结合大模型技术,通过自然语言生成 SQL 查询数据,并自动为查询结果自动推荐和生成数据图表卡片。

  • 一键构建和分享数据报告

可以像制作 PPT 一样,将上面生成的数据图表卡片一键生成数据长图报告,支持导出为图片或者一键分享。
DataWorks AI 增强分析,让数据自己“说话”,将数据洞察过程尽可能的自动化、无代码化,通过 AI 还能自动发现数据中的潜在趋势,讲好数据故事,表达数据观点。这款产品目前在公测当中,大家开通 DataWorks 后进入数据分析产品即可申请公测体验。

云栖发布:DataWorks 湖仓融合数据管理

随着市场的不断变化,企业业务也不断的发展,企业面临的竞争和不确定性也越来越大,数据需求从简单的查询、统计到 BI 到数据科学到推荐预测到 AI 应用,整体上从简单的固定查询统计到复杂多变灵活的智能化分析,相应企业数据架构也发生了变化,从数据库到数据仓库到数据湖,再到湖仓融合,整个演进过程是在追求更高的数据效率和更好更快的满足企业的各种灵活多变的数据需求。湖仓融合数据架构既兼顾数据仓库的规范性和企业级能力,又兼顾数据湖的灵活性和生态开放性,成为越来越多企业所关注的数据架构。在这里插入图片描述
DataWorks 当前全面支持湖仓融合的数据管理,在存储层,离线数据仓库MaxCompute 和实时数据仓库 Hologres 以及数据湖存储 OSS/OSS-HDFS,它们之间已经在存储层做了无缝的打通,不需要复制移动数据就可以进行数据的联邦查询。在这之上,DataWorks 提供了统一的湖仓融合数据管理用户界面。

  • 实时数据秒级入湖

在数据集成上,DataWorks 本身支持 50 多种异构数据源的离线、实时同步入仓。今年新增实时数据入湖的能力,实现数据秒级实时入湖,并且支持在数据同步过程中自动进行库表字段的更新,同时在这个过程中也能够进行元数据的自动发现和注册,借助 DLF 可以在 DataWorks 数据地图里进行湖仓统一的元数据管理。

  • 湖仓融合 ETL 开发调度

面向湖仓融合架构中多种计算引擎,如 MaxCompute、Hologres、Spark、Hive、Presto 等,提供了统一的 ETL 任务开发、任务编排调度和运维服务,实现统一的数据开发流水线,解决企业因数据架构不统一造成的数据生产链路割裂、不稳定等难以管理的问题。

  • 湖仓融合数据治理

DataWorks 新增支持了湖仓融合数据治理。不仅能支持湖仓统一的元数据管理、数据建模和数据质量管理,而且 DataWorks 的主动式、自动化数据治理工具“DataWorks 数据治理中心”也全面支持了 EMR+OSS 数据湖。
DataWorks 数据治理中心,将成熟的数仓治理能力全面扩展到了 EMR+OSS 数据湖。为了简化湖仓架构下的数据治理难度,让数据治理不再是运动式的,而是能够真正可持续、可跟进、可落地,DataWorks 数据治理中心,新增了“数据治理计划”功能,来协助用户完成主动式的数据治理规划和诊断。
数据治理计划内置了面向数据管理者的计算存储的成本治理、任务的稳定性治理等数据治理场景的模板,支持企业设置一个数据治理目标,提供多个维度的数据治理健康度的评估模型,帮助大家去评估数据治理的成效。
数据治理计划面向数据治理的执行者,提供 60 余项覆盖 5 个维度的治理规则库,结合设置的数据治理目标方向,数据治理产品可以自动推荐圈选和目标相关的数据治理问题,并且提供相应的治理手段和方法,帮助数据治理的执行者可以及时的发现问题解决问题。同时数据治理中心提供事前的问题拦截,在数据开发阶段可以事前发现很多的问题,比如代码规范问题,表明任务名命名规范问题,可以进行提前的拦截,这些事前拦截的插件和事后问题发现的插件都是允许支持企业自己定义。
数据治理应用:成本优化-无效任务自动化下线
随着企业业务的不断变化,企业人员变动,不可避免地会出现越来越多的无效数据任务,每天都在消耗着大量的计算成本和存储成本。传统的手动治理,需要依赖数据工程师人工分析判断,进行复杂的影响分析,还存在与相关被影响人员的沟通协同成本,极容易因不小心失误影响了线上任务造成故障,从而导致数据工程师因害怕出问题而对无效任务不敢治理,不愿治理。
DataWorks 数据治理中心,提供了一项称之为“优雅下线”的产品功能,可对无效任务进行批量的流程化、自动化的下线治理。首先会自动进行任务下线的影响分析,然后将任务下线分解为延迟调度、暂停调度、下线任务、备份产出表、删除产出表五个步骤,每个步骤还提供一个静默期并自动通知相关责任人或者受影响人。整个过程类似于一种“灰度下线”机制,一旦出问题可以快速恢复,并将影响范围降到最低。在这里插入图片描述
在阿里内部数据团队,原先治理下线一组涉及到 30 个责任人的 1000 个任务,从拉群拉会沟通,分析下线影响,制定下线计划,各自分别执行下线操作到结果跟进,要花费 3-5 个月时间。有了 DataWork s数据治理中心的优雅下线功能,2 天完成治理动作,1 周完成影响观察,15 天即可正式结项。DataWorks 数据治理中心的优雅下线已经帮助阿里内部数仓团队成功下线了数万个无效任务,节省在大量的存储计算成本。
DataWorks 数据治理中心已经在 DataWorks 企业版提供服务,近期也会推出企业版的试用活动,大家可以关注产品的官网信息。在这里插入图片描述

从 2009 年诞生在阿里巴巴集团内部开始,DataWorks 一直是一站式平台的倡导者与坚定执行者,包含从数据集成、数据开发的工具链、数据治理的工具链,以及到数据消费侧的分析及服务的产品,我们通过一站式平台不断为企业构建、沉淀企业的数据资产。在 AI 时代,DataWorks 将 14 年积累的产品能力不断与大模型进行融合创新,为企业一站式智能化的数据平台产品,提升企业数据流转效率,加速企业数据价值获取。

这篇关于【2023 云栖】阿里云田奇铣:大模型驱动 DataWorks 数据开发治理平台智能化升级的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/425334

相关文章

如何使用C#串口通讯实现数据的发送和接收

《如何使用C#串口通讯实现数据的发送和接收》本文详细介绍了如何使用C#实现基于串口通讯的数据发送和接收,通过SerialPort类,我们可以轻松实现串口通讯,并结合事件机制实现数据的传递和处理,感兴趣... 目录1. 概述2. 关键技术点2.1 SerialPort类2.2 异步接收数据2.3 数据解析2.

大数据spark3.5安装部署之local模式详解

《大数据spark3.5安装部署之local模式详解》本文介绍了如何在本地模式下安装和配置Spark,并展示了如何使用SparkShell进行基本的数据处理操作,同时,还介绍了如何通过Spark-su... 目录下载上传解压配置jdk解压配置环境变量启动查看交互操作命令行提交应用spark,一个数据处理框架

基于Python开发PDF转PNG的可视化工具

《基于Python开发PDF转PNG的可视化工具》在数字文档处理领域,PDF到图像格式的转换是常见需求,本文介绍如何利用Python的PyMuPDF库和Tkinter框架开发一个带图形界面的PDF转P... 目录一、引言二、功能特性三、技术架构1. 技术栈组成2. 系统架构javascript设计3.效果图

通过ibd文件恢复MySql数据的操作方法

《通过ibd文件恢复MySql数据的操作方法》文章介绍通过.ibd文件恢复MySQL数据的过程,包括知道表结构和不知道表结构两种情况,对于知道表结构的情况,可以直接将.ibd文件复制到新的数据库目录并... 目录第一种情况:知道表结构第二种情况:不知道表结构总结今天干了一件大事,安装1Panel导致原来服务

Jmeter如何向数据库批量插入数据

《Jmeter如何向数据库批量插入数据》:本文主要介绍Jmeter如何向数据库批量插入数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Jmeter向数据库批量插入数据Jmeter向mysql数据库中插入数据的入门操作接下来做一下各个元件的配置总结Jmete

基于Python开发PDF转Doc格式小程序

《基于Python开发PDF转Doc格式小程序》这篇文章主要为大家详细介绍了如何基于Python开发PDF转Doc格式小程序,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 用python实现PDF转Doc格式小程序以下是一个使用Python实现PDF转DOC格式的GUI程序,采用T

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

linux环境openssl、openssh升级流程

《linux环境openssl、openssh升级流程》该文章详细介绍了在Ubuntu22.04系统上升级OpenSSL和OpenSSH的方法,首先,升级OpenSSL的步骤包括下载最新版本、安装编译... 目录一.升级openssl1.官网下载最新版openssl2.安装编译环境3.下载后解压安装4.备份

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi