Aloudata AIR :国内首个 Data Fabric 逻辑数据平台

2024-09-06 20:04

本文主要是介绍Aloudata AIR :国内首个 Data Fabric 逻辑数据平台,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

AIR 的寓意是“极致轻盈的数据交付”:A - Adaptive 自适应,I - Integration 集成,R - Resilience 弹性
News:Aloudata AIR 发布

作为国内首个 Data Fabric 逻辑数据平台,Aloudata AIR 通过自研的数据虚拟化技术,轻松实现多源异构数据的集成整合和自适应加速,为 Data Fabric 数据架构理念在国内的实践落地开辟了清晰的路径。

传统“搭湖建仓”遇上数据管理“新挑战”

得益于互联网和移动互联网的发展,以及数字化设备的普及,企业现在可以获取到更丰富的数据,不仅包括用户的交易结果,还包括他们的行为数据,甚至是 IoT 设备生成的数据。

随着 SaaS 应用的普及,我们还能够接触到更多种类的企业数据。数据量的增加和数据类型的丰富为我们打开了新的想象空间,使得企业数字化应用的场景变得更加多样化,企业内部各种职能对数据的需求也随之激增。

这给我们的数据管理带来了新的挑战:如何确保企业中的每个人都能及时获取到正确的数据,以支持他们的业务决策,同时如何保证这些数据的有序、安全和合规流通。

在过去,为了让用户更好地利用和处理这些数据,我们通常会选择搭建数据湖和数据仓库,将所有数据物理集中起来。随着数据量、用数需求和用数人数持续激增,数据架构的复杂度和组织架构的复杂度对物理集中的方式带来多方面的挑战。

一方面,在传统的湖仓架构下,企业需依赖大量的 ETL 工作以满足用数需求和实现数据管理,但这一过程耗时耗力。即使数据团队投入巨大努力去满足需求,也难以获得业务部门的认可和好评。因此,尽管建立了湖、仓,甚至数据中台,但我们在数据响应效率和业务满意度方面仍未见明显改善。

另一方面,建立了数据湖和数据仓库后,需要将业务数据从业务数据库迁移到这些平台,随后由于各种性能问题,还需要将数据进一步迁移到不同类型的数据集市,导致了多次不必要的数据复制、计算和存储,给企业带来了巨大的成本压力。同时,由于合规和组织结构的复杂性,企业实际上并不能将所有数据集中到单一的数据湖或数据仓库中,数据孤岛依然广泛存在。

Data Fabric 理念下的全新视角

面对这些挑战,近几年兴起了一种全新的数据管理理念——Data Fabric。

简单来说,Data Fabric 为我们提供了一个框架,让人与数据之间的交互更为高效。它的核心思想是,企业不再需要像过去那样将所有数据集中存放在一个物理的数据湖或数据仓库中。Data Fabric 能够管理不同位置、不同格式的数据,并通过逻辑集中的方式进行组织,使用户在需要时能够快速、准确地获取到所需数据。

那么,Data Fabric 能为我们带来什么?

首先,它极大地提升了工作效率。业务团队不再依赖 ETL 团队,可直接访问和使用数据。

其次,由于 Data Fabric 采用逻辑化的集中方式,它减少了大量不必要的数据搬运、存储和处理,从而显著降低了成本。

最后,Data Fabric 解决了由于合规、组织架构等原因导致的数据无法集中的问题。通过逻辑化集中的方式,它还允许我们在一个统一平台上进行数据治理和控制,确保数据的安全、合规和可控流通。

事实上,Aloudata 团队并非是在接触 Data Fabric 理念之后才开始开发 Aloudata AIR 这个平台的。Aloudata 许多团队成员自己就曾是庞大 ETL 团队中的一员,切身体会到传统 ETL 数据工程之痛,进而提出 NoETL 的主张,希望通过 ETL 的自动化,使整个数据开发和管理过程变得更加高效和敏捷。最终发现,这种思路与 Data Fabric 理念不谋而合。

Aloudata AIR:极致轻盈的数据交付

AIR 的寓意是“极致轻盈的数据交付”,它的名字缘由是:A - Adaptive 自适应,I - Integration 集成,R - Resilience 弹性

Aloudata AIR 的核心架构包含三个层次:

首先是数据连接层,通过这一层可以轻松地将企业中所有的数据逻辑连接起来,无论其物理位置和数据格式如何,让用户能够快速访问企业内的全域数据;

其次是虚拟化层,一旦数据被连接,用户就可以通过自动化的链路编排和自适应加速在这一层进行跨数据源的数据整合,满足业务分析的需求;

第三是消费层,提供了各种标准化接口,使用户可以在自己熟悉和喜欢的工具上进行数据分析和应用。在这里插入图片描述
此外,Aloudata AIR 还提供了数据资产目录与数据治理层。数据管理员可以在这里集中设置数据的安全和合规访问策略,而业务人员则可以在数据目录中快速找到并理解他们需要的数据,并将其连接到自己喜欢的工具中进行分析和使用。

Aloudata AIR 核心优势特性主要有六点:

  • 多源异构的数据集成:支持 50 种不同的数据连接方式,包括传统数据库、数据湖、数据仓库、各类 API 服务和应用,以及非同步数据和用户本地数据。这使得连接全域各类数据并进行快速分析变得异常简单。

  • 逻辑化数据整合:用户不需要关注底层技术细节,可以通过 SQL 语言去表达和定义需求,或通过拖拽式界面来实现数据准备。Aloudata AIR 支持跨源、多级逻辑视图定义,大大简化了各种复杂场景下的数据整合工作。

  • 自适应数据加速:内置的 MPP 引擎可用于提高某些高性能场景的数据源查询性能。此外,自适应物化加速和智能下推功能,确保在大规模数据量下依然能实现秒级的交互式响应速度。

  • 集中数据治理与控制:管理人员可以在 Aloudata AIR 中集中设置安全和合规的访问策略,包括细致的访问控制和对敏感数据的动态脱敏处理,确保数据的安全性。

  • 统一的数据资产目录:提供统一的数据资产目录,它不仅有技术语言描述,还包括符合业务语言的描述。用户可以使用自然语言轻松找到所需数据,甚至系统会根据用户角色和需求主动推荐相关数据。

  • 标准开放的数据服务:用户找到所需数据后,可以通过标准化的数据服务将这些数据连接到各种工具上,无论是用于可视化分析的工具,还是更高级的数据科学或 AI 工具,用户都可以在自己熟悉和喜爱的环境中进行工作。在这里插入图片描述
    三大引擎提供灵活的数据集成、管理、应用的解决方案

Aloudata AIR 能够实现这样的特性,主要依赖于其背后的三大核心技术能力,这些能力构成了产品的支柱。

  • 主动元数据引擎:一旦数据被连接,它就能实时主动采集数据和相关信息。这不仅包括数据本身的特性,还包括数据服务能力和用户的数据使用行为。这样的实时收集,为我们提供了一个完整的数据和相关信息的集合。

  • AI 增强的策略引擎:帮助自动化数据编排、分类分级打标,以及数据推荐等一系列与数据相关的业务活动。这种自动化能力大大提高了数据处理的效率和智能化水平。

  • 数据虚拟化引擎:作为第三个核心引擎,它主要承担两类任务。第一类是高效执行设定的物化操作;第二类任务是,当用户进行数据查询时,它能够协调各个数据源,选择最优的执行策略,以最快的速度提供数据,确保了数据操作的高效执行。

这三大核心技术能力是 Aloudata AIR 的基石,并在持续不断的演进中,以适应不断变化的数据管理需求。

因此,Aloudata AIR 不仅在提高效率、降低成本方面带来了显著改变,也能在工作方式和团队协作方面带来积极的影响。其价值核心主要有三点:

  • 提高交付效率:由于大量工作不再依赖人工 ETL 作业,业务人员实现了自助式数据准备,数据的交付效率得到了极大的提升。过去可能需要几周甚至更长时间的 ETL 排期,现在可能仅需一天、几小时,甚至几分钟就能完成,效率提升至少 10 倍以上。

  • 显著节约成本:Aloudata AIR 的逻辑化集中和自动化编排减少了大量不必要的同步、存储和计算的工作,结合智能、灵活的物化视图生命周期管理,至少可以节约 50% 以上的存算成本。

  • 减轻 ETL 团队负担:在过去,ETL 团队常常因业务需求而压力山大。如今,许多业务需求可以由业务团队自助满足,这不仅使业务团队满意,也使 ETL 团队的工作量大幅减少。ETL 工程师只需要专注于最核心的数据资产,其数据开发工作量至少减少了 70%。

由于每个企业的数字化阶段可能都不相同,当以上价值映射到每个企业的具体场景时,我们可以看到 Aloudata AIR 有几种典型的应用场景和架构方案:

》01 敏捷数据集成解决方案

对于还没有建设统一数仓或数据湖的企业,可能其积累了大量的业务数据,也需要挖掘数据价值以实现数字化转型,但同时他们可能对建立大型数据仓库和数据中台有所顾虑,担心建设和维护成本过高和投资回报周期过长,或者担心缺乏专业的数据建模团队。

Aloudata AIR 可以帮助这些企业快速实现敏捷的数据基础层建设,通过构建逻辑数仓快速完成全域数据的逻辑集成与准备,以低成本启动他们的数字化转型之路。

》02 跨平台数据管理解决方案

对于已经有一定数字化基础的企业,可能已经建立了数据湖、数据仓库甚至是复杂的数据分析机制。那大家可能会有疑问:是否还需要 Data Fabric 这样的方案?

实际上,我们有许多这样的客户。因为尽管数据已经集中存储,但由于业务场景的需要,他们仍需通过复杂的步骤将数据进行加工并同步到其他地方以供使用,甚至还有大量数据因为种种原因不能集中到湖、仓之中。

Aloudata AIR 可以帮助这些企业连接包括湖、仓在内的各类数据源,形成统一的数据服务平台,实现跨平台的数据管理,使业务团队能在一个统一的数据平面上查找、理解和使用数据,同时简化了数据架构的复杂性。

同时,传统的跨平台数据治理和安全管控更是一件费时费力的事情,有了 Aloudata AIR 构建的统一数据平台,数据资产团队可以方便地实现集中的安全管控。

》03 多云和混合云数据管理方案

第三种是更加复杂的应用场景,对于分布在多个地区或拥有多个子公司的大型企业,往往在混合多云的环境中建有多个独立的湖、仓,物理集中所有数据到一个数据仓库以实现全域数据的统一消费是不现实的。

通过 Aloudata AIR,这些企业可以在不同的地区或业务单位中部署 AIR 产品,然后在集团或中心层面进行整合,形成跨地区、跨业务单位的逻辑系统和管控。这样做解决了跨地区的合规性、同步成本、时效性以及组织层面的数据权责等问题。在这里插入图片描述
因此可以说,Aloudata AIR 能够满足不同类型企业在数字化转型过程中的各种需求,无论是在数据集成、管理还是应用层面,都提供了灵活而高效的解决方案。

Aloudata AIR 在招商银行的实践

在具体实践中,Aloudata AIR 也已经取得了显著成效。

招商银行作为一家领先的股份制银行,在数据平台基础设施和数据体系建设方面有着很大的投入,也采纳和发展了很多先进的数据管理工具与方法。尽管招商银行已经将大量数据集中存储,但仍然面临着之前典型的问题:

例如,根据不同应用场景的需要,数据需要从数据湖和数据仓库中导出到各种分析工具中去。从 IT 的角度看,这似乎是一个正常的流程,但从业务的角度来看,这就意味着他们的很多需求还是要经历漫长的等待,因为 IT 需要处理大量的数据源和复杂的数据结构。

在使用 Aloudata AIR 构建统一的敏捷数据使用平台后,招商银行将所有数据源连接到了这一敏捷用数平台上,业务团队可以在此平台上统一找到所需数据,并进行相关工作。实际应用中,这为业务带来了以下价值:

  • 简化数据访问:业务团队不再需要四处寻找所需数据,而是可以在一个地方统一查找和理解数据。

  • 提高数据处理效率:通过逻辑视图定义和自动化编排,业务团队可以更容易地处理和准备数据,而无需关注物理层面的链路编排等技术细节。目前每月由业务团队自助生成的数据已占到总数据的 70% 以上,ETL 压力显著降低。

  • 降低成本:动态集成和自动化编排减少了不必要的数据复制、计算和存储,至少节约了 50% 以上的存算成本。

总的来说,Aloudata AIR 逻辑数据平台支持异构数据的逻辑集成、整合与查询,通过自适应物化加速和自动回收技术,能实现秒级查询响应并节省 50% 以上的存算成本。

恰如其名,Aloudata 研发 Aloudata AIR 的初衷正是希望让每个企业、每个人都能随时享受到新鲜的数据“空气”。

这篇关于Aloudata AIR :国内首个 Data Fabric 逻辑数据平台的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1142988

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi