告别高昂存储,高效灵活管理数据

2023-12-23 09:52

本文主要是介绍告别高昂存储,高效灵活管理数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

在当今数字化时代,企业面临着海量数据的挑战,这些数据承载着技术创新和业务发展的重要使命。因此,高效、安全地收集、存储和管理数据成为了企业关注的焦点。对于需要长期储存且低频聚合分析的数据,组织需要更加低成本和便捷的方式储存利用这些数据。观测云利用数据转发提供新的解决方案,帮助用户将需要储存的数据转发至第三方外部存储,这样不仅有效降低用户的成本,也能够方便用户在观测云中直接查看和灵活管理第三方存储的数据。因此,本文将讨论这一解决方案的配置和实际场景示例,让用户用更低的成本实现更便捷灵活地管理数据。

数据转发

观测云提供多种的数据转发和存储方式,帮助用户灵活管理和转发数据。您可以自定义数据转发规则,将日志、链路和用户访问数据保存到观测云的对象存储,或转发到第三方外部存储,包括 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列等存档类型。

配置个性化转发规则

您可以在管理>数据转发>转发规则中新建转发规则。创建完成后,若上报数据匹配到了转发规则中的配置,则会将匹配的数据做转存处理。

前提条件:使用商业版观测云,详情参见:升级商业版 - 观测云文档

步骤一:输入规则名称

您可以自定义规则名称,并选择需要转发的数据是否包含扩展字段,若您若勾选了 “包含扩展字段”,符合条件的整条日志数据都会被转发,但应用性能和用户访问数据默认转发整条数据,不受此选项影响。

步骤二:定义过滤条件

接下来您可以自由选择数据源,包括日志、链路、用户访问,并可以自定义数据源的过滤条件,即满足所有条件或任意条件的数据就会被保存到数据转发。其中条件运算符 in / not in 够将数据进行精准匹配,您可以选择多个值;match / not match 支持输入正则表语法去进行模糊匹配,快速过滤需转发的数据。

当然,您也可以不填写过滤条件,即可保存全部日志/链路/用户访问数据。以日志为例,如下图所示:

步骤三:选择存档类型

观测云提供了更加全面的数据转发存储方式,您可以根据实际情况和需求自由选择存储类型。支持五种存储路径:观测云、 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列。

观测云

当您选择数据转发存储对象为观测云,观测云为您提供匹配到的数据将被保存到观测云侧的 OSS、S3、OBS 对象存储中。该规则下的数据最低存储默认为 180 天。当然,您也可以在管理 > 设置中按需修改数据存储策略,高效完成同一平台统一观测、管理、存储数据。

当然,若您已使用 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列来存储数据,观测云也可以通过多种授权方式助力您跨平台共享云资源。

AWS S3

当您存档类型选择 AWS S3 时,根据不同的访问类型,您将需要填写不同的存档信息,还能够直接测试连接,确定已填的信息是否规范,安全规范地将匹配到的数据保存到 S3 对象存储。

  • 角色授权:您需使用观测云默认生成的外部 ID 配置 AWS 资源第三方访问权。在 AWS 中配置观测云 IAM 角色后(参见:https://docs.guance.com/management/role-auth/),填写 AWS 账号 ID、AWS 角色名称、地区及 Bucket 名称等存档信息。

  • Access Keys:您需要下载 AWS 资源授权模板后,配置观测云 IAM 策略。填写账号信息,输入 AWS 账号 ID、AWS AK & SK、地区及 Bucket 名称即可。

  • 账号授权:AWS 提供跨账号授权能力,您需使用观测云专属的账号 ID 并依据配置说明添加跨账号访问授权策略;完成后,选择地区并输入存储桶名称即可。

观测云专属账号相关详情,参见:数据转发 - 观测云文档

华为云 OBS

在配置华为云资源访问授权时,须使用观测云为您提供的专属华为云账号 ID ,前往华为云控制台添加跨账号访问授权策略。配置完成后,您只需选择地区,华为云存储桶的名称即可。同样的,您也可以进行测试连接以保证顺利访问。

阿里云 OSS

与 AWS S3 相似,观测云支持您通过角色授权、Access Keys、账号授权访问类型访问阿里云 OSS 中的数据资源,详细操作可以参考上述配置 AWS S3 过程。


 

Kafka 消息队列

不同的,当您填写地址和消息主题后,将数据转存到 Kafka 消息队列需要通过安全协议。在 Kafka 侧,SASL 可以使用 PLAINTEXT 或者 SSL 协议作为传输层,相对应的就是使用 SASL_PLAINTEXT 或者 SASL_SSL 安全协议。因此,详细配置如下:

  • 选择 PLAINTEXT 时,无需任何安全校验,您可以直接测试连接;
  • 选择 SASL_PLAINTEXT 时,认证方式可选 PLAIN、SCRAM-SHA-256 、 SCRAM-SHA-512 。您需要输入在 Kafka 侧执行安全认证的 username / password,再测试连接。

  • 选择 SASL_SSL 时,您需要上传 SSL 证书。认证方式可选 PLAIN、SCRAM-SHA-256 、 SCRAM-SHA-512。之后输入在 Kafka 侧执行安全认证的 username / password,再测试连接即可。

以上讲述了如何按照您自身对存储对象的需求,进行转发规则的配置,点击创建即可帮助您实现低成本长期存储、统一管理数据、灵活使用数据等目的。

灵活查看转发规则

除此之外,您还可以在转发规则列表页查看和搜索已创建的转发规则;同时,还支持您进行批量的操作,如启用、禁用、编辑、删除等。值得注意的是,当您的规则删除后已转发的数据不会被删除,只是不再产生新的转发数据了。

强大的转发规则查看器

当您回到数据转发页面,您可以下拉选定规则,并基于自定义时间,查询精确到小时范围内的转发数据。同时,您也可以输入关键字来搜索查询匹配数据,方便您快速了解转存的数据,从而利用数据做进一步的挖掘和分析。值得注意的是,数据转发规则创建完成后,每 5 分钟执行一次规则校验。

另外,在索引展示页中,您可以查看观测云历史备份日志和 SLS Query Logstore 数据,帮助您随时检索和使用相关数据。

场景示例

为您讲述完如何配置和管理转发规则,我们将以“日志数据转存到阿里云 OSS ”为例,让您更清晰的了解观测云数据转发的强大和魅力。
本示例中,我们利用 id in host 为条件过滤出相关的日志数据,并通过角色授权的方式创建转发规则,将数据转发到 阿里云 OSS 进行存储和后续调用。

结语

观测云提供的数据转发功能为组织和企业提供了强大的工具,用户可以轻松实现数据的长期备份和存储、节约成本、灵活管理数据等。随着数据量的不断增长和数据管理需求的提升,数据转发功能将继续发挥重要作用,帮助用户更好地管理和利用其数据资产。

这篇关于告别高昂存储,高效灵活管理数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/527616

相关文章

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个