告别高昂存储,高效灵活管理数据

2023-12-23 09:52

本文主要是介绍告别高昂存储,高效灵活管理数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

在当今数字化时代,企业面临着海量数据的挑战,这些数据承载着技术创新和业务发展的重要使命。因此,高效、安全地收集、存储和管理数据成为了企业关注的焦点。对于需要长期储存且低频聚合分析的数据,组织需要更加低成本和便捷的方式储存利用这些数据。观测云利用数据转发提供新的解决方案,帮助用户将需要储存的数据转发至第三方外部存储,这样不仅有效降低用户的成本,也能够方便用户在观测云中直接查看和灵活管理第三方存储的数据。因此,本文将讨论这一解决方案的配置和实际场景示例,让用户用更低的成本实现更便捷灵活地管理数据。

数据转发

观测云提供多种的数据转发和存储方式,帮助用户灵活管理和转发数据。您可以自定义数据转发规则,将日志、链路和用户访问数据保存到观测云的对象存储,或转发到第三方外部存储,包括 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列等存档类型。

配置个性化转发规则

您可以在管理>数据转发>转发规则中新建转发规则。创建完成后,若上报数据匹配到了转发规则中的配置,则会将匹配的数据做转存处理。

前提条件:使用商业版观测云,详情参见:升级商业版 - 观测云文档

步骤一:输入规则名称

您可以自定义规则名称,并选择需要转发的数据是否包含扩展字段,若您若勾选了 “包含扩展字段”,符合条件的整条日志数据都会被转发,但应用性能和用户访问数据默认转发整条数据,不受此选项影响。

步骤二:定义过滤条件

接下来您可以自由选择数据源,包括日志、链路、用户访问,并可以自定义数据源的过滤条件,即满足所有条件或任意条件的数据就会被保存到数据转发。其中条件运算符 in / not in 够将数据进行精准匹配,您可以选择多个值;match / not match 支持输入正则表语法去进行模糊匹配,快速过滤需转发的数据。

当然,您也可以不填写过滤条件,即可保存全部日志/链路/用户访问数据。以日志为例,如下图所示:

步骤三:选择存档类型

观测云提供了更加全面的数据转发存储方式,您可以根据实际情况和需求自由选择存储类型。支持五种存储路径:观测云、 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列。

观测云

当您选择数据转发存储对象为观测云,观测云为您提供匹配到的数据将被保存到观测云侧的 OSS、S3、OBS 对象存储中。该规则下的数据最低存储默认为 180 天。当然,您也可以在管理 > 设置中按需修改数据存储策略,高效完成同一平台统一观测、管理、存储数据。

当然,若您已使用 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列来存储数据,观测云也可以通过多种授权方式助力您跨平台共享云资源。

AWS S3

当您存档类型选择 AWS S3 时,根据不同的访问类型,您将需要填写不同的存档信息,还能够直接测试连接,确定已填的信息是否规范,安全规范地将匹配到的数据保存到 S3 对象存储。

  • 角色授权:您需使用观测云默认生成的外部 ID 配置 AWS 资源第三方访问权。在 AWS 中配置观测云 IAM 角色后(参见:https://docs.guance.com/management/role-auth/),填写 AWS 账号 ID、AWS 角色名称、地区及 Bucket 名称等存档信息。

  • Access Keys:您需要下载 AWS 资源授权模板后,配置观测云 IAM 策略。填写账号信息,输入 AWS 账号 ID、AWS AK & SK、地区及 Bucket 名称即可。

  • 账号授权:AWS 提供跨账号授权能力,您需使用观测云专属的账号 ID 并依据配置说明添加跨账号访问授权策略;完成后,选择地区并输入存储桶名称即可。

观测云专属账号相关详情,参见:数据转发 - 观测云文档

华为云 OBS

在配置华为云资源访问授权时,须使用观测云为您提供的专属华为云账号 ID ,前往华为云控制台添加跨账号访问授权策略。配置完成后,您只需选择地区,华为云存储桶的名称即可。同样的,您也可以进行测试连接以保证顺利访问。

阿里云 OSS

与 AWS S3 相似,观测云支持您通过角色授权、Access Keys、账号授权访问类型访问阿里云 OSS 中的数据资源,详细操作可以参考上述配置 AWS S3 过程。


 

Kafka 消息队列

不同的,当您填写地址和消息主题后,将数据转存到 Kafka 消息队列需要通过安全协议。在 Kafka 侧,SASL 可以使用 PLAINTEXT 或者 SSL 协议作为传输层,相对应的就是使用 SASL_PLAINTEXT 或者 SASL_SSL 安全协议。因此,详细配置如下:

  • 选择 PLAINTEXT 时,无需任何安全校验,您可以直接测试连接;
  • 选择 SASL_PLAINTEXT 时,认证方式可选 PLAIN、SCRAM-SHA-256 、 SCRAM-SHA-512 。您需要输入在 Kafka 侧执行安全认证的 username / password,再测试连接。

  • 选择 SASL_SSL 时,您需要上传 SSL 证书。认证方式可选 PLAIN、SCRAM-SHA-256 、 SCRAM-SHA-512。之后输入在 Kafka 侧执行安全认证的 username / password,再测试连接即可。

以上讲述了如何按照您自身对存储对象的需求,进行转发规则的配置,点击创建即可帮助您实现低成本长期存储、统一管理数据、灵活使用数据等目的。

灵活查看转发规则

除此之外,您还可以在转发规则列表页查看和搜索已创建的转发规则;同时,还支持您进行批量的操作,如启用、禁用、编辑、删除等。值得注意的是,当您的规则删除后已转发的数据不会被删除,只是不再产生新的转发数据了。

强大的转发规则查看器

当您回到数据转发页面,您可以下拉选定规则,并基于自定义时间,查询精确到小时范围内的转发数据。同时,您也可以输入关键字来搜索查询匹配数据,方便您快速了解转存的数据,从而利用数据做进一步的挖掘和分析。值得注意的是,数据转发规则创建完成后,每 5 分钟执行一次规则校验。

另外,在索引展示页中,您可以查看观测云历史备份日志和 SLS Query Logstore 数据,帮助您随时检索和使用相关数据。

场景示例

为您讲述完如何配置和管理转发规则,我们将以“日志数据转存到阿里云 OSS ”为例,让您更清晰的了解观测云数据转发的强大和魅力。
本示例中,我们利用 id in host 为条件过滤出相关的日志数据,并通过角色授权的方式创建转发规则,将数据转发到 阿里云 OSS 进行存储和后续调用。

结语

观测云提供的数据转发功能为组织和企业提供了强大的工具,用户可以轻松实现数据的长期备份和存储、节约成本、灵活管理数据等。随着数据量的不断增长和数据管理需求的提升,数据转发功能将继续发挥重要作用,帮助用户更好地管理和利用其数据资产。

这篇关于告别高昂存储,高效灵活管理数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/527616

相关文章

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

关于MongoDB图片URL存储异常问题以及解决

《关于MongoDB图片URL存储异常问题以及解决》:本文主要介绍关于MongoDB图片URL存储异常问题以及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录MongoDB图片URL存储异常问题项目场景问题描述原因分析解决方案预防措施js总结MongoDB图

MySQL重复数据处理的七种高效方法

《MySQL重复数据处理的七种高效方法》你是不是也曾遇到过这样的烦恼:明明系统测试时一切正常,上线后却频频出现重复数据,大批量导数据时,总有那么几条不听话的记录导致整个事务莫名回滚,今天,我就跟大家分... 目录1. 重复数据插入问题分析1.1 问题本质1.2 常见场景图2. 基础解决方案:使用异常捕获3.

Spring 请求之传递 JSON 数据的操作方法

《Spring请求之传递JSON数据的操作方法》JSON就是一种数据格式,有自己的格式和语法,使用文本表示一个对象或数组的信息,因此JSON本质是字符串,主要负责在不同的语言中数据传递和交换,这... 目录jsON 概念JSON 语法JSON 的语法JSON 的两种结构JSON 字符串和 Java 对象互转

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

HTML5中的Microdata与历史记录管理详解

《HTML5中的Microdata与历史记录管理详解》Microdata作为HTML5新增的一个特性,它允许开发者在HTML文档中添加更多的语义信息,以便于搜索引擎和浏览器更好地理解页面内容,本文将探... 目录html5中的Mijscrodata与历史记录管理背景简介html5中的Microdata使用M

Spring 基于XML配置 bean管理 Bean-IOC的方法

《Spring基于XML配置bean管理Bean-IOC的方法》:本文主要介绍Spring基于XML配置bean管理Bean-IOC的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录一. spring学习的核心内容二. 基于 XML 配置 bean1. 通过类型来获取 bean2. 通过

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

python uv包管理小结

《pythonuv包管理小结》uv是一个高性能的Python包管理工具,它不仅能够高效地处理包管理和依赖解析,还提供了对Python版本管理的支持,本文主要介绍了pythonuv包管理小结,具有一... 目录安装 uv使用 uv 管理 python 版本安装指定版本的 Python查看已安装的 Python