云端大数据分布式文件系统 成本优化秘笈

2024-03-23 19:32

本文主要是介绍云端大数据分布式文件系统 成本优化秘笈,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、CHDFS 介绍

CHDFS(云 HDFS[1])是腾讯云一种提供标准 HDFS 访问协议和分层命名空间的高性能分布式文件系统,主要解决大数据场景下海量数据存储和数据分析,为实现计算与存储分离提供解决方案。

CHDFS 着重于分布式元数据服务,数据存储依赖对象存储 COS[2]。COS 作为云端基础存储服务,为 CHDFS 提供了坚实的数据底座,不仅支持海量数据存储和超大带宽,还支持多 AZ 模式,且默认 EC 编码,成本更低,同时通过冷热数据智能分层,进一步降低存储成本。

二、生命周期管理

随着时间推移,CHDFS 上数据不断累积,但只有小部分是用户最近使用的,大部分是历史数据,访问频次逐渐减少,如日志文件,数据备份等。

如果用户不去管理这些数据,那么存储费用逐渐增大,对用户自身业务发展也不友好,但主动管理需要投入人力和时间成本,费时费力,因此 CHDFS 对齐 COS 数据分层能力,推出生命周期功能,帮助用户更加便捷地管理冷热数据。

用户可以通过配置 CHDFS 生命周期规则,定期将数据文件从标准存储降为归档存储或者直接删除,整个沉降和删除过程由 CHDFS 生命周期功能自动化完成,保障及时准确,且不产生任何附加费用,同时支持回热操作,用于对已经降为归档存储类型的数据文件重新发起访问。

三、生命周期规则

生命周期规则即生命周期策略,需要用户指定以下参数:

  • Path:生命周期规则目标路径。

    • 指定目录:规则作用于目录下的所有文件,包括递归子目录下的文件。

    • 指定文件:规则只作用于具体文件。

  • Type:生命周期规则类型。

    • 沉降:定期将文件存储类型从标准存储降为归档存储,节省成本。

    • 删除:定期将文件直接删除。

  • Days:指定生命周期规则在文件最后访问时间的多少天后触发相应的操作。

说明:与 COS 对象最后修改时间 mtime 不同,CHDFS 满足文件系统语义,不仅支持文件最后修改时间 mtime、元数据最后修改时间 ctime,还能够支持以文件最后访问时间 atime 作为分层条件,这种策略更能满足用户需求。

四、回热任务

回热的目的是为了对已经沉降的文件重新发起访问,它会复制一份标准存储的文件副本供用户读取,副本到期后会自动删除,在此期间归档存储的文件一直存在,创建回热任务需要用户指定参数:

  • FilePath:回热文件路径。

  • Type:回热类型。根据回热时间长短,回热分为三类。

    • 极速模式:回热任务在 1 - 5 分钟内可完成。

    • 标准模式:回热任务在 3 - 5 小时内完成 。

    • 批量模式:回热任务在 5 - 12 小时内完成。

  • Days:回热完成后,标准存储的文件副本的保留天数。

说明:CHDFS 对于数据沉降、删除和回热,需要依赖 COS 对外提供的标准接口,所以生命周期在使用方式上与 COS 相似。

五、使用方式

用户可以通过控制台和云 API 来配置生命周期规则,创建回热任务仅支持云 API。

1、控制台

进入 CHDFS 控制台[3],选择具体文件系统,进入生命周期配置页,添加规则,完成生命周期配置,如下图所示:

说明:同时指定沉降和删除规则表示对目标文件先沉降后删除,删除时间必须要大于沉降时间。

2、云 API

通过云 API 创建生命周期规则[4]示例:

https://chdfs.tencentcloudapi.com/?Action=CreateLifeCycleRules
&FileSystemId=f4mhaqkciq0
&LifeCycleRules.0.LifeCycleRuleName=test
&LifeCycleRules.0.Path=/test
&LifeCycleRules.0.Transitions.0.Days=90
&LifeCycleRules.0.Transitions.0.Type=1
&LifeCycleRules.0.Transitions.1.Days=180
&LifeCycleRules.0.Transitions.1.Type=2
&LifeCycleRules.0.Status=1
&<公共请求参数>

创建回热任务[5]示例:

https://chdfs.tencentcloudapi.com/?Action=CreateRestoreTasks
&FileSystemId=f4mhaqkciq0
&RestoreTasks.0.FilePath=/test/file0
&RestoreTasks.0.Type=1
&RestoreTasks.0.Days=7
&RestoreTasks.1.FilePath=/test/file1
&RestoreTasks.1.Type=2
&RestoreTasks.1.Days=7
&<公共请求参数>

说明:支持批量创建回热任务,回热任务需要指定具体文件路径。

六、计费

目前,CHDFS 只收取标准存储量和带宽的费用[6],归档存储量和回热请求暂不收费。

七、结语

CHDFS 结合对象存储 COS 无限容量的优势,深耕文件系统元数据管理,规模可扩大至百亿级别,同时配合用户自定义的生命周期策略,最大力度去帮助用户降低 CHDFS 存储成本,满足用户的使用需求。

参考资料

[1]

云 HDFS 产品介绍: https://cloud.tencent.com/product/chdfs

[2]

对象存储 COS 产品介绍: https://cloud.tencent.com/product/cos

[3]

云 HDFS 控制台: https://console.cloud.tencent.com/chdfs

[4]

生命周期规则接口文档: https://cloud.tencent.com/document/product/1105/52336

[5]

回热任务接口文档: https://cloud.tencent.com/document/product/1105/52345

[6]

云 HDFS 购买指南: https://cloud.tencent.com/document/product/1105/36359


给大家送牛气啦

元宵佳节来临之际,我们特别定制了

腾讯云限量版微信红包封面

三种款式,任您选择

祝您元宵快乐,万事顺心!

数量有限,先到先得

手绘牛年

扫码领取

传统照壁

扫码领取

方形电路

扫码领取

关于我们

云+社区「腾讯云存储团队」主页,涵盖了腾讯云存储团队最新动态、团队信息、产品矩阵、技术文档、视频教程等,欢迎关注或留言,给出您的宝贵建议。

点「阅读原文」,了解更多 & 点「在看」,让更多人发现精彩

这篇关于云端大数据分布式文件系统 成本优化秘笈的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/839322

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi