2024 年数据管理预测:从云优先到数据优先

2024-01-10 12:04

本文主要是介绍2024 年数据管理预测:从云优先到数据优先,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在数据存储和非结构化数据管理领域,过去 12 个月发生了很大变化。在不确定的经济时期,随着成本上升和 IT 预算压力增加,云存储战略受到关注,生成式 AI 正在创造新的数据存储和治理要求,数据迁移越来越复杂。但是,在数据中心整合时代,IT 组织面临着控制成本和提供更大数据价值的巨大压力。如何处理这一切?以下是针对 IT 组织和数据存储团队的一些预测,首先是 AI 和非结构化数据管理。

人工智能将使非结构化数据发挥更大的价值

非结构化数据非常庞大,直到今天,由于搜索、分类、细分和迁移到 AI 引擎和分析工具既困难又昂贵,非结构化数据仍无法完全使用。随着人工智能工具和服务的发展,让许多用户(而不仅仅是财力雄厚的大型组织)能够更好地使用非结构化数据,且人们越来越需要利用这些数据来创造新的业务价值。

但挑战在于:想要向 AI 发送数据的研究人员和数据科学家没有简单的方法来安全地做到这一点。它需要编写手动脚本,这需要数天或数周的工作。另外,人工智能和机器学习技术仍然不太准确,并引入了偏见和错误的结果。

然而,我们仍然预测对解决方案的需求将会增加,这些解决方案可以创建一个工作流程,人工智能可以快速找到所需的数据,丰富数据并验证结果。工作流程可能包括首先使用人工智能工具扫描云数据湖或数据中心中的数据,以找到项目所需的数据类型。

然后,AI 通过扫描文件内容和标记文件(例如“包含用于诊断随访的标记 X”)来丰富元数据,并返回一个可以由人类验证为正确输出的数据集。具有可搜索全局文件索引的非结构化数据管理可以通过 API 连接到 AI 工具,以进一步识别和丰富数据。它为 AI 项目节省时间、提高效率和准确性。

从云优先到数据优先

在全球疫情最严重的时候,云优先战略风靡一时。但今天,这些计划已经暴露在显微镜下。IT 组织使用适合不同工作负载的多种供应商技术创建了灵活的混合云和多云环境,一些组织发现他们不仅没有节省足够的资金,而且有时甚至比将数据保存在内部花费更多。

这一现实背后有很多原因,但将大部分或全部工作负载放在云中以最终节省成本的想法并没有成功。IT 组织将根据其数据在整个生命周期中的性能、成本和安全需求,从市场上的众多存储选项(无论是在本地还是在云中)中进行选择。

随着需求的变化或更好的技术可用,能够轻松移动数据至关重要。因此,允许大量非结构化数据在不受供应商锁定的情况下移动的数据管理工具将越来越有价值。

非结构化数据迁移变得更加智能、自动化

传统上,企业数据迁移非常复杂,需要大量实际操作,并且需要大量的专业服务,尤其是在涉及大量非结构化数据时。自动化和人工智能将改变这种状况,实现智能、高效的数据迁移,不再需要 IT 经理照看他们,而且它们也将具有适应性。

这些工具将知道如何即时解决问题并自我修复。随着技术的增长,高级迁移规划工具将针对不同的工作负载和应用案例推荐最佳存储层。因为,数据迁移取决于客户不断变化的环境:他们的防火墙、网络连接和安全配置。企业客户将寻求能够提供数量级更快的迁移速度、更好地长期结果以及更少的数据丢失、错误和安全风险实例的解决方案。

存储 IT 职业:需要 FinOps 和跨孤岛技能

鉴于上述所有趋势,存储 IT 团队将需要获得更多的专业知识,以便更具成本效益和效率,并符合业务和部门的需求。FinOps 一词将成为 2024 年存储架构师命名法的一部分。随着存储越来越以软件和服务为中心,现在对硬件的管理需求也越来越少。相反,管理供应商、合同以及向部门和用户提供安全、经济高效的数据服务将占用存储专业人员的大量时间。

同样,企业正在摆脱单一供应商。因此,存储管理员必须在不同的技术之间跳来跳去,而不是专注于一个平台。这需要在网络、安全、云架构、成本建模和数据分析方面拥有更广泛的技能和知识。

为此,特定于存储的职位将被数据头衔所取代,例如“数据洞察工程师”或“数据管理架构师”。在成熟的基础架构团队中,负责存储的经理将与数据科学和 AI 团队更紧密地合作,采购 AI 就绪的基础架构,并制定数据分类和分析平台数据工作流的计划。

这篇关于2024 年数据管理预测:从云优先到数据优先的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/590735

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hdu1180(广搜+优先队列)

此题要求最少到达目标点T的最短时间,所以我选择了广度优先搜索,并且要用到优先队列。 另外此题注意点较多,比如说可以在某个点停留,我wa了好多两次,就是因为忽略了这一点,然后参考了大神的思想,然后经过反复修改才AC的 这是我的代码 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<

2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题

题库来源:安全生产模拟考试一点通公众号小程序 2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题是由安全生产模拟考试一点通提供,流动式起重机司机证模拟考试题库是根据流动式起重机司机最新版教材,流动式起重机司机大纲整理而成(含2024年流动式起重机司机证模拟考试题库及流动式起重机司机理论考试试题参考答案和部分工种参考解析),掌握本资料和学校方法,考试容易。流动式起重机司机考试技

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi