本文主要是介绍DataOps:深刻影响现代数据栈发展,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
嘉宾 | 代立冬 整理 | 西狩
出品 | CSDN云原生
数字化的时代大潮推动了互联网的发展,云计算、大数据、云原生等技术不断成熟,使数据处理的方式发生变革,现代数据栈也因此开启了“百家争鸣”的新时代。
2022年7月12日,在CSDN云原生系列在线峰会第13期“现代数据栈峰会”上,白鲸开源联合创始人代立冬深入讲解了DataOps中任务编排、数据集成。
为什么是DataOps?
数字化时代
数字化时代的到来,带来了数据量的爆发式增长:
-
全球数据中心流量:每年32ZB;
-
5亿业务数据用户正在不断增长中;
-
200亿台互联设备;
-
超过94%的数据中心流量来自于云端;
-
10亿名工作人员将由AI/ML辅助工作。
伴随着数据的增长,数字化应用的机会空间更加广阔:新的客户获取模式、新的运营体系、新的业务模式、新的产品服务。
与此同时,数据技术也呈现出了多元化发展的趋势,如数据分析和数据可视化、机器学习、流式数据处理、离线数据处理、统计和数据挖掘等。在现代化数据栈中,数据开发者也拥有更多选择。
DataOps的诞生及发展
DataOps基于敏捷、DevOps和统计过程控制等软件开发框架构建,具有以下优势:
-
缩短部署分析解决方案的周期时间;
-
降低数据缺陷;
-
减少解决数据缺陷所需的时间;
-
最大限度地减少数据孤岛。
一句话总结DataOps:它构建了一套能够降低人们使用、利用、分析数据门槛的数据体系,让数据能力平民化。
2014年,Lenny Liebmann提出了DataOps的概念,在《3 reasons why DataOps is essential for big data success》这篇文章中,Lenny提出DataOps是优化数据科学和运营团队之间协作的一些实践集。
2015年,Andy Palmer将这个理念发扬光大,提出了DataOps的四个关键构成:数据工程、数据集成、数据安全和数据质量。
2017年,Jarh Euston把D
这篇关于DataOps:深刻影响现代数据栈发展的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!