大数据方向另一个十年开启 |《硬刚系列》第一版完结

2024-09-06 19:08

本文主要是介绍大数据方向另一个十年开启 |《硬刚系列》第一版完结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《硬刚Presto|Presto原理&调优&面试&实战全面升级版》

《硬刚Apache Iceberg | 技术调研&在各大公司的实践应用大总结》

《硬刚ClickHouse | 4万字长文ClickHouse基础&实践&调优全视角解析》

《硬刚数据仓库|SQL Boy的福音之数据仓库体系建模&实施&注意事项小总结》

《硬刚Hive | 4万字基础调优面试小总结》

《硬刚用户画像(一) | 标签体系下的用户画像建设小指南》

《硬刚用户画像(二) | 基于大数据的用户画像构建小百科全书》

《我们在学习Spark的时候,到底在学习什么?

我们在学习Flink的时候,到底在学习什么?》

我先声明一下,有些文章我没有标记原创,任何未经本人授权转载一律追究侵权责任。

【硬刚系列】是针对某一个框架/知识点进行的系统性总结和学习,基本上也是个人学习的必要路径。个人会从一个框架/知识点入手进行全方位的立体整合。

争取一篇文章能介绍清楚来龙去脉和重点难点,读者根据需要去针对性的学习。

上面是当初我立Flag的时候,写的简介。第一个版本主要针对一些OLAP框架为主吧。我个人感觉基本目的都达到了。

上面的每篇文章都参考了10篇以上的我的个人笔记和外部资料。有些非常经典的论文在我的收藏夹里躺了超过3年之久。

有些文章的名字可能没有「硬刚」字眼,但是行文思路基本上也是按照原来的设想进行的。

与自己是一种总结。与读者是一种输入。

大家都有收获,岂不美哉?

写了这么久文章,除了恰饭的时候,一直保持着旺盛的精力和强大的输出,有时候也真是疲倦,感觉找不到什么方向去突破。

现在的大数据行业细分也秉持了10年的刚刚出现的时候的姿态一直在向前发展,未来可能有些方向会慢慢消亡,或者从传统的定义进化。

比如传统的BI岗位,这个岗位已经开始慢慢在消亡,和传统的离线数据仓库&实时数据仓库进行了有机的融合。再比如,原来有个岗位叫做 ETL,也慢慢要淡出大家视野了,因为技能的局限性和可替代性太强?

最近的一年来,Flink社区仍然保持比较旺盛的活力,更多的原因是因为社区的推动,与开发者不过是个工具,与阿里是技术影响力和商业化考量。

数据湖方向发展方兴未艾,都想攀上Flink社区的大树。未来谨慎看好吧,因为并未给一家业务主导的公司带来实质性的改变。

最近Apache社区停更了Sqoop,阿帕奇社区的几个项目在阶段性的完成了它的使命后最终都落幕了。比如刚刚停更的Sqoop,可能还有些同学在用的Kettle,还有我很早接触过的一个Falcon,它们早就该消失在历史的滚滚洪流中了。

自今年4月1日起,Apache软件基金会宣布将至少19个开源项目撤回到他们的Attic,其中13个与大数据相关,10个属于Hadoop生态系统。这种事情的发生基本也可以宣布大数据领域的黄金十年(2010-2020年)结束了。

很多同学可能都没有仔细了解过大数据这个细分方向的历史,但是没有关系,下一个十年你们有机会一起见证了。

我之前还写过一篇《2021年,开发者的落日》,从我个人感情角度讲,不太想写这种唱衰的文章,但是我看到一些现象就会引发思考。

居安思危也许是人类经过百万年的进化得以统治地球的原因吧。

周末一个星球里的校招应届生找到我,关于学习路线和未来发展方向的问题。

我觉得我又有新的方向了,大数据行业马上要迎来井喷式增长的10年,大量从业人员从学校开始涌入。也代表这个行业走向历史的拐点了。

从野蛮发展到科班式培养,更多的应届生愿意从事这个行业,也是好事儿。

我觉得他们缺一个引路人,比如我。

好了,本次分享就到这里了。欢迎大家「点赞」「分享」「在看」。

我是王知无,一个大数据领域的硬核原创作者。关注技术提升&个人成长&职场进阶,欢迎关注。

这篇关于大数据方向另一个十年开启 |《硬刚系列》第一版完结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1142870

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl