浪尖聊聊大数据从业者的迷茫及解决方案

2023-10-08 23:48

本文主要是介绍浪尖聊聊大数据从业者的迷茫及解决方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近不少粉丝找浪尖私聊,说做大数据久了比较迷茫,今天浪尖抽时间写篇文章聊聊做大数据迷茫了怎么办!

一 现状

目前的迷茫最主要原因是行业趋势所致,了解一下大数据行业的现状:

对于整个行业来说处于上升期的小平台期。

这么说的原因是需要大数据平台的公司都多多少少已经建立了平台或者已经上云,对这类初级学者需求减弱,更需要有能力做平台运维,运维开发,平台框架开发,数仓,建模,算法等相关人才。

大数据相关业务比如数仓,数据分析,bi等已初具模型,而且有成熟的云解决方案,保不齐小公司直接全部上云了,需要的是云平台使用者,和简单的数据搬运工。

对于大数据人才来说,五年以内偏多,三年以内人才扎堆儿,这些数据大数据行业的耕耘者,本身需要学习和摸索。

学习本身也是一个慢长的过程,况且大数据领域内容还是颇多的,所以综上所述,这个迷茫阶段也是能力分化,领域细分的阶段,所以自己要选好自己的方向,以深耕。

但大数据还大有可为,因为很多数据采集还在继续中,将来肯定是一个数字化的社会。所以说是大数据处于上升期的小平台期,主要是大数据技术领域逐步趋于稳定,以后更多的是业务,算法,超大规模数据处理能力,数据的应用及数据产品化的能力。

上面是行业及人才需要现状,对于个人来说迷茫的主要原因两点:

1.对现状不满

主要特点:

a.事情比较简单,甚至无事情做,对技术或者业务技能提升无助。

b.大事儿没有,屁事颇多,每天机械的忙。

2.对前途迷茫

主要特点:

a.公司业务需求技术简单,目前架构落后,且领导没有变更意愿,致使自己无法实战新的技术框架,没有技能提升,担心今后被淘汰。

b.当前公司超忙且是重复的工作,或者太具体化到一个点,然后能接受的公司有超少。由于忙又没时间学习,扩展新技能,所以觉得前途堪忧。

二 迷茫&突破

针对常见的大数据工作,聊聊如何突破:

1.平台运维及运维开发

想要提升,可以从以下几个方面:

a.日志告警中心

日志采集,包括各个框架的运行日志,定义日志格式,开发专业的实时规则引擎,实时告警系统,指标展示系统。

这个平台基本是全栈学习了,成长还是十足!

b.平台化

基础框架集成系统开发,针对性地框架二次开发,自动化部署,监控及故障自动处理系统开发。

这个模块牵涉到Java技术栈,框架如spark,kafka等源码阅读及二次开发,也是过硬的技术提升。

2.平台框架开发

主要是讲针对业务需求特别,现有框架不好满足需求,需要造轮子或者改造现有框架,以适应业务需求,比如最近浪尖开发的图数据库等。

这个要求对业务场景,查询需求,底层存储有深入的了解,然后针对现有框架进行大幅改造,也可以参考现有框架从零造出自己的轮子,以满足需求。

能做到这个层次我觉得很难迷茫了!

可以走平台管理路线,架构师路线,也可以轻松转业务及项目管理,运维及运维开发。

3.数仓建设

a.模型设计

数仓模型层次划分:

模型

主要业务梳理,数据指标确立,模型确立,建模方法学习及使用,指标系统建立等,当然文档编写在这个模块中占了很大比例。

由于手打,细节就不说了,大家可以关注浪尖,搜数仓,进一步学习。

这块感觉还是比较有意思,而且成长空间比较大,可以走项目管理路线。

b.数仓平台建设

其实,属于基础平台建设的一部分吧,主要分为离线和实时数仓。

主要工作平台化,集成化,针对需求的二次开发。由于目前云计算及flink等框架有提供数仓一站式解决方案的趋势,该领域需求未来可能也会减弱。

技术要求跟平台开发差不多,不过需求进一步了解业务,以设计具体的存储和计算框架,还是有技术壁垒。

c.ETL工程狮

嘎嘛?挺没意思的,主要是针对数仓的各个层或者业务需求,生产,搬运数据,数据量大了这活还有的玩,数据量小的话可能就是没意思了!

针对ETL应该可以做实时分发,实时ETL规则引擎,离线ETL处理引擎,逐步实现平台化,配置化。这样可以增加难度,减少开发部署成本,也可以提升自己的技术水平,为跃级做准备!

d.业务梳理及开发

俗称sqlboy,最容易迷茫,叫boy就说明问题了,不是说sql开发,能力就弱,而是说大数据领域sql开发,确实很少有太高难度,而且很容易形成模块化,比如各类报表系统。所以,成长性比较低。

sql boy可以往数仓模型设计,数仓平台设计方向发展。

4.数据分析&挖掘

大数据分析,机器学习,深度学习,nlp等对数学及建模要求很高,那么学习成本,实践成本都会很高。不做过多点评,因为浪尖也没做过!

5.公司的全栈工程师

一般是小公司的需求,一个人拿1.5-2个人的工资,干一个团队的活。全栈工程师有好处,就是技术面宽,但缺点也很明显,无法形成自己的技术特长和壁。

建议去下大公司洗礼下。

三 总结

公司小,业务简单,数据量小等都不利于大数据从业者。

这种情况,要自己学习,然后进阶跳槽!

做好学习计划,按部就班,步步为营,才不会迷茫。

推荐阅读框架源码,刷leetcode。

学习乐园

浪尖聊大数据

这篇关于浪尖聊聊大数据从业者的迷茫及解决方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/168807

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Linux samba共享慢的原因及解决方案

《Linuxsamba共享慢的原因及解决方案》:本文主要介绍Linuxsamba共享慢的原因及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux samba共享慢原因及解决问题表现原因解决办法总结Linandroidux samba共享慢原因及解决

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

找不到Anaconda prompt终端的原因分析及解决方案

《找不到Anacondaprompt终端的原因分析及解决方案》因为anaconda还没有初始化,在安装anaconda的过程中,有一行是否要添加anaconda到菜单目录中,由于没有勾选,导致没有菜... 目录问题原因问http://www.chinasem.cn题解决安装了 Anaconda 却找不到 An

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

MySQL新增字段后Java实体未更新的潜在问题与解决方案

《MySQL新增字段后Java实体未更新的潜在问题与解决方案》在Java+MySQL的开发中,我们通常使用ORM框架来映射数据库表与Java对象,但有时候,数据库表结构变更(如新增字段)后,开发人员可... 目录引言1. 问题背景:数据库与 Java 实体不同步1.1 常见场景1.2 示例代码2. 不同操作

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S