浪尖聊聊大数据从业者的迷茫及解决方案

2023-10-08 23:48

本文主要是介绍浪尖聊聊大数据从业者的迷茫及解决方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近不少粉丝找浪尖私聊,说做大数据久了比较迷茫,今天浪尖抽时间写篇文章聊聊做大数据迷茫了怎么办!

一 现状

目前的迷茫最主要原因是行业趋势所致,了解一下大数据行业的现状:

对于整个行业来说处于上升期的小平台期。

这么说的原因是需要大数据平台的公司都多多少少已经建立了平台或者已经上云,对这类初级学者需求减弱,更需要有能力做平台运维,运维开发,平台框架开发,数仓,建模,算法等相关人才。

大数据相关业务比如数仓,数据分析,bi等已初具模型,而且有成熟的云解决方案,保不齐小公司直接全部上云了,需要的是云平台使用者,和简单的数据搬运工。

对于大数据人才来说,五年以内偏多,三年以内人才扎堆儿,这些数据大数据行业的耕耘者,本身需要学习和摸索。

学习本身也是一个慢长的过程,况且大数据领域内容还是颇多的,所以综上所述,这个迷茫阶段也是能力分化,领域细分的阶段,所以自己要选好自己的方向,以深耕。

但大数据还大有可为,因为很多数据采集还在继续中,将来肯定是一个数字化的社会。所以说是大数据处于上升期的小平台期,主要是大数据技术领域逐步趋于稳定,以后更多的是业务,算法,超大规模数据处理能力,数据的应用及数据产品化的能力。

上面是行业及人才需要现状,对于个人来说迷茫的主要原因两点:

1.对现状不满

主要特点:

a.事情比较简单,甚至无事情做,对技术或者业务技能提升无助。

b.大事儿没有,屁事颇多,每天机械的忙。

2.对前途迷茫

主要特点:

a.公司业务需求技术简单,目前架构落后,且领导没有变更意愿,致使自己无法实战新的技术框架,没有技能提升,担心今后被淘汰。

b.当前公司超忙且是重复的工作,或者太具体化到一个点,然后能接受的公司有超少。由于忙又没时间学习,扩展新技能,所以觉得前途堪忧。

二 迷茫&突破

针对常见的大数据工作,聊聊如何突破:

1.平台运维及运维开发

想要提升,可以从以下几个方面:

a.日志告警中心

日志采集,包括各个框架的运行日志,定义日志格式,开发专业的实时规则引擎,实时告警系统,指标展示系统。

这个平台基本是全栈学习了,成长还是十足!

b.平台化

基础框架集成系统开发,针对性地框架二次开发,自动化部署,监控及故障自动处理系统开发。

这个模块牵涉到Java技术栈,框架如spark,kafka等源码阅读及二次开发,也是过硬的技术提升。

2.平台框架开发

主要是讲针对业务需求特别,现有框架不好满足需求,需要造轮子或者改造现有框架,以适应业务需求,比如最近浪尖开发的图数据库等。

这个要求对业务场景,查询需求,底层存储有深入的了解,然后针对现有框架进行大幅改造,也可以参考现有框架从零造出自己的轮子,以满足需求。

能做到这个层次我觉得很难迷茫了!

可以走平台管理路线,架构师路线,也可以轻松转业务及项目管理,运维及运维开发。

3.数仓建设

a.模型设计

数仓模型层次划分:

模型

主要业务梳理,数据指标确立,模型确立,建模方法学习及使用,指标系统建立等,当然文档编写在这个模块中占了很大比例。

由于手打,细节就不说了,大家可以关注浪尖,搜数仓,进一步学习。

这块感觉还是比较有意思,而且成长空间比较大,可以走项目管理路线。

b.数仓平台建设

其实,属于基础平台建设的一部分吧,主要分为离线和实时数仓。

主要工作平台化,集成化,针对需求的二次开发。由于目前云计算及flink等框架有提供数仓一站式解决方案的趋势,该领域需求未来可能也会减弱。

技术要求跟平台开发差不多,不过需求进一步了解业务,以设计具体的存储和计算框架,还是有技术壁垒。

c.ETL工程狮

嘎嘛?挺没意思的,主要是针对数仓的各个层或者业务需求,生产,搬运数据,数据量大了这活还有的玩,数据量小的话可能就是没意思了!

针对ETL应该可以做实时分发,实时ETL规则引擎,离线ETL处理引擎,逐步实现平台化,配置化。这样可以增加难度,减少开发部署成本,也可以提升自己的技术水平,为跃级做准备!

d.业务梳理及开发

俗称sqlboy,最容易迷茫,叫boy就说明问题了,不是说sql开发,能力就弱,而是说大数据领域sql开发,确实很少有太高难度,而且很容易形成模块化,比如各类报表系统。所以,成长性比较低。

sql boy可以往数仓模型设计,数仓平台设计方向发展。

4.数据分析&挖掘

大数据分析,机器学习,深度学习,nlp等对数学及建模要求很高,那么学习成本,实践成本都会很高。不做过多点评,因为浪尖也没做过!

5.公司的全栈工程师

一般是小公司的需求,一个人拿1.5-2个人的工资,干一个团队的活。全栈工程师有好处,就是技术面宽,但缺点也很明显,无法形成自己的技术特长和壁。

建议去下大公司洗礼下。

三 总结

公司小,业务简单,数据量小等都不利于大数据从业者。

这种情况,要自己学习,然后进阶跳槽!

做好学习计划,按部就班,步步为营,才不会迷茫。

推荐阅读框架源码,刷leetcode。

学习乐园

浪尖聊大数据

这篇关于浪尖聊聊大数据从业者的迷茫及解决方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/168807

相关文章

部署Vue项目到服务器后404错误的原因及解决方案

《部署Vue项目到服务器后404错误的原因及解决方案》文章介绍了Vue项目部署步骤以及404错误的解决方案,部署步骤包括构建项目、上传文件、配置Web服务器、重启Nginx和访问域名,404错误通常是... 目录一、vue项目部署步骤二、404错误原因及解决方案错误场景原因分析解决方案一、Vue项目部署步骤

在MySQL执行UPDATE语句时遇到的错误1175的解决方案

《在MySQL执行UPDATE语句时遇到的错误1175的解决方案》MySQL安全更新模式(SafeUpdateMode)限制了UPDATE和DELETE操作,要求使用WHERE子句时必须基于主键或索引... mysql 中遇到的 Error Code: 1175 是由于启用了 安全更新模式(Safe Upd

Python安装时常见报错以及解决方案

《Python安装时常见报错以及解决方案》:本文主要介绍在安装Python、配置环境变量、使用pip以及运行Python脚本时常见的错误及其解决方案,文中介绍的非常详细,需要的朋友可以参考下... 目录一、安装 python 时常见报错及解决方案(一)安装包下载失败(二)权限不足二、配置环境变量时常见报错及

Java下载文件中文文件名乱码的解决方案(文件名包含很多%)

《Java下载文件中文文件名乱码的解决方案(文件名包含很多%)》Java下载文件时,文件名中文乱码问题通常是由于编码不正确导致的,使用`URLEncoder.encode(filepath,UTF-8... 目录Java下载文件中文文件名乱码问题一般情况下,大家都是这样为了解决这个问题最终解决总结Java下

Idea实现接口的方法上无法添加@Override注解的解决方案

《Idea实现接口的方法上无法添加@Override注解的解决方案》文章介绍了在IDEA中实现接口方法时无法添加@Override注解的问题及其解决方法,主要步骤包括更改项目结构中的Languagel... 目录Idea实现接China编程口的方法上无法添加@javascriptOverride注解错误原因解决方

Redis的数据过期策略和数据淘汰策略

《Redis的数据过期策略和数据淘汰策略》本文主要介绍了Redis的数据过期策略和数据淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录一、数据过期策略1、惰性删除2、定期删除二、数据淘汰策略1、数据淘汰策略概念2、8种数据淘汰策略

轻松上手MYSQL之JSON函数实现高效数据查询与操作

《轻松上手MYSQL之JSON函数实现高效数据查询与操作》:本文主要介绍轻松上手MYSQL之JSON函数实现高效数据查询与操作的相关资料,MySQL提供了多个JSON函数,用于处理和查询JSON数... 目录一、jsON_EXTRACT 提取指定数据二、JSON_UNQUOTE 取消双引号三、JSON_KE

Python给Excel写入数据的四种方法小结

《Python给Excel写入数据的四种方法小结》本文主要介绍了Python给Excel写入数据的四种方法小结,包含openpyxl库、xlsxwriter库、pandas库和win32com库,具有... 目录1. 使用 openpyxl 库2. 使用 xlsxwriter 库3. 使用 pandas 库

SpringBoot定制JSON响应数据的实现

《SpringBoot定制JSON响应数据的实现》本文主要介绍了SpringBoot定制JSON响应数据的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录前言一、如何使用@jsonView这个注解?二、应用场景三、实战案例注解方式编程方式总结 前言

使用Python在Excel中创建和取消数据分组

《使用Python在Excel中创建和取消数据分组》Excel中的分组是一种通过添加层级结构将相邻行或列组织在一起的功能,当分组完成后,用户可以通过折叠或展开数据组来简化数据视图,这篇博客将介绍如何使... 目录引言使用工具python在Excel中创建行和列分组Python在Excel中创建嵌套分组Pyt