浅谈-数据分析之道--数据思维的培养

2024-05-15 11:04

本文主要是介绍浅谈-数据分析之道--数据思维的培养,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第一篇数据思维

数据分析中最重要的是数据思维,对于业务场景中常见的问题,只要有分析问题的思路和方法,无论用什么工具都可以得到结果。

数据思维是数据分析师分析问题的思路和角度。

第一章,什么是数据思维

什么是数据治理?

数据治理是将零散的用户数据通过采集,传输、储存等一系列标准化流程变成格式规范,结构统一的数据,并构建严格规范的综合数据管控机制。对这些标准化的数据进行进一步加工分析,形成具有指导意义的业务监控报表、业务监控模型,以辅助业务方进行决策。

数据治理流程介绍

数据治理流程是从数据规划,数据采集,数据储存管理到数据应用的过程,是从无序到有序的过程,也是标准化流程的构建过程。

1.理: 梳理业务流程,规划数据资源。

对于企业来说,每天的实时数据量都会超过tb级别,需要采集用户的哪些数据?这么多的数据放在哪里?如何放?以什么样的方式放?这需要事先规划一套从无序变为有序的流程。数据从无序变为有序的过程,需要跨部门协作,需要前端工程师,后端工程师,数据工程师,数据分析师,产品经理等等参与。

2.采: 数据采集

前后端工程师将采集到的数据送到数据部门,数据部门通过ETl工具将数据从来源端经过抽取,转换,加载送至目的端。这个阶段主要是将散落和零乱的数据集中存储起来。

3.存:大数据高性能存储及管理。

这么多的业务数据存在哪里?这需要一个高性能的大数据存储系统,在这套系统里将数据分门别类地放到其对应的库中,为后续的管理及使用提供最大的便利。

4.用: 即时查询报表监控,智能分析,模型预测。

数据的最终目的是辅助业务方进行决策,前面的几个流程都是为最终的查询分析监控做铺垫的。这个阶段的是数据分析师的主场。数据分析师运用这些标准化的数据可以进行及时的查询,指标体系和报表体系的建立,业务问题的分析,甚至是模型的预测。

从数据治理流程谈数据部门岗位职责。

数据部门的数据来源于点击流日志和客户端、服务端上报的日志。

将数据上传到数据部门后,在工程层面需要数据工程师、数仓工程师完成数据的清洗、入库。

在应用层面,数据分析师则负责数据的即时查询和指标体系,报表体系的建设以及输出各项业务报告。

数据产品经理则负责数据产品原型设计以及推动数据产品的实现和落地。

数据挖掘与算法工程师会基于业务问题开发数据模型,以辅助业务方进行决策。

数据思维到底是什么?

1.其数据思维到底是什么?2.其二是数据思维是否可以培养?

应用数据思维的工作

如果从数据分析师的日常工作内容出发来定义数据思维,即数据分析师在数据埋点、体系和标准构建以及商业智能分析中思考问题的方式以及运用的分析方法。

1.数据埋点

数据分析师对业务进行分析,所需要的数据需要通过埋点来获取。数据分析师参与到数据规划,数据采集的过程中,可以更快的拿到数据,从而提高分析效率。

数据分析师需要在数据埋点时预见之后可能面临的数据分析需求,以及这些需求可能会用到的数据字段。只有考虑到这一层面,才能减少因数据埋点而造成分析延期的情况出现。

2.构建体系和标准

获取分析数据的终极目的是定位业务问题,辅助业务决策。业务评价标准是衡量业务发展水平的重要指标,而指标体系是监控业务问题,定位业务问题的好帮手。

3.商业智能分析

商业智能分析:包括各类活动效果分析,版本变化分析,用户分析,流失分析。

商业智能分析可以总结为探究原因,评价效果以及活动预估三大模块儿。

构建有效的监控体系和客观的评价标准

对于某一块新的业务,建立有效的监控体系和客观的评价标准是数据分析师的重要工作之一。对这套监控体系和评价标准需要哪些数据,哪些指标,指标如何定义,如何选取多个指标构成一套监控体系都涉及很多细节,这些细节设计得是否恰当关系到监控体系是否能反映业务的真实情况。

举个例子来说,某公司新推出一款APP,需要对这款APP构建数据监控体系。这时候数据分析师就可以根据海盗模型(AARRR)先对所需数据及相关监控指标进行埋点。有了数据之后,可以从获取,激活,留存,付费,自传播等不同的阶段对APP建立监控指标体系。

第二章 为什么数据思维如此重要?

1.数据分析师必备的硬技能。

所谓硬技能,就是数据分析师需要掌握的分析工具。数据分析师需要掌握的分析工具包括SQL,Excel,BI工具及Python。

2.数据分析师必备的软技能。

数据分析师必备的软技能,包括业务知识,数据思维,沟通能力。

第三章数据思维如何培养

第一:想要面对具体问题有分析思路和方法,就需要熟悉业务及常用的数据分析方法,最好能够建立自己的分析体系;

第二:面对具体问题多问几个为什么?树立目标意识,找出需求背后的潜在分析点

第三:作为数据分析师,需要建立标准,凡事不预设立场,通过客观的标准代替主观的判断;

第四:基于数据分析结果为业务方提出切实可行的解决方案。

三大分析思维:

对比思维、分群思维及相关思维是贯穿数据分析全流程的三大分析思维。

1.对比思维:对比分析可以衡量数据整体大小、数据波动及数据变化趋势,所以说对比分析是得出数据结论最简单的有效方法。

2.分群思维:是贯穿数据分析全链路的分析思维。根据用户的行为数据、消费数据等特征对用户分群是实现用户精细化运营的基础。用户分群可以基于用户历史数据,对数据进行分箱处理形成规则类型的标签。

用户同期群分析是用户分群的另一种方法,该方法是一种横纵结合的分析方法,在横向上分析同期群随着同期推移而发生的变化,在纵向上分析在生命周期相同阶段的群组之间的差异

不同生命周期的分析方法

分析用户流失的最终目的是实现用户的增长和让用户付费。对于用户付费转化来说,数据分析师通常会预估不同方案的转化率;通过漏斗分析和路径找出用户转化流程中可以优化的环节;同时,可以通过营销增益模型识别敏感人群,以提升转化方案的投入产出比。当然,也可以通过用户行为数据预估用户的生命周期价值。

需求的流程:1.目的是什么?2.需要研究什么?3.应用哪些相关的数据分析方法4.得出相应的结果与建议

预设立场与假设检验的区别:

  1. 预设立场是通过数据证明自己的猜测是正确的,一个数据不行,更换思路用另一个数据,直到找到能够证明猜想的数据为止;
  2. 假设检验是先提出一个假设,通过收集证据去验证假设是否是正确,如果有足够证据证明假设是正确的,则接受假设,否则拒绝假设。

如果数据分析师预设立场,就会通过不同的数据维度去证明一个猜想是否正确的,而不是客观地评价该事件。所以不预设立场,用假设检验的方法验证各类猜想,用客观的标准代替主观的评价数据思维的培养过程的原则之一。

基于数据分析结果为业务方提出切实可行的解决方案

数据分析不只是数据的罗列,而是数据和分析的结合。

1.数据层面包含数据获取、整合、可视化等操作;

2.数据分析层面则是结合业务目的和数据表现给出相应的数据结论。

根据分析结果给出合理的意见和建议是数据思维培养过程中重要的环节之一。

数据分析师提出合理建议需要经历的三个阶段

数据分析师在从入门到进阶:

数据分析师一般会经历从给数据到给结论再到给观点的转变

  1. 给数据:“给数据”是数据分析最初级的阶段,是通过数据陈述客观事实的过程。
  2. “给结论”:是对数据结果的加工和深入分析并给出结论性的表述
  3. “给观点”:是给结论的基础上对数据进行挖掘,基于对业务的了解给出一些切实可行的建议。
数据分析需要避免的几种提建议的方式
  1. 不明确分析目的,只做简单的数据堆砌

部分初级数据分析师给业务方给出数据之后,就没有了后续的意见和建议。

这种情况是:

1).没有明确需求,即没有搞清楚业务方需要的到底是什么?业务方面临的问题到底是什么,当然没有办法继续进行下一步的分析。

2).需求不明确这种困境一般是由于业务方和数据分析师共同造成的,可能是业务方在提出需求的时候也没有说清楚自己真正的数据。

3).明确分析目的,进而分析业务问题,是建立在数据分析师对业务有一定了解的基础上的。

4).企业的指标体系就是业务的抽象形态,而大部分问题是可以通过拆解数据指标初步定位。

2.说得都对,却没什么用

大多数是问题分析不够深入,拆解的不够细致造成的。

如果你只是给出一个结果,当然这个结果可能是正确的,但是也没有任何意义的,因为业务方法更想知道用户为什么流失?哪些环节或渠道流失的, 知道具体的细节后就可以精准地采取一系列的措施。

3.提出的建议无法落地

数据分析师在提出意见和建议时可以考虑用图表代替文字说明问题,用业务方听的懂的话代替专业术语陈述建议。如果你建议能够帮助业务方提升KPI,那么业务方多少会对你的建议感兴趣。

从不同的业务角度出发,从不同的分析角度着手,都能提出各种不同的建议。

这篇关于浅谈-数据分析之道--数据思维的培养的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/991650

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

浅谈mysql的sql_mode可能会限制你的查询

《浅谈mysql的sql_mode可能会限制你的查询》本文主要介绍了浅谈mysql的sql_mode可能会限制你的查询,这个问题主要说明的是,我们写的sql查询语句违背了聚合函数groupby的规则... 目录场景:问题描述原因分析:解决方案:第一种:修改后,只有当前生效,若是mysql服务重启,就会失效;

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解