浅谈-数据分析之道--数据思维的培养

2024-05-15 11:04

本文主要是介绍浅谈-数据分析之道--数据思维的培养,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第一篇数据思维

数据分析中最重要的是数据思维,对于业务场景中常见的问题,只要有分析问题的思路和方法,无论用什么工具都可以得到结果。

数据思维是数据分析师分析问题的思路和角度。

第一章,什么是数据思维

什么是数据治理?

数据治理是将零散的用户数据通过采集,传输、储存等一系列标准化流程变成格式规范,结构统一的数据,并构建严格规范的综合数据管控机制。对这些标准化的数据进行进一步加工分析,形成具有指导意义的业务监控报表、业务监控模型,以辅助业务方进行决策。

数据治理流程介绍

数据治理流程是从数据规划,数据采集,数据储存管理到数据应用的过程,是从无序到有序的过程,也是标准化流程的构建过程。

1.理: 梳理业务流程,规划数据资源。

对于企业来说,每天的实时数据量都会超过tb级别,需要采集用户的哪些数据?这么多的数据放在哪里?如何放?以什么样的方式放?这需要事先规划一套从无序变为有序的流程。数据从无序变为有序的过程,需要跨部门协作,需要前端工程师,后端工程师,数据工程师,数据分析师,产品经理等等参与。

2.采: 数据采集

前后端工程师将采集到的数据送到数据部门,数据部门通过ETl工具将数据从来源端经过抽取,转换,加载送至目的端。这个阶段主要是将散落和零乱的数据集中存储起来。

3.存:大数据高性能存储及管理。

这么多的业务数据存在哪里?这需要一个高性能的大数据存储系统,在这套系统里将数据分门别类地放到其对应的库中,为后续的管理及使用提供最大的便利。

4.用: 即时查询报表监控,智能分析,模型预测。

数据的最终目的是辅助业务方进行决策,前面的几个流程都是为最终的查询分析监控做铺垫的。这个阶段的是数据分析师的主场。数据分析师运用这些标准化的数据可以进行及时的查询,指标体系和报表体系的建立,业务问题的分析,甚至是模型的预测。

从数据治理流程谈数据部门岗位职责。

数据部门的数据来源于点击流日志和客户端、服务端上报的日志。

将数据上传到数据部门后,在工程层面需要数据工程师、数仓工程师完成数据的清洗、入库。

在应用层面,数据分析师则负责数据的即时查询和指标体系,报表体系的建设以及输出各项业务报告。

数据产品经理则负责数据产品原型设计以及推动数据产品的实现和落地。

数据挖掘与算法工程师会基于业务问题开发数据模型,以辅助业务方进行决策。

数据思维到底是什么?

1.其数据思维到底是什么?2.其二是数据思维是否可以培养?

应用数据思维的工作

如果从数据分析师的日常工作内容出发来定义数据思维,即数据分析师在数据埋点、体系和标准构建以及商业智能分析中思考问题的方式以及运用的分析方法。

1.数据埋点

数据分析师对业务进行分析,所需要的数据需要通过埋点来获取。数据分析师参与到数据规划,数据采集的过程中,可以更快的拿到数据,从而提高分析效率。

数据分析师需要在数据埋点时预见之后可能面临的数据分析需求,以及这些需求可能会用到的数据字段。只有考虑到这一层面,才能减少因数据埋点而造成分析延期的情况出现。

2.构建体系和标准

获取分析数据的终极目的是定位业务问题,辅助业务决策。业务评价标准是衡量业务发展水平的重要指标,而指标体系是监控业务问题,定位业务问题的好帮手。

3.商业智能分析

商业智能分析:包括各类活动效果分析,版本变化分析,用户分析,流失分析。

商业智能分析可以总结为探究原因,评价效果以及活动预估三大模块儿。

构建有效的监控体系和客观的评价标准

对于某一块新的业务,建立有效的监控体系和客观的评价标准是数据分析师的重要工作之一。对这套监控体系和评价标准需要哪些数据,哪些指标,指标如何定义,如何选取多个指标构成一套监控体系都涉及很多细节,这些细节设计得是否恰当关系到监控体系是否能反映业务的真实情况。

举个例子来说,某公司新推出一款APP,需要对这款APP构建数据监控体系。这时候数据分析师就可以根据海盗模型(AARRR)先对所需数据及相关监控指标进行埋点。有了数据之后,可以从获取,激活,留存,付费,自传播等不同的阶段对APP建立监控指标体系。

第二章 为什么数据思维如此重要?

1.数据分析师必备的硬技能。

所谓硬技能,就是数据分析师需要掌握的分析工具。数据分析师需要掌握的分析工具包括SQL,Excel,BI工具及Python。

2.数据分析师必备的软技能。

数据分析师必备的软技能,包括业务知识,数据思维,沟通能力。

第三章数据思维如何培养

第一:想要面对具体问题有分析思路和方法,就需要熟悉业务及常用的数据分析方法,最好能够建立自己的分析体系;

第二:面对具体问题多问几个为什么?树立目标意识,找出需求背后的潜在分析点

第三:作为数据分析师,需要建立标准,凡事不预设立场,通过客观的标准代替主观的判断;

第四:基于数据分析结果为业务方提出切实可行的解决方案。

三大分析思维:

对比思维、分群思维及相关思维是贯穿数据分析全流程的三大分析思维。

1.对比思维:对比分析可以衡量数据整体大小、数据波动及数据变化趋势,所以说对比分析是得出数据结论最简单的有效方法。

2.分群思维:是贯穿数据分析全链路的分析思维。根据用户的行为数据、消费数据等特征对用户分群是实现用户精细化运营的基础。用户分群可以基于用户历史数据,对数据进行分箱处理形成规则类型的标签。

用户同期群分析是用户分群的另一种方法,该方法是一种横纵结合的分析方法,在横向上分析同期群随着同期推移而发生的变化,在纵向上分析在生命周期相同阶段的群组之间的差异

不同生命周期的分析方法

分析用户流失的最终目的是实现用户的增长和让用户付费。对于用户付费转化来说,数据分析师通常会预估不同方案的转化率;通过漏斗分析和路径找出用户转化流程中可以优化的环节;同时,可以通过营销增益模型识别敏感人群,以提升转化方案的投入产出比。当然,也可以通过用户行为数据预估用户的生命周期价值。

需求的流程:1.目的是什么?2.需要研究什么?3.应用哪些相关的数据分析方法4.得出相应的结果与建议

预设立场与假设检验的区别:

  1. 预设立场是通过数据证明自己的猜测是正确的,一个数据不行,更换思路用另一个数据,直到找到能够证明猜想的数据为止;
  2. 假设检验是先提出一个假设,通过收集证据去验证假设是否是正确,如果有足够证据证明假设是正确的,则接受假设,否则拒绝假设。

如果数据分析师预设立场,就会通过不同的数据维度去证明一个猜想是否正确的,而不是客观地评价该事件。所以不预设立场,用假设检验的方法验证各类猜想,用客观的标准代替主观的评价数据思维的培养过程的原则之一。

基于数据分析结果为业务方提出切实可行的解决方案

数据分析不只是数据的罗列,而是数据和分析的结合。

1.数据层面包含数据获取、整合、可视化等操作;

2.数据分析层面则是结合业务目的和数据表现给出相应的数据结论。

根据分析结果给出合理的意见和建议是数据思维培养过程中重要的环节之一。

数据分析师提出合理建议需要经历的三个阶段

数据分析师在从入门到进阶:

数据分析师一般会经历从给数据到给结论再到给观点的转变

  1. 给数据:“给数据”是数据分析最初级的阶段,是通过数据陈述客观事实的过程。
  2. “给结论”:是对数据结果的加工和深入分析并给出结论性的表述
  3. “给观点”:是给结论的基础上对数据进行挖掘,基于对业务的了解给出一些切实可行的建议。
数据分析需要避免的几种提建议的方式
  1. 不明确分析目的,只做简单的数据堆砌

部分初级数据分析师给业务方给出数据之后,就没有了后续的意见和建议。

这种情况是:

1).没有明确需求,即没有搞清楚业务方需要的到底是什么?业务方面临的问题到底是什么,当然没有办法继续进行下一步的分析。

2).需求不明确这种困境一般是由于业务方和数据分析师共同造成的,可能是业务方在提出需求的时候也没有说清楚自己真正的数据。

3).明确分析目的,进而分析业务问题,是建立在数据分析师对业务有一定了解的基础上的。

4).企业的指标体系就是业务的抽象形态,而大部分问题是可以通过拆解数据指标初步定位。

2.说得都对,却没什么用

大多数是问题分析不够深入,拆解的不够细致造成的。

如果你只是给出一个结果,当然这个结果可能是正确的,但是也没有任何意义的,因为业务方法更想知道用户为什么流失?哪些环节或渠道流失的, 知道具体的细节后就可以精准地采取一系列的措施。

3.提出的建议无法落地

数据分析师在提出意见和建议时可以考虑用图表代替文字说明问题,用业务方听的懂的话代替专业术语陈述建议。如果你建议能够帮助业务方提升KPI,那么业务方多少会对你的建议感兴趣。

从不同的业务角度出发,从不同的分析角度着手,都能提出各种不同的建议。

这篇关于浅谈-数据分析之道--数据思维的培养的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/991650

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

浅谈主机加固,六种有效的主机加固方法

在数字化时代,数据的价值不言而喻,但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露,企业的数据安全面临着前所未有的挑战。为了应对这些挑战,一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案,采用先进的安全容器中间件技术,构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限,即使在管理员权限被恶意利用的情况下,也能确保服务器的安全稳定运行。 普适主机加固措施:

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

pandas数据过滤

Pandas 数据过滤方法 Pandas 提供了多种方法来过滤数据,可以根据不同的条件进行筛选。以下是一些常见的 Pandas 数据过滤方法,结合实例进行讲解,希望能帮你快速理解。 1. 基于条件筛选行 可以使用布尔索引来根据条件过滤行。 import pandas as pd# 创建示例数据data = {'Name': ['Alice', 'Bob', 'Charlie', 'Dav