(40)首单分析

2024-01-22 22:58
文章标签 分析 40 首单

本文主要是介绍(40)首单分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.需求分析及实现思路
按省份|用户性别|用户年龄段,统计当日新增付费用户首单平均消费及人数占比
无论是省份名称、用户性别、用户年龄,订单表中都没有这些字段,需要订单(事实表)
和维度表(省份、用户)进行关联,形成宽表后将数据写入到 ES,通过 Kibana 进行分析
以及图形展示。
2 . 整体实时计算框架流程

 

1.3 具体业务流程图

1.4 实现思路
1.4.1 功能 1:数据采集
从 MySQL 数据库中采集业务数据到 Kafka,并对数据进行分流处理(ODS 层),分
流数据处理之后,将数据写回 Kafka。我们这里使用 canal 和 Maxwell 两种方式实现
1.4.2 功能 2:判断是否为首单用户
每笔订单都要判断是否是该用户的首单
判断是否首单的要点,在于该用户之前是否参与过消费(下单)。那么如何知道用户之
前是否参与过消费,如果临时从所有消费记录中查询,是非常不现实的。那么只有将“用户
是否消费过”这个状态进行保存并长期维护起来。在有需要的时候通过用户 id 进行关联查
询。
在实际生产中,这种用户状态是非常常见的比如“用户是否退过单”、“用户是否投过
诉”、“用户是否是高净值用户”等等。我们要想保存状态,大家可能会想到在 Redis 中
保存,Reids 可以实现,但是这个状态可能包含历史数据,数据量比较大,而且历史数据保
存在内存中,对内存压力也比较大。所以考虑到
1、 这是一个保存周期较长的数据。
2、 必须可修改状态值。
3、 查询模式基本上是 k-v 模式的查询。
所以综上这三点比较,状态适合保存在 Hbase 中。
1.4.3 功能 3:订单与维度表的关联
在查询订单的时候,订单与 Hbase 中省份和用户的维度表进行关联,才能获取省份名
称、用户性别、用户年龄等对应字段,完成后面的统计。
1.4.4 功能 4:可视化展示
将订单关联后的宽表保存到 ES,利用 Kibana 进行分析展示

这篇关于(40)首单分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/634505

相关文章

Go使用pprof进行CPU,内存和阻塞情况分析

《Go使用pprof进行CPU,内存和阻塞情况分析》Go语言提供了强大的pprof工具,用于分析CPU、内存、Goroutine阻塞等性能问题,帮助开发者优化程序,提高运行效率,下面我们就来深入了解下... 目录1. pprof 介绍2. 快速上手:启用 pprof3. CPU Profiling:分析 C

MySQL表锁、页面锁和行锁的作用及其优缺点对比分析

《MySQL表锁、页面锁和行锁的作用及其优缺点对比分析》MySQL中的表锁、页面锁和行锁各有特点,适用于不同的场景,表锁锁定整个表,适用于批量操作和MyISAM存储引擎,页面锁锁定数据页,适用于旧版本... 目录1. 表锁(Table Lock)2. 页面锁(Page Lock)3. 行锁(Row Lock

Springboot中分析SQL性能的两种方式详解

《Springboot中分析SQL性能的两种方式详解》文章介绍了SQL性能分析的两种方式:MyBatis-Plus性能分析插件和p6spy框架,MyBatis-Plus插件配置简单,适用于开发和测试环... 目录SQL性能分析的两种方式:功能介绍实现方式:实现步骤:SQL性能分析的两种方式:功能介绍记录

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

C#使用DeepSeek API实现自然语言处理,文本分类和情感分析

《C#使用DeepSeekAPI实现自然语言处理,文本分类和情感分析》在C#中使用DeepSeekAPI可以实现多种功能,例如自然语言处理、文本分类、情感分析等,本文主要为大家介绍了具体实现步骤,... 目录准备工作文本生成文本分类问答系统代码生成翻译功能文本摘要文本校对图像描述生成总结在C#中使用Deep

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制

Redis主从复制的原理分析

《Redis主从复制的原理分析》Redis主从复制通过将数据镜像到多个从节点,实现高可用性和扩展性,主从复制包括初次全量同步和增量同步两个阶段,为优化复制性能,可以采用AOF持久化、调整复制超时时间、... 目录Redis主从复制的原理主从复制概述配置主从复制数据同步过程复制一致性与延迟故障转移机制监控与维

Redis连接失败:客户端IP不在白名单中的问题分析与解决方案

《Redis连接失败:客户端IP不在白名单中的问题分析与解决方案》在现代分布式系统中,Redis作为一种高性能的内存数据库,被广泛应用于缓存、消息队列、会话存储等场景,然而,在实际使用过程中,我们可能... 目录一、问题背景二、错误分析1. 错误信息解读2. 根本原因三、解决方案1. 将客户端IP添加到Re

Redis主从复制实现原理分析

《Redis主从复制实现原理分析》Redis主从复制通过Sync和CommandPropagate阶段实现数据同步,2.8版本后引入Psync指令,根据复制偏移量进行全量或部分同步,优化了数据传输效率... 目录Redis主DodMIK从复制实现原理实现原理Psync: 2.8版本后总结Redis主从复制实

锐捷和腾达哪个好? 两个品牌路由器对比分析

《锐捷和腾达哪个好?两个品牌路由器对比分析》在选择路由器时,Tenda和锐捷都是备受关注的品牌,各自有独特的产品特点和市场定位,选择哪个品牌的路由器更合适,实际上取决于你的具体需求和使用场景,我们从... 在选购路由器时,锐捷和腾达都是市场上备受关注的品牌,但它们的定位和特点却有所不同。锐捷更偏向企业级和专