数据系统架构-1.基础数据篇

2023-10-09 02:20

本文主要是介绍数据系统架构-1.基础数据篇,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.基础数据篇

在这里插入图片描述

(图-本篇文章涉及红框内容,整体架构详见第一篇数据之旅-开篇)

本篇文章主要介绍一下基础数据部分,数据来源主要分成2方面,第一部分介绍一下日志相关内容,第二部分介绍一下业务源表相关,以及在此基础上构建的采集系统与抽象系统,之后再介绍一些常见的问题与对应的解决方案。

总则:基础数据是大数据的基础,规范化、合理、准确的基础数据可以使后续的各类数据应用开发事半功倍。(基础数据十分重要!基础数据十分重要!基础数据十分重要!)

巧妇难为无米之炊,基础数据就是大数据开发中的原材料,材料的好坏直接影响着后续功能的复杂度、稳定性、准确性。尽管基础数据这么重要,但是大多数情况下公司对基础数据的重视程度都不够,导致基础数据十分混乱,比如:日志格式就算在同一个格式规范下都能够五花八门、百花齐放,导致后续统计各种兼容,徒增复杂度影响后续数据的准确性;业务表数据反复抽取浪费资源与抽取表设计不合理等等。

基础数据就是大数据的伊始,一个规范化、合理、准确的基础数据,可以为后续各种系统打好基础。我们需要有耐心和细心逐步梳理整理各类信息,使基础数据调理清晰,数据井井有条。

日志种类与设计

日志是对未产生业务数据变化的行为进行的记录,是对业务库数据的一种行为上的补充,基本要素为 who when what,谁在什么时间发生了什么,从而对用户的行为进行记录与收集。以下日志格式是目前所采用的格式,当然可以有其他的更优形式,只要设计合理即可,如json等等。

1. 前端日志

  • 日志定义:前端日志是用户在使用App或者Web页面应用,在App或者页面上收集到的用户行为信息,比如用户A在什么时间点击了某个按钮、用户B在什么时间浏览了某个商品的详情页等等。

  • 日志协议

    • 分隔符:可以采用 八进制不可见字符 ‘\001’
    • 字符集:UTF-8
    • 时间格式: 13位UNIX时间戳
  • 日志格式设计

    • token:用户标识 [必须]
    • uid:用户注册之后的ID信息[必须]
    • action:用户行为[必须]
    • page:页面[必须]
    • timestamp:行为发生时间[必须]
    • datapool:标准字段之外扩展补充字段[必须]
    • version:app客户端版本[可选]
    • log_version:日志版本[可选]
    • channelid:渠道[可选]
    • os:操作系统[可选]
    • osv:操作系统版本[可选]
    • 其他扩展字段…
  • 日志上报

    • SDK:App中提供的日志上报工具,把收集到的日志上报到对应的前端日志采集集群,日志采集集群把日志落地,以供后续flume配置采集,上传至kafka与HDFS。

    • WEB接口:主要是提供给非App日志上报其他需要上报日志的场景,接口服务可以部署到采集集群里。

2. 后端日志

  • 日志定义:后端日志是后端服务所打印的用户行为日志、系统性能日志、异常排查日志等组合而成,各类日志应该按照不同的日志类型打印到不同的目录,以供后续采集使用。采集分2种情况,一种是正常微服务日志采集,另一种是服务云日志采集,不同的情况需要不同的采集方案。

  • 用户行为日志协议

    • 分隔符:采用空格分隔(如果日志参数中存在空格会造成解析异常)
    • 协议:使用k=v的方式打印各类后端日志参数信息
    • 字符集:UTF-8
    • 时间格式:13位UNIX时间戳
  • 用户日志格式设计(不同模块可以打印各种kv参数信息)

    • server:服务模块
    • token:用户token标识
    • uid:用户uid
    • action:行为如 paySuccess、visit
    • timestamp:日志时间戳
    • 其他相关信息:如orderId,infoId

系统性能日志异常排查日志 ,可以在系统接入层拦截统一打印与采集,日志格式上可以根据业务RD需要酌情设计,这2份日志主要是给业务RD做服务性能与问题排查。

3. 日志打印与质量

由于RD分工与关注点不同,大家对各类日志重视程度不一,导致数据日志质量有时存在质量隐患,如何解决日志质量问题大致有如下方案:

  1. 数据RD负责设计打印:数据开发负责统计日志打印,形成数据开发整体的闭环,从而在根本上解决日志质量问题。对于不同的统计需求以及后续的扩展性上可以得到充分的考虑与模型设计。在技术实现上暂时考虑通过注解等形式拦截后端属性,通过配置化解析来打印对应日志,可行性上有待商榷;另一种就是在业务开发的代码中嵌入对应的日志打印,这种和正常的日志打印没有区别,主要是负责的人不一样,分工不同。(数据闭环、工作量大)

  2. 业务RD负责日志打印:约定大于配置,提高业务RD数据日志规范了解与重视程度。另外如果有条件还请把统计日志打印加入到测试流程!变成测试上线必要流程,这样才能在很大程度上保证日志的质量。(快速、规范上略微降低。目前采用这种方式,不过没有强制测试流程,日志质量会造成后续统计问题)

业务源表

  • 增量抽取
  • 使用拉链表等相关表设计
  • 一张业务表只抽取一次,防止资源浪费
  • 使用从库,防止影响线上正常业务

采集技术

日志采集:采集普通服务器就是使用flume进行采集;对应云服务日志采集可以使用Log-Pilot进行采集。

业务源表同步:可以通过sqoop抽取、或者canal解析binlog来同步数据,也可以采用其他开源同步框架。

系统设计

  • 配置化管理
  • 自动化
  • 异常采集恢复
  • 监控体系建设
  • 元信息记录完整全面
  • 日志抽象

在这里插入图片描述

日志采集系统架构设计如上图,大致分为5个部分

1.外部系统对接:主要感知外部对基础数据有影响的部分,做到及时处理,可以提供系统对接的接口。简单情况自动处理并发送变化信息到相关人员。

  • 运维管理系统,感知服务器集群信息变化;
  • 服务管理系统,感知各类部署服务变化情况;
  • DBA工单系统,感知数据表结构变化新增修改等。

2.日志管理系统

  • 配置管理:可以同步其他的系统的元信息,配置管理日志采集信息,管理日志采集的源头与采集落地目标信息,如从某个服务集群的某个目录采集到某个HDFS地址、某个kakfa的topic下等等;
  • 源表数抽取:对应源表数据抽取配置,每天更加配置抽取对应的数据至HDFS,并映射成对应的hive表;
  • 智能自动化处理:对于简单的变化场景,尽量实现自动化处理;
  • MySQL:各种配置信息存储。

3.日志采集服务

  • LogMaster:日志采集服务主节点,管理控制日志采集服务server,同时为了保证高可用采用主从模式standby LogMaster-Secondary,在主节点不可用时通过zookeeper完成主从切换;
  • Log-server:日志采集基础服务,在服务器部署时就需要当成基础服务来部署,服务启动之后与zookeeper保持心跳;该server根据logMaster分配的任务管理采集自己服务器上对应的日志信息,并监控flume与log-pilot采集情况,出现异常上报logMaster;
  • LogMaster-Secondary:从节点,在主节点不可用的情况下提供管理监控server执行情况与分配任务。

4.元信息管理,把信息关联起来 【集群->服务->日志源->日志目的地(HDFS/Kafka)->日志抽象内容->业务口径、指标描述】

  • 集群信息:同步与收集集群基本信息以及变化信息;
  • 服务信息:同步与收集各类服务变化信息;
  • 采集配置信息:系统配置的采集信息进行整理收集;
  • 日志源表抽象信息:日志与源表采集的日志需要进行抽象,不光完成日志采集,还需要明确采集日志的内容信息,以供后续统一指标口径、业务逻辑配置化。

5.采集监控,对系统设计的各个部分进行全方位监控

  • 采集服务监控
  • 集群服务变化监控
  • 日志数据落地监控,包括与数据源头数据量对比、日志本身同期对比监控等等
  • 数据表变化监控,监控数据表变化,尽量实现自动化处理抽取,无法兼容的情况下需要人工介入

日志与源表抽象

在这里插入图片描述

日志与源表抽象,就是为了把一份份日志映射成一个个的日志对象,为了后续描述统计逻辑、指标口径、业务逻辑打下数据基础。

  • 结构化日志

    • 前端日志:通过SDK或者WEB接口收集到的日志,在设计之初就是一个结构化的格式,所以可以直接映射成前端日志对象,然后通过配置对象中的action和page,标记日志类型,如曝光日志、点击日志、下单日志等;
    • 源表 :源表一般都是mysql的数据,已经是一种结构化的数据,同前端日志直接映射成源表对象与源表对象分类。
  • 非结构化日志

    • 后端日志:由于后端日志各个服务打印各类参数众多,所以打印的时候采用了可扩展的形式,为了映射成后端日志对象需要通过ELT把后端日志结构化,然后通过结构化的日志标记action,来区分和标记各类后端日志。

常见问题与解决方案

  1. 没有明确日志规范,业务RD打印日志天马行空,后续各种兼容
  • 解1:约定大于配置
  • 解2:配置化管理
  • 解3:统计日志数据rd打印深入业务

2.日志抽象化没有普及

  • 解1:在日志申请采集时,需要记录 采集: 日志服务、服务器信息、目录信息、业务线、负责人、kafkatopic、日志抽象信息配置;除了采集部署,需要告诉系统所采集的内容格式等

3、业务源表重复抽取至hive,浪费资源

  • 解1:业务表抽取,检测只允许抽取一次;能不全量抽取就不全量抽取,采用增量拉链表等方式
  • 解2:使用canal抽取数据处理

4、源表结构变化

  • 解1:提供接口,接入到DBA数据库线上管理平台,有变化时 自动处理变化

5、日志采集异常修复

  • 解1:采集异常预案与工具化建设

个人主页
上一篇 《数据之旅-开篇》
下一篇 《数据系统架构-2.元数据管理》

这篇关于数据系统架构-1.基础数据篇的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/169640

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]