企业级一站式大数据开发平台理论及实践

点击上方蓝色字体，选择“设为星标”

回复”资源“获取更多资源

前言

本文是个人在从零搭建部门数据及运营平台的过程中的笔记。随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据的产生，越来越多的企业开始在大数据平台下进行数据处理。

本文借鉴了众多网络上公开的案例和实践。旨在为大家提供建设一站式的数据平台的思路。

一站式大数据平台，应该提供数据抽取、数据清洗、数据存储、数据分析、数据共享一站式全流程数据治理，以及数据安全、运维监控等管理。使用户能够更有效地利用数据构建核心系统，加速业务创新。

我们期待的一站式数据平台应该包含：

• 一站式数据治理：提供数据仓库的构建，多样化抽取任务调度配置，实现业务数据/实时数据抽取清洗，并入库到数据仓库。同时，提供数据仓库数据高效的检索，满足数据的多样化查询需求。

• 数据血缘分析：数据血缘分析是保证数据融合（聚合）质量的关键环节，通过血缘分析实现数据融合处理的可追溯。同时，可分析数据的数据价值。

• 智慧数据目录：数据资产目录提供自定义目录编目、标签系统、资产快速检索，同时支持用户搭建全局知识库，沉淀业务理解。

• 数据可视化：产品将图形语法产品化，用户无需掌握编程，简单拖拉拽即可进行可视化分析

• 数据隐私：针对些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护

我们用网易易数官网的典型架构图进行说明：