数据摄取最佳实践

本文主要是介绍数据摄取最佳实践，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

数据是为企业的许多任务关键型引擎提供动力的动力，从商业智能到预测分析; 数据科学到机器学习。为了充分发挥作用，数据与任何燃料一样，必须丰富，容易获得并且干净。数据摄取过程 - 准备分析数据 - 通常包括称为提取（从当前位置获取数据），转换（清理和规范化数据）和加载（将数据放在可以分析数据的数据库中）的步骤。企业通常在提取和加载方面很容易，但很多都遇到转换问题。结果可能是分析引擎处于空闲状态，因为它没有要处理的数据。

鉴于这一现实，这里有一些关于数据摄取的最佳实践。

期待困难并据此制定计划

数据摄取的肮脏秘密在于，据报道，收集和清理数据需要占用任何分析项目预定时间的60％到80％。我们想象数据科学家花费大部分时间来运行算法，检查结果，然后为下次运行改进算法。这是工作中令人振奋的部分，但现实情况是，数据科学家花费大部分时间试图将数据形成争论，以便他们可以开始分析工作。随着大数据的规模不断扩大，这部分工作一直在变大。许多企业在不了解这一点的情况下开始数据分析项目，然后当数据提取过程不符合其初始计划时，他们会感到惊讶或失望。与此同时，其他团队已经开发出分析引擎，假设存在干净的摄取数据，并且在数据摄取工作陷入困境时等待空闲。没有灵丹妙药可以帮助你避免这些困难。期待他们，并为他们做计划。例如，您可能希望为数据摄取安排更多时间，为其分配更多人员，引入外部专业知识或推迟开发分析引擎，直到项目的数据提取部分正在进行中。

自动化数据提取

在过去的好时候，当数据很小并且最多只有几十个表时，可以手动执行数据摄取。人类定义了一个全局模式，然后为每个本地数据源分配了一个程序员，以了解它应该如何映射到全局模式。各个程序员用他们喜欢的脚本语言编写映射和清理例程，然后相应地运行它们。今天，数据在规模和种类上都变得太大，无法手动策划。您需要开发尽可能自动化摄取过程的工具。例如，用户应该能够在电子表格中定义此信息，然后由强制执行指定元数据的工具读取，而不是手动定义表格的元数据，例如其模式或有关最小和最大有效值的规则。这种类型的自动化本身可以减少数据摄取的负担。但是，在很多情况下，考虑到所涉及的表格数量庞大，它并没有消除摄入瓶颈。当必须摄取数千个表时，填写数千个电子表格比编写数千个摄取脚本更好。但是，它仍然不是可扩展或可管理的任务。

使用人工智能

已经开发了各种产品，其使用机器学习和统计算法来自动推断关于被摄取的数据的信息并且在很大程度上消除了对手工劳动的需要。其中包括Data Tamer等开源系统以及Tamr，Trifacta和Paxata等商业产品。这些系统可以自动化的一些过程示例包括：

从映射到它的本地表中推断全局模式。
给定一个本地表，推断它应该被摄入哪个全局表。
推断数据规范化的同义词。例如，缩写“in。”和“in”，直的双引号（“）和单词”inches“都是同义词。
基于模糊匹配检测重复记录。例如，“Moshe Kranc”和“M。克兰克“是同一个人。

这些系统依靠人类提供训练数据并解决算法无法做出明确判断的灰色区域。较新的系统，如Informatica的CLAIRE或开源的ActiveClean项目，被吹捧为可以彻底消灭人类的工具。

最重要的是，这些产品是真实的，它们可以工作，它们应该成为任何企业数据提取路线图的一部分。

让它自助服务

在中型企业中，每周需要摄取数十个新的数据源。必须实现每个请求的集中式IT组织将不可避免地成为瓶颈。解决方案是通过提供易于使用的工具为数据提取自助服务，以便为想要摄取新数据源的用户提供数据。例如，为用户提供自助服务工具，以便在尝试将数据提取到全局数据库之前检测并清除缺失值，异常值和重复记录。

管理数据以保持清洁

一旦您解决了清理数据的麻烦，您将希望保持清洁。这意味着引入数据管理，数据管理员负责每个数据源的质量。

此职责包括以下内容：定义架构和清理规则，决定应将哪些数据提取到每个数据源，以及管理脏数据的处理。当然，数据治理还包括除数据质量之外的其他方面，例如数据安全性和遵守法规标准（如GDPR和主数据管理）。实现所有这些目标需要组织与数据相关的方式发生文化转变，并且需要数据管理员能够支持所需的工作并对结果负责。