翻译--什么是数据虚拟化及其如何直接从源系统中解锁实时见解

在当今快速发展的业务环境中，有许多报告要求，它们不能等待批处理过程从操作系统中加载数据。业务用户需要其本地ERP，CRM或任何云系统中当前的数据。例如，在一个财政季度末，销售和财务负责人希望实时了解订单预订，以便他们有一个好主意是否打算“按季度”实现收入。他们无法等待4–8个小时的延迟才能完成ETL作业。

数据虚拟化（DV）是一种通过“虚拟”连接到各种源系统并“虚拟”组合或连接它们以为BI系统或企业应用程序提供统一数据层以供查询的方法来构建“逻辑”仓库的方法。

数据虚拟化的高级架构

提供统一层的数据虚拟化方法的另一种替代方法是传统的ETL方法，该方法以周期性的时间间隔从各种源系统移动数据并将其加载到物理数据仓库中。然后，通过将仓库中的数据加载到目标星型模式或雪花数据模型中来合并它们。ETL加载通常是批处理过程，每天加载一次或一天加载几次，具体取决于加载时间和数据延迟要求。

DV如何工作？

DV的核心是一个SQL生成工具，它具有易于使用的UI来跨各种数据源构建语义层。无需通过从各种源系统中提取，转换和加载（ETL）将数据加载到物理仓库中，而是使用DV，数据将主要保留在源系统中，并且DV工具将加载表（或其他对象，如视图）的元数据）从DV系统导入到DV工具中。我们可以将这些虚拟表称为“物理视图”。加载表的元数据后，DV工具将允许开发人员对这些物理视图执行各种操作，包括联接和公式列，以使它们具有所需的业务逻辑。我们可以将它们命名为“逻辑视图”。一旦添加了联接和公式列，开发人员便可以使用这些各种逻辑视图来构建“ BI数据集”，以创建数据集，这些数据集是用于特定业务目的的扁平化数据视图。这些数据集可以始终包含固定的过滤器。

然后，将这些扁平化的数据集导入到MicroStrategy，Power BI或Tableau等BI工具中。在这些BI工具中，用户可以添加更多的业务公式列，过滤器，甚至可以连接DV工具中的两个“ BI数据集”。DV工具将从BI工具获取输入调用，然后转换适合特定后端数据源的SQL，该SQL是Oracle，SQL Server，Teradata之类的数据库，还是使用其Salesforce之类的API的云系统。

最好的DV工具在将查询发送到后端数据源之前执行SQL调整。DV工具不仅可以对传入的请求进行内部检查，还可以对特定的后端数据源进行优化查询，然后将SQL或API调用发送至该数据源，而不仅仅是将基本SQL发送到后端。

此外，领先的DV工具可以在本地数据库或商业数据库（例如Oracle或Snowflake）中，如果源速度较慢，则可以缓存任何物理视图，逻辑视图或BI数据集以获得更好的性能。

DV的优点

数据虚拟化有很多好处-

1.复杂源系统模式的简化视图

如果语义层是在DV工具中构建的，并且“ BI数据集”作为平面表/视图公开以导入到Tableau或Power BI等BI工具中，则源模式（如Oracle EBS或SAP）的复杂性将会降低隐藏给BI开发人员。BI开发人员通常对源系统表不是很熟悉，他们努力构建语义层，而是依赖源系统中的数据库视图。相反，在DV工具中构建语义层不仅简化了复杂的架构，而且还避免了在源数据库中维护复杂且难以更改的物理视图。

2.发展速度

由于DV仅导入表的元数据并创建镜像源对象的虚拟表，因此可以避免实现实时报告的复杂ETL。在ETL中添加新字段或表可能要花费数周到几个月的时间，因为必须设计和构建星形模式，但是在DV中，数据的形状可以保留为与源相同，因此添加新表或字段将是更容易，更快捷。

3.实时报告需求

由于DV直接通过ODBC / JDBC指向数据库或通过API指向云系统直接指向源系统，因此数据的延迟现在为零或最小。用户可用的数据是实时的，在用例中，当用户更改数据时立即需要数据，DV确实是一个不错的选择。

4.可以从BI工具隐藏源系统更改

DV的一大好处是，当对源系统进行升级时，或者即使公司将源系统替换为另一个源系统，或计划将数据库从例如Oracle迁移到Snowflake，虚拟化语义层也将有助于将这些复杂的更改隐藏在数据库中。来自各种BI工具的环境。为了适应由于升级或数据库更改而在源系统中发生的更改，在DV工具中，如果架构相同，则需要将数据源连接重新指向新数据库，如果需要，则需要在相关物理视图中进行一些更改存在诸如列添加等的架构更改。通过这种方式，无需更改基于各种BI工具构建的报表和可视化文件，也不会影响用户。

5.性能优化和缓存

大多数领先的DV工具都提供了从源数据库缓存某些表或缓存数据集的功能。缓存将大大提高BI工具中报告的性能。最好的DV工具会调整它们从BI工具收到的查询，然后将其下推到源数据库。他们还找到了从不同数据源提取和移动最少数据量的方法，然后再将它们加入DV工具并发送给BI工具。

数据虚拟化工具

关于什么是数据虚拟化，市场上存在很多困惑。对于此处所述的数据虚拟化，这些是公司可以评估其需求的工具–

商业产品

1. Denodo

2. Tibco数据虚拟化

3.数据虚拟化

4. AtScale

5. Azure分析服务

开源替代品

1. Dremio

2. Teiid

我们亲自选择了Denodo，我们非常喜欢它与本地数据库，云数据源，合并来自多个源的数据以及将数据的简化视图呈现给多个BI工具一起使用。我将在Denodo上写一篇更详细的文章，并在以后的文章中介绍它是如何工作的。