SQL Server 2012 数据质量服务实战简介(Data Quality Services)

本文主要是介绍SQL Server 2012 数据质量服务实战简介(Data Quality Services),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

数据质量服务是包含在SQL Server 2012中的一个组件。我们需要安装数据质量服务端和客户端,这些在sqlserver 2012的安装文件中都可以找到。安装服务端以后,在我们sqlserver数据库中会出现3个新的以DQS开头的数据库

这三个数据库分别用来存储数据质量服务的知识库,总体和临时数据。

安装完成以后,我们可以用客户端来打开数据质量服务的管理界面

总体分三个大类,

知识库的管理(Knowledge Base Management)

数据质量项目(Data Quality Projects)

管理(Administration)

上图为创建知识库的界面,所有的数据质量项目都是基于知识库的,知识库里面包含具体的“域”(Domain),针对域来设定数据清理的规则。知识库我们可以看成是个表结构,域相当于字段。对域的规则可以是单独字段的也可以是组合字段的。

上图为域的管理,我们可以添加域,设置域的格式,数据类型,规则,引用等等。

当知识库建立以后,我们需要对知识库进行训练(Knowledge Base Discovery),一般情况下,我们可以取小部分真实数据来对知识库来进行训练,训练的次数越多,涵盖的情况越多,知识库也就越丰富越具体。

上图为知识库训练的界面,数据源可以是excel或者SQL Server数据库,下方设置相应的字段映射之后,就可以开始进行训练了。训练完之后,我们可以根据训练的结果可以进行设置,添加域的规则,修改域的引用等操作。

当一个知识库完成以后,我们就可以正式的使用数据质量项目来进行数据的清理。

而且在SSIS 2012中也添加了相对应的数据质量服务的组件,这样我们就可以很方便在SSIS 包中使用数据质量服务来完成数据的清洗。

当前世面上有很多行业的标准的第三方的知识库,我们也可以直接导入这些已经很成熟的知识库来对我们的数据直接进行清洗,大大的方便了我们操作一致性和准确性。

注意:当前版本下,DQS服务端不支持卸载,需要卸载的时候,需要手动删除那三个数据库,两个相对应的instance的login,master database中的一个存储过程。

这篇关于SQL Server 2012 数据质量服务实战简介(Data Quality Services)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/874971

相关文章

鸿蒙中Axios数据请求的封装和配置方法

《鸿蒙中Axios数据请求的封装和配置方法》:本文主要介绍鸿蒙中Axios数据请求的封装和配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.配置权限 应用级权限和系统级权限2.配置网络请求的代码3.下载在Entry中 下载AxIOS4.封装Htt

MySQL更新某个字段拼接固定字符串的实现

《MySQL更新某个字段拼接固定字符串的实现》在MySQL中,我们经常需要对数据库中的某个字段进行更新操作,本文就来介绍一下MySQL更新某个字段拼接固定字符串的实现,感兴趣的可以了解一下... 目录1. 查看字段当前值2. 更新字段拼接固定字符串3. 验证更新结果mysql更新某个字段拼接固定字符串 -

python连接本地SQL server详细图文教程

《python连接本地SQLserver详细图文教程》在数据分析领域,经常需要从数据库中获取数据进行分析和处理,下面:本文主要介绍python连接本地SQLserver的相关资料,文中通过代码... 目录一.设置本地账号1.新建用户2.开启双重验证3,开启TCP/IP本地服务二js.python连接实例1.

Spring Boot项目中结合MyBatis实现MySQL的自动主从切换功能

《SpringBoot项目中结合MyBatis实现MySQL的自动主从切换功能》:本文主要介绍SpringBoot项目中结合MyBatis实现MySQL的自动主从切换功能,本文分步骤给大家介绍的... 目录原理解析1. mysql主从复制(Master-Slave Replication)2. 读写分离3.

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

基于SpringBoot+Mybatis实现Mysql分表

《基于SpringBoot+Mybatis实现Mysql分表》这篇文章主要为大家详细介绍了基于SpringBoot+Mybatis实现Mysql分表的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录基本思路定义注解创建ThreadLocal创建拦截器业务处理基本思路1.根据创建时间字段按年进

Python3.6连接MySQL的详细步骤

《Python3.6连接MySQL的详细步骤》在现代Web开发和数据处理中,Python与数据库的交互是必不可少的一部分,MySQL作为最流行的开源关系型数据库管理系统之一,与Python的结合可以实... 目录环境准备安装python 3.6安装mysql安装pymysql库连接到MySQL建立连接执行S

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同