ssis专题

SSIS 学习之旅 FTP文件传输-脚本任务

这一章主要讲解一下通过脚本任务怎么把CSV文件抛送到FTP服务器上 控件的使用这里就不做详细讲解了。大家如果有不懂得可以看下我之前的文章。 第一章:SSIS 学习之旅 第一个SSIS 示例(一) 第二章:SSIS 学习之旅 第一个SSIS 示例(二) 第三章:SSIS 学习之旅 数据同步 第四章:SSIS 学习之旅 FTP文件传输-FTP任务 设计:    通过Demon库的Users

SSIS 学习之旅 FTP文件传输-FTP控件

这一章主要讲解一下FTP控件。 设计:    通过Demon库的Users表数据生成CSV文件。    生成后的CSV文件抛送到FTP指定目录下。 控件的使用这里就不做详细讲解了。大家如果有不懂得可以看下我之前的文章。 第一章:SSIS 学习之旅 第一个SSIS 示例(一) 第二章:SSIS 学习之旅 第一个SSIS 示例(二) 第三章:SSIS 学习之旅 数据同步 创建语

SSIS 学习之旅 数据同步

这一章 别人也有写过但是我觉得还是写写比较好。 数据同步其实就是想仿照 数据库的发布订阅功能 第一章:SSIS 学习之旅 第一个SSIS 示例(一) 第二章:SSIS 学习之旅 第一个SSIS 示例(二) 设计:    前面两个例子已经分别创建了两个数据库分别是Demon 和 Demon_text    里面分别都有Users 表 以Demon库Users表为主表 像 D

SSIS 学习之旅 第一个SSIS 示例(二)

这一章还是继上一章例子 进行一些小的知识扩展。主要是为了让大家更快的上手SSIS。 第一章:SSIS 学习之旅 第一个SSIS 示例(一) 设计:     1.按用户组生成CSV文件到Pending目录下,     2.移动Pending目录下的CSV文件到Processed目录下。 -- 创建数据库CREATE DATABASE Demon_text-- 用户表CREATE TA

SSIS 学习之旅 第一个SSIS 示例(一)

在上一章节中我们初步了解了SSIS体系结构以及如何创建一个SSIS包。 下面我们从最基本的例子开始写起。控件的用法别的博客也写过。我就不在这里详细讲解了。 简介:SSIS 学习之旅 简介 设计:          从Demo库中 读取User表中数据 将数据导入到csv文件中 把文件放到指定目录下。 创建语句如下: 注意:我使用的数据库是SQL Server 2012

使用正确的姿势更新SSIS Data Flow Component以适应字段类型变化

在实际业务当中,数据仓库中的字段可能会经常变化(比如原来使用int类型的ID改用字符串描述,又或者字符的长度进行了增长)。 仅仅更新SQL command text的话,SSIS并不会更新字段的类型/长度/精度。也没有类似Cognos FM当中Update object的功能。 除了删掉控件重新添加一个新的之外,还有一个标准方法是通过右键DB Source——Show Advanced

SSIS--- 数据仓库中实现 Slowly Changing Dimension 缓慢渐变维度的三种方式

看文章之前先了解----缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型及原型设计:http://blog.csdn.net/u012071918/article/details/77533025 2013-10-16 00:09 by BIWORK, 6661 阅读, 14 评论, 收藏, 编辑 开篇介绍 关于 Slowly Changing Dim

SSIS+数据仓库系列--- 缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型及原型设计

在从 OLTP 业务数据库向 DW 数据仓库抽取数据的过程中,特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题:业务数据库中的一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,哪些数据应该随之变化,哪些可以不用变化?考虑到这些变化,在数据仓库中的维度表又应该如何设计以满足这些需要。 很显然在业务数据库中数据的变化是非常自然和正常的,比如顾客的联系方式,手机号码

SSIS之操作Script Component组件的Blob Column类型的处理

可以在组件里面写code代码处理,代码如下:         Byte[] bytes = Row.OUTHISRECORDDECRYPTHTML.GetBlobData(0, (int)Row.OUTHISRECORDDECRYPTHTML.Length);         MemoryStream stream = new MemoryStream(bytes);         St

BI商业智能培训系列——(二)SSIS入门

简介:     SSIS,Microsoft SQL Server Integration Services。Integration意为“整合”、“一体化”。上篇博客中提到SSIS是生成高性能数据集成解决方案的平台。 相关概念:     控制流:     控制流任务是最小的执行单位,运行之后有成功、失败和完成的结果。如果还没有得到运行结果,无法进行下一个任务。     数据流:

SSIS Script Task EXCEL导出时报错:[a] Error: System.IO.FileNotFoundException: 无法加载档案或组件 ‘NPOI.OOXML

SSIS Script Task EXCEL导出时报错: [a] Error: System.IO.FileNotFoundException: 无法加载档案或组件 'NPOI.OOXML, Version=2.3.0.0, Culture=neutral, PublicKeyToken=0df73ec7942b34e1' 或其相依性的其中之一。 系统找不到指定的档案。       解决

ssis test MessageBox.Show(Dts.Variables[����].Value.ToString());

MessageBox.Show(Dts.Variables["����"].Value.ToString());

ssis优化

1.. 优化  集成服务功能强大,开发管理较为复杂,往往ETL包能够实现功能,但是不能满足性能要求。下面将给出一些提高性能的建议。 1.1 用于提高速度的总体设置 1 优化数据源 (1) 删除不需要的列; (2)使用SQL SELECT语句从视图中提取数据;应当避免在“OLE DB源”适配器中使用“表或视图“的访问模式。 (3) 优化数据源查询; 2 使用平面文件及其它文件源 (1

SSIS 条件性拆分

ISNULL(Per_Sex) == FALSE && Per_Sex == "男"

如何使用SSIS程序包中的事务管理

在这一个随笔中将介绍在package中如何使用事务来保证数据的完整性和一致性。在SSIS中有两种事务:   分布式事务处理事务(Distributed Transaction Coordinator Transactions):在task,package中使用单独一个或者多个事务处理   本地事务(Native Transaction):SQL Server引擎级别的事务,在一个连接中使用T-SQ

SQL Server 2005中利用SSIS 导入Excel 2007文件

1、在数据流中拖放一个OLE DB数据源。 2、打开OLE DB源编辑器,新建一个OLE DB连接管理器。 3、连接管理器中,提供程序选择为本机 OLE DB/Microsoft Office 12.0 Access Database Engine OLE DB Provider 4、点击全部选项,在Extended Properties项中输入"Excel 12.0" 5、在D

「数据ETL」从数据民工到数据白领蜕变之旅(四)-有了PowerQuery还需要SSIS吗?...

在真正的企业级BI项目中,使用PowerBIDeskTop那一套数据ETL是不可行的,需要使用专业的ETL工具完成数据仓库的搭建,再进行数据建模的工作。 鉴于笔者所能触达的读者群体,多数为业务背景的数据分析工作者,本篇给大家带来简单的入门实操演示,让大家减少对专业IT型工具的恐惧心理。 所有工具都是为人所用,都是想着尽可能简单易上手的,学习过PowerQuery的群体,笔者很有信心只需跨出信心

SSIS-Oracle的OLE DB源警告

[OLE DB源 ] 警告: 无法从 OLE DB 访问接口检索列代码页信息。如果该组件支持“DEFAULTCODEPAGE”属性,将使用来自该属性的代码页。如果当前的字符串代码页值不正确,请更改该属性的值。如果该组件不支持该属性,将使用来自该组件的区域设置 ID 的代码页。 解决办法:右键-属性-修改AlaywayseUseDefaultCodePage为True

部署并调度SSIS包,你顺利么 .

近日部署很多SSIS包,遇到各种莫名的报错。总结一下部署过程中值得注意的地方,希望可以帮助大家少走弯路。 1.SSIS包在Visual Studio中一载入就会马上被自动验证包的有效性,数据源连接和数据传输任务都会被验证。这是个双刃剑,好处是自动对不合格的数据源或任务步骤作出警告,缺点是如果数据源是无效的,而刚好步骤又很多,就死机了。因为visual studio 一根筋的一个一个验证,而任一个

3.15、BI之SSIS之数据流转换(OLEDB命令控件)

BI之SSIS之数据流转换(OLEDB命令控件)     1          新建一个SSIS包,命名为“7-OLEDB命令”-》双击打开   2          控制流-》拖入“数据流任务”-》双击打开   3          连接管理器-》右键“新建OLEDB连接”-》选择“LocalHost.AdventureWorks2008.sa”-》确定   4

3.14、BI之SSIS之数据流转换(查找)

BI之SSIS之数据库转换(查找)   1          新建一个SSIS包,命名为“6-查找与重定向”-》打开   2          控制流-》拖入“数据流任务”-》双击打开   3          连接管理器-》右键“新建OLEDB连接”-》选择“LocalHost.AdventureWorks2008.sa”   4          数据流-》拖入“OLEDB源”

3.13、BI之SSIS之数据流转换(数据转换)

BI之SSIS之数据流转换之数据转换   1          数据转换控件可以对选择的列进行数据类型转换,并输出转换后的列   2          复制包“4-数据流(源-目标-连接)”并命名为“5-数据转换”-》双击打开   3          数据流界面 3.1         删除“源”与“目标”间的数据流 3.2         拖入“数据转换控件”-》将“源”的数据

3.12、BI之SSIS之数据流(源-目标-连接)

BI之SSIS之数据流(源-目标-连接)   1          源-目标-连接 1.1         源,数据流源,为数据的来源,它可以是各种文件、数据库等等 1.2         目标,数据流目标,为数据的目的地,它也可以是各种文件、数据库等等 1.3         连接,为连接数据源或数据目标的连接,连接文件为文件连接,连接数据库为数据库连接   2

3.10、BI之SSIS之序列容器与文件系统任务

BI之SSIS之序列容器与文件系统任务   1          拖入两个序列容器,并将“序列容器1”的控制流指向“序列容器2”   2          在“序列容器1”中拖入文件系统任务-》打开 2.1         Operation“创建目录”-》Name“新建文件夹-SSIS”-》UseDirectoryIfExists“true”-》sourceConnection“新建连

3.9、BI之SSIS之Foreach-ADO枚举

BI之SSIS之Foreach-ADO枚举   1          获取查询结果集 1.1         创建变量dtSalesPerson,类型Object 1.2         新建OLEDB连接-》连接到“AdventureWorks2008”数据库 1.3         拖入“执行SQL任务”控件-》打开 1.3.1    常规-》Connection“LocalHos