本文主要是介绍CDC-变化数据捕获，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
抽取处理需要重点考虑增量抽取，也被称为变化数据捕获，简称CDC。假设一个数据仓库系统，在每天夜里的业务低峰时间从操作型源系统抽取数据，那么增量抽取只需要过去24小时内发生变化的数据。变化数据捕获也是建立准实时数据仓库的关键技术。
当你能够识别并获得最近发生变化的数据时，抽取及其后面的转换、装载操作显然都会变得更高效，因为要处理的数据量会小很多。遗憾的是，很多源系统很难识别出最近变化的数据，或者必须侵入源系统才能做到。变化数据捕获是数据抽取中典型的技术挑战。
常用的变化数据捕获方法有时间戳、快照、触发器和日志四种。相信熟悉数据库的读者对这些方法都不会陌生。时间戳方法需要源系统有相应的数据列表示最后的数据变化。快照方法可以使用数据库系统自带的机制实现，如Oracle的物化视图技术，也可以自己实现相关逻辑，但会比较复杂。触发器是关系数据库系统具有的特性，源表上建立的触发器会在对该表执行insert、update、delete等语句时被触发，触发器中的逻辑用于捕获数据的变化。日志可以使用应用日志或系统日志，这种方式对源系统不具有侵入性，但需要额外的日志解析工作。
CDC大体可以分为两种，一种是侵入式的，另一种是非侵入式的。所谓侵入式的是指CDC操作会给源系统带来性能的影响。只要CDC操作以任何一种方式对源库执行了SQL语句，就可以认为是侵入式的CDC。基于时间戳的CDC、基于触发器的CDC、基于快照的CDC是侵入性的，基于日志的CDC是非侵入性的。下表总结了四种CDC方案的特点。
| 时间戳方式 | 快照方式 | 触发器方式 | 日志方式 | |
| 能区分插入/更新 | 否 | 是 | 是 | 是 |
| 周期内，检测到多次更新 | 否 | 否 | 是 | 是 |
| 能检测到删除 | 否 | 是 | 是 | 是 |
| 不具有侵入性 | 否 | 否 | 否 | 是 |
| 支持实时 | 否 | 否 | 是 | 是 |
| 需要DBA | 否 | 否 | 是 | 是 |
| 不依赖数据库 | 是 | 是 | 否 | 否 |
这篇关于CDC-变化数据捕获的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
