灾备启示录：鞍山商业银行的“生存”与“发展”

 在中国，有着成百上千个城市，也存在着上百家城市商业银行，作为城市区域经济发展的重要金融力量，城商行也许并没有四大行的规模与财力，但是其灵活的市场策略、快速的创新能力在提升城市区域经济的活力、促进城市区域经济的均衡发展等方面发挥着重要作用，成为城市区域经济生存与发展的重要保障力量。而随着金融行业改革以及信息化建设的深入，加快中小金融机构的容灾与备份工作已经成为上至央行、下至各地城商行的普遍共识，灾备建设已经逐渐成为城商行“生存”与“发展”过程中不可忽视的一项工作。

　　在此大背景下，城商行的灾备建设成功案例无疑会给众多中小金融机构带来宝贵的借鉴经验。2010年11月，鞍山市商业银行举办了2010城市商业银行灾备实战演练，实战演练了“日常灾备数据验证”、“模拟生产数据库瘫痪，进行现场恢复”、“模拟生产中心火灾—异地切换接管过程”以及“系统从灾备中心回切到生产系统”等四个灾难场景的应对方法，是鞍山商业银行对灾备建设阶段性工作的一次检验，也为其他城商行灾备建设提供了一次参考与借鉴的机会。

　　城商行做灾备应该如何选择？

　　城市商业银行属于典型的中小金融机构，在财力和IT人才上并没有国有四大银行那么强大，不能像国有四大银行那样投入上亿的资金和大量的专业人才进行灾备建设;与此同时，作为金融机构，城商行在业务的灾难防护上同样有着严格的要求。这些特点决定了城商行在灾备建设上必然需要选择一条与国有四大银行不同的道路。

　　鞍山商业银行科技部部长高旭认为：“经过这么多年搞IT建设的经验，特别是城市商业银行的灾备建设，需要用长远的眼光去看待灾备建设，必须要详细了解市场上的技术与产品，以及本行业务当前的特点及未来的发展，技术与信息都需要充足的储备，这样才能够选择出最适合自身发展的道路。而且在我看来，异地灾备就是保生存，而本地灾备则是保发展。”

　　对于金融机构来说，无论大小，都会去寻求最有保障的IT技术和最为可靠的专业化管理团队。然而，很多城市商业银行在灾备建设资金上相对较少，更为关键的是高水平的专业化人才难找，资金的限制以及对专业化技术管理人才的渴望促使城市商业银行在灾备建设上更多的需求与专业化的公司进行合作。

　　“对于城商行来说，每年在科技上的投入很重视，但是由于地域性和经济水平等因素，城商行很难找到与留住高水平的IT人才，因此鞍山行选择与金融电子化公司进行灾备建设合作，金融电子化是金融行业专业的IT服务公司，”高旭认为与金融电子化公司合作能够帮助鞍山市商业银行达到专业化上需求。

　　金融电子化公司是人民银行下属公司，为国内金融机构提供各种专业IT服务，其中小金融机构灾备中心则侧重帮助中小金融机构进行灾备建设。“人民银行作为央行，对金融行业灾备建设非常重视，自身的灾备建设自然也走在各个银行的前面。因此人民银行和金融电子化公司在灾备建设中选择的一些产品与技术就非常值得鞍山商业银行学习与借鉴。”高旭表示道。

　　图一、鞍山商业银行科技部部长高旭接受比特网记者采访。

　　据了解，城商行灾备建设主要有两条路线：一是依靠自己的力量来建设灾备中心;另外是外包给专业的服务商。根据目前大部分城商行的现状，有很多城商行都选择了自己来建设异地灾备中心，特别是当前以CDP为代表的容灾技术成熟以后，城商行在灾备建设中自主权越来越高、自建灾备中心越来越容易;也有一部分则选择专业的服务公司帮助建设异地灾备中心，比如人民银行下属专业IT服务公司金融电子化公司等。鞍山商业银行正是属于后者，他们选择了与金融电子化公司合作进行异地灾备中心的建设，而金融电子化作为国内金融行业权威性的灾备服务公司也是选择CDP技术为国内广大金融机构进行灾备建设。无论采用哪种路线，如果都采用CDP技术的话，那么灾备实现的效果与回报其实是一样的，只是每个城商行在预算、人员配置等方面的因素决定了不同的路线。鞍山商业银行高旭就表示：“异地灾备中心对于金融机构来说，是一个保障生存的任务，没有异地灾备中心，万一发生什么意外与灾难，整个金融机构将无法恢复。为此，我们选择了CDP这种先进的容灾技术结合专业化的IT服务商来建设异地灾备中心的路线。选择金融电子化公司来建设异地灾备中心可以简化管理。”

　　“金融机构一般都会选择两地三中心的灾备建设策略，而异地灾备中心是防范大规模的区域性灾难。鞍山行曾经想过多种异地灾备中心建设方法，比如自己在异地真的建立一个灾备中心，但是那样的成本投入将会异常巨大;又比如，我们考虑过与异地的兄弟行互相建灾备中心，但是后来发现跨区兄弟行之间的技术并不平等，管理水平、机房建设、人员维护等方面都存在着较大的差异，想要整合起来并不现实。”高旭表示。

　　与人民银行灾备建设一样，鞍山商业银行也选用飞康CDP技术作为其灾备建设的核心技术。CDP技术出现之后，虽然一度因为昂贵的投入成本阻碍了在用户中的普及，但是随着飞康等CDP厂商的大力推动、投入成本上的降低以及技术上的日臻完善，越来越多用户开始接受和使用CDP技术。随着2008年人民银行采用飞康CDP技术进行灾备建设，众多银行犹如看到了标杆，这也再一次证明了CDP技术在国内金融行业灾备建设中日渐重要的作用。当前CDP市场，已经有很多厂商参与其中，包括之前很多备份厂商纷纷宣传自己的备份软件集成了CDP功能，但是真正的CDP与备份软件集成的CDP功能有本质的区别。备份软件虽然集成了CDP功能，但是从本质上来说并没有逃脱传统数据保护机制，依靠时间点来作为启动作业，必须周期性的启动备份或者快照，因此恢复时必然会受到备份周期设定的限制，这也就是很多集成的CDP功能仅仅能做到以小时为单位的恢复。而真正的CDP技术则是以IO改变为启动机制，记录磁盘的每一次IO变化，其过程就犹如录像机，因此恢复的时候，用户可以轻易的恢复到任意时间点。

　　事实上，鞍山商业银行在灾备建设上的选择路线的确值得国内上百家城商行学习，依托专业化的IT服务公司实现异地灾备建设中心的建立、管理、在成本与专业性中间寻找到最佳点，可谓一举两得。而在产品与技术方面，鞍山商业银行紧跟总行和市场趋势，选择飞康CDP这种技术使得自身在灾备建设中并不受太多的硬件限制，使得已有的IT基础设施能够发挥作用，同时，精简技术能够让灾备通讯费用大幅降低，最大程度做到IT投资保护。

　　顺利完成四场景演练

　　本次灾备实战演练共分“日常灾备数据验证”、“模拟生产数据库瘫痪，进行现场恢复”、“模拟生产中心火灾—异地切换接管过程”以及“系统从灾备中心回切到生产系统”等四个灾难场景，日常灾备数据验证主要是验证鞍山商业银行业务备份数据的可用性;模拟生产数据库瘫痪则是验证鞍山商业银行在遇到数据库瘫痪这种故障时的反应及恢复能力、模拟生产中心火灾则是验证鞍山商业银行在金融电子化北京数据中心的灾备中心运营的有效性和双方技术人员的协作能力;“系统从灾备中心回切到生产中心”则验证鞍山商业银行灾备中心与生产中心的转换能力。

　　图二、鞍山商业银行灾备演练现场，现场工作人员正在紧张忙碌着。

　　灾备数据验证是企业与机构在灾备建设过程中一项必不可少的工作，备份数据的有效性决定了备份工作是否成功。如果备份数据在有效性上大打折扣，那整个备份工作都失去意义。鞍山市商业银行采用的飞康CDP技术，使得备份数据恢复即时可用，该场景在短时间内就完成演练。

　　当前企业与机构需要面对不同的灾难，像地震、火山爆发、飓风等灾难属于小概率时间，而像软件错误、硬件故障、人为操作失误等则属于相对较高概率的灾难事件则是企业或机构日常需要经常面对的。特别是像数据库等核心应用如果出现问题，将给银行业务停顿打来巨大的影响。“模拟生产数据库瘫痪，进行现场恢复”正是从这个角度考虑，特别是从回切的角度来看，存在着生产系统数据损毁的风险。从实战演练来看，鞍山市商业银行网点业务人员发现故障之后报告给系统管理员，系统管理员进行系统诊断，然后通过与恢复管理员进行损害评估，得出相应的恢复方案，最后启动恢复，通过飞康CDP技术的提取、主机系统加载、数据库启动、应用加载、业务验证等技术环节，十余分钟后让银行核心业务恢复正常运转状态。从中我们可以看到CDP技术的快速、无损恢复非常适合金融企业对业务快速恢复的需求。

　　火灾等灾难虽然概率相对较小，但是破坏性却很大，一旦发生火灾，则可能对企业或机构的生产数据中心造成毁灭性的打击。因此，进行“模拟生产中心火灾—异地切换接管过程”其实就是检验当生产中心遇到毁灭性的打击时，能否通过快速切换异地灾备中心的能力，特别是能检验出企业异地灾备建设是否真正成功。从实战演练来看，模拟火灾发生之后，工作人员迅速报告系统管理员，然后与北京异地灾备中心人员进行沟通，最终启动异地切换，通过CDP数据提取、主机系统加载、数据库启动、应用加载、前置变更、业务验证等技术环节，完成短时间内完成了异地灾备中心切换接管过程，整个演练过程非常快速与成功。

　　当灾难发生之后，我们寄希望异地灾备中心承担生产中心的重任，当本地数据中心恢复之后，就需要将异地灾备中心回切到生产中心，让生产中心重新担任之前的任务与工作。事实上，目前国内很多企业的灾备建设情况是根本就不敢往异地灾备中心切换接管，因为他们并不知道异地灾备中心切换之后是否能够顺利、有效的行使生产中心的任务，更谈不上如果把异地灾备中心回切到生产中心。然而，灾备的本质却是要求异地灾备中心能够回切到生产中心，否则建设异地灾备中心有何意义？“系统从灾备中心回切到生产系统”就是在这样的背景下设计的演练场景，以此验证灾备中心与生产中心之间的切换是否顺利。生产切换和异地却换过程中，任何一个细节的疏忽都可能产生严重的后果，给业务带来毁灭性的打击。从实战演练来看，鞍山市商业银行与金融电子化公司密切配合，顺利完成系统从灾备中心回切到生产系统。从该场景演练中，我们又一次体会到了像飞康这种CDP技术所带来的震撼，在技术上完全解决了象异地与本地系统互相切换的难题。

　　在整个演练过程中，鞍山市商业银行以及金融电子化公司充分了解CDP产品与技术在灾备建设中的特点，对切换流程进行周密、细致的分析;对脚本的反复测试和验证，对风险的充分估计与准备，使得四个场景的演练都获得了成功。而飞康CDP在本次实战演练中再次突出了其帮助用户做到10分钟本地、30分钟异地应用级恢复的超强能力，同时更为难得的是，感应数据一致性、精简技术以及快照技术帮助用户在灾备流程操作简单化、节省灾备通讯成本、压缩存储空间费用等方面大大降低成本。

　　CDP --未来金融行业灾备建设的大势所趋？

　　随着CDP技术日渐成熟与可行，以及市场日渐完善，CDP未来在金融行业，特别是中小金融机构的集中灾备会成为大势所趋。CDP的快速恢复、零数据丢失等特性非常符合金融行业的容灾需求;而不用锁定硬件，则为中小金融机构节省了大量的开支。

　　比如飞康的CDP技术，数据在写入存储时，同时写入CDP设备，CDP设备的日志将记录所有数据的变化，通过日志来跟踪数据的改变，可以根据变化恢复到任何时刻的数据状态。同时，可以利用快照记录特定时间点数据。恢复时，快照可以到某一特定时间点(小时、分钟)的数据，而录像回滚技术则能帮助用户实现秒级的数据恢复;从而真正实现零数据丢失。

　　鞍山市商业银行科技部部长高旭表示：“飞康CDP技术很多特点都比较适合金融行业对灾备建设的苛刻需求。四大行那种容灾模式是城商行所不能承受的，无论是在成本还是人员上。CDP技术为城商行的灾备建设提供了另外一条捷径!”

　　后记

　　鞍山市商业银行在完成异地灾备中心的建设之后，将加快同城灾备中心的建设，鞍山市商业银行科技部部长高旭认为城商行应该尽快有自己的同城灾备中心，而且建设思路也可以是多方面的，不一定非要按照传统四大行的模式来，比如说同城灾备网点可以有选择性的，选择重要的网点做灾备可以尽可能的维持业务的同时，降低成本投入。

　　鞍山市商业银行为自己走出了一条富有特色的灾备建设之路，高旭这个搞金融业务出身的科技部长对IT技术并不精通，但是他能够具体结合金融业务与灾备建设之间的关系，充分合理利用资金投入和选择优秀技术，逐步完善鞍山市商业银行的灾备工作，从而为鞍山市商业银行的“生存”与“发展”提供有力保障!