【案例】英大财险数据整合的背后

2024-03-15 04:10

本文主要是介绍【案例】英大财险数据整合的背后,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

随着IT信息化大潮的不断发展,企业的信息化发展经历了逐步发展、逐渐成熟的过程。但后期都会一个这样的现状——随着业务的增多、系统的增多,在管理上的难度上也大大增加;从另一方面,数据的孤岛效应也越发的明显。越来越多的用户都希望能将计算资源、存储资源和数据库资源都能集中统一的进行管理,资源“池化”也成了信息化发展的一个新的理念和需求。

在国内,保险行业发展尤其迅速,各类信息化系统不断推陈出新,系统规模越来越庞杂,日常的IT系统运维开销越来越大,运营压力也在不断增大。在保险行业的先行者英大财险意识到自身如果不做出调整,在今后肯定会大大限制自身的发展规模。所以,英大财险提出,需要将自身的IT架构逐渐统一化、集中化,让各系统不再独立,而是集中统一进行运维管理。这将极大的提升软硬件的运营效率,降低运维压力。

通过对资源的统一管理和集中利用可以:

  • 节省投资,减少重复的资源投入,提高资源利用率;

  • 避免各业务系统成为一个个的烟囱式的信息孤岛,降低了建设成本、运维成本和维护压力;

  • 集中统一管理能够在整体上统筹业务系统的部署和发展。

对于这次成功的数据整合项目,我们有幸邀请到了英大财险信息技术部总经理助理朱建华和信息技术部运行维护处运维经理胡少华,让他们来讲述一下项目背后的故事。

整合的方案


“英大财险现有Oracle数据库将近30套,主要运行于两个平台和3种操作系统之上;数据库版本基本上为Oracle 10g,也有9i的版本,小版本则各有不同;各库的用户总数将近100个(不包括系统用户)。"朱总说。

"根据目前英大财险的业务系统情况和项目预期,要将所有数据库变成3套RAC数据库,这3套RAC的所有节点将共同承担外部业务访问,同时通过将不同的数据库进行适当schema模式合并,集中把库构建在新的Oracle RAC架构下,消除目前存在的单点故障现象,并增强了系统的安全性和延续性。"

由于涉及到的业务系统有数十个之多,整合起来无疑有很大难度,因此必须从多方面考虑,精心准备:

  • 安全

多个业务系统的数据集中存放在同一套物理库中,数据的安全防范必须考虑。因此,细化权限管理,减少不必要的高级别角色、权限的授予,考虑适当使用专用登陆用户(不包含对象的用户)等方法,都是减少数据访问风险的重要手段。

  • 性能

多套系统运行在一套物理库中,是否相互会产生性能影响,会在哪些资源上产生竞争,这些都应该在整合的生产系统上线前进行分析和处理。简单说,根据业务情况预估充足的硬件资源、充分全面的多业务性能测试和优化,是确保性能良好的关键。

  • 稳定

复杂的业务需求意味着对系统稳定性要求更高,结合业务特性对数据库的架构、配置、软硬件特性进行规划设计,而不是简单的参照文档安装。这对于提升业务系统的健壮性和稳定性有很大的帮助。

  • 资源需求

集中系统的数据量和并发量都将成倍增加,硬件资源必须满足需求,因此硬件配置选型应结合业务峰值需求和业务增长特性进行评估,硬件的估算应具备足够的前瞻性,满足整合后多业务增长的需求。

  • 维护影响

多套系统运行在同一个物理库上,数据库的一次重启将造成所有系统的影响,因此,在选择整合系统时必须考虑哪些系统更适合整合在一起,同时在规划数据库配置时,也应考虑尽量将各种维护需求和维护任务能够在线执行,确保维护操作对各系统带来的大影响。

7e5a80f87ab6196e03081ac39b638cfb.png

整合后的基本框架

整合前后的性能对比


英大财险运行维护处运维胡经理是本次迁移升级项目的现场指挥,据他介绍,将不同的数据库以schema的方式进行适当合并,通过对于整体统一化管理,可以大大提高硬件资源利用率,同时也增加了对数据库系统的可管理性和可维护性。

Oracle RAC技术可消除目前存在的单点故障现象。原先,每套数据库都运行在一个独立主机上面,如一个节点发生故障宕机,那这个业务系统将会受到很大影响。现在即便有一个节点发生了故障,那么通过RAC技术,另一个节点能快速的接管所有故障节点的连接,并继续对外提供服务,这对于增强系统的安全性和连续性具有很好的帮助作用。

相对于原来的资源利用率上面,一个主机上只运行一个数据库,尤其是对于那些数据库压力不大的业务系统,会导致主机资源的严重浪费。现以新旧的硬件组合的方式来共同组成新的集群环境,能大大利用其硬件资源空间,减少对资源的闲置状态,同时也能共同面对对未来的数据增长带来的压力。

负责本次迁移升级项目的云和恩墨公司项目经理罗晓程展示了两幅性能图表,他说,“每个新的RAC集群会有三个节点来承担所有的业务压力,硬件是以性能较好的IBM X3850或HP DL580 G7(也和旧机器混合使用)组成”。

下面展示了两幅性能图表:其中DB Time技术指标是衡量业务系统中在数据库层面上花费了多少时间,也能反映出数据库的繁忙以及负载程度。当然,在同等业务负载的情况下,DB Time越低则意味着数据负载相比较原来小。从迁移前后两幅图标的对比可以看出,迁移前DB Time的平均使用为10-15小时左右,而迁移后降为平均1小时左右,也就意味着承载负载数据库服务压力的效率提升大约10倍左右。整合后的集群数据库负载预计如下:(以其中一套RAC-DB2为例进行说明,其他两个负载都类似,都接近当前总负载的1/3,不再一一列举)

fe186d234bc25d5586d4899d49e233bf.png

整合前的DB TIME趋势图

1a244460cb42693bd1c213b42d16125e.png

整合后的(RAC DB-2)DB TIME趋势图

企业为什么要重视数据整合?


在如此复杂的环境下,企业为什么要关注数据整合,更确切来说,是重视自身的发展需求。无论是在获取新客户,保留现有客户还是提升自身生产率,这都是与企业的业务增长和营收绩效息息相关的。重视自身发展需求的企业,都是很具有很高忧患意识的企业,这对于企业的发展壮大来说,都是必不可少的要素。

云和恩墨对于这次成功实施了英大财险这套数据整合方案表示,我们帮助客户做数据整合的目标并不仅是简单地满足客户的需求,而是会思考着怎样才能为客户创造出利润,这是我们长久发展的立足需求点。

我们应以小及大的看到问题本质:企业要重视自己的发展需求,并能真实的落地项目,企业才会走的更远。


11b70080ed377c48288820087ec012ca.png

云和恩墨

国内数据服务行业领导者

整合·优化·咨询

联系我们

电话:010-59003186-8019

邮件:marketing@enmotech.com


配图来源于网络,想了解更多云和恩墨成功案例,请点击阅读原文。

这篇关于【案例】英大财险数据整合的背后的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/810748

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi