借力虚拟化技术 电信企业冲破数据藩篱

2024-03-21 01:40

本文主要是介绍借力虚拟化技术 电信企业冲破数据藩篱,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

虚拟化散发诱人的芬芳已经有几个年头了,但对于电信运营商来说,对虚拟化这个螃蟹还基本是浅尝辄止。目前吃螃蟹胆子比较大的主要是一些中小企业。这些企业的的数据中心规模中等,是虚拟化的主要客户。这样的虚拟化客户在过去一年内增长很快。虚拟化提高了这些企业的设备运行效率,便于管理,减少了IT运维支出的特性。另一方面,根据第三方的数据统计和测算,如果虚拟化技术达到最好的节能效果,在机房内运维成本和管理成本最大能减少80%。这就是虚拟化在绿色IT中的应用。

精髓在于利用

虚拟化之所以有此功效,还是在于虚拟化能够对资源进行有效利用,这是虚拟化的精髓所在。它能够对资源进行切割和整合。随着技术的不断进步,虚拟化对主机的资源切割粒度甚至能达到“核”级,可以预见,在不久的将来,虚拟化对资源切割的精巧甚至可以达到手术刀的水平。在资源整合方面,虚拟化能够冲破厂家的藩篱、突破品牌型号的界限、实现异构平台的融合。

3G的上马,除了给消费者带来各种实用、新颖的业务,同时更是给企业带来巨大但不可预期的市场。虚拟化技术是企业盈利利器之一。3G发牌后,数据中心的网络资源管理、计费营账、经营分析和容灾备份支撑需求将进一步提升,面临新一轮升级与扩建。同时,除全业务产品线的融合外,各类增值业务的开发也将是运营商转型重要的一环。由于产品不断增多以及用户数量的不断扩张,各类增值业务的运营支撑也将对现有数据中心产生更大压力。虚拟化技术的应用,将解决这个问题。虚拟化技术将有效地提高服务器的利用率,降低硬件购置的成本,有效地节约数据中心能耗,缩小数据中心占用的空间,提高维护人员的工作效率,加快新应用的部署。

虚拟化,解决运营商采购痼疾的利器

对于系统的升级和扩容,在商务方面运营商面临非常棘手的问题。很多从事过设备采购的人员都有这样的经历:在系统准备上线进行第一次采购时,运营商处于商务上优势地位,各设备供货商往往会展开一番血腥的价格厮杀,运营商这时可以坐收渔人之利。而一旦系统上线,随着业务的不断扩展,系统压力增加,需要对设备升级、扩容时,则价格的主动权转到了供货商手里,运营商优势地位不再。以某省公司一个BOSS系统为例,原来配置256GB内存的某品牌主机总价为200来万,后来扩容需要增加内存256G,厂家给出的价格是1GB内存1万,总共要256万,仅仅扩充的内存价格竟然高过原先的整个系统!最后省公司高层领导亲自出马,厂家总算动了“恻隐之心”,将价格降到100多万,但这个价格仍然不可思议。而虚拟化的应用,为运营商解决这个采购痼疾带来了利器。这里跟大家分享两个案例。

1.使用虚拟化进行远程容灾

由于业务的不断增长,某省公司的IPOS系统需要建设一个异地容灾系统。灾备主要包括两个方面,数据复制和应用切换。限于主客观原因,许多低层次的灾备并没有应用切换,只是数据复制。因此,数据复制是灾备的基础乃至灾备的全部。IPOS的容灾是较高层次的同步镜像容灾,这种容灾如果用传统的方案实现,需要在生产端的盘阵和容灾端的盘阵之间建立同步镜像关系。当生产端主机对生产端盘阵进行写操作时,生产端的盘阵同时把得到的数据复制到容灾端的盘阵。要求生产端的盘阵和容灾端的盘阵必须是同厂家的设备,甚至是同一型号的设备。其实,即使不是做同步镜像,做异步镜像或者通过盘阵进行数据复制,都必须要求生产端和容灾端的盘阵是同构的。IPOS以前使用的是A厂家的磁盘阵列,因此,如果使用传统的容灾方案,容灾中心也必须使用A厂家的盘阵。传统的容灾解决方案如图1所示。

1937091.jpg 
图1  传统容灾解决方案

当初IPOS上线前,A厂家凭借雄厚财力,半卖半送,如愿使得IOPS系统跑在了自己的盘阵上。当IPOS建立灾备中心需要再购买A厂家盘阵时,谙熟这“一般情况”的A厂家开出了天价。但是,虚拟化这一利器的出现,使得情况不再“一般”。该省公司购买了价格低很多的B厂家盘阵,使用StorageFoundation。其实现方案如图2所示。

1937093.jpg

图2  主机端虚拟化的容灾解决方案

 

在生产端的主机和容灾端的主机安装StorageFoundation,这样就在A厂家的盘阵A和B厂家的盘阵B之上建立了虚拟层,在主机看来,这两个盘阵是同样的盘阵。StorageFoundation可以同时对生产端的盘阵和容灾端的盘阵进行同步写操作,这样就实现了两端数据的同步镜像。由于B厂家一心要进入IPOS系统,所以开出的价格比A厂家要远远优惠。这样,虚拟化就使得IPOS以低得多的成本建立了容灾中心。

2.使用虚拟化进行数据迁移

由于数据的快速增长,某省公司的长途计费和综合结算系统硬件的数量和体积不断增加,能耗和重量已经逐渐接近机房的极限,需要进行硬件设备搬迁更换机房。硬件设备搬迁前,需要先进行数据迁移,这是搬迁中最主要最危险的环节。为了保证业务的连续性,数据迁移时不能停机中断业务,这更增加了数据迁移的危险和难度。解决方案是在需要搬迁进去的新机房部署好盘阵,然后将现在生产系统的数据复制到新机房的盘阵。数据复制完成后,在新机房先启动应用,然后才能把原机房的应用停掉,最后进行物理设备的搬迁。

为了最大程度地减少对主机的性能影响,一方面进行数据复制的时间要选在业务比较空闲的时段,更重要的是复制方案要采用存储级的复制,不能占用主机的CPU时间,使得对生产系统的影响仅限于存储操作。存储级的复制是使用盘阵的跨盘柜卷复制功能。跨盘柜的远程卷复制,要求数据源盘阵和目标盘阵必须是同一个厂家的设备。这种解决方案如图3所示。

1937095.jpg
图3  传统的数据迁移解决方案

这又牵涉到和上面第一个案例同样的问题,如果还是购买和原先盘阵同厂家的设备,厂家会开出让人难以承受的高昂价格。但是,历史的经验和教训让数据迁移工程师根本没考虑再使用同厂家的设备,而是借助于虚拟化这一利器,让数据在异构平台之间迁移。这种解决方案如图4所示:

1937097.jpg
图4 使用虚拟化的数据迁移解决方案


这种方案下,先将PSV和主机连接,再断开原机房的盘阵和主机的连接,将原机房盘阵连接到PSV。使用PSV的虚拟化功能,对原机房盘阵进行虚拟化;连接PSV和新机房的盘阵,对新机房的盘阵进行虚拟。这时,由于建立了虚拟层,掩盖了不同厂家设备之间的差异,无论物理上源盘阵和目标盘阵来自哪个厂家,在虚拟层上,数据源盘阵和目标盘阵都会感觉对方是和自己相同的设备,能够进行远程卷拷贝操作,从而使得数据能够透明迁移。PSV可以配置多个光口,相当于SAN交换机,因此通过PSV进行盘阵之间数据复制的速度,在大部分情况下不比盘阵之间直接进行数据复制的速度慢,甚至还超过直接复制。这样,在新机房就不再必须采购A厂家的盘阵,而是可以采购价格低得多的B厂家的盘阵。

虚拟化,发展遭遇瓶颈

虚拟化技术诞生于大型主机,几十年前IBM就在他们的大型主机上使用了逻辑分区,这可以看作当前虚拟化技术的雏形。虚拟化的思想和技术从大型主机向下迁移到UNIX主机,进而再向下迁移到Windows主机;虚拟化的思想又从主机发展到存储,产生了使用于存储的虚拟化技术。对高端设备包括UNIX服务器和存储设备的最佳利用,是虚拟化的重要目的,而高端设备也才是虚拟化的最佳土壤。电信行业的高端IT设备遍布全国的大小机房。如果从技术角度看,对这些设备使用虚拟化技术,可以极大提高设备的利用效率,从整体上提高设备的能力,理论上也可以降低维护成本。电信运营商对于IT新技术的采用,相对于金融、电力等行业来说,尚属比较激进,但不知是不是出于对“虚拟化”这个“虚”字的担忧,对于虚拟化还是以“坐而论道”为主,实际应用方面还是“搜索前进”。既然虚拟化虚拟能带来这么多的好处,而电信应用场景又特别适合虚拟化,那么为什么虚拟化在电信行业的应用还没有上规模呢?原因可能有两个:

1.虚拟化技术本身不够完善

例如,对存储进行虚拟化,有一个重要的方法就是使用称之为虚拟存储网关的设备,在网络层对磁盘阵列进行虚拟化。但引入网关后,相对于高端存储设备,这些网关往往成为整个存储系统可靠性的瓶颈。这还不是最可怕的,当网关出现故障不能正常工作时,如果可以撤下网关,让主机和存储直连也就避免了网关可靠性相对薄弱的问题。最可怕的是,很多网关设备不具备完善的回退功能,网关一旦连上,则无法撤下,因为网关为了对存储进行虚拟化,对存储设备进行了格式转换操作,网关一旦撤下,则主机无法识别原来的存储。这让运维人员面临“骑虎难下”的尴尬。唯一的解决办法似乎就是购置2台同样的网关,当一台出现问题时,用另一台顶上。但目前的存储虚拟网关技术还不能做到A-A和负载均衡,候补网关平时只能闲着。但让一台十几万甚至几十万的设备在那闲着,也是不能容忍的。

2.电信的绝大多数生产系统无法忍受应用中断

现在电信业务数据复杂、系统庞大,牵涉到政府、企业、生产和生活各个方面,一旦中断,可能带来巨大损失,影响极坏。有关决策人员肩负重大责任,一般不会轻易在生产系统应用虚拟化技术。

就中国电信整个集团公司而言,尚没有对虚拟化的规模应用,但电信的IT工程师们是充满激情和创造力的群体,他们无疑是虚拟化“搜索前进”的尖兵。在部分非核心系统或者个别核心系统的非关键部分,制定了虚拟化解决方案,使用了虚拟化技术和虚拟化设备,取得了很大成功。

虚拟化,潜伏着风险

当然,使用虚拟化来降低采购成本,也需要做仔细的考量,要防止虽然打破了主机或存储厂家的价格垄断,却导致了虚拟化设备厂家的垄断,避免刚刚“前门拒虎”,转而就“后门来狼”。如果考虑不周,可能不但不能达到降低成本的目的反而加大成本。

上述第一个案例是使用软件进行存储虚拟化,在这样的方案中要充分考虑虽然消除了盘阵厂家的价格垄断,但会不会导致虚拟软件厂家的价格垄断。这种危险并不低,因为目前市场上能够对存储进行虚拟的软件产品似乎只有一个,厂家处于一家独大的地位。对这个问题,现在似乎还没有很好的结局方案,只能是两害相权择其轻。

上述第二个案例,使用的是高端存储设备的虚拟化功能。这时要特别注意虚拟化设备的回退功能如何。所谓回退,就是拆掉虚拟化设备,恢复主机和原存储设备的直接连接。回退功能完善,就是拆掉虚拟化设备后,主机能够方便地连接到原存储设备,原来盘阵中的数据格式没有发生改变,原来的数据没有丢失,应用可以持续正常运行。如果回退功能完善,就可以最大程度的避免对具体某个虚拟化设备的依赖,从而避免虚拟设备厂家的价格垄断。

虚拟化,任重而道远

虽然,虚拟化在电信行业的应用还是“小荷才露尖尖角”,但随着虚拟化技术的不断成熟,不断地为更多的领导和技术人员所认识,身处3G越来越热的夏季,我们相信“映日荷花别样红”的日子已为时不远。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22954831/viewspace-626050/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/22954831/viewspace-626050/

这篇关于借力虚拟化技术 电信企业冲破数据藩篱的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/831413

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X