微软超融合+混合云:源自Azure技术的超融合架构

2024-05-31 20:48

本文主要是介绍微软超融合+混合云:源自Azure技术的超融合架构,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

---------------------------------------------------------------------------------------------------------

2021年5月更新:

Azure Stack HCI 2021年5月10日正式落地Azure世纪互联,中国Azure的用户可以更简单的在本地的数据中心建立微软混合云,请阅读我近期更新的三篇的文章:

四年后看微软第二代超融合系统_SDDC 技术前沿-CSDN博客      

微软超融合进化: Azure Stack HCI集成系统为何成为最佳选择?_SDDC 技术前沿-CSDN博客

微软混合云Azure Stack HCI正式在华商用_SDDC 技术前沿-CSDN博客

 ---------------------------------------------------------------------------------------------------------   

    微软Azure上市以来一直受到业界的瞩目,除技术一直稳居Gartner魔力象限领导者外,同时营收业绩骄人,年增长率基本在100%以上。微软的云战略虽然一直是这几年重心,但是他并没有放弃私有云市场,而是利用Azure上成功的技术帮助企业进行数据中心转型(Transform the Datacenter)。

 

超融合的核心是软件定义数据中心

       超融合基础架构称为Hyper-ConvergedInfrastructure(HCI),是在融合架构发展之后新兴的软件定义数据中心基础架构。超融合将计算和存储节点融合在一起,利用最新的闪存技术和网络技术,构建低延迟高IOPS的软件定义存储,以及更加高效的计算集群。超融合架构更加灵活,资源可以随意缩放,部署和管理更加简单和统一。正因如此,超融合基础架构更加接近公有云的技术架构,如微软就将Azure最新软件定义存储(SDS),软件定义网络技术(SDN)融入到微软超融合架构中,同时与Azure公有云一样,能够支持多种计算业务场景,如:Windows或Linux的虚拟机或容器。

      超融合基础架构从2016年起快速发展,一是软件定义数据中心技术不断成熟,二是客户混合云需求越来越突显,三是新的硬件技术快速发展。

 

       微软超融合具备与Azure一样的基础架构,比如WindowsServer 2016数据中心版集成的软件定义数据中心所有组件,技术源于微软Azure。微软刚刚发布的Azure Stack也采用Windows Server 2016数据中心版的超融合基础架构。这种软件定义数据中心最终目标是将计算、网络、存储、虚拟化,以及硬件资源紧密融合在一起,搭建更简单,缩放性更强的计算环境。

       根据第三方机构数据显示注1:74%企业相信混合云环境能够支撑业务增长;82%企业已经有了混合云战略。Gartner在2016年初预计,超融合系统当年的增长率为79%,市场规模将从(2016年的)近20亿美元增长到2019年的约50亿美元,在融合系统市场占比达24%,并在2020年成为数据中心的主流。微软在发展公有云Azure同时,一直致力于企业混合云市场的发展。微软在2014年11月发布了第一代的混合云平台产品Cloud Platform System,产品基于Windows Server 2012 R2, System Center 2012 R2和Windows Azure Pack构建,集成流程和自动化管理,用户可获得与Azure一样的简单使用体验,支持备份到Azure,通过Azure Site Recover实现快速灾难恢复,并集成防病毒安全防护软件等。在2016年10月,产品更新为Windows Server 2016平台和Azure Pack 2.0,并且支持屏蔽的虚拟机等新的安全技术。同时在2017年9月发布Azure Stack,将Azure服务核心私有化的产品,与Azure公有云共享代码,API和管理门户。超融合基础架构整合混合云管理软件是更具灵活性、更高效的IT基础架构。

 

       数据中心在从10GbE向25GbE快速演进。10GbE网卡技术成熟,在虚拟化推动下,万兆网卡和万兆交换机基本是虚拟化数据中心的标配,同时RDMA技术应用场景越来越多,大大提升了虚拟机迁移的效率,降低软件定义存储的延迟。25GbE网卡在2016年上市,2017年许多硬件厂家已经在新发布的服务器上支持了25GbE网卡,支持VXLAN和NVGRE硬件卸载,和RDMA(RoCE, iWARP)技术。同时25G接入交换机在2017年大量上市,比如支持Open Networking,DCB和100GbE上行等,提高超融合集群东西向带宽。

      存储技术飞速发展,传统SAS机械磁盘技术在性能上已成瓶颈,而TLC 3DNAND技术的发展已经让SSD的每GB成本非常接近与HDD。IOPS一直是衡量存储性能重要数据,比如IntelP3700:随机读取(100% Span) 450,000 IOPS,随机写入(100%Span) 175,000 IOPS注2。与此同时应用对于存储延迟要求越来越高,NAND固态盘延迟降低到100微秒,而NVMe将这一数值进一步降低到10微秒。

 

       微软S2D软件定义存储技术将10GbE/25GbERDMA网络技术和SSD/NVMe/NVDIMM存储技术高效的结合,构建了高性能低延迟的本地存储,同时有通过软件技术实现数据容错。超融合架构让存储和计算靠的更近,让计算的效率大幅提升。由于架构简单,不需要专用的存储网络,还能降低存储的购买成本。超融合不但未客户节约了成本,降低了运维的难度,还为客户轻松上云做好了准备。

 

如何借助软件定义数据中心提升效率?

       随着数据中心的规模越来越大,网络越来越复杂,存储容量日益增加,应用可用性要求越来越高,无论是云服务器提供商还是企业用户,对软件定义数据中心(SDDC)的青睐日益明显。微软在某些新技术领域属于倡导者,大家可能并不熟悉,最早的并被广泛认可的SDN组织ONF(Open Networking Foundation)就是由微软、谷歌和Facebook联合发起的(ONF用于定义SDN标准和推动SDN的产业化)。微软在SDDC概念被提出来之前,便提出了数据中心转型(Transform the Datacenter)的构想。数据中心转型和SDDC的目标和技术实现如出一辙,微软长期实践着数据中心转型的目标。截止到2017年微软Azure全球44个数据中心,数据中心数量已经超过AWS和Google的总和。百万级的服务器数量,提供IaaS、PaaS和SaaS的各类服务,庞大的数据中心“硬朗”的外表里通过云平台架构植入了这颗“微软的芯”。数据中心设计理念和思路在不断更新迭代,所使用的软件技术也不断推陈出新。微软不仅在Azure实践着数据中心转型的目标,还将最新的技术带给客户,帮助客户实现自有数据中心向混合云的转型升级。

       20年磨一剑,WindowsServer锻造出了很好的数据中心基因,尤其在基础架构层面的影响力,活动目录,文件服务器,组策略等等,以及WindowsServer所支持的庞大用户群的Exchange、Skype forbusiness和SQL Server ……总之,在x86市场占有绝对优势的Windows Server一直默默耕耘,紧跟技术发展趋势,WindowsServer 2008实现了软件定义计算(Hyper-V服务器虚拟化)的从0到1,Windows Server 2012实现了SDS和SDN的从无到有,WindowsServer 2016实现了容器技术以及SDDC的技术全面升级。在详细了解微软软件定义数据中心之前,我们先来简单回顾在微软SDDC三个核心技术:软件定义计算SDC,软件定义存储SDS和软件定义网络SDN的技术发展历程。

 

       微软Hyper-V不断发力,从Hyper-V1.0发展到Hyper-V3.0,依靠成熟的功能和完善的技术获得了不错的反响。WindowsServer 2008刚发布就备受关注,一举进入Gartner服务器虚拟化高等级象限,充分被分析师和市场所看好。在WindowsServer 2008 R2发布不久便一个健步越到了虚拟化魔力图第一象限,在之后几年时间里不断提高市场占有率,其功能不断完善和成熟。2015到2016年,Windows Server服务器虚拟化凭着不俗的表现稳稳占据着Gartner魔力象限的第一象限,并且不断向第一象限更具挑战性的位置攀升。

       在2016年秋季发布的Gartner魔力象限里微软服务器虚拟化和VMWare的距离进一步缩小。

      云技术的快速发展冲击的传统存储领域,以太网技术和存储介质的发展推动了软件定义存储技术进入快车道。2012年,Windows Server 2012引入存储空间技术,正式涉足软件定义的存储领域,支持横向扩展文件系统,以及最新的SMB3.0和SMB Direct(支持RDMA网卡),支持重复数据删除技术等。第二代的SDS增强了存储层技术,实现冷热数据自动分层,并支持双重奇偶校验的容错技术。第三代也就是在Windows Server 2016数据中心版集成的功能S2D(Storage Space Direct),真正实现计算和存储的超融合,并且支持多种新存储介质:NVMe和NVDIMM。随着Windows Server 2016的更新,S2D的功能将不断增强。

       Windows Server除了正在不断扩展网络能力,为了完善服务器虚拟化还在和网络硬件厂家就某些技术点展开深度合作,SR-IOV,VMQ,vRSS,IPSec任务卸载、QoS等虚拟化网络加速技术正逐渐集成在服务器虚拟化里。微软在WindowsServer 2012上第一次开始了SDN技术的尝试,并联合Intel、戴尔、Broadcom和Emulex等公司共同开发了NVGREOverlay隧道封装协议,结合RRAS网关技术和硬件网关技术实现了较为完整的SDN服务。Windows Server 2016 SDN使用了使用更为广泛的Overlay隧道协议——VXLAN,并同时新增了NFV投资。

 

微软SDDC如何降低您的运维成本和复杂度?

       微软软件定义数据中心,底层为经过认证和测试的标准化服务器和网络硬件,通过统一管理的平台将网络、计算和存储以软件定义方式实现传统数据中心的所有功能,这一切技术源于微软Azure。(如下图)

 

1.   增强工作负载移动性,改善网络安全性

       传统的网络基础架构是死板且复杂的,管理员需要花费大量时间以部署需要对网络进行某些改动的工作负载,并且这一过程非常容易出错。通过采用软件定义的网络(SDN)模型进行部署和管理,组织可以实现更快速的缩放并提高敏捷度。使用SDN模型后,每个工作负载和租户将被部署至一个相互重叠的网络中,通过虚拟化的服务满足工作负载的需求,例如交换、路由、负载均衡、防火墙,以及其他边缘服务。因此IT将可以在无须更改物理网络基础架构的前提下,在本地、Azure云,以及服务供应商的云中实现自动化的工作负载部署。SDN还有助于保护防范网络攻击。IT可以根据威胁向量的不断变化,动态调整工作负载保护措施,并进行更精确的建模,快速更改网络划分和所实施的安全策略。

2.   降低存储成本

       在一个高度虚拟化的环境中,底层存储系统会影响到整个环境的整体性能。传统手工方式配置的存储系统,专用复杂的存储网络,无法符合软件定义数据中心高度灵活的架构。WindowsServer 2016数据中心版中新增的软件定义的存储功能,例如存储空间直通(Storage SpaceDirect,及S2D)、存储复制、存储QoS、存储分层、高速缓存以及数据去重等技术,利用多节点实现数据容错,可通过策略和自动化机制提升数据中心运维效率,降低存储系统的管理成本。

3.   可信的安全平台

       网络罪犯愈加专业,会通过各种精巧的策略入侵您的数据中心,获取关键的业务数据。使用来自不同供应商的多个工具配置解决方案,这种做法只能造成不必要的安全负担。在Windows Server 2016数据中心版中,虚拟化平台内建的安全技术可保护虚拟化计算平台最基础的构建块:虚拟机。屏蔽的虚拟机是域控制器、证书服务器等关键业务系统的理想选择。这些虚拟机只能运行在指定的硬件上,就算虚拟机无意外泄或被恶意管理员盗取,其中的数据依然处于加密状态。凭据防护、设备防护等其他功能也可以保护虚拟机中存储的凭据,阻止恶意程序的运行。

      IT 部门需要努力确保黑客无法进入企业网络。WindowsServer 2016内建了新增的网络功能虚拟化防火墙,可以帮助组织将防火墙与软件定义的网络环境全面集成,并将防火墙自身设置的自动化和编排纳入计算环境的变更中,借此提升安全性和运维效率。

4.   丰富的基础架构管理解决方案。

       针对不同运维模式,Microsoft提供了种类丰富的基础架构管理解决方案。除了WindowsServer提供的用于自动化管理的PowerShell工具,微软还有由来已久的成熟方案SystemCenter。SCVMM除了可以对SDS和SDN进行部署和管理,除此以外,System Center还提供了监控、自动化编排、备份和服务管理等组件。同时Windows Azure Pack能帮助用户构建如Azure一样的管理员门户和用户自服务门户,让用户获得和在使用Azure一样的使用体验(如下图)。

 

5.   模块化的硬件设备

      采用经过S2D方案测试认证的工业标准X86服务器和高性能机柜接入交换机,可以像拼乐高积木一样按需堆叠,灵活缩放。服务器支持Intel最新Scalable Silver/Gold/Platinum处理器,较上一代产品可以提升50%以上虚拟机密度。服务器存储针对软件定义存储设计优化结构,能有效提升单节点存储容量,并可以支持不同类型闪存和磁盘。网卡采用支持NVGRE硬件卸载和RDMA(RoCE, iWARP)10GbE或25GbE。配置TPM2.0可启用Windows Server 2016数据中心版的屏蔽的虚拟机功能。配置服务器远程管理卡,可以将硬件生命周期管理套件集成在SystemCenter中,实现软件和硬件统一管理。

 

业界第一款基于微软超融合就绪一体机产品:S2D Ready Nodes

       S2D就绪节点一体机(Dell Microsoft S2D Ready Nodes)采用微软超融合技术,整套方案硬件+软件+服务一体化,适合中小企业基于Hyper-V服务器虚拟化和容器(Windows或Linux),以及VDI解决方案和各类微软应用如:SQL Server、Exchange等。产品可以从2节点起配,最大扩展到16节点,支持虚拟机规模从120个虚拟机最大到1000个虚拟机规模,可靠性高:可以最多允许2个节点离线,灵活度高:可以2-16个节点随意增减节点。S2D ReadyNodes所有硬件配置经过验证和测试,保证最佳兼容性和可靠性;工厂预装正版Windows Server 2016数据中心版,减少人工部署时间,驱动和系统可靠性经过Dell测试和认证;无需再购买Windows Server虚拟机授权。

更新:关于超融合基础架构的选择,请参考最新文章《微软超融合进化: Azure Stack HCI集成系统为何成为最佳选择?_SDDC 技术前沿-CSDN博客》

 

有人会问,谈这么多技术架构,实际性能怎么样?我们来看一组微软的4节点25GbE网卡测试数据,全闪存配置(NVMe+SSD,NVMe只做写缓存)

硬件配置:

  • DellEMC PowerEdge R730XD
  • 2x Intel® Xeon® E5-2697v4 (18 cores @ 2.3 GHz)
  • 128GiB DDR4 DRAM
  • 4x 800GB Dell Express Flash NVMe SM1715
  • 8x 800GB Toshiba PX04SHB080 SSD
  • Cavium FastLinQ® QL41262H 25GbE Adapter (2-Port)

       使用VMFleet测试IOPS,每个VM运行DISKSPD,4KB IO 90% read and 10% write 不同队列深度数据:117万 IOPS

 

 

数据来源:https://blogs.technet.microsoft.com/filecab/2017/09/21/storage-spaces-direct-with-cavium-fastlinq-41000/

 

如果节点增加,性能也同时线性增加:16个节点共704个VMs

硬件配置:

  • 2x Xeon E5-2699v4 2.3Ghz (22c44t)
  • 128GB DRAM
  • 4x 800GB Intel P3700 NVMe (PCIe 3.0 x4)
  • 1x LSI 9300 8i
  • 20x 1.2TB Intel S3610 SATA SSD
  • 1x Chelsio 40GbE iWARP T580-CR (Dual Port 40Gb PCIe 3.0 x8)

4KB随机读(32 OIO),IOPS达到了约500万!!!

 

 

 数据来源:https://blogs.technet.microsoft.com/filecab/2016/07/26/storage-iops-update-with-storage-spaces-direct/

 

 

简单易用、高可靠性的超融合架构

       微软全新的超融合架构,通过S2D软件定义存储技术,提供高性能、低延迟、简单易管理的软件定义存储。同时结合微软先进的Hyper-V虚拟化技术和网络控制器SDN技术,为用户构建灵活的超融合架构。特别适用于Hyper-V虚拟化,VDI,SQL Server等业务场景使用。

 

下一篇为大家带来S2D技术深入讲解。

 

 

注1:数据来源: 1. Avanade, Global Study:Hybrid Cloud–From Hype to Reality (Dec 2014); 2.RightScale State of the Cloud Report, 2015

注2:数据来源https://ark.intel.com/products/79620/Intel-SSD-DC-P3700-Series-2_0TB-12-Height-PCIe-3_0-20nm-MLC

 

 

 

作者介绍:

 

高毅 Jason Gao Email:Jason.gao@qq.com 微信号:XMGAOYI

IT行业12年技术和培训相关工作经验,曾在Dell等公司任职,目前为微软OEM产品技术专家。丰富的项目管理和数据中心方案构架经验,熟悉数据中心硬件架构,以及SDDC解决方案。

这篇关于微软超融合+混合云:源自Azure技术的超融合架构的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1019007

相关文章

乐鑫 Matter 技术体验日|快速落地 Matter 产品,引领智能家居生态新发展

随着 Matter 协议的推广和普及,智能家居行业正迎来新的发展机遇,众多厂商纷纷投身于 Matter 产品的研发与验证。然而,开发者普遍面临技术门槛高、认证流程繁琐、生产管理复杂等诸多挑战。  乐鑫信息科技 (688018.SH) 凭借深厚的研发实力与行业洞察力,推出了全面的 Matter 解决方案,包含基于乐鑫 SoC 的 Matter 硬件平台、基于开源 ESP-Matter SDK 的一

一份LLM资源清单围观技术大佬的日常;手把手教你在美国搭建「百万卡」AI数据中心;为啥大模型做不好简单的数学计算? | ShowMeAI日报

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦! 1. 为啥大模型做不好简单的数学计算?从大模型高考数学成绩不及格说起 司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o),组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试,然后由经验丰富的判卷老师评判得分。 结果如上图所

持久层 技术选型如何决策?JPA,Hibernate,ibatis(mybatis)

转自:http://t.51jdy.cn/thread-259-1-1.html 持久层 是一个项目 后台 最重要的部分。他直接 决定了 数据读写的性能,业务编写的复杂度,数据结构(对象结构)等问题。 因此 架构师在考虑 使用那个持久层框架的时候 要考虑清楚。 选择的 标准: 1,项目的场景。 2,团队的技能掌握情况。 3,开发周期(开发效率)。 传统的 业务系统,通常业

通信系统网络架构_2.广域网网络架构

1.概述          通俗来讲,广域网是将分布于相比局域网络更广区域的计算机设备联接起来的网络。广域网由通信子网于资源子网组成。通信子网可以利用公用分组交换网、卫星通信网和无线分组交换网构建,将分布在不同地区的局域网或计算机系统互连起来,实现资源子网的共享。 2.网络组成          广域网属于多级网络,通常由骨干网、分布网、接入网组成。在网络规模较小时,可仅由骨干网和接入网组成

亮相WOT全球技术创新大会,揭秘火山引擎边缘容器技术在泛CDN场景的应用与实践

2024年6月21日-22日,51CTO“WOT全球技术创新大会2024”在北京举办。火山引擎边缘计算架构师李志明受邀参与,以“边缘容器技术在泛CDN场景的应用和实践”为主题,与多位行业资深专家,共同探讨泛CDN行业技术架构以及云原生与边缘计算的发展和展望。 火山引擎边缘计算架构师李志明表示:为更好地解决传统泛CDN类业务运行中的问题,火山引擎边缘容器团队参考行业做法,结合实践经验,打造火山

AI赋能天气:微软研究院发布首个大规模大气基础模型Aurora

编者按:气候变化日益加剧,高温、洪水、干旱,频率和强度不断增加的全球极端天气给整个人类社会都带来了难以估计的影响。这给现有的天气预测模型提出了更高的要求——这些模型要更准确地预测极端天气变化,为政府、企业和公众提供更可靠的信息,以便做出及时的准备和响应。为了应对这一挑战,微软研究院开发了首个大规模大气基础模型 Aurora,其超高的预测准确率、效率及计算速度,实现了目前最先进天气预测系统性能的显著

响应式架构

介绍 响应式架构(Reactive Architecture)是一种面向服务和事件的系统设计方法,旨在提高系统的可扩展性、弹性和容错能力。它适用于构建分布式系统,特别是在云环境和微服务架构中。响应式架构的核心理念是通过事件驱动和数据流来实现各个组件之间的解耦,从而提高整个系统的响应能力和可靠性。 响应式架构的主要特点包括: 响应性:系统能够快速响应外部事件和内部变化,确保在各种负载和故障情

(1995-2022年) 全国各省份-技术交易活跃度

技术交易活跃度是一个关键指标,用于衡量技术市场的交易频繁程度和活跃性。它不仅显示了市场参与者对技术交易的参与热情,而且交易的频率也体现了市场的活力。这一指标对于不同的利益相关者具有不同的意义: 对投资者而言,技术交易活跃度是把握市场趋势、评估交易策略和预测市场波动的重要工具。对企业来说,技术交易活跃度反映了其技术创新的活跃程度和市场竞争的激烈程度,有助于企业制定技术创新和市场竞争策略。对政策制定

【Unity Shader】Alpha Blend(Alpha混合)的概念及其使用示例

在Unity和图形编程中,Alpha Blend(也称为Alpha混合)是一种用于处理像素透明度的技术。它允许像素与背景像素融合,从而实现透明或半透明的效果。Alpha Blend在渲染具有透明度的物体(如窗户、玻璃、水、雾等)时非常重要。 Alpha Blend的概念: Alpha值:Alpha值是一个介于0(完全透明)和1(完全不透明)的数值,用于表示像素的透明度。混合模式:Alpha B

大型网站架构演化(六)——使用反向代理和CDN加速网站响应

随着网站业务不断发展,用户规模越来越大,由于中国复杂的网络环境,不同地区的用户访问网站时,速度差别也极大。有研究表明,网站访问延迟和用户流失率正相关,网站访问越慢,用户越容易失去耐心而离开。为了提供更好的用户体验,留住用户,网站需要加速网站访问速度。      主要手段:使用CDN和反向代理。如图。     使用CDN和反向代理的目的都是尽早返回数据给用户,一方面加快用户访问速