好的架构源于不停地衍变,而非设计(确实如此)

2024-02-26 14:18

本文主要是介绍好的架构源于不停地衍变,而非设计(确实如此),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

http://www.csdn.net/article/2015-10-24/2826028


这个不错哦。


对很多创业公司而言,随着业务增长,网站的流量也会经历不同的阶段。从十万流量到一百万流量,再从一百万流量跨越到一千万甚至上亿的流量,网站的架构需要经历哪些变化?在“OneAPM 技术公开课”第一期中,58同城的技术委员会执行主席沈剑对此进行了详细剖析。

以下为演讲整理

本次演讲主要会阐述,58同城从小流量、中等规模流量、大流量,到更大的流量过程中,架构是如何演进的?遇到了哪些问题?以及如何解决这些问题?

好的架构不是设计出来的,而是演进出来的

对很多创业公司而言,很难在初期就预估到流量十倍、百倍以及千倍以后网站架构会是什么样的一个状况。同时,如果系统初期就设计一个千万级并发的流量架构,很难有公司可以支撑这个成本。

因此,这里主要会关注架构的眼花。在每个阶段,找到对应该阶段网站架构所面临的问题,然后在不断解决这些问题,在这个过程中整个架构会一直演进。

在58同城建立之初,站点的流量非常小,可能也就是十万级别,这也就意味着,平均每秒钟也就是几次的访问,此时网站架构的特点是:请求量比较低,数据量比较小,代码量也比较小。这个时候的站点可以被几个工程师轻易搞定,因此根本没什么“架构”可言。

其实这也是很多创业公司初期面临的问题,最开始58同城的站点架构用一个词概括就是“ALL IN ONE”,如下图所示:


就像一个单机系统,所有的东西都部署在一台机器上,包括站点、数据库、文件等等。而工程师每天的核心工作就是CURD,前端传过来一些数据,然后业务逻辑层拼装成一些CURD访问数据库,数据库返回数据,数据拼装成页面,最终返回到浏览器。相信很多创业团队初期都面临一个与之类似的情况,每天写代码,写SQL、接口参数、访问数据等等。

这里需要说明一个问题,大家都知道最初58同城使用的是Windows、iis、SQL-Sever、C#这条路。现在很多创业公司可能就不会这么做。

如果可以重来?那么会选择LAMP

很多创业的同学可能会想,初期什么样的一个架构合适? 如果重来,站在现在这个角度上58会选择LAMP,为什么?首先是无须编译,而且快速发布功能强大,从前端到后端、数据库访问、业务逻辑处理等等全部可以搞定,最重要都是成熟的开源产品,完全免费的。如果使用LAMP搭建一个论坛,两天的时间就足够了。所以,如果在创业初期,就尽量不要再使用Windows。


在这个阶段58同城面临的主要问题是什么?其实就是招人,最初工程师写CURD都容易出错。当时引进了DAO和ORM,从而避免直接面对CURD语句,而是面对工程师比较擅长的是面向对象,能够极大的提高工作效率,降低出错率。

中等规模:流量跨过十万的阶段,数据库成为瓶颈

随着58同城的高速增长,系统很快跨越了十万流量阶段。主要需求是什么?网站能够正常访问,当然速度更快点就好了。而此时系统面临的问题有:在流量峰值期容易宕机,因为大量的请求会压到数据库上,所以数据库成为新的瓶颈,从而,人越多访问越慢。而在这个时候,机器数量也从一台变成了多台,所以很自然的行程了分布式架构,如下图所示:


首先,使用了一些非常常见的技术,一方面是动静分离,动态的页面通过Web-Servre访问,静态的像图片等就单独放到了一些服务器上。另外一点就是读写分离。其实,对58同城或者说绝大部分的站点而言,一般来说都是读多写少。对58同城来说,绝大部分用户是访问信息,只有很少的用户过来发贴。那么如何扩展整个站点架构的读请求呢?常用的是主从同步,读写分离。同时原来只有一个数据库,现在使用多个不同的数据库提供服务,这样的话,就扩展了读写,很快就解决了中等规模下数据访问的问题。

在这个阶段,系统的主要矛盾就是“站点耦合+读写延时”,58同城是如何进行解耦,如何缓解延时呢?

对58同城而言,典型业务场景是主页,发布信息有发布页,信息聚合、标题聚合有列表页,点开一个标题有详细页,而这些站点都是耦合在一个程序中的,或者说耦合在一个站点中的,当一个站点出现问题,整个站点就会因为耦合一起出问题。


第二个问题,大家都知道做数据库读请求和写请求,分布在不同的数据库上,这个时候如果再读取可能读到的是旧数据,因为读写有一个延时。如果有用户发帖子,马上去找的话肯定找不到,很可能带来的后果就是陆续在发布两条信息,这就是一个很大的问题。尤其是在请求量越来越大的时候,这个问题就更加突出。

在解决这些问题时,最先想到的是针对原来站点的核心业务做切分,然后工程师根据自己的站点和业务场景进行细分。首先,业务拆分是58同城最先尝试的优化——将业务垂直拆分成了首页和发布页。另外,在数据库层面,随之也进行了拆分,将大数据量拆分成一个个小的数据量。这样,读写延时就马上得到了缓解。尤其是在代码拆分成了不同的层面之后,站点耦合也得到了缓解,数据加载速度也提升了很多。


当时,还使用了一些技术,前面也提到了对动态资源和静态资源进行拆分。其中,我们对静态资源使用了CDN服务,便于数据缓存和就近访问,访问速度得到很明显的提升。除此之外,还使用了MVC模式,擅长前端的去做展示层,擅长协作逻辑的工程师就做Contorller,擅长数据的人就负责数据,效率就会逐步的提高,最后就是负载均衡技术。

大流量:将整个Windows技术体系转向了Java体系

流量越来越大,当流量超过一千多万时,58同城面临的最大问题就是性能和成本。此前曾提到58同城最初的技术选型是Windows,整个网站的性能变得非常之低。即使进行了业务拆分和一些优化,依然解决不了这个问题,所以当时做了一个非常艰难的决定,就是转型:将整个Windows技术体系转向了Java体系,这涵盖了操作系统、数据库等多个维度。


其实,现在很多大的互联网公司在流量从小到大的过程中都经历过转型,包括京东、淘宝等等。对技术的要求越来越高,任何一个站点都不能挂,对站点的可用性要求也是越来越高。

就在这个时候,58同城业务量也出现一个爆发期。于是招聘了很多工程师,大家一起写越来越多的站点,但是发现效率很低,经常做一些重复性的工作,比如参数解析等等。同时,业务之间相互依赖,无论是分类的子系统还是信息的子系统,二手车业务、房产业务都要访问用户和信息等一些底层数据,代码之间频繁的沟通,效率也不可能很高。

问题随之而来,站点数越来越多,数据量越来越大,机器数从最开始的几台上升到几百台的级别。那么如何提供整个架构的可用性呢?首先,在上层进行了一些改进和优化,再做进一步的垂直拆分,同时引入了Cache,如下图所示:


在架构的改进上,这里构建了一个相对独立的服务层,这个服务层做的每个业务线都会写对应的代码。如果用户发出请求,就由这个服务层统一来管理,所有的上游业务线就像调用本地函数一样,通过IDC的框架来调用这个服务。整个用户登录先访问Cache,如果Cache变动了就直接返回,如果Cache不变动,就会访问数据库,这样把数据库的数据拿到本地再放回Cache,再打回上一轮。如此一来,业务逻辑全部封装在这个服务的上游管理,该业务逻辑只有服务层能够编写代码,然后由这个服务层集中管理、集中优化,这样就提高了效率。


除此之外,为了保证站点的高可用,主要使用了反向代理技术。因为对用户而言,他主要为了使用58同城的服务,不会关注访问是58同城或者有十台首页的服务器。58同城通过反向代理技术,通过DNS群,通过LVS技术,来保证接入层的高可用性,同时还保证了服务层、站点层、数据层的高可用。另外,为了保证高可用还使用了冗余的方法,无论是站点服务和数据服务都可以使用这种方式进行解决,一个站点不可用,就换一个站点,一个数据库不够用,就多加几个。当然,数据冗余也会带来一些副作用,如果数据量更新的话,那就需要将所有的“冗余”都要进行更新。

58同城也做了一个图片存储系统,开始都是存储在操作系统之上,随着新增站点、新增服务,压力就变得越来越大。于是,58同城就自建了站点框架和服务框架,现在这两个框架也已经开源(如何降低站点开发成本?https://github.com/58code/Argo 如何降低服务开发成本? https://github.com/58code/Gaea )只需要修改一些基本的配置就可以使用了。

当架构变成“蜘蛛网”,人肉已很难搞定!

随着用户量、数据量并发量进一步的增长,58同城也拓展了很多的新业务,那么对产品迭代速度要求就非常高,整体的架构对自动化的要求越来越高。


为了支撑业务的发展,技术团队对架构做了进一步的解耦,另外就是引入了配置中心,如果要访问任何一个服务,不会直接在本地的配置中留下一个服务,配置中心告诉这个服务的特点,如果扩展的话,配置中心自动下达消息,如果有机器要下线的话,配置中心会反向通过发邮件的方式进行通知。

而柔性服务是指当流量增加的时候,自动的新增服务。可以看到进一步解耦之后,有垂直业务、无线业务、集成业务等等,这些子系统之间都是通过配置中心相应之间发生关系的。

另一点就是关于数据库,当某一点成为一个业务线重点的时候,就会集中解决这个点的问题。最初期的时候每个业务线都要访问数据库,访问缓存,访问用户数据,于是把代码集中的放到了服务层。现在数据量越来越大,大家都要做数据切分,每个业务线都做切分,这个时候58同城的每个页面都面对这样的痛点,于是把这个痛点拿到集中的层面来解决。

最后一点就是效率矛盾,此时有很多问题,靠“人肉”已经很难进行搞定了。这就需要自动化,包括回归、测试、运维、监控等等都要回归到自动化。

这里需要补充一点,就是在产品层面引入了智能化,比如说智能推荐,主动推荐一些相关的话题;智能广告,通过一些智能的策略,让用户对广告的点击更多,增加对58同城的收录;智能搜索,在搜索的过程中加入一些搜索的策略,可以提高搜索的权重,也可以增加58同城的PV。当然,所有的自动化的产品背后都是由技术在驱动。

未来的挑战

现在,58同城的流量已经突破了10亿量级,那么架构上未来面临哪些挑战呢?一方面是无线化、移动化。另一方面就是需求的变化,必须加快迭代一些东西。如果拥有10亿的流量,却跑在一亿的架构上肯定是不行的。未来,还会使用更多的并行计算、实时计算,如果能做到实时推荐,效果肯定非常好,这也是挑战之一。最后一点,58同城现在的服务器大概在3000台左右,未来将拓展到10000台,这就是运维的挑战了。


总结

最后做一个小的总结,网站在不同的阶段遇到的问题不一样,而解决这些问题使用的技术也不一样,流量小的时候,主要目的是提高开发效率,在早期要引入ORM,DAO这些技术。随着流量变大,使用动静分离、读写分离、主从同步、垂直拆分、CDN、MVC等方式不断地提升网站稳定性。面对更大的流量时,通过垂直拆分、服务化、反向代理、开发框架(站点/服务)等等,不断提升高可用。在面对上亿级的更大流量时,通过中心化、柔性服务、消息总线、自动化(回归,测试,运维,监控)来迎接新的挑战。未来的就是继续实现

移动化,大数据实时计算,平台化……系统架构会一直迭代衍变,就像最初的从零到现在。

这篇关于好的架构源于不停地衍变,而非设计(确实如此)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/749141

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

怎么让1台电脑共享给7人同时流畅设计

在当今的创意设计与数字内容生产领域,图形工作站以其强大的计算能力、专业的图形处理能力和稳定的系统性能,成为了众多设计师、动画师、视频编辑师等创意工作者的必备工具。 设计团队面临资源有限,比如只有一台高性能电脑时,如何高效地让七人同时流畅地进行设计工作,便成为了一个亟待解决的问题。 一、硬件升级与配置 1.高性能处理器(CPU):选择多核、高线程的处理器,例如Intel的至强系列或AMD的Ry

基于51单片机的自动转向修复系统的设计与实现

文章目录 前言资料获取设计介绍功能介绍设计清单具体实现截图参考文献设计获取 前言 💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业的大学生,希望您们都共创辉煌!✌💗 👇🏻 精彩专栏 推荐订阅👇🏻 单片机

系统架构设计师: 信息安全技术

简简单单 Online zuozuo: 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo :本心、输入输出、结果 简简单单 Online zuozuo : 文章目录 系统架构设计师: 信息安全技术前言信息安全的基本要素:信息安全的范围:安全措施的目标:访问控制技术要素:访问控制包括:等保

SprinBoot+Vue网络商城海鲜市场的设计与实现

目录 1 项目介绍2 项目截图3 核心代码3.1 Controller3.2 Service3.3 Dao3.4 application.yml3.5 SpringbootApplication3.5 Vue 4 数据库表设计5 文档参考6 计算机毕设选题推荐7 源码获取 1 项目介绍 博主个人介绍:CSDN认证博客专家,CSDN平台Java领域优质创作者,全网30w+

利用命令模式构建高效的手游后端架构

在现代手游开发中,后端架构的设计对于支持高并发、快速迭代和复杂游戏逻辑至关重要。命令模式作为一种行为设计模式,可以有效地解耦请求的发起者与接收者,提升系统的可维护性和扩展性。本文将深入探讨如何利用命令模式构建一个强大且灵活的手游后端架构。 1. 命令模式的概念与优势 命令模式通过将请求封装为对象,使得请求的发起者和接收者之间的耦合度降低。这种模式的主要优势包括: 解耦请求发起者与处理者

单片机毕业设计基于单片机的智能门禁系统的设计与实现

文章目录 前言资料获取设计介绍功能介绍程序代码部分参考 设计清单具体实现截图参考文献设计获取 前言 💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业的大学生,希望您们都共创辉煌!✌💗 👇🏻 精彩专栏 推荐订

Spring的设计⽬标——《Spring技术内幕》

读《Spring技术内幕》第二版,计文柯著。 如果我们要简要地描述Spring的设计⽬标,可以这么说,Spring为开发者提供的是⼀个⼀站式的轻量级应⽤开发框架(平台)。 作为平台,Spring抽象了我们在 许多应⽤开发中遇到的共性问题;同时,作为⼀个轻量级的应⽤开发框架,Spring和传统的J2EE开发相⽐,有其⾃⾝的特点。 通过这些⾃⾝的特点,Spring充分体现了它的设计理念:在