1. 大型网站技术架构论述

2024-05-23 18:32

本文主要是介绍1. 大型网站技术架构论述,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2017-1-4 之前就拜读就阿里李智慧老师的大作《大型网站技术架构 核心原理与案例分析》,之前只是简单的通读了一下,最近正好抽出时间,再次精读一下并做个总结。

1. 大型网站架构演化

大型网站软件系统的特点

  1. 高并发、大流量;
  2. 高可用(7x24小时不间断服务)
  3. 海量数据;
  4. 用户分布广泛、网络情况复杂;
  5. 安全环境恶劣;
  6. 需求快速变更,发布频繁;
  7. 渐进式发展

大型网站架构烟花发展历程

1.初始阶段的网站架构

大型网站都是从小型网站发展而来,网站架构也是一样的,都是从小型网站架构逐步发展而来。最开始的小型网站访问人数不多,一台服务器绰绰有余,这时的网站架构如下图:
初始阶段的网站结构

数据库、应用程序、文件全部都存放在一台服务器上。

2.应用服务和数据服务分离

随着业务的发展,一台服务器逐渐不能满足需求;越来越多用户访问导致性能越来越差,这时首先做的应该是应用和数据分离。分离后架构采用3台服务器:应用服务器、文件服务器和数据库服务器。这三个服务器的硬件需求各不相同:
- 应用服务器:需要处理大量的业务逻辑,需要更快更强劲的CPU;
- 数据库服务器:需要快速的磁盘检索和数据缓存,需要更快地硬盘和更大的内存。
- 文件服务器:需要存储大量用户上传的图片等文件,需要更大的硬盘。

架构图如下图所示:
应用服务器和数据服务分离架构

应用和数据分离后,不同服务器承担不同的角色,并发处理能力和数据存储空间得到很大改善。但是随着进一步发展,用户逐渐增多,面临新的挑战:数据库压力太大导致访问延迟,进而影响整个网站的性能,这时需要进一步优化:

3.使用缓存来改善网站性能

网站访问的特点遵循二八定律:80%的业务逻辑集中访问20%的数据。比如微博的热点访问。既然如此,如果我们把这一小部分集中访问的数据缓存在内存中,而不是每次都从数据库中读取,就可以减少数据库访问的压力了、从而提高整个系统数据访问速度。

网站的缓存有两种:
1. 缓存在应用服务器的本地缓存;
2. 缓存在专门的分布式缓存服务器上。
本地缓存速度快,但受到本地内存大小极限的限制。远程分布式缓存使用集群的形式。部署大内存的专门缓存服务器,理论上可以做到不受内存大小的限制。架构图如下所示:
网站使用缓存的架构

使用缓存后,数据库数据访问压力得到缓解。但是单一应用服务器在网站访问高峰,应用服务器成为瓶颈。

4.使用应用服务器集群改善网站的并发处理能力

使应用服务器集群是为了处理高并发。永远不要想着增加单机的性能来提高网站的性能,因为硬件的发展更不上需求的发展。应用服务器实现集群是网站可伸缩集群架构设计中较为简单成熟的一种。架构图如下:
应用服务器集群部署

在应用服务器前通过一台负载均衡调度服务器,将来自用户的浏览器的访问请求分发到应用服务器集群中任何一台服务器上。更多的用户只需要增加更多应用服务器即可,应用服务器的负载压力不再是整个网站的瓶颈。

5. 数据库的读写分离

在使用了缓存之后,大部分的热点数据都可以直接从缓存中获得,不需要查询数据库。但是仍有一部分读操作(缓存访问不命中、缓存过期)和全部的写操作需要访问数据库。当用户数达到一定的数量级了之后,数据库因为负载压力过大而成为网站的瓶颈。

目前大部分主流的数据库都提供主从热备功能,通过配置两台数据库主从关系,可以将一台数据库服务器的数据更新同步到另外一台服务器上。我们可以利用这一特点,实现数据库的读写分离,从而改善数据库的负载压力。架构如下所示:
数据库读写分离

应用服务器需要写数据时,通过访问主数据库(写数据库),主数据库通过主从复制机制同步数据到从数据库(读数据库).这样,当应用读取数据时直接读取从数据库的数据。为了方便应用服务器访问读写分离后的数据库,一般在应用服务器端使用专门的数据库访问模块,使数据库读写分离对应用透明。

6. 使用反向代理和CDN加速网站响应

提高网站的响应速度对提高用户体验至关重要,加速网站的访问速度主要手段有CDN和反向代理。

CDN和反向代理的基本原理都是缓存,区别在于:
1. CDN部署在网络提供商的机房,使用户请求网站服务时可以从距离自己最近的网络提供商机房获取数据;
2. 反向代理则部署在网站的机房中心,当用户请求到达机房中心后,首先访问的服务器是反向代理服务器,如果反向代理服务器中缓存着用户请求的资源,就将其直接返回给用户,就不用经过应用服务器。架构图如下:
反向代理和CDN

不管是CDN还是反向代理的目的都是为了尽早的把数据返回给用户,一方面加快用户访问速度,也能减轻后端服务器的负载压力。

7. 使用分布式文件系统和分布式数据库系统

任何单一的服务器都不能满足日益增长的也无需求。数据库经过读写分离拆成2台服务器但是随着业务发展仍然不能满足需求,这时就要使用分布式数据库和分布式文件系统。

分布式数据库是网站数据库拆分的最后手段了,只有在单表数据规模非常庞大的时候才使用,不到万不得已时,网站更加常用的数据库拆分是业务的拆分,将不同的业务的数据库部署在不同的物理数据库服务器上。

架构图如下:
分布式文件系统和分布式数据库

8. 使用NoSQL和搜索引擎

随着网站业务越来越复杂,对数据存储和检索的需求也越来越复杂,网站需要采用一些,非关系数据库技术如NoSQL和非数据库查询技术如搜索引擎,架构如下图:
使用NoSQL和搜索引擎

这里,项目一般都是使用一个统一的数据访问模块来访问各种数据,减轻应用程序管理诸多数据源的麻烦。

9. 业务拆分

大型网站为了应付日益复杂的业务场景,通过分而治之的方法,将整个网站的业务拆分成不同的产品线,比如大型电商购物平台会将首页、上铺、订单、买家、卖家等拆分成不同产品线,分归不同的业务团队负责。

将一个网站拆分成许多不同的应用,每个应用独立部署维护。应用之间通过超链接建立关系;也可以通过消息队列进行数据分发。当然最多的还是通过访问同一个数据存储系统来构成一个关联的完整系统。 架构如下图:
应用拆分架构

10 分布式服务

随着业务越拆分越小,存储系统越来越庞大,也越来越复杂。由于所有应用要和所有数据库系统连接,导致数据库连接资源严重不足。

既然也多业务都会有大量重复的业务操作,那么可以将公用的业务操作提取出来供其余系统调用,而应用程序只需要管理用户界面。通过分布式服务调用公共业务服务完成具体业务操作。架构图如下:
分布式服务

大型网站架构技术演化到此结束。基本上大多数问题都能解决。

千万记住一点:驱动大型网站技术发展的主要力量是网站的业务发展。
技术是用来解决业务问题的,而业务的问题也可以通过业务的手段来解决。比如12306 抢票这个,除了提高并发能力还可以通过分时段抢票的业务手段解决。

这篇关于1. 大型网站技术架构论述的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/996350

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

金融业开源技术 术语

金融业开源技术  术语 1  范围 本文件界定了金融业开源技术的常用术语。 本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代,文本到语音(Text-to-Speech, TTS)技术已成为人机交互的关键桥梁,无论是为视障人士提供辅助阅读,还是为智能助手注入声音的灵魂,TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术,再到现今的深度学习解决方案,TTS 技术经历了一段长足的进步。这篇文章将带您穿越时

系统架构设计师: 信息安全技术

简简单单 Online zuozuo: 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo :本心、输入输出、结果 简简单单 Online zuozuo : 文章目录 系统架构设计师: 信息安全技术前言信息安全的基本要素:信息安全的范围:安全措施的目标:访问控制技术要素:访问控制包括:等保

速盾高防cdn是怎么解决网站攻击的?

速盾高防CDN是一种基于云计算技术的网络安全解决方案,可以有效地保护网站免受各种网络攻击的威胁。它通过在全球多个节点部署服务器,将网站内容缓存到这些服务器上,并通过智能路由技术将用户的请求引导到最近的服务器上,以提供更快的访问速度和更好的网络性能。 速盾高防CDN主要采用以下几种方式来解决网站攻击: 分布式拒绝服务攻击(DDoS)防护:DDoS攻击是一种常见的网络攻击手段,攻击者通过向目标网

前端技术(七)——less 教程

一、less简介 1. less是什么? less是一种动态样式语言,属于css预处理器的范畴,它扩展了CSS语言,增加了变量、Mixin、函数等特性,使CSS 更易维护和扩展LESS 既可以在 客户端 上运行 ,也可以借助Node.js在服务端运行。 less的中文官网:https://lesscss.cn/ 2. less编译工具 koala 官网 http://koala-app.

利用命令模式构建高效的手游后端架构

在现代手游开发中,后端架构的设计对于支持高并发、快速迭代和复杂游戏逻辑至关重要。命令模式作为一种行为设计模式,可以有效地解耦请求的发起者与接收者,提升系统的可维护性和扩展性。本文将深入探讨如何利用命令模式构建一个强大且灵活的手游后端架构。 1. 命令模式的概念与优势 命令模式通过将请求封装为对象,使得请求的发起者和接收者之间的耦合度降低。这种模式的主要优势包括: 解耦请求发起者与处理者