系统设计-后台系统的伸缩性

2023-11-02 08:58
文章标签 设计 系统 后台 伸缩性

本文主要是介绍系统设计-后台系统的伸缩性,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、软件分层

分层思想很普及,把数据流拆成几段,比如接入层(load balancer+webserver),应用服务层(platformserver),数据存储层(数据库database、nosql)。

 

2、伸缩性定义

一种设计目标,使得系统通过加硬件(堆机器)能够解决各种业务问题,不存在性能瓶颈问题。比如微信红包,接入层、plaform层、数据存储层的数据通道是否够宽,扛得住上亿人同时在线的请求速度?

2.1 接入层(loadbalancer + webserver)

请参考一个客户端请求到后台的流程:tcp-ip 7层网络通信、负载均衡、API层、数据库中负载均衡部分的内容

(loadbalancerhaproxy) + (webservernginx)

haproxy+nginx 增加带宽容量的对策:加更多域名、更多转发机器

负载均衡在有状态情况下,怎么去堆转发机器?比如用户uid=a的所有请求必须转发到某个服务器b上。请参考一致性hash

 

2.2 Platform层

单例:某个程序,一个时刻所有请求都打到一台机器上,由于一台机器cpu/内存有限,会导致单例性能瓶颈。比如设计了一个请求计数器,让所有请求都得经过这个机器上这个进程,在内存里+1,最后得到结果。

正确做法如下:

(1)各个机器分别计数,然后查询的时候查各个机器结果相加,尽量做分布式(让请求均匀打在各个分布式机器上),避免单例。

(2)尽量只用这一层算,不要用这一层来存具体的数据结果,存数据的话,送到下一层的专门的数据存储层。原因是:业务层的处理逻辑比较多,如果要是再用来维护数据的话,一方面很累,另一方面是数据存储层会有通用的数据接口来存各种各样的数据,没必要用这层来存。存储计算分离,存储统一,计算多样。

 

2.3 数据存储层

做后台一般不会专门让设计存储层,有很多现成的模型。请参考一个客户端请求到后台的流程:tcp-ip 7层网络通信、负载均衡、API层、数据库中数据库部分的内容。

(1)读写分离,增加读实例。 

读写分离来确保写和读效率都很高。写数据因为要确保数据不丢失,所以要写入硬盘,机械硬盘有一个摆臂,只适合采用log(尾部能添加的文件)的方式顺序写,摆臂不需要来回移动,速度最快。读数据需要随机读,硬盘访问数据比较慢,摆臂来回移动效率低。实际上这里面有三个进程:log方式顺序写,key-value方式随机读,把顺序写转化为随机读(log格式转为key-value格式)。

增加读实例:实际应用中,往往有很多场景,写数据次数很少,读数据次数很多。比如说写博客只需要写一次,但有可能同时有很多人在读博客。

(2)拆分:拆库和拆表

redis这种非关系型数据库相对来说好做伸缩,可以对key做哈希,分片到某一台机器上。

关系型就比较难做伸缩,俗称分库(竖直拆分)分表(水平拆分):

  • 把库拆成多个库(每个库有自己的master/slaves机器集群),一个库里面有很多细小的业务,按照每个小业务来拆。

  • 把表拆成多个表,原本只需要查一张表,现在需要查10张表,而且有的表是不能拆的。

每个库里的小业务可以拆到不同机器上。但是一个表拆开的不同表必须放在同一台机器上,因此拆库比拆表性能好点。

这篇关于系统设计-后台系统的伸缩性的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/329515

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

软考系统规划与管理师考试证书含金量高吗?

2024年软考系统规划与管理师考试报名时间节点: 报名时间:2024年上半年软考将于3月中旬陆续开始报名 考试时间:上半年5月25日到28日,下半年11月9日到12日 分数线:所有科目成绩均须达到45分以上(包括45分)方可通过考试 成绩查询:可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间:预计在11月左右 证书领取时间:一般在考试成绩公布后3~4个月,各地领取时间有所不同

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

怎么让1台电脑共享给7人同时流畅设计

在当今的创意设计与数字内容生产领域,图形工作站以其强大的计算能力、专业的图形处理能力和稳定的系统性能,成为了众多设计师、动画师、视频编辑师等创意工作者的必备工具。 设计团队面临资源有限,比如只有一台高性能电脑时,如何高效地让七人同时流畅地进行设计工作,便成为了一个亟待解决的问题。 一、硬件升级与配置 1.高性能处理器(CPU):选择多核、高线程的处理器,例如Intel的至强系列或AMD的Ry

计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

🍊作者:计算机编程-吉哥 🍊简介:专业从事JavaWeb程序开发,微信小程序开发,定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事,生活就是快乐的。 🍊心愿:点赞 👍 收藏 ⭐评论 📝 🍅 文末获取源码联系 👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~Java毕业设计项目~热门选题推荐《1000套》 目录 1.技术选型 2.开发工具 3.功能