服务器高并发,高QPS之拙见

2024-03-22 10:40
文章标签 服务器 并发 qps 拙见

本文主要是介绍服务器高并发,高QPS之拙见,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一般的互联网产品都会有并发或者高频查询(QPS)问题,今天分享一下我个人的拙见,欢迎讨论!
我个人遇到的问题主要有以下几点:

1、某些拳头活动(业务)拉新为保证超预期效果,遇到高并发问题
2、某些业务,C端用户对于B端的数据及时性需求很高,会遇到高QPS问题

假定程序环境为:Linux + java + nginx

针对第一点目前已知的较为友好、简单的解决方案有:
1、服务器做负载均衡
2、nginx和java设置每秒接纳请求数限定范围
3、服务器请求时间延长
(2、3没有太大必要,在保证服务器稳定提供服务的同时会损失一定的用户体验)
4、调整业务,尽量剥离出来一部分业务数据缓存(也就是加Redis等缓存技术)
5、添加行为验证,比如滑块验证等
(不建议添加此功能,因为硬手段可以一定程度上缓解服务器压力,但是会用户体验会有较大折损)

针对第二点目前已知的较为友好、简单的解决方案有:
1、拆分业务,使用较为稳定的缓存服务,但是频繁查改缓存在保证服务的同时会加大服务器负荷
2、nginx和java设置每秒接纳请求数限定范围
3、服务器请求时间延长

上面是一些较为简单,对开发相对友好的解决方案,从现在非同一跑道内的一二线产品来看,缓存技术应用足矣解决很大部分的并发问题,在产品前期足够用,但是中后期上限很明显,最明显的就是在产品长期存在高QPS的情况下,此种方式会引引起缓存崩溃,进而引发磁盘I/O拉满,以下介绍几种架构级别的解决方案,大家可以探讨以下,有不足之处欢迎指正。

因为发展到一定程度之后,程序的性能瓶颈主要在数据库的 I/O 上,所以对于一些代码、设计上的优化(数据库主键,循环,死锁,事务,算法,单业务打开数据库次数、等)这里就不再赘述。

以下B端可以理解为高频写入业务,C端为高频读取业务,不一定要按照传统意义上的B、C端来界定业务作用

a)、数据库读写分离,如下图:
读写分离简单架构
即把业务拆分为读、写两块,具体工作原理为:

1、拆分之后的业务采用微服务的方式分别部署(也可以不分服务器,只分库
2、B端写入数据时写入业务1(写入)服务器,通过数据同步 把从数据库数据同步至主数据库,C端主要操作业务2(读取)服务器
3、可以按需把写入服务器或者读取服务器做一个服务器集群,用负载均衡进行管理(如果资源允许,用分布式部署能更好的均匀平摊请求,很大程度上缓解服务器压力)

此种方法好处是很大程度上缓解了并发带来的压力,能硬抗一定程度的并发。从现在非同一跑道内的一二线产品来看,足矣,但是也会有一些局限性,最典型的一个问题就是 write after Read 在C端读取数据及时性要求较高的业务上,会存在写晚于读的情况,而且对于分库之后缓存的使用就会有一定的限制,比如跨服务器、数据同步、不易维护等问题。

b)、垂直分库,如下图:
垂直分库
即把数据库根据业务进行拆分,数据存入不同的业务库中,大致工作原理为:

1、根据不同的业务,拆分数据库,程序拆分为微服务采用分布式部署(也可以只用单台服务器,也可分别独立部署)
(切记,拆分业务务必明确且有规划性,否则会导致后面业务扩展时增加大量的跨库查询)
2、此种架构工作原理简单,分业务存储,需要时进行跨库查询数据(尽量减少此种操作),高并发业务、高QPS业务可以使用负载均衡或者缓存技术,也可以针对性提升硬件环境或者集群大小避免造成服务器资源分配不均

此种方法好处很明显,就是避免了服务器资源分配不均问题,可以从硬件上补足某些特定业务的不足,且能有效的降低高QPS带来的高I/O压力。坏处也很明显,就是对业务扩展有很大的限制性,因为跨业务就代表着跨库,跨库耗费的资源在非高频业务来说影响不大,但是对于高频业务打击是致死性的。比较考验架构师对业务的理解程度和整体开发团队经验。如果采用此种方式,基本可以满足企业所需。

c)、水平分库,如下图:
水平分库
水平分库与垂直分库从架构设计上来说是一样的,不同的是分库规则。大致工作原理为:

1、重构业务逻辑,把某些有关联的数据确定一个主体,按照一定的规则,(比如主体的主键生成规则)存入到某个库,即这种分库操是单纯的把数据分开存储

此种方法原理也很简单,他跟垂直分库原理相悖,可以减少跨业务导致的跨库操作,但是在多主体数据联合展示时需要打开多个数据库连接,也会损失一定的效率。可以根据公司业务选择两种方式的其中一种

d)、nosql
此种方法适合产品前期研发,完全重构代码代价过大(我个人不推荐完全重构)

工作原理,使用非传统的关系型数据库做数据存储用。重构的话,如果业务复杂,损伤过大。

此技术还未完全成熟,在此写上仅做参考,可行性待研究。

大家可以探讨以下,一起进步

这篇关于服务器高并发,高QPS之拙见的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/835132

相关文章

Apache Tomcat服务器版本号隐藏的几种方法

《ApacheTomcat服务器版本号隐藏的几种方法》本文主要介绍了ApacheTomcat服务器版本号隐藏的几种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需... 目录1. 隐藏HTTP响应头中的Server信息编辑 server.XML 文件2. 修China编程改错误

如何在一台服务器上使用docker运行kafka集群

《如何在一台服务器上使用docker运行kafka集群》文章详细介绍了如何在一台服务器上使用Docker运行Kafka集群,包括拉取镜像、创建网络、启动Kafka容器、检查运行状态、编写启动和关闭脚本... 目录1.拉取镜像2.创建集群之间通信的网络3.将zookeeper加入到网络中4.启动kafka集群

Python如何实现 HTTP echo 服务器

《Python如何实现HTTPecho服务器》本文介绍了如何使用Python实现一个简单的HTTPecho服务器,该服务器支持GET和POST请求,并返回JSON格式的响应,GET请求返回请求路... 一个用来做测试的简单的 HTTP echo 服务器。from http.server import HT

如何安装 Ubuntu 24.04 LTS 桌面版或服务器? Ubuntu安装指南

《如何安装Ubuntu24.04LTS桌面版或服务器?Ubuntu安装指南》对于我们程序员来说,有一个好用的操作系统、好的编程环境也是很重要,如何安装Ubuntu24.04LTS桌面... Ubuntu 24.04 LTS,代号 Noble NumBAT,于 2024 年 4 月 25 日正式发布,引入了众

如何提高Redis服务器的最大打开文件数限制

《如何提高Redis服务器的最大打开文件数限制》文章讨论了如何提高Redis服务器的最大打开文件数限制,以支持高并发服务,本文给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录如何提高Redis服务器的最大打开文件数限制问题诊断解决步骤1. 修改系统级别的限制2. 为Redis进程特别设置限制

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

高并发环境中保持幂等性

在高并发环境中保持幂等性是一项重要的挑战。幂等性指的是无论操作执行多少次,其效果都是相同的。确保操作的幂等性可以避免重复执行带来的副作用。以下是一些保持幂等性的常用方法: 唯一标识符: 请求唯一标识:在每次请求中引入唯一标识符(如 UUID 或者生成的唯一 ID),在处理请求时,系统可以检查这个标识符是否已经处理过,如果是,则忽略重复请求。幂等键(Idempotency Key):客户端在每次

Linux服务器Java启动脚本

Linux服务器Java启动脚本 1、初版2、优化版本3、常用脚本仓库 本文章介绍了如何在Linux服务器上执行Java并启动jar包, 通常我们会使用nohup直接启动,但是还是需要手动停止然后再次启动, 那如何更优雅的在服务器上启动jar包呢,让我们一起探讨一下吧。 1、初版 第一个版本是常用的做法,直接使用nohup后台启动jar包, 并将日志输出到当前文件夹n

Java并发编程之——BlockingQueue(队列)

一、什么是BlockingQueue BlockingQueue即阻塞队列,从阻塞这个词可以看出,在某些情况下对阻塞队列的访问可能会造成阻塞。被阻塞的情况主要有如下两种: 1. 当队列满了的时候进行入队列操作2. 当队列空了的时候进行出队列操作123 因此,当一个线程试图对一个已经满了的队列进行入队列操作时,它将会被阻塞,除非有另一个线程做了出队列操作;同样,当一个线程试图对一个空

速盾:直播 cdn 服务器带宽?

在当今数字化时代,直播已经成为了一种非常流行的娱乐和商业活动形式。为了确保直播的流畅性和高质量,直播平台通常会使用 CDN(Content Delivery Network,内容分发网络)服务器来分发直播流。而 CDN 服务器的带宽则是影响直播质量的一个重要因素。下面我们就来探讨一下速盾视角下的直播 CDN 服务器带宽问题。 一、直播对带宽的需求 高清视频流 直播通常需要传输高清视频