如何为百亿数据请求做资源预估

2024-01-25 09:58

本文主要是介绍如何为百亿数据请求做资源预估,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

如何为百亿数据请求做资源预估

  • 如何为百亿数据请求做资源预估
    • 基本准则->先考虑要做什么
    • 计算磁盘资源方法
    • 200亿/s的请求,QPS怎么算, 总集群流量是多少, 选择千兆网还是万兆网?
    • 每台kafka机器内存大小配置
    • CPU核心数选型

如何为百亿数据请求做资源预估

收到需求:每天200亿请求,每个请求3k大小,需要4个副本,数据保留5天,数据有3个不同的主题。数据存储在kafka上,需要多少台机器,机器配置是怎样?

基本准则->先考虑要做什么

1.计算磁盘资源:计算一天的存储数据的增量

2.计算并发资源:QPS

3.计算内存资源:计算kafka内存消耗

计算磁盘资源方法

一天一个副本增量: 200亿*3k = 60T

考虑副本数量:60T*4 = 240T

考虑保留天数:240T*5=1200T

按照满负荷算:每台服务器一般12或16个盘,这里取12台: 需要服务器数量 = 1200T/(2T*12个)=50台

需要机器数量:资源磁盘利用率按照50%算: 应对未来的数据增量。 于是,磁盘使用率降低一半,机器数量需要增加一倍 50台 * 2 = 100台。 ( 1200T/(2T12个50%)=100台)

200亿/s的请求,QPS怎么算, 总集群流量是多少, 选择千兆网还是万兆网?

QPS主要计算高峰时间段的QPS数。

二八法则: 80%的请求在20%的时间产生。

00:00-08:00是请求低峰段

08:00-24:00 这16小时是请求高峰段 : 接收的请求 200亿*80% = 160亿请求

高峰期请求量: 这16小时也有高峰段: 16小时20% = 3.2小时 约等3小时 接收 160亿 * 80% = 128亿 的请求

每秒总QPS: 128亿/(3 * 60 * 60)秒 = 118w/s

每台机器QPS:118w/s / 100 = 1.18万/台 ,

总数据流量大小:每条数据大小3k, 单机流量 1.18w * 3k = 34M/s, 计算有4个副本 34M/s4 = 136M/s, 10个消费者,消费者的流量是34M/s10=340M/s。 总流量=生产流量+消费流量=340M/s + 136M/s = 476M/s

集群环境网卡:选择万兆网卡

每台kafka机器内存大小配置

按照上面配置,100台机器,每台磁盘2T*12个。

已知主题是3个,所以总共3个topic。 为了提高每台机器的cpu利用率,生产消费的并行度,每个topic在每台机器分配5个partition, 单个topic有500个partition(100台机器),4个副本,算上副本500*4=2000个partition,3个topic,就是2000 * 3 = 6000个partition

每台机器partiton数量:60个partition(6000个partition/100台机器)

每个分片日志大小是1G/个文件, 按照kafka把数据在内存读写的特点,把1G文件全部进行缓存,需要6000G内存,6000G/100台=60G/台机器。考虑数据读写很快,不需要把1G的内容全部进行缓存,可以50%或者25%放内存。按照50%进行计算, 每台机器内存需要30G。加上kafka的jvm大小(一般配置6G)和操作系统的内存。配置64G的内存

CPU核心数选型

kafka的工作线程特点,主要工作线程ServerSocket类,内部封装了acceptor,processor, handler线程。

其他是一些后台线程和定时器线程等。

acceptorprocessorhandler
默认线程数138
建议线程数3932

总线程数量大概100-200个。

安装生产经验

4core的机器,跑几十的线程,CPU跑满

8core的机器,跑几十个线程,OK

16core机器,跑100-200个线程

建议16core以上的机器,例如20,24核心。

这篇关于如何为百亿数据请求做资源预估的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/642914

相关文章

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.

MySQL使用binlog2sql工具实现在线恢复数据功能

《MySQL使用binlog2sql工具实现在线恢复数据功能》binlog2sql是大众点评开源的一款用于解析MySQLbinlog的工具,根据不同选项,可以得到原始SQL、回滚SQL等,下面我们就来... 目录背景目标步骤准备工作恢复数据结果验证结论背景生产数据库执行 SQL 脚本,一般会经过正规的审批