高性能消息中间件 - Kafka3.x（一）

2023-11-01 10:04
文章标签 高性能 消息中间件 kafka3

本文主要是介绍高性能消息中间件 - Kafka3.x（一），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 高性能消息中间件 - Kafka3.x（一）
      • 搭建Kafka3.2.1集群⭐
        • Kafka集群机器规划
        • 创建3台虚拟机（centos7系统）
        • 必要的环境准备（3台虚拟机都要执行如下操作）⭐
          • 分别修改每个服务器的hosts文件（将上面的ip和主机名配置上去）
          • 分别关闭每个服务器的防火墙
          • 分别为每个服务器安装jdk8
          • 分别为每个服务器安装Docker
            • 为每个节点的Docker接入阿里云镜像加速器
            • 为每个节点的docker设置开机自动启动
          • 分别为每个服务器安装zookeeper3.7.1（搭建zookeeper集群）⭐
          • 分别为每个服务器安装Kafka3.2.1（搭建Kafka集群）⭐
      • 每次重启服务器都要做的环境准备
        • 给创建的3台服务器启动zookeeper集群
        • 给创建的3台服务器启动kafka集群
      • kafka的架构图
      • kafka的基本概念
      • Linux命令行操作⭐
        • 命令行操作-topic（主题）⭐
          • 查看topic命令行参数
          • 查看指定kafka集群中的所有topic⭐
          • 创建一个名为mytopic01的topic⭐
          • 查看名为mytopic01的topic的详细描述⭐
          • 修改mytopic01的分区数（注意：分区数只能增加，不能减少）⭐
          • 删除名为mytopic01的topic⭐
        • 命令行操作-producer（生产者）⭐
          • 查看producer命令行参数
          • 发送消息给名为mytopic01的topic⭐
        • 命令行操作-consumer（消费者）⭐
          • 查看consumer命令行参数
          • 消费mytopic01主题中的数据⭐
          • 消费mytopic01主题中的数据（包括历史消息）⭐

高性能消息中间件 - Kafka3.x（一）

搭建Kafka3.2.1集群⭐

Kafka集群机器规划
IP地址主机名需要安装的资源操作系统
192.168.184.201kafka01jdk、Docker、zookeeper、Kafkacentos7.9
192.168.184.202kafka02jdk、Docker、zookeeper、Kafkacentos7.9
192.168.184.203kafka03jdk、Docker、zookeeper、Kafkacentos7.9
创建3台虚拟机（centos7系统）

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

必要的环境准备（3台虚拟机都要执行如下操作）⭐
分别修改每个服务器的hosts文件（将上面的ip和主机名配置上去）
  • 1：进入hosts文件：
vi /etc/hosts

在最后面追加内容如下：（这个需要根据你自己服务器的ip来配置）

192.168.184.201 kafka01
192.168.184.202 kafka02
192.168.184.203 kafka03
分别关闭每个服务器的防火墙
systemctl stop firewalld
systemctl disable firewalld
分别为每个服务器安装jdk8
  • 1：进入oracle官网下载jdk8的tar.gz包：

  • 2：将下载好的包上传到每个服务器上：

  • 3：查看是否上传成功：

[root@kafka01 ~]# ls
anaconda-ks.cfg  jdk-8u333-linux-x64.tar.gz
  • 4：创建文件夹：
mkdir -p /usr/java/
  • 5：解压刚刚下载好的包并输出到/usr/java目录下：
tar -zxvf jdk-8u333-linux-x64.tar.gz -C /usr/java/

[root@kafka02 ~]# ls /usr/java/
jdk1.8.0_333
  • 6：配置java环境变量：
vi /etc/profile

在文件中末尾添加如下配置：（需要更改的是JAVA_HOME，根据自己的java目录名来更改）

JAVA_HOME=/usr/java/jdk1.8.0_333
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
  • 7：让配置立即生效：
source /etc/profile
  • 8：查看JDK是否安装成功：
[root@kafka01 ~]# java -version
java version "1.8.0_333"
Java(TM) SE Runtime Environment (build 1.8.0_333-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.333-b02, mixed mode)
分别为每个服务器安装Docker
  • 1：切换镜像源
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
  • 2：查看当前镜像源中支持的docker版本
yum list docker-ce --showduplicates | sort -r
  • 3：安装特定版本的docker-ce
yum -y install docker-ce-3:20.10.8-3.el7.x86_64 docker-ce-cli-3:20.10.8-3.el7.x86_64 containerd.io
为每个节点的Docker接入阿里云镜像加速器

配置镜像加速器方法。

  • 准备工作：
  • 1：首先进入阿里云容器镜像服务 https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors
  • 2：点击镜像工具下面的镜像加速器
  • 3：拿到你的加速器地址和下面第二步的registry-mirrors的值替换即可。

针对Docker客户端版本大于 1.10.0 的用户，可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器

  • 第一步：
mkdir -p /etc/docker
  • 第二步：
cat <<EOF> /etc/docker/daemon.json
{"exec-opts": ["native.cgroupdriver=systemd"],	"registry-mirrors": ["https://u01jo9qv.mirror.aliyuncs.com","https://hub-mirror.c.163.com","https://mirror.baidubce.com"],"live-restore": true,"log-driver":"json-file","log-opts": {"max-size":"500m", "max-file":"3"},"max-concurrent-downloads": 10,"max-concurrent-uploads": 5,"storage-driver": "overlay2"
}
EOF
  • 第三步：
sudo systemctl daemon-reload
  • 第四步：
sudo systemctl restart docker

最后就接入阿里云容器镜像加速器成功啦。

为每个节点的docker设置开机自动启动
sudo systemctl enable docker
分别为每个服务器安装zookeeper3.7.1（搭建zookeeper集群）⭐
  • 1：创建zookeeper文件夹，并跳转到/usr/local/zookeeper目录：
mkdir -p /usr/local/zookeeper

cd /usr/local/zookeeper
  • 2：在zookeeper官网上面下载zookeeper稳定版（当前为3.7.1）的tar.gz包，并上传到每个服务器上：

zookeeper官网

在这里插入图片描述
在这里插入图片描述

  • 3：查看刚刚上传的zookeeper包：
[root@kafka01 zookeeper]# pwd
/usr/local/zookeeper
[root@kafka01 zookeeper]# ls
apache-zookeeper-3.7.1-bin.tar.gz
  • 4：解压我们的zookeeper包：
tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/local/zookeeper

[root@kafka01 zookeeper]# ls
apache-zookeeper-3.7.1-bin  apache-zookeeper-3.7.1-bin.tar.gz
  • 5：配置关于zookeeper的环境变量：
vi /etc/profile

在文件中末尾添加如下配置：（ZOOKEEPER_HOME需要根据你自己的zookeeper目录来配置）

export ZOOKEEPER_HOME=/usr/local/zookeeper/apache-zookeeper-3.7.1-bin
export PATH=$ZOOKEEPER_HOME/bin:$PATH
  • 6：让配置立即生效：
source /etc/profile
  • 7：创建目录：
cd /usr/local/zookeeper/apache-zookeeper-3.7.1-bin/
sudo mkdir data
  • 8；添加配置：
cd conf
sudo vi zoo.cfg

内容如下：（dataDir修改成自己的目录，kafka01/02/03是我们在hosts配置的主机名映射，相当于ip）

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/apache-zookeeper-3.7.1-bin/data
clientPort=2181
server.1=kafka01:2888:3888
server.2=kafka02:2888:3888
server.3=kafka03:2888:3888

initLimit：ZooKeeper集群模式下包含多个zk进程，其中一个进程为leader，余下的进程为follower。
当follower最初与leader建立连接时，它们之间会传输相当多的数据，尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。

syncLimit：配置follower和leader之间发送消息，请求和应答的最大时间长度。

tickTime：tickTime则是上述两个超时配置的基本单位，例如对于initLimit，其配置值为5，说明其超时时间为 2000ms * 5 = 10秒。

server.id=host:port1:port2 ：其中id为一个数字，表示zk进程的id，这个id也是dataDir目录下myid文件的内容。host是该zk进程所在的IP地址，port1表示follower和leader交换消息所使用的端口，port2表示选举leader所使用的端口。

dataDir：其配置的含义跟单机模式下的含义类似，不同的是集群模式下还有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id，表示zk进程的id。

  • 9：进入data目录：
cd /usr/local/zookeeper/apache-zookeeper-3.7.1-bin/data/
  • 10：对每个服务器（kafka01、kafka02、kafka03）配置myid文件：
  • 10（1）：如果是kafka01服务器，则执行下面这个：（下面的1、2、3就是我们上面指定的server.id，每个zookeeper服务器都要有一个id，并且全局唯一）
echo "1" > myid
  • 10（2）：如果是kafka02服务器，则执行下面这个：
echo "2" > myid
  • 10（3）：如果是kafka03服务器，则执行下面这个
echo "3" > myid
  • 11：启动zookeeper服务命令：（必须要把全部zookeeper服务器启动之后在执行下一步status命令）
cd /usr/local/zookeeper/apache-zookeeper-3.7.1-bin/bin/

[root@kafka01 bin]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/apache-zookeeper-3.7.1-bin/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
  • 12：对全部的zookeeper服务器执行查看zookeeper集群节点状态命令：（看看哪个是leader节点、哪个是follower节点）。Mode就是某一台zookeeper的角色⭐
[root@kafka01 bin]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/apache-zookeeper-3.7.1-bin/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

[root@kafka02 data]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/apache-zookeeper-3.7.1-bin/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader

[root@kafka03 data]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/apache-zookeeper-3.7.1-bin/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
分别为每个服务器安装Kafka3.2.1（搭建Kafka集群）⭐
  • 1：进入kafka官网：

Kafka官网

  • 2（下载方式1）：下载当前kafka的Binary稳定版（截止到2022-08-29，稳定版本为3.2.1），下载会十分缓慢，大约要1个小时的时间（假如你的网速很慢，那么这种方式就不推荐了。）：

在这里插入图片描述

  • 2（下载方式2）：使用我上传kafka_2.13-3.2.1.zip包（注意这个不是tgz包，而是zip包）（推荐这种方式），下载速度很快：

kafka3.2.1快速下载地址

在这里插入图片描述

  • 3：解压kafka_2.13-3.2.1.zip包，拿到kafka的tgz包：

在这里插入图片描述

  • 4：将解压好的kafka的tgz包上传到每个服务器上。
  • 5：查看每个服务器上是否都已经成功上传了kafka_2.13-3.2.1.tgz包：
[root@kafka01 ~]# pwd
/root
[root@kafka01 ~]# ls | grep kafka
kafka_2.13-3.2.1.tgz
  • 6：解压kafka.tgz包到/usr/local下：
tar -zxvf kafka_2.13-3.2.1.tgz -C /usr/local/
  • 7：修改kafka目录：
cd /usr/local/

mv kafka_2.13-3.2.1/ kafka

  • **8：修改每个服务器的kafka配置文件：（注意：对应的机器要执行对应的命令，不是都在一台服务器执行）**⭐

    • 8（1）：在kafka01服务器上修改的配置文件，将下面的内容粘贴上去：⭐
    [root@kafka01 local]# rm -f /usr/local/kafka/config/server.properties
[root@kafka01 local]# vi /usr/local/kafka/config/server.properties

    内容如下：

    注意下面3个地方：

    ①每一个kafka的broker.id都不可以一样，并且要为数字（比如0、1、2都是可以的）！

    ②log.dirs为你当前机器的kafka的日志数据存储目录

    ③zookeeper.connect：配置连接Zookeeper集群地址，下面的kafka01:2181（kafka01的意思是zk所在的服务器的ip地址，因为我们配置了hosts，所以就直接用主机名更方便；2181就是zk配置文件中的clientPort）

    #broker 的全局唯一编号，不能重复，只能是数字。
broker.id=1
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/usr/local/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数，默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个 segment 文件的大小，默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便我们管理）
zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181/kafka
    • 8（2）：在kafka02服务器上修改的配置文件，将下面的内容粘贴上去：⭐
    [root@kafka02 local]# rm -f /usr/local/kafka/config/server.properties
[root@kafka02 local]# vi /usr/local/kafka/config/server.properties

    内容如下：

    #broker 的全局唯一编号，不能重复，只能是数字。
broker.id=2
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/usr/local/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数，默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个 segment 文件的大小，默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便我们管理）
zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181/kafka
    • 8（3）：在kafka03服务器上修改的配置文件，将下面的内容粘贴上去：⭐
    [root@kafka03 local]# rm -f /usr/local/kafka/config/server.properties
[root@kafka03 local]# vi /usr/local/kafka/config/server.properties

    内容如下：

    #broker 的全局唯一编号，不能重复，只能是数字。
broker.id=3
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/usr/local/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数，默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个 segment 文件的大小，默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便我们管理）
zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181/kafka

  • 9：给每个服务器都配置kafka的环境变量：

sudo vim /etc/profile

在最后面追加的内容如下：

export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
  • 10：让配置立即生效：
source /etc/profile
  • 11：启动zk集群。依次在 kafka01、kafka02、kafka03节点上启动zookeeper。（zk要先启动，然后再启动kafka）⭐
zkServer.sh start
  • 12：后台模式启动kafka集群。依次在 kafka01、kafka02、kafka03节点上启动kafka。
kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
  • 13：查看kafka是否启动成功：
[root@kafka01 local]# jps
3603 Kafka
3166 QuorumPeerMain
4367 Jps
  • 14：关闭kafka集群：（可以暂时不关闭，方便后面继续演示）
    • 注意：停止 Kafka 集群时，一定要等 Kafka 所有节点进程全部停止后再停止 Zookeeper
      集群。
kafka-server-stop.sh
  • 15：等kafka集群全部关闭之后再关闭zookeeper：（可以暂时不关闭，方便后面继续演示）
zkServer.sh stop

每次重启服务器都要做的环境准备

给创建的3台服务器启动zookeeper集群
zkServer.sh start
给创建的3台服务器启动kafka集群
kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

kafka的架构图

在这里插入图片描述

kafka的基本概念

  • 1：Producer：消息生产者，就是向 Kafka broker 发消息的客户端。
  • 2：Consumer：消息消费者，向 Kafka broker 取消息的客户端。
  • 3：Consumer Group（CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
  • 4：Broker：一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个broker 可以容纳多个 topic。
  • 5：Topic：可以理解为一个队列，生产者和消费者面向的都是一个 topic。
  • 6：Partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。
  • 7：Replica：副本。一个 topic 的每个分区都有若干个副本，一个 Leader 和若干个Follower。
  • 8：Leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 Leader
  • 9：Follower：每个分区多个副本中的“从”，实时从 Leader 中同步数据，保持和Leader 数据的同步。Leader 发生故障时，某个 Follower 会成为新的 Leader。

Linux命令行操作⭐

命令行操作-topic（主题）⭐
查看topic命令行参数
kafka-topics.sh
参数描述
–bootstrap-server <String: server toconnect to>指定连接的Kafka Broker服务器的主机名称和端口号
–topic <String: topic>指定操作的topic名称
–create创建topic
–delete删除topic
–alter修改topic
–list查看所有topic
–describe查看指定topic详细描述
–partitions <Integer: # of partitions>设置分区数
–replication-factor<Integer: replication factor>设置分区副本。
–config <String: name=value>更新系统默认的配置
查看指定kafka集群中的所有topic⭐
  • –bootstrap-server=kafka集群的ip（主机名）+端口
kafka-topics.sh --bootstrap-server=kafka01:9092 --list
创建一个名为mytopic01的topic⭐

创建一个名为mytopic01并且partitions（分区数）为2并且replication-factor（副本数之和leader+follower）为2的topic。

kafka-topics.sh --bootstrap-server=kafka01:9092 --partitions=2 --replication-factor=2 --topic=mytopic01 --create
查看名为mytopic01的topic的详细描述⭐
  • 可以看到如下信息：
    • PartitionCount（分区数）：2
    • ReplicationFactor（副本数）：2
    • segment.bytes（segment的大小）：1073741824（默认是1G，用于存储data）
    • 分区副本的详细信息如下：
      • Partition: 0（0号分区） Leader: 2（leader副本） Replicas: 2,3（副本=leader+follower） Isr: 2,3（正常运行的副本）
      • Partition: 1（1号分区） Leader: 3（leader副本） Replicas: 3,1（副本=leader+follower） Isr: 3,1（正常运行的副本）
[root@kafka01 ~]# kafka-topics.sh --bootstrap-server=kafka01:9092 --topic=mytopic01 --describe
Topic: mytopic01	TopicId: 0dMc88CfRMyxPYsgaGIgmQ	PartitionCount: 2	ReplicationFactor: 2	Configs: segment.bytes=1073741824Topic: mytopic01	Partition: 0	Leader: 2	Replicas: 2,3	Isr: 2,3Topic: mytopic01	Partition: 1	Leader: 3	Replicas: 3,1	Isr: 3,1
修改mytopic01的分区数（注意：分区数只能增加，不能减少）⭐
kafka-topics.sh --bootstrap-server=kafka01:9092 --topic=mytopic01 --partitions=3 --alter
删除名为mytopic01的topic⭐
kafka-topics.sh --bootstrap-server=kafka01:9092 --topic=mytopic01 --delete
命令行操作-producer（生产者）⭐
查看producer命令行参数
参数描述
–bootstrap-server <String: server toconnect to>指定连接的Kafka Broker服务器的主机名称和端口号
–topic <String: topic>指定操作的topic名称
发送消息给名为mytopic01的topic⭐
  • 1：连接集群，并指定操作的topic（名为mytopic01）
kafka-console-producer.sh --bootstrap-server=kafka01:9092 --topic=mytopic01
  • 2：此时就可以发送消息了。

在这里插入图片描述

命令行操作-consumer（消费者）⭐
查看consumer命令行参数
kafka-console-consumer.sh
参数描述
–bootstrap-server <String: server toconnect to>指定连接的Kafka Broker服务器的主机名称和端口号
–-topic <String: topic>指定操作的topic名称
–from-beginning从头开始消费
–group <String: consumer group id>指定消费者组ID（可以是中文）
消费mytopic01主题中的数据⭐
kafka-console-consumer.sh --bootstrap-server=kafka01:9092 --topic=mytopic01
消费mytopic01主题中的数据（包括历史消息）⭐
kafka-console-consumer.sh --bootstrap-server=kafka01:9092 --topic=mytopic01 --from-beginning

这篇关于高性能消息中间件 - Kafka3.x（一）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/322213。

相关文章

MySQL高性能优化规范

MySQL高性能优化规范

前言：      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后，总结出了这篇！ 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来） 数据库对象的命名要能做到见名识意，并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀，备份
阅读更多...
构建高性能WEB之HTTP首部优化

构建高性能WEB之HTTP首部优化

0x00 前言 在讨论浏览器优化之前，首先我们先分析下从客户端发起一个HTTP请求到用户接收到响应之间，都发生了什么？知己知彼，才能百战不殆。这也是作为一个WEB开发者，为什么一定要深入学习TCP/IP等网络知识。 0x01 到底发生什么了？ 当用户发起一个HTTP请求时，首先客户端将与服务端之间建立TCP连接，成功建立连接后，服务端将对请求进行处理，并对客户端做出响应，响应内容一般包括响应
阅读更多...
Nginx高性能分析

Nginx高性能分析

Nginx 是一个免费的，开源的，高性能的 HTTP 服务器和反向代理，以及 IMAP / POP3 代理服务器。Nginx 以其高性能，稳定性，丰富的功能，简单的配置和低资源消耗而闻名。本文从底层原理分析 Nginx 为什么这么快！ Nginx 的进程模型 Nginx 服务器，正常运行过程中： 多进程：一个 Master 进程、多个 Worker 进程。Master 进程：管理 Work
阅读更多...
云原生之高性能web服务器学习（持续更新中）

云原生之高性能web服务器学习（持续更新中）

高性能web服务器 1 Web服务器的基础介绍1.1 Web服务介绍1.1.1 Apache介绍1.1.2 Nginx-高性能的 Web 服务端 2 Nginx架构与安装2.1 Nginx概述2.1.1 Nginx 功能介绍2.1.2 基础特性2.1.3 Web 服务相关的功能 2.2 Nginx 架构和进程2.2.1 架构2.2.2 Ngnix进程结构 2.3 Nginx 模块介绍2.4
阅读更多...
在亚马逊云科技上利用Graviton4代芯片构建高性能Java应用（上篇）

在亚马逊云科技上利用Graviton4代芯片构建高性能Java应用（上篇）

简介 在AI迅猛发展的时代，芯片算力对于模型性能起到了至关重要的作用。一款能够同时兼具高性能和低成本的芯片，能够帮助开发者快速构建性能稳定的生成式AI应用，同时降低开发成本。今天小李哥将介绍亚马逊推出的4代高性能计算处理器Gravition，带大家了解如何利用Graviton芯片为Java生成式AI应用提高性能、优化成本。 本篇文章将介绍如何在云平台上创建Graviton芯片服务器，并在Gra
阅读更多...
驾驭冰雪 安全无忧，韩泰高性能冬季轮胎新品上市

驾驭冰雪 安全无忧，韩泰高性能冬季轮胎新品上市

- 韩泰轮胎推出冬季轮胎新产品Winter i*cept iZ3和SUV专用的Winter i*cept iZ3 X - 新轮胎采用了V型花纹，冰雪路面安全性极佳，而且具有操控性好、续航里程长的优点 - 新轮胎在位于北极圈以北300km的韩泰轮胎芬兰伊瓦洛测试场进行了严苛测试，确保极寒条件的安全性 2024年8月，韩泰轮胎正式在中国市场推出新一代高性能冬季轮胎Winter i*cept
阅读更多...
高性能计算应用优化之代码实现调优(一)

高性能计算应用优化之代码实现调优(一)

本章将介绍代码实现过程中使用到的调优方法。在软件开发早期，开发者更多关注代码功能的实现，对代码的性能关注较少，随着代码规模增加，不合理的代码实现方法所带来的性能包袱逐渐凸显。因此，需要对原有代码实现进行优化，如修改不合理的访存顺序，使代码更易于被编译器优化等。 浮点数运算 浮点数运算是科学计算中开销最大的部分之一，特别是双精度除法，合理地设计实现浮点数运算环节可以显著提高程序的性能。 由于单
阅读更多...
Minio 高性能分布式对象存储快速入手指南

Minio 高性能分布式对象存储快速入手指南

0x00 Minio 快速入门 什么是对象存储? 描述: 对象存储（Object Storage）是一种存储数据的计算机体系结构，它以对象的形式存储和管理数据。与传统的文件系统和块存储不同，对象存储将数据作为对象存储在分布式的存储集群中，每个对象都有一个唯一的标识符（通常是一个URL），并且可以通过这个标识符来访问和检索数据。 「对象存储特点」： 弹性扩展：对象存储可以轻松地扩展存储容量，
阅读更多...
MySQL创建高性能的索引（三）

MySQL创建高性能的索引（三）

MySQL创建高性能的索引 MySQL索引基础B-Tree索引适用的查询类型B-Tree注意事项 索引分类和区别B-Tree索引Hash索引空间索引全文索引 索引注意事项聚簇索引索引覆盖 MySQL 索引是存储引擎快速找到记录的一种数据结构。使用索引可以极大的提高MYSQL的查询性能，接下来讲介绍索引的基础、索引的分类和区别、索引的注意事项、以及关于聚簇索引和覆盖索引的知识点。
阅读更多...
【项目二】C++高性能服务器开发——日志系统(日志器，日志级别，日志事件)

【项目二】C++高性能服务器开发——日志系统(日志器，日志级别，日志事件)

知识点备忘录 其实也没啥 操作记录 在乌邦图上写的，先是模仿sylar创建了目录 进入sylar文件夹，有今天写的log.h头文件 其中log_test.cpp是为了测试log.h能否正常运行建的，只是个测试文件 log.h写了三个类，日志级别，日志事件，日志器 log.h头文件如下： #ifndef __SYLAR_LOG_H_#define __SYLAR_LOG_H_#incl
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2