就业班 第三阶段（nginx） 2401--4.17 day1 nginx1

2024-04-18 19:12
文章标签 nginx day1 就业 4.17 第三阶段 2401 nginx1

本文主要是介绍就业班 第三阶段（nginx） 2401--4.17 day1 nginx1，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

负载均衡集群

1、集群是什么？

1 集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。

2 集群组成后，可以利用多个计算机和组合进行海量请求处理（负载均衡），从而获得很高的处理效率，也可以用多个计算机做备份（高可用），使得任何一个机器坏了整个系统还是能正常运行。

2、负载均衡集群技术

![image-20240417105115637](https://xian-liuyang.oss-cn-beijing.aliyuncs.com/image-20240417105115637.png

① 负载均衡（Load Balance）：负载均衡集群为企业需求提供了可解决容量问题的有效方案。负载均衡集群使负载可以在计算机集群中尽可能平均地分摊处理。

② 负载通常包括应用程序处理负载和网络流量负载,每个节点都可以承担一定的处理负载，并且可以实现处理负载在节点之间的动态分配，以实现负载均衡。

3、负载均衡集群技术的实现

负载均衡（Load Balance）

负载均衡技术类型：基于 4 层负载均衡技术和基于 7 层负载均衡技术

负载均衡实现方式：硬件负载均衡设备或者软件负载均衡

硬件负载均衡产品：F5    、深信服 、Radware

软件负载均衡产品： LVS（Linux Virtual Server）、 Haproxy、Nginx、Ats（apache traffic server）

4、实现效果如图

5、负载均衡分类

我们先来看一张图，相信很多同学对这张图都不陌生，这是一张网络模型图，包含了 OSI 模型及 TCP/IP 模型，两个模型虽然有一点点区别，但主要的目的是一样的，模型图描述了通信是怎么进行的。它解决了实现有效通信所需要的所有过程，并将这些过程划分为逻辑上的层。层可以简单地理解成数据通信需要的步骤。

负载均衡根据所采用的设备对象（软/硬件负载均衡），应用的OSI网络层次（网络层次上的负载均衡），及应用的地理结构（本地/全局负载均衡）等来分类。下面着重介绍的是根据应用的 OSI 网络层次来分类的两个负载均衡类型。

负载均衡可以大概分为以下几类：

  • 二层负载均衡（mac） 一般是用虚拟mac地址方式，外部对虚拟MAC地址请求，负载均衡接收后分配后端实际的MAC地址响应。

  • 三层负载均衡（ip） 一般采用虚拟IP地址方式，外部对虚拟的ip地址请求，负载均衡接收后分配后端实际的IP地址响应。

  • 四层负载均衡（tcp） 在三层负载均衡的基础上，用ip+port接收请求，再转发到对应的机器。

  • 七层负载均衡（http） 根据虚拟的url或IP，主机名接收请求，再转向相应的处理服务器。

在实际应用中，比较常见的就是四层负载及七层负载。这里也重点说下这两种负载。

6、四层负载均衡（基于IP+端口的负载均衡）

实现四层负载均衡的软件有：

  • F5：硬件负载均衡器，功能很好，但是成本很高。

  • lvs：重量级的四层负载软件

  • nginx：轻量级的四层负载软件，带缓存功能，正则表达式较灵活（1.9）

  • haproxy：模拟四层转发，较灵活

7、七层的负载均衡（基于虚拟的URL或主机IP的负载均衡)

  1. 在四层负载均衡的基础上（没有四层是绝对不可能有七层的），再考虑应用层的特征，比如同一个Web服务器的负载均衡，除了根据VIP加80端口辨别是否需要处理的流量，还可根据七层的URL、浏览器类别来决定是否要进行负载均衡。

  2. 实现七层负载均衡的软件有：

    • haproxy：天生负载均衡技能，全面支持七层代理，会话保持，标记，路径转移；

    • nginx：只在http协议和mail协议上功能比较好，性能与haproxy差不多；

    • apache：功能较差

    • Mysql proxy：功能尚可。

8、四层负载与七层负载的区别

四层负载均衡七层负载均衡
基于基于IP+Port的基于虚拟的URL或主机IP等。
类似于路由器代理服务器
复杂度低高
性能高；无需解析内容中；需要算法识别 URL，Cookie 和 HTTP head 等信息
安全性低高
额外功能无会话保持，图片压缩，等

总结：从上面的对比看来四层负载与七层负载最大的区别就是效率与功能的区别。四层负载架构设计比较简单，无需解析具体的消息内容，在网络吞吐量及处理能力上会相对比较高，而七层负载均衡的优势则体现在功能多，控制灵活强大。在具体业务架构设计时，使用七层负载或者四层负载还得根据具体的情况综合考虑。

9、LVS 实现四层负载均衡项目实战

1、LVS 介绍

（1）LVS 是Linux Virtual Server的简称，也就是 Linux 虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，因此性能较高。

（2）LVS软件作用：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

2、LVS 优势与不足
1、优势

高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。

稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。

成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。

配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。

支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用

支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。

应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等

3、不足

工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

4、LVS 核心组件和专业术语
1、核心组件

LVS的管理工具和内核模块 ipvsadm/ipvs

ipvsadm：用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；

ipvs：工作于内核上的程序，可根据用户定义的集群实现请求转发；

2、专业术语

VS：Virtual Server            #虚拟服务

Director, Balancer          #负载均衡器、分发器

RS：Real Server                #后端请求处理服务器

CIP: Client IP                      #用户端IP

VIP：Director Virtual IP   #负载均衡器虚拟IP

DIP：Director IP               #负载均衡器IP 可以理解为：内网ip

RIP：Real Server IP         #后端请求处理服务器IP

3、具体图解

4、LVS负载均衡四种工作模式

LVS/NAT：网络地址转换模式，进站/出站的数据流量经过分发器(IP负载均衡，他修改的是IP地址)  --利用三层功能
LVS/DR  ：直接路由模式，只有进站的数据流量经过分发器(数据链路层负载均衡，因为他修改的是目的mac地址)--利用二层功能mac地址
LVS/TUN： 隧道模式，只有进站的数据流量经过分发器
LVS/full-nat:双向转换:通过请求报文的源地址为DIP，目标为RIP来实现转发：对于响应报文而言，修改源地址为VIP，目标地址为CIP来实现转发
5、LVS 四种工作模式原理、以及优缺点比较

1、NAT模式（VS-NAT） 原理：就是把客户端发来的数据包的IP头的目的地址，在负载均衡器上换成其中一台RS的IP地址，并发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的源IP地址改为自己的IP，将目的地址改为客户端IP地址即可｡期间,无论是进来的流量,还是出去的流量,都必须经过负载均衡器｡ 优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，只有负载均衡器需要一个合法的IP地址。 缺点：扩展性有限。当服务器节点（普通PC服务器）增长过多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时，大量的数据包都交汇在负载均衡器那，速度就会变慢！

2、直接路由(Direct routing)模式（LVS-DR） 原理：负载均衡器和RS都使用同一个IP对外服务｡但只有DR对ARP请求进行响应,所有RS对本身这个IP的ARP请求保持静默｡也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC地址改为RS的MAC（因为IP一致）并将请求分发给这台RS｡这时RS收到这个数据包,处理完成之后，由于IP一致，可以直接将数据返给客户，则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端｡ 优点：和TUN（隧道模式）一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器。 缺点：（不能说缺点，只能说是不足）要求负载均衡器的网卡必须与物理网卡在一个物理段上。

3、IP隧道(Tunnel)模式（VS-TUN）

   原理：互联网上的大多Internet服务的请求包很短小，而应答包通常很大。那么隧道模式就是，把客户端发来的数据包，封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡器｡注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议｡所以,在RS的内核中,必须编译支持IPTUNNEL这个选项    优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，就能处理很巨大的请求量，这种方式，一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。    缺点：隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议，服务器可能只局限在部分Linux系统上。

4、FULL-NAT模式原理:客户端对VIP发起请求，Director接过请求发现是请求后端服务。Direcrot对请求报文做full-nat，把源ip改为Dip，把目标ip转换为任意后端RS的rip，然后发往后端，rs接到请求后，进行响应，相应源ip为Rip目标ip还是DIP，又内部路由路由到Director,Director接到响应报文，进行full-nat。将源地址为VIP，目标地址改为CIP

请求使用DNAT，响应使用SNAT

6、四者的区别

lvs-nat与lvs-fullnat：请求和响应报文都经由Director

lvs-nat：RIP的网关要指向DIP

lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client

lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发

lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

6、LVS ipvsadm 命令的使用
1、LVS-server安装lvs管理软件
yum -y install ipvsadm

程序包：ipvsadm（LVS管理工具）

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save  > /path/to/file

配置文件：/etc/sysconfig/ipvsadm-config

2、命令选项
-A --add-service #在服务器列表中新添加一条新的虚拟服务器记录
-s --scheduler #使用的调度算法， rr | wrr | lc | wlc | lblb | lblcr | dh | sh | sed | nq 默认调度算法是 wlc
例：ipvsadm -A -t 192.168.1.2:80 -s wrr
​
-a --add-server  #在服务器表中添加一条新的真实主机记录
-t --tcp-service #说明虚拟服务器提供tcp服务
-u --udp-service #说明虚拟服务器提供udp服务
-r --real-server #真实服务器地址
-m --masquerading #指定LVS工作模式为NAT模式
-w --weight #真实服务器的权值
-g --gatewaying #指定LVS工作模式为直接路由器模式（也是LVS默认的模式）
-i --ip #指定LVS的工作模式为隧道模式  
-p #会话保持时间，定义流量被转到同一个realserver的会话存留时间
例：ipvsadm -a -t 192.168.1.2:80 -r 192.168.2.10:80 -m -w 1
​
-E -edit-service #编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D -delete-service #删除内核虚拟服务器表中的一条虚拟服务器记录。
-C -clear #清除内核虚拟服务器表中的所有记录。
-R -restore #恢复虚拟服务器规则
-S -save #保存虚拟服务器规则到标准输出，输出为-R 选项可读的格式
-e -edit-server #编辑一条虚拟服务器记录中的某条真实服务器记录
-d -delete-server #删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list #显示内核虚拟服务器表
​
--numeric, -n：#以数字形式输出地址和端口号
--exact： #扩展信息，精确值 
--connection，-c： #当前IPVS连接输出
--stats： #统计信息
--rate ： #输出速率信息
​
参数也可以从/proc/net/ip_vs*映射文件中查看
-Z –zero #虚拟服务表计数器清零（清空当前的连接数量等）
7、LVS 负载均衡集群企业级应用实战
业务需求

随着业务的发展，网站的访问量越来越大，网站访问量已经从原来的1000QPS，变为3000QPS，网站已经不堪重负，响应缓慢，面对此场景，单纯靠单台LNMP的架构已经无法承载更多的用户访问，此时需要用负载均衡技术，对网站容量进行扩充，来解决承载的问题。

考虑解决方案？

纵向：scale out  对磁盘等资源扩容

横向：scale up  增加新的服务器

1、环境准备
1、准备虚拟机

准备 3 台纯净的虚拟机，两台 web 服务器

2、LVS-server 安装lvs管理软件
[root@lvs-server ~]# yum -y install ipvsadm

程序包：ipvsadm（LVS管理工具）

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save > /path/to/file

配置文件：/etc/sysconfig/ipvsadm-config

2、LVS/NAT模式

实验说明：

  1. 虚拟机网络使用NAT模式

  2. client、调度器、Real Server都使用虚拟机或使用真实服务器

  3. 虚拟机上网卡使用半虚拟化驱动，如果半虚拟化驱动异常，可以使用default/rtl8139

1、LVS/NAT网络拓朴

主机名ip系统用途
client192.168.0.105   桥接mac客户端
lvs-server192.168.0.108  桥接
192.168.72.130  仅主机centos7.5分发器
real-server1192.168.72.128  仅主机centos7.5web1
real-server2192.168.72.129  仅主机centos7.5web2
# 配置real-server （两服务器相同）
[root@real-server1 ~]# yum install httpd -y
[root@real-server1 ~]# echo lvs-web1  > /var/www/html/index.html
[root@real-server1 ~]# systemctl start httpd
[root@real-server1 ~]# ip route add default via 192.168.72.130  # 配置默认路由，网关
​
# 配置lvs-server  开启路由转发
[root@lvs-server ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@lvs-server ~]# sysctl -p                              //确保打开路由转发
[root@lvs-server ~]# yum install ipvsadm -y
设置集群调度算法，（便于验证，此处使用轮询算法）：
[root@lvs-server ~]# ipvsadm -A -t 192.168.0.108:80 -s rr
设置后端服务器：
[root@lvs-server ~]# ipvsadm -a -t 192.168.0.108:80 -r 192.168.72.128:80 -m
[root@lvs-server ~]# ipvsadm -a -t 192.168.0.108:80 -r 192.168.72.129:80 -m
查看ipvsadm规则：
[root@lvs-server ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.108:80 rr-> 192.168.72.128:80            Masq    1      0          7         -> 192.168.72.129:80            Masq    1      0          7    
这些规则没有保存在配置文件，重启失效
# 做开启启动
[root@lvs-server ~]# systemctl enable ipvsadm
Created symlink from /etc/systemd/system/multi-user.target.wants/ipvsadm.service to /usr/lib/systemd/system/ipvsadm.service.
[root@lvs-server ~]# ipvsadm -Ln > /etc/sysconfig/ipvsadm
​
# 测试
[root@client ~]# elinks -dump http://192.168.0.108/
[root@client ~]# ab -c 1000 -n 1000 http://192.168.0.108/

补充：

lvs是网关

lvs是可以路由转发

如果要添加ip： ip addr add ip地址/24 dev ens33 (临时的)

做nat的路由转发

注意：需要关闭selinux。

需要具备三台机子

lvs的机子 real-server1 real-server2

在真实的后台服务机子（real-server）安装nginx

在lvs机子添加

ipvsadm -A -t 10.36.181.229 -s wrr

ipvsadm -a -t 10.36.181.229 -r 192.168.91.131 -m -w 2

ipvsadm -a -t 10.36.181.229 -r 192.168.91.132 -m -w 1

在lvs机子上做路由转发，伪装自己

echo 1 > /proc/sys/net/ipv4/ip_forword 做临时的路由转发

sysctl -p 可以查看

配置默认路由（也就是网关）

ip r default via 192.168.91.130（三台机子都通的，写在哪都可以）

在real-server1 写入自己的nginx测试文件

echo "<center><h1>real-server1</h1></center>" > /usr/share/nginx/html/index.html

image-20240417161547360

将这个65更改，长连接就消失了，在浏览器测试就会很一目了然，比如浏览器不断刷新，会很清楚的看到权重的显示，

下面这个也可以：

-p 和 nginx的配置文件中的keepalive_timeout都是保持会话时间的长短，用哪个都可以

real-server2 也一样

然后在lvs机子上查看自己的测试的状态

ipvsadm -Ln --stats

这篇关于就业班 第三阶段（nginx） 2401--4.17 day1 nginx1的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/915624。

相关文章

Windows下Nginx的安装及开机启动

Windows下Nginx的安装及开机启动

1、将nginx-1.16.1.zip解压拷贝至D:\web\nginx目录下。 2、启动Nginx，两种方法： （1）直接双击nginx.exe，双击后一个黑色的弹窗一闪而过。 （2）打开cmd命令窗口，切换到nginx目录下，输入命令 nginx.exe 或者 start nginx ，回车即可。 3、检查nginx是否启动成功。 直接在浏览器地址栏输入网址 http://lo
阅读更多...
nginx介绍及常用功能

nginx介绍及常用功能

什么是nginx nginx跟Apache一样，是一个web服务器（网站服务器），通过HTTP协议提供各种网络服务。 Apache：重量级的，不支持高并发的服务器。在Apache上运行数以万计的并发访问，会导致服务器消耗大量内存。操作系统对其进行进程或线程间的切换也消耗了大量的CPU资源，导致HTTP请求的平均响应速度降低。这些都决定了Apache不可能成为高性能WEB服务器  nginx：
阅读更多...
web群集--nginx配置文件location匹配符的优先级顺序详解及验证

web群集--nginx配置文件location匹配符的优先级顺序详解及验证

文章目录 前言优先级顺序优先级顺序(详解)1. 精确匹配（Exact Match）2. 正则表达式匹配（Regex Match）3. 前缀匹配（Prefix Match） 匹配规则的综合应用验证优先级 前言 location的作用 在 NGINX 中，location 指令用于定义如何处理特定的请求 URI。由于网站往往需要不同的处理方式来适应各种请求，NGINX 提供了多种匹
阅读更多...
nginx长连接的问题

nginx长连接的问题

转自： http://www.360doc.com/content/12/1108/17/1073512_246644318.shtml
阅读更多...
NGINX轻松管理10万长连接 --- 基于2GB内存的CentOS 6.5 x86-64

NGINX轻松管理10万长连接 --- 基于2GB内存的CentOS 6.5 x86-64

转自：http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=190176&id=4234854 一 前言 当管理大量连接时，特别是只有少量活跃连接，NGINX有比较好的CPU和RAM利用率，如今是多终端保持在线的时代，更能让NGINX发挥这个优点。本文做一个简单测试，NGINX在一个普通PC虚拟机上维护100k的HTTP
阅读更多...
CRtmpServer转推流到Nginx Rtmp及SRS（SimpleRtmpServer）的经历

CRtmpServer转推流到Nginx Rtmp及SRS（SimpleRtmpServer）的经历

转自：http://blog.csdn.net/fengyily/article/details/42557841 本人一直用的是CRtmpServer服务，在CRtmpServer服务中根据自已的想法也加入了许多功能，如通过http接口来加载配置等，苦于不支持HLS，自已添加ts分片水平又有限，思来想去决定借助SimpleRtmpServer的HLS功能。说干就干，马上查找相关资源
阅读更多...
由Lua 粘合的Nginx生态环境

由Lua 粘合的Nginx生态环境

转自：http://blog-zq-org.qiniucdn.com/pyblosxom/oss/openresty-intro-2012-03-06-01-13.html -- agentzh tech-club.org 演讲听录 免责聲明 Lua 粘合的 Nginx 生态环境 2.1. openresty 2.2. 配置小语言 2.3. ngx_drizzle 2.4.
阅读更多...
Nginx高性能分析

Nginx高性能分析

Nginx 是一个免费的，开源的，高性能的 HTTP 服务器和反向代理，以及 IMAP / POP3 代理服务器。Nginx 以其高性能，稳定性，丰富的功能，简单的配置和低资源消耗而闻名。本文从底层原理分析 Nginx 为什么这么快！ Nginx 的进程模型 Nginx 服务器，正常运行过程中： 多进程：一个 Master 进程、多个 Worker 进程。Master 进程：管理 Work
阅读更多...
php 7之PhpStorm + Nginx + Xdebug运行调试

php 7之PhpStorm + Nginx + Xdebug运行调试

操作环境： windows PHP 7.1.10 PhpStorm-2017.2.4 Xdebug 2.5.4 Xdebug helper 1.6.1 nginx-1.12.2 注意查看端口占用情况 netstat -ano //查看所以端口netstat -aon|findstr "80" //查看指定端口占用情况 比如80端口查询情况 TCP 0.0.0.0:8
阅读更多...
在Ubuntu 20.04上安装Nginx的方法

在Ubuntu 20.04上安装Nginx的方法

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 简介 Nginx 是世界上最流行的 Web 服务器之一，负责托管互联网上一些最大和流量最高的网站。它是一个轻量级选择，可以用作 Web 服务器或反向代理。 在本指南中，我们将讨论如何在 Ubuntu 20.04 服务器上安装 Nginx，调整防火墙，管理 Nginx 进程，并设置服务器块以从单
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2