【Linux运维-集群技术进阶】Nginx+Keepalived+Tomcat搭建高可用/负载均衡/动静分离的Web服务器集群

本文主要是介绍【Linux运维-集群技术进阶】Nginx+Keepalived+Tomcat搭建高可用/负载均衡/动静分离的Web服务器集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

额,博客名字有点长。。。

前言

终于到这篇文章了,心情是有点激动的。因为这篇文章会集中以前博客讲到的所有Nginx功能点,包括基本的负载均衡,还有动静分离技术再加上这篇文章的重点,通过Keepalived实现的HA(High Available),为什么要实现高可用呢?以前在搭建的时候只用了一台Nginx服务器,这样的话如果Nginx服务器宕机了,那么整个网站就会挂掉,所以要实现Nginx的高可用,一台挂掉还会有另一台顶上去,从而保证网站可以持续的提供服务。关于负载均衡和动静分离在前面博客中都有相关的介绍,这篇博客就不在详细提了,只会在配置文件中体现。不多说了,下面开始搭建。


拓扑环境

下面表格是这次测试需要的拓扑环境,几台服务器,每台服务器上安装什么,都有介绍。

服务器名称系统版本预装软件IP地址/VIP
Nginx主服务器CentOS 7 最小安装Nginx +Keepalived192.168.22.227/192.168.22.231
Nginx从服务器CentOS 7 最小安装Nginx +Keepalived192.168.22.228/192.168.22.231
Web服务器ACentOS 7 最小安装tomcat+jdk192.168.22.229
Web服务器BCentOS 7 最小安装tomcat+jdk192.168.22.230


前置条件

这是一个系列博客,如果有困难可以查看之前的博客。
服务器配置VIP:http://blog.csdn.net/u010028869/article/details/50574907
Keepalived安装见:http://blog.csdn.net/u010028869/article/details/50527817
Keepalived原理解析:http://blog.csdn.net/u010028869/article/details/50596805
Nginx动静分离、负载均衡:http://blog.csdn.net/u010028869/article/details/50522033


原理图

这里写图片描述


开始搭建

一、配置VIP

关于VIP(即虚拟IP)的作用,上篇博客《Keepalived原理篇》已经介绍过了。227和228服务器需要配置相同的VIP,虚拟IP在某时刻只能属于某一个节点,另一个节点作为备用节点存在。当主节点不可用时,备用节点接管虚拟IP,成为主节点(即虚拟IP漂移至从节点),提供正常服务。这个VIP就像个墙头草,两头跑,谁是主他就为谁服务。配置VIP的博客,上面也有链接哦。

二、安装软件

按照上面的表格,在相应服务器上安装软件,安装过程不再多说了,有问题可以点击上面的博客链接哦。

三、配置Nginx

227服务器上的Nginx配置:

    user nobody;worker_processes 2;events{worker_connections 1024; }http{#设置默认类型为二进制流default_type    application/octet-stream;server_names_hash_bucket_size   128;#指定来自客户端请求头的headerbuffer大小,设置为32KBclient_header_buffer_size   32k;#指定客户端请求中较大的消息头的缓存最大数量和大小,这里是4个32KBlarge_client_header_buffers 4 32k;#上传文件大小client_max_body_size 356m;#nginx的HttpLog模块指定,指定nginx日志的输出格式,输出格式为accesslog_format access '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';#access日志存在未知access_log  /usr/local/nginx/logs/access.log    access;#开启高效模式文件传输模式,将tcp_nopush和tcp_nodelay两个指另设置为on,用于防止网络阻塞。sendfile    on;tcp_nopush  on;tcp_nodelay on;#设置客户端连接保持活动的超时时间keepalive_timeout   65;server_tokens   off;#客户端请求主体读取缓存client_body_buffer_size 512k;proxy_connect_timeout   5;proxy_send_timeout      60;proxy_read_timeout      5;proxy_buffer_size       16k;proxy_buffers           4 64k;proxy_busy_buffers_size 128k;proxy_temp_file_write_size 128k;#fastcgi_connect_timeout 300;#fastcgi_send_timeout   300;#fastcgi_read_timeout   300;#fastcgi_buffer_timeout 300;#fastcgi_buffers 4 64k;#fastcgi_busy_buffers_size 128k;#fastcgi_temp_file_write_size 128k;#开启gzipgzip    on;#允许压缩的最小字节数gzip_min_length 1k;#4个单位为16k的内存作为压缩结果流缓存gzip_buffers 4 16k;#设置识别HTTP协议版本,默认是1.1gzip_http_version 1.1;#gzip压缩比,可在1~9中设置,1压缩比最小,速度最快,9压缩比最大,速度最慢,消耗CPUgzip_comp_level 2;#压缩的类型gzip_types text/plain application/x-javascript text/css application/xml;#让前端的缓存服务器混村经过的gzip压缩的页面gzip_vary   on;upstream mycluster{server 192.168.22.229:8080 weight=1;server 192.168.22.230:8080 weight=1;}server{listen 8088;server_name 192.168.22.227;charset    utf-8; #设置编码为utf-8#root   html;#location / {#    root   html;#    index  index.html index.htm;#}#location ~ .*\.(jsp|do|action)$location / {proxy_next_upstream http_502 http_504 error timeout invalid_header;proxy_pass http://mycluster;# 真实的客户端IPproxy_set_header   X-Real-IP        $remote_addr; # 请求头中Host信息proxy_set_header   Host             $host; # 代理路由信息,此处取IP有安全隐患proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;# 真实的用户访问协议proxy_set_header   X-Forwarded-Proto $scheme;}#静态文件交给nginx处理location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)${root /usr/local/webapps;expires 30d;}#静态文件交给nginx处理location ~ .*\.(js|css)?${root /usr/local/webapps;expires 1h;}error_page   500 502 503 504  /50x.html;  location = /50x.html {root   html;}}}

228服务器上的Nginx配置:

    user nobody;worker_processes 2;events{worker_connections 1024; }http{#设置默认类型为二进制流default_type    application/octet-stream;server_names_hash_bucket_size   128;#指定来自客户端请求头的headerbuffer大小,设置为32KBclient_header_buffer_size   32k;#指定客户端请求中较大的消息头的缓存最大数量和大小,这里是4个32KBlarge_client_header_buffers 4 32k;#上传文件大小client_max_body_size 356m;#nginx的HttpLog模块指定,指定nginx日志的输出格式,输出格式为accesslog_format access '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';#access日志存在未知access_log  /usr/local/nginx/logs/access.log    access;#开启高效模式文件传输模式,将tcp_nopush和tcp_nodelay两个指另设置为on,用于防止网络阻塞。sendfile    on;tcp_nopush  on;tcp_nodelay on;#设置客户端连接保持活动的超时时间keepalive_timeout   65;server_tokens   off;#客户端请求主体读取缓存client_body_buffer_size 512k;proxy_connect_timeout   5;proxy_send_timeout      60;proxy_read_timeout      5;proxy_buffer_size       16k;proxy_buffers           4 64k;proxy_busy_buffers_size 128k;proxy_temp_file_write_size 128k;#fastcgi_connect_timeout 300;#fastcgi_send_timeout   300;#fastcgi_read_timeout   300;#fastcgi_buffer_timeout 300;#fastcgi_buffers 4 64k;#fastcgi_busy_buffers_size 128k;#fastcgi_temp_file_write_size 128k;#开启gzipgzip    on;#允许压缩的最小字节数gzip_min_length 1k;#4个单位为16k的内存作为压缩结果流缓存gzip_buffers 4 16k;#设置识别HTTP协议版本,默认是1.1gzip_http_version 1.1;#gzip压缩比,可在1~9中设置,1压缩比最小,速度最快,9压缩比最大,速度最慢,消耗CPUgzip_comp_level 2;#压缩的类型gzip_types text/plain application/x-javascript text/css application/xml;#让前端的缓存服务器混村经过的gzip压缩的页面gzip_vary   on;upstream mycluster{server 192.168.22.229:8080 weight=1;server 192.168.22.230:8080 weight=1;}server{listen 8088;server_name 192.168.22.228;charset    utf-8; #设置编码为utf-8#root   html;#location / {#    root   html;#    index  index.html index.htm;#}#location ~ .*\.(jsp|do|action)$location / {proxy_next_upstream http_502 http_504 error timeout invalid_header;proxy_pass http://mycluster;# 真实的客户端IPproxy_set_header   X-Real-IP        $remote_addr; # 请求头中Host信息proxy_set_header   Host             $host; # 代理路由信息,此处取IP有安全隐患proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;# 真实的用户访问协议proxy_set_header   X-Forwarded-Proto $scheme;}#静态文件交给nginx处理location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)${root /usr/local/webapps;expires 30d;}#静态文件交给nginx处理location ~ .*\.(js|css)?${root /usr/local/webapps;expires 1h;}error_page   500 502 503 504  /50x.html;  location = /50x.html {root   html;}}}

另外还需要在227,228服务器上新建一个目录/usr/local/webapps/drp/img,在img文件夹中存放图片girl.jpg。如果Nginx服务器较多的话,可以使用Rsync做服务端自动同步或者使用NFS、MFS分布式共享存储,避免一个个拷贝文件。

还有,这块Nginx配置是做过一些优化的,比如开启gzip压缩,开启高效文件传输模式,设置缓存,动静分离,负载均衡等,可以直接拿到项目中使用。

四、配置Keepalived

227服务器上的Keepalived配置:

! Configuration File for keepalived#配置邮件相关信息global_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 192.168.200.1smtp_connect_timeout 30router_id LVS_DEVEL}#配置Nginx健康监测脚本vrrp_script check_nginx {script "</dev/tcp/127.0.0.1/8088"interval 3weight -2}vrrp_instance VI_1 {state MASTER#网卡名称interface eno16777736virtual_router_id 151priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}track_script {check_nginx}virtual_ipaddress {192.168.22.231}}

228服务器上的Keepalived配置:

    ! Configuration File for keepalivedglobal_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 192.168.200.1smtp_connect_timeout 30router_id LVS_DEVEL}vrrp_script check_nginx {#script "/opt/chknginx.sh"script "</dev/tcp/127.0.0.1/8088"interval 3weight -2}vrrp_instance VI_1 {state MASTERinterface eno16777736virtual_router_id 151priority 99advert_int 1authentication {auth_type PASSauth_pass 1111}track_script {check_nginx}virtual_ipaddress {192.168.22.231}}


特别注意,Nginx健康监测脚本。在本地写一个shell脚本,Keepalived监测不到。不知道为什么,网上的博客都是这么写的。但是在我这里就不行。最后直接在Keepalived配置文件的script标签中写了这段监测的脚本,才得以成功。

    vrrp_script chk_http_port {script "</dev/tcp/192.168.22.227/80"interval 1weight -10}

另外,如果你不明白某些配置的意思,可以查看上篇博客,里面针对每条配置文件都做了详细解析。

五、Tomcat配置

229服务器,添加默认页

在Tomcat的webapps目录下新建文件夹drp,并且创建index.jsp页面

        <%@ page language="java" contentType="text/html; charset=GB18030"pageEncoding="GB18030"%><HTML><head><meta http-equiv="Content-Type" content="text/html; charset=GB18030"><title>Nginx+Keepalived高可用,负载均衡,动静分离测试</title></head><body><h1>您正在访问服务器:192.168.22.229</h1><img src="/drp/img/girl.jpg"  alt="女孩" /></body></html>

230服务器同上


六、启动服务并测试

分别启动各个服务器上的Nginx、Keepalived、Tomcat,并测试能否正常访问。

①启动测试Tomcat

这里写图片描述

这里写图片描述

可以看到229和230服务器上的Tomcat已经可以正常访问,图片没有加载出来,是因为图片没有在Tomcat服务器上存储,而放在了Nginx上。

②启动测试Nginx

这里写图片描述

可以看到227和228上的Nginx启动成功,并且实现了负载均衡和动静分离的效果,图片被成功的加载了出来。

③ 保证所有服务均可正常访问后,启动Keepalived测试。

启动227,228服务器上的Keepalived,在浏览器中输入地址:http://192.168.22.231:8088/drp/index.jsp

这里写图片描述

192.168.22.231是咱们设置的虚拟ip,在访问网站的时候不在通过Nginx的ip了,而要通过这个vip进行访问。

Keepalived启动后咱们可以通过查看/var/log 下的messages文件(日志文件),查看主从状态。
查看227服务器/var/log/messages:

这里写图片描述

可以看到227为Master服务器,那么咱们现在通过192.168.22.231访问的就是227上的Nginx。


Nginx高可用测试

现在咱们通过两个方面来测试高可用:

① 服务器层的双机热备,模拟方式为关闭服务器,或者关闭Keepalived。

a. 关闭227Keepalived进程

现在提供服务的是227服务器,使用命令service keepalived stop将227上的Keepalived进程关闭掉之后。

查看227服务器messas日志:

这里写图片描述

将192.168.22.231这个虚拟ip移除,关闭Keepalived。

查看228服务器messages日志:

这里写图片描述

228原来为从服务器,当227服务器宕机后,228服务器由从服务器升级为主服务器,并且绑定上192.168.22.231这个虚拟IP,以继续提供服务,网站能够继续访问。

b. 启动227Keepalived

查看227服务器messas日志:

这里写图片描述

Keepalived成功启动后,227服务器继续接管192.168.22.231,成为MASTER服务器,继续提供服务。

查看228服务器messages日志:

这里写图片描述

相应的228服务器,转变为BACKUP服务器,并且移除VIP。


② 应用层的双机热备,模拟方式为Kill掉Nginx进程

a. 关闭227Nginx

查看227服务器messages日志:

这里写图片描述

VRRP_Script(check_nginx) failed ,意思是健康监测脚本执行失败,表明Nginx服务坏掉,或者没有启动。然后Keepalived会使227服务器转变为BACKUP状态,移除VIP。

查看228服务器messages日志:

这里写图片描述

当然不出所料,228服务器已经变为MASTER状态,从而继续提供服务。

b. 重新启动227Nginx

查看227服务器messages日志:

这里写图片描述

VRRP_Script(check_nginx) succeeded ,意思是健康监测脚本执行成功,Nginx正常运行。然后227服务器就会转变为MASTER状态,并提供服务。

查看228服务器messages日志:

这里写图片描述

228服务器已经变为BUCKUP状态。


小结


至此,高可用的一系列测试就已经完成了。在整个测试过程中,无论是关闭某台服务器的Nginx,Keepalived还是整个服务器宕机,网站一直没有中断提供服务,这已经达到了基本的高可用;但是还有个缺陷就是如果Nginx主服务器不出问题的话,那么备用服务器将长期处于备份状态,这样的巨大资源浪费是不能容忍的。当然这也有相应的方案来解决:Nginx双主集群+DNS轮询,敬请期待。。。

这就是一个架构不断演变,进化的过程。

这篇关于【Linux运维-集群技术进阶】Nginx+Keepalived+Tomcat搭建高可用/负载均衡/动静分离的Web服务器集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958128

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory

linux-基础知识3

打包和压缩 zip 安装zip软件包 yum -y install zip unzip 压缩打包命令: zip -q -r -d -u 压缩包文件名 目录和文件名列表 -q:不显示命令执行过程-r:递归处理,打包各级子目录和文件-u:把文件增加/替换到压缩包中-d:从压缩包中删除指定的文件 解压:unzip 压缩包名 打包文件 把压缩包从服务器下载到本地 把压缩包上传到服务器(zip

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor