Varnish反向代理服务器综合应用

2024-01-08 16:48

本文主要是介绍Varnish反向代理服务器综合应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Varnish反向代理服务器

Varnish是一个开源的轻量级Cache和反向代理软件,通常只为http提供缓存,与Squit相比,Varnish具有性能更高、速度更快、管理更方便等优点。

Varnish的特点:

  • 基于内存进行缓存,重启后数据将丢失
  • 利用虚拟内存方式,IO性能好
  • 支持设置0-60秒的精确缓存时间
  • VCL配置管理比较灵活
  • 32位机器上只能支持最大缓存文件大小为2GB,需要更大的缓存文件只有安装64位操作系统
  • 具有强大的管理功能
  • 利用二叉堆管理缓存文件,可达到积极删除目的

Varnish与Squid比较:

相同点:

  • 两者都是反向代理服务器
  • 两者都是开源软件

不同点(同时也是Varnish的优点):

  • Varnish稳定性高
  • varnish访问速度快
  • Varnish可以支持更多的并发连接
  • Varnish可以通过管理端口,使用正则表达式批量清除部分缓存

Varnish的缺点:

Varnish在高并发情况下CPU、IO和内存资源开销大
Varnish进程一旦挂起、崩溃或重启,缓存数据都会从内存中释放,此刻所有请求都会发送到后端服务器上,在高并发情况下,会给后端服务器造成很大的压力


VCL即varnish Configuation Language

它用来定义Varnish的存取策略,需要注意“\”字符在这里没有特别含义,它只是配置语言,并不是编程语言。

VCL语法:1.vcl_recv函数:
用来接收和处理请求,当请求到达并被成功接收后被调用,通过判断请求的数据来决定如何处理请求。2.vcl_pipe函数:
在进入pipe模式时被调用,用于将请求直接传递至后端主机,在请求和返回的内容没有变化的情况下,将不变的内容返回给客户端,直到这个连接被关闭。3.vcl_pass函数::
在进入pass模式时被调用,用于将请求直接传递至后端主机。后端主机在应答数据后将应答数据发送给客户端,但不进行任何缓存,在当前连接下每次都返回最新的内容。4.lookup:
在缓存中查找被请求的对象,并且根据查找的结果把控制权交给函数vcl_hit或函数vcl_miss。5.vcl_hit函数:
在执行lookup指令后,在缓存中找到请求的内容后将自动调用该函数。6.vcl_miss函数:
在执行lookup指令后,在缓存中没有找到请求的内容时自动条用该方法。此函数可用于判断是否需要从后端服务器获取内容。7.vcl_fetch函数:
在后端主机更新缓存并且获取内容后调用该方法,接着,通过判断获取的内容来决定是将内容放入缓存,还是直接返回给客户端。8.vcl_deliver函数:
将在缓存中找到请求的内容发送给客户端前调用此方法。9.vcl_timeout函数:
在缓存内容到期前调用此函数。10.vcl_discard函数:
在缓存内容到期后或缓存空间不够时,自动调用该函数。

VCL处理流程图

Varnish反向代理服务器综合应用

Varnish处理HTTP请求的过程大致分为如下步骤:

1.Receive状态:请求处理的入口状态,根据VCL规则判断该请求应该Pass或Pipe,还是进入Lookup(本地查询);2.Lookup状态:进入此状态后,会在hash表中查找数据,若找到,则进入Hit状态,否则进入Miss状态;3.Pass状态:在此状态下,会进入后端请求,即进入Fetch状态;4.Fetch状态:在Fetch状态下,对请求进行后端获取,发送请求,获得数据,并进行本地存储;5.Deliver状态:将获取到的数据发送给客户端,然后完成本次请求。

Varnish程序环境:

配置文件:

  • /etc/varnish/varnish.params(/etc/sysconfig/varnishd):配置varnish服务进程的工作特性(监听地址,端口,缓存机制等)
  • /etc/varnish/default.vcl:配置各Child/Cache线程的工作特性

主程序:

  • /usr/sbin/varnishd

CLI interface:

  • /usr/bin/varnishadmin:通过此管理工具,完成与Manager Process的交互,进而控制varnish的工作特性

Share Memory Log交互工具:

  • /usr/bin/varnishhist:日志历史
  • /usr/binvarnishlog:记录详细log(请求报文首部,响应报文首部等)
  • /usr/bin/varnishcsa:格式化记录日志
  • /usr/bin/varnishstat:日志统计
  • /usr/bin/varnishtop:日志排序分析

测试工具程序:

  • /usr/bin/varnishtest
    VCL配置文件重载程序:
  • /usr/sbin/varnish_reload_vcl:此程序会编译配置文件

Systemd Unit File:

  • /usr/lib/systemd/system/varnish.service:varnish服务
  • /usr/lib/systemd/system/varnishlog.service:原始记录日志(保存磁在盘上)
  • /usr/lib/systemd/system/varnishncsa.service:ncsa格式日志(保存磁在盘上)

系统环境:

主机名操作系统IP地址服务名
Varnish-servercentos7.4192.168.96.22varnish 4.0.5
web1centos7.4192.168.96.23httpd 2.4.6
web2centos7.4192.168.96.25httpd 2.4.6
客户机windows 10192.168.96.2网页浏览器

关闭防火墙及Selinux

systemctl stop firewalld
setenforce 0

实现功能:

主要通过Varnish缓存代理服务器对应多台web服务器实现负载均衡与健康监测及日志输出的功能。

开始部署:

负载均衡与健康监测

1.安装varnish(从Centos7开始,varnish已被收入到epel仓库)
yum -y install varnish
2.新建varnish用户
useradd -M -s /sbin/nologin varnish
3.修改varnish目录属主属组
chown -R varnish.varnish /etc/varnish/
4.编辑varnishd主配置文件

vim /etc/varnish/varnish.params

#varnish监听地址及端口
VARNISH_LISTEN_ADDRESS=192.168.96.22
VARNISH_LISTEN_PORT=80VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1
VARNISH_ADMIN_LISTEN_PORT=3500#线程调优
DAEMON_OPTS="-p thread_pool_min=100 -p thread_pool_max=5000 -p thread_pool_timeout=300"

Varnish反向代理服务器综合应用

5.编辑varnish配置文件

vim /etc/varnish/default.vcl

vcl 4.0;import directors;#定义健康监测机制
probe check {.url="/";            #检测时请求的URL,默认为"/".interval=5s;        #检测频率.timeout=1s;         #超时时间.window=5;           #基于最近的多少次检查来判断其健康状态.threshold=3;        #最近.window中定义的次数至有.threshold的次数是成功的
}#定义后端服务器web1
backend web1 {.host = "192.168.96.23";.port = "80";.probe=check;       #健康监测
}#定义后端服务器web2
backend web2 {.host="192.168.96.25";.port="80";.probe=check;      #健康监测
}sub vcl_init {new bar=directors.round_robin();            #轮询bar.add_backend(web1);bar.add_backend(web2);
}sub vcl_recv {set req.backend_hint=bar.backend();
}sub vcl_backend_response {}#添加一个Header标识,以判断缓存是否命中
sub vcl_deliver {if (obj.hits > 0) {set resp.http.X-Cache = "HIT,Varnish提供服务";} else {set resp.http.X-Cache = "MISS,web服务器提供服务";}return (deliver);
}
6.启动varnish服务
systemctl start varnish
7.查询varnish端口监听
netstat tunlp | grep varnish

Varnish反向代理服务器综合应用

8.功能测试
8.1.在Varnish服务器上开启监控
varnishstat

Varnish反向代理服务器综合应用

8.2.在windows 10 中通过网页浏览器访问http://192.168.96.22,可以实现负载均衡

Varnish反向代理服务器综合应用

8.3通过fiddler抓包测试:

Varnish反向代理服务器综合应用

Varnish反向代理服务器综合应用

8.4.回到Varnish服务器查看监控页面,可以看到它的命中率(这里我仅测试了203次)

Varnish反向代理服务器综合应用

Varnish日志管理

Varnish是通过内存共享的方式提供日志的,主要提供了两种日志输出形式,分别是:

1.通过自带的Varnish指令获得Varnish详细的系统运行日志;
2.通过自带的Varnishncsa指令得到类似Apache的combined输出格式的日志;

1.创建varnish的cache及log文件夹
#创建cache/log目录
mkdir -p /data/varnish/cache
mkdir -p /data/varnish/log#修改目录的属主、属组信息
chown -R /data/varnish/
2.创建varnishncsa管理脚本

vim /etc/init.d/varnishncsa

#!/bin/shif [ "$1" = "start" ];then/usr/bin/varnishncsa -n /data/varnish/cache -w /data/varnish/log/varnish.log & 2> /dev/nullelif [ "$1" = "stop" ];thenkillall varnishncsa
elseecho $0 "{start | stop}"
fi
3.修改varnishncsa脚本权限
chmod 755 /etc/init.d/varnishncsa
4.启动varnishncsa脚本
/etc/init.d/varnishncsa start
5.验证日志是否成功
Varnish服务器log目录下已经是生成日志文件

Varnish反向代理服务器综合应用

实时查看该日志文件,当有客户端访问会直接显示出记录

Varnish反向代理服务器综合应用

Linux内核参数的优化

1.以下为官方给出的内核参数优化项

vim /etc/sysctl.conf

net.ipv4.ip_local_port_range=1024 65535
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65535 16777216
net.ipv4.tcp_fin_timeout=30
net.core.netdev_max_backlog=30000
net.ipv4.tcp_no_metrics_save=1
net.core.somaxconn=262144
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_max_orphans=262144
net.ipv4.tcp_max_syn_backlog=262144
net.ipv4.tcp_synack_retries=2
net.ipv4.tcp_syn_retries=2
2.重新加载配置
sysctl -p

系统资源优化

这里为临时修改,永久修改需放入varnish的启动脚本中

ulimit -HSn 131072
ulimit -HSc unlimited

这篇关于Varnish反向代理服务器综合应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/584140

相关文章

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda

Java中&和&&以及|和||的区别、应用场景和代码示例

《Java中&和&&以及|和||的区别、应用场景和代码示例》:本文主要介绍Java中的逻辑运算符&、&&、|和||的区别,包括它们在布尔和整数类型上的应用,文中通过代码介绍的非常详细,需要的朋友可... 目录前言1. & 和 &&代码示例2. | 和 ||代码示例3. 为什么要使用 & 和 | 而不是总是使

Python循环缓冲区的应用详解

《Python循环缓冲区的应用详解》循环缓冲区是一个线性缓冲区,逻辑上被视为一个循环的结构,本文主要为大家介绍了Python中循环缓冲区的相关应用,有兴趣的小伙伴可以了解一下... 目录什么是循环缓冲区循环缓冲区的结构python中的循环缓冲区实现运行循环缓冲区循环缓冲区的优势应用案例Python中的实现库

SpringBoot整合MybatisPlus的基本应用指南

《SpringBoot整合MybatisPlus的基本应用指南》MyBatis-Plus,简称MP,是一个MyBatis的增强工具,在MyBatis的基础上只做增强不做改变,下面小编就来和大家介绍一下... 目录一、MyBATisPlus简介二、SpringBoot整合MybatisPlus1、创建数据库和

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石:time.time()典型场景:程序性能分析进阶技巧:结合上下文管理器实现自动计时

Java逻辑运算符之&&、|| 与&、 |的区别及应用

《Java逻辑运算符之&&、||与&、|的区别及应用》:本文主要介绍Java逻辑运算符之&&、||与&、|的区别及应用的相关资料,分别是&&、||与&、|,并探讨了它们在不同应用场景中... 目录前言一、基本概念与运算符介绍二、短路与与非短路与:&& 与 & 的区别1. &&:短路与(AND)2. &:非短

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav