Varnish反向代理服务器综合应用

2024-01-08 16:48
文章标签 综合 应用 反向 varnish 代理服务器

本文主要是介绍Varnish反向代理服务器综合应用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Varnish反向代理服务器

Varnish是一个开源的轻量级Cache和反向代理软件，通常只为http提供缓存，与Squit相比，Varnish具有性能更高、速度更快、管理更方便等优点。

Varnish的特点：

  • 基于内存进行缓存，重启后数据将丢失
  • 利用虚拟内存方式，IO性能好
  • 支持设置0-60秒的精确缓存时间
  • VCL配置管理比较灵活
  • 32位机器上只能支持最大缓存文件大小为2GB，需要更大的缓存文件只有安装64位操作系统
  • 具有强大的管理功能
  • 利用二叉堆管理缓存文件，可达到积极删除目的

Varnish与Squid比较：

相同点：

  • 两者都是反向代理服务器
  • 两者都是开源软件

不同点（同时也是Varnish的优点）：

  • Varnish稳定性高
  • varnish访问速度快
  • Varnish可以支持更多的并发连接
  • Varnish可以通过管理端口，使用正则表达式批量清除部分缓存

Varnish的缺点：

Varnish在高并发情况下CPU、IO和内存资源开销大
Varnish进程一旦挂起、崩溃或重启，缓存数据都会从内存中释放，此刻所有请求都会发送到后端服务器上，在高并发情况下，会给后端服务器造成很大的压力

VCL即varnish Configuation Language

它用来定义Varnish的存取策略，需要注意“\”字符在这里没有特别含义，它只是配置语言，并不是编程语言。

VCL语法：1.vcl_recv函数：
用来接收和处理请求，当请求到达并被成功接收后被调用，通过判断请求的数据来决定如何处理请求。2.vcl_pipe函数：
在进入pipe模式时被调用，用于将请求直接传递至后端主机，在请求和返回的内容没有变化的情况下，将不变的内容返回给客户端，直到这个连接被关闭。3.vcl_pass函数：：
在进入pass模式时被调用，用于将请求直接传递至后端主机。后端主机在应答数据后将应答数据发送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容。4.lookup：
在缓存中查找被请求的对象，并且根据查找的结果把控制权交给函数vcl_hit或函数vcl_miss。5.vcl_hit函数：
在执行lookup指令后，在缓存中找到请求的内容后将自动调用该函数。6.vcl_miss函数：
在执行lookup指令后，在缓存中没有找到请求的内容时自动条用该方法。此函数可用于判断是否需要从后端服务器获取内容。7.vcl_fetch函数：
在后端主机更新缓存并且获取内容后调用该方法，接着，通过判断获取的内容来决定是将内容放入缓存，还是直接返回给客户端。8.vcl_deliver函数：
将在缓存中找到请求的内容发送给客户端前调用此方法。9.vcl_timeout函数：
在缓存内容到期前调用此函数。10.vcl_discard函数：
在缓存内容到期后或缓存空间不够时，自动调用该函数。

VCL处理流程图

Varnish反向代理服务器综合应用

Varnish处理HTTP请求的过程大致分为如下步骤：

1.Receive状态：请求处理的入口状态，根据VCL规则判断该请求应该Pass或Pipe，还是进入Lookup（本地查询）；2.Lookup状态：进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，否则进入Miss状态；3.Pass状态：在此状态下，会进入后端请求，即进入Fetch状态；4.Fetch状态：在Fetch状态下，对请求进行后端获取，发送请求，获得数据，并进行本地存储；5.Deliver状态：将获取到的数据发送给客户端，然后完成本次请求。

Varnish程序环境：

配置文件：

  • /etc/varnish/varnish.params（/etc/sysconfig/varnishd）：配置varnish服务进程的工作特性（监听地址，端口，缓存机制等）
  • /etc/varnish/default.vcl：配置各Child/Cache线程的工作特性

主程序：

  • /usr/sbin/varnishd

CLI interface：

  • /usr/bin/varnishadmin：通过此管理工具，完成与Manager Process的交互，进而控制varnish的工作特性

Share Memory Log交互工具：

  • /usr/bin/varnishhist：日志历史
  • /usr/binvarnishlog：记录详细log（请求报文首部，响应报文首部等）
  • /usr/bin/varnishcsa：格式化记录日志
  • /usr/bin/varnishstat：日志统计
  • /usr/bin/varnishtop：日志排序分析

测试工具程序：

  • /usr/bin/varnishtest
    VCL配置文件重载程序：
  • /usr/sbin/varnish_reload_vcl：此程序会编译配置文件

Systemd Unit File：

  • /usr/lib/systemd/system/varnish.service：varnish服务
  • /usr/lib/systemd/system/varnishlog.service：原始记录日志（保存磁在盘上）
  • /usr/lib/systemd/system/varnishncsa.service：ncsa格式日志（保存磁在盘上）

系统环境：

主机名操作系统IP地址服务名
Varnish-servercentos7.4192.168.96.22varnish 4.0.5
web1centos7.4192.168.96.23httpd 2.4.6
web2centos7.4192.168.96.25httpd 2.4.6
客户机windows 10192.168.96.2网页浏览器

关闭防火墙及Selinux

systemctl stop firewalld
setenforce 0

实现功能：

主要通过Varnish缓存代理服务器对应多台web服务器实现负载均衡与健康监测及日志输出的功能。

开始部署：

负载均衡与健康监测

1.安装varnish（从Centos7开始，varnish已被收入到epel仓库）
yum -y install varnish
2.新建varnish用户
useradd -M -s /sbin/nologin varnish
3.修改varnish目录属主属组
chown -R varnish.varnish /etc/varnish/
4.编辑varnishd主配置文件

vim /etc/varnish/varnish.params

#varnish监听地址及端口
VARNISH_LISTEN_ADDRESS=192.168.96.22
VARNISH_LISTEN_PORT=80VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1
VARNISH_ADMIN_LISTEN_PORT=3500#线程调优
DAEMON_OPTS="-p thread_pool_min=100 -p thread_pool_max=5000 -p thread_pool_timeout=300"

Varnish反向代理服务器综合应用

5.编辑varnish配置文件

vim /etc/varnish/default.vcl

vcl 4.0;import directors;#定义健康监测机制
probe check {.url="/";            #检测时请求的URL，默认为"/".interval=5s;        #检测频率.timeout=1s;         #超时时间.window=5;           #基于最近的多少次检查来判断其健康状态.threshold=3;        #最近.window中定义的次数至有.threshold的次数是成功的
}#定义后端服务器web1
backend web1 {.host = "192.168.96.23";.port = "80";.probe=check;       #健康监测
}#定义后端服务器web2
backend web2 {.host="192.168.96.25";.port="80";.probe=check;      #健康监测
}sub vcl_init {new bar=directors.round_robin();            #轮询bar.add_backend(web1);bar.add_backend(web2);
}sub vcl_recv {set req.backend_hint=bar.backend();
}sub vcl_backend_response {}#添加一个Header标识，以判断缓存是否命中
sub vcl_deliver {if (obj.hits > 0) {set resp.http.X-Cache = "HIT，Varnish提供服务";} else {set resp.http.X-Cache = "MISS，web服务器提供服务";}return (deliver);
}
6.启动varnish服务
systemctl start varnish
7.查询varnish端口监听
netstat tunlp | grep varnish

Varnish反向代理服务器综合应用

8.功能测试
8.1.在Varnish服务器上开启监控
varnishstat

Varnish反向代理服务器综合应用

8.2.在windows 10 中通过网页浏览器访问http://192.168.96.22,可以实现负载均衡

Varnish反向代理服务器综合应用

8.3通过fiddler抓包测试：

Varnish反向代理服务器综合应用

Varnish反向代理服务器综合应用

8.4.回到Varnish服务器查看监控页面，可以看到它的命中率（这里我仅测试了203次）

Varnish反向代理服务器综合应用

Varnish日志管理

Varnish是通过内存共享的方式提供日志的，主要提供了两种日志输出形式，分别是：

1.通过自带的Varnish指令获得Varnish详细的系统运行日志；
2.通过自带的Varnishncsa指令得到类似Apache的combined输出格式的日志；

1.创建varnish的cache及log文件夹
#创建cache/log目录
mkdir -p /data/varnish/cache
mkdir -p /data/varnish/log#修改目录的属主、属组信息
chown -R /data/varnish/
2.创建varnishncsa管理脚本

vim /etc/init.d/varnishncsa

#!/bin/shif [ "$1" = "start" ];then/usr/bin/varnishncsa -n /data/varnish/cache -w /data/varnish/log/varnish.log & 2> /dev/nullelif [ "$1" = "stop" ];thenkillall varnishncsa
elseecho $0 "{start | stop}"
fi
3.修改varnishncsa脚本权限
chmod 755 /etc/init.d/varnishncsa
4.启动varnishncsa脚本
/etc/init.d/varnishncsa start
5.验证日志是否成功
Varnish服务器log目录下已经是生成日志文件

Varnish反向代理服务器综合应用

实时查看该日志文件，当有客户端访问会直接显示出记录

Varnish反向代理服务器综合应用

Linux内核参数的优化

1.以下为官方给出的内核参数优化项

vim /etc/sysctl.conf

net.ipv4.ip_local_port_range=1024 65535
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65535 16777216
net.ipv4.tcp_fin_timeout=30
net.core.netdev_max_backlog=30000
net.ipv4.tcp_no_metrics_save=1
net.core.somaxconn=262144
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_max_orphans=262144
net.ipv4.tcp_max_syn_backlog=262144
net.ipv4.tcp_synack_retries=2
net.ipv4.tcp_syn_retries=2
2.重新加载配置
sysctl -p

系统资源优化

这里为临时修改，永久修改需放入varnish的启动脚本中

ulimit -HSn 131072
ulimit -HSc unlimited

这篇关于Varnish反向代理服务器综合应用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/584140。

相关文章

中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点：求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
hdu1394(线段树点更新的应用)

hdu1394(线段树点更新的应用)

题意：求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质，在0到n-1这些数字组成的乱序排列，将第一个数字A移到最后一位，得到的逆序数为res-a+(n-a-1) 知道上面的知识点后，可以用暴力来解 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in
阅读更多...
zoj3820(树的直径的应用)

zoj3820(树的直径的应用)

题意：在一颗树上找两个点，使得所有点到选择与其更近的一个点的距离的最大值最小。 思路：如果是选择一个点的话，那么点就是直径的中点。现在考虑两个点的情况，先求树的直径，再把直径最中间的边去掉，再求剩下的两个子树中直径的中点。 代码如下： #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
AI行业应用(不定期更新)

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件，然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它，快速获取到想要知道的信息。https://www.chatpdf.com/
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...
【C++高阶】C++类型转换全攻略：深入理解并高效应用

【C++高阶】C++类型转换全攻略：深入理解并高效应用

📝个人主页🌹：Eternity._ ⏩收录专栏⏪：C++ “ 登神长阶 ” 🤡往期回顾🤡：C++ 智能指针 🌹🌹期待您的关注 🌹🌹 ❀C++的类型转换 📒1. C语言中的类型转换📚2. C++强制类型转换⛰️static_cast🌞reinterpret_cast⭐const_cast🍁dynamic_cast 📜3. C++强制类型转换的原因📝
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2