cdn缓存加速---varnish

2024-03-29 03:58
文章标签 加速 缓存 cdn varnish

本文主要是介绍cdn缓存加速---varnish，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

环境，
server2 172.25.254.2
server3 172.25.254.3
server4 172.25.254.4
server2作varnish服务器

varnish介绍

Varnish是一款开源的、高性能的HTTP加速器和反向代理服务器

最主要的功能就是:通过缓存来实现Web访问加速

Varnish特点是主要基于内存或者是虚拟内存进行缓存，性能好 支持设置精确的缓存时间 VCL配置管理比较灵活 后端服务器的负载均衡和健康检查

varnish安装

www.varnish-cache.org
从官网下载varnish6.3或者6.4 的rpm包
安装时提示需要jemalloc.x86_64 0:3.6.0-1.el7这个包的依赖性，这是一个用来管理内存的软件。

配置文件

他的配置文件是这些
default.vcl 我们将来用于编写vcl语法的
varnish-x86_64.conf 是配置文件
varnish是环境变量信息
在这里插入图片描述
他的启动脚本是 /usr/lib/systemd/system/varnish.service
查看启动脚本：
最大打开文件数：
在这里插入图片描述

查看我们系统中的最大打开文件数

sysctl -a |grep file

在这里插入图片描述
最大打开文件数为97764个，不够我们varnish 使用，我们可以加大内存或者更改 varnish 配置文件。

内存改为2G;
在这里插入图片描述

在这里插入图片描述
开机后发现可打开文件数增大了，满足varnish需求了。

内存锁定，运行varnish时需要折磨多内存：
在这里插入图片描述
大概82M
查看我们系统中的进程限制

ulimit -a

在这里插入图片描述

可见最大为64M.我们需要进行设定
可并行的任务数：
在这里插入图片描述
没有限制。
默认端口：
在这里插入图片描述
更改为:
在这里插入图片描述

因为我们要用它做一个反向代理，要作缓存，而且用户不知道6081端口，所以用户直接用http访问缓存服务器。
-T 可以让我们使用命令行去管理varnish
保存退出。

然后更改 /etc/security/limits.conf
让系统允许我们的varnish以这样的内存区运行。
在这里插入图片描述
然后我们启动 varnish

启动成功且80端口打开，我们在火湖浏览器访问

在这里插入图片描述
在这里插入图片描述

说明我们的varnish正常的只是没有数据，那我们配置一些数据。

vim /etc/varnish/default.vcl

在这里插入图片描述

这里要注意 backend default 的作用是：
当你访问varnish时，会把你的请求转交给 本地的回环接口， 8080 端口
我们改为：
在这里插入图片描述

，就让在访问varnish时，把请求转交给172.25.254.3这台主机，相当于反向代理，
然后我们在这台主机上安装http 就有80端口了
我们给他创建一个index页面：
在这里插入图片描述

然后重启varnish，刷新firefox：
在这里插入图片描述

我们就看到的是172.25.254.3的内容了，可见请求已经被调度到了 172.25.254.3

ps aux

在这里插入图片描述

可以看到varnish开启了两个进程，一个manager 进程，负责读取进程的各项进程，并监控子进程
一个child进程，这个才是真实的处理用户请求的进程
查看manager进程的信息：

cat /proc/17532/status

在这里插入图片描述

threads = 1 ，可以看出只有一个线程，说明manager进程之监控子进程，没有处理用户请求，这些都由子进程来处理。

cat /proc/17542/status

在这里插入图片描述

threads = 216 ,说明子进程是用于处理的进程。

varnish命令行

varnishadm 可以进入varnish的命令行
在这里插入图片描述

缓存内容

vim /etc/varnish/default.vcl

在里面的deliver 模块进行编辑,内容如下：
在这里插入图片描述

sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos cache";        #命中缓存返回这句话
}
else {
set resp.http.x-Cache = "MISS from westos cache";		#如果不是，返回这句话
}
return (deliver);

这段代码可以让我们知道是否从缓存中获取， #vcl语法可以从官方文档中获取用法。
重启varnish，

测试：

curl -I 172.25.254.2

在这里插入图片描述

到数第三行可以看出命中了缓存。第一次会miss，因为cdn中也没有数据，第二次访问时就会从缓存中获取。
如果内容有更新时，我们需要更新缓存，这时，我们可以手动清除缓存。

varnishadm ban req.url "~" /                 表示清空所有缓存，/代表所有
varnishadm ban req.url "~" /index.html       表示清空这个页面的缓存，
# 和上面的不同,清理后curl -I 172.25.254.2 不会miss，因为并没有清空全部的缓存。
# curl -I 172.25.254.2/index.html 才会 MISS 。

表示清空我们的缓存，默认的自动晴空缓存的时间为120S。
在这里插入图片描述

看第一行和最后一行，可知已经清空了缓存。

不同域名分配不同后端

当我门的请求过多时，一台后端主机无法应付，这好似我们就可以定义多个后端进行反向代理：
在这里插入图片描述
并设置 sub vcl_recv :

sub vcl_recv {# Happens before we check if we have this in cache already.## Typically you clean up the request here, removing cookies you don't need,# rewriting the request, etc.
if (req.http.host ~ "^(www.)?westos.org") {
set req.http.host = "www.westos.org";
set req.backend_hint = web1;     #www.westos.org 对应 web1
}
elsif (req.http.host ~ "^bbs.westos.org") {          
set req.backend_hint = web2;     #bbs.westos.org 对应 web1
} else {return (synth(405));
}
}
# 不同的主机设置不同的域名

重启varnish，
在物理机上做好本地解析：
在这里插入图片描述
然后在 172.25.254.3 和172.25.254.4 上建立index.html 文件

echo www.westos.com > /var/www/html/index.html          3
echo bbs.wesots.org > /var/www/html/index.html

测试访问：
在这里插入图片描述
可见内容分发给不同的后端成功。

定义负载均衡

cdn作为访问的调度点需要做负载均衡

#可以查看相关手册
man vcl 
man varnishadm
man vmod_directors

我们需要导入 /usr/lib64/varnish/vmods/libvmod_directors.so 模块才能激活负载均衡
在这里插入图片描述

vim /etc/varnish/default.vcl

写到这个位置：
在这里插入图片描述

导入后我们去man vmos_directors查询如何去写配置来激活负载均衡：
在这里插入图片描述

使用round_robin轮巡的负载均衡模式，我们负载均衡器起名为 lb ，更改 后端服务器名称web1 web2
在这里插入图片描述

然后更改 vcl_recv:在这里插入图片描述

就是当我们访问www.westos.com 时 就会轮询的去访问web1 和web2， 当访问 bbs.westos.org 时会访问web2。
重启服务，测试：
在这里插入图片描述
测试的时候访问www.westos.org 却没有轮询访问两台后端，这是为什么那？
因为我们的cdn是缓存，第一次读取后结下来的读取都是从缓存中获取，所以没有轮询访问。
那我们让缓存不生效在试一次：
在这里插入图片描述
加上return这一行表示不缓存，那我们继续测试：

在这里插入图片描述
在这里插入图片描述
每次都是MISS，就代表不从缓存读取。
这次就达到了我们的负载均衡的需求了.

或者我们每次都手动的清理一次缓存：

varnishadm ban req.url "~" /

这样清理缓存对于企业是有门槛的，所以我们可以用图形界面操作。
安装httpd 和php
安装bansys软件：

unzip bansys.zip -d /var/www/html           -d解压到目录，因为我们要发布它

在这里插入图片描述
更改 config.php,定义varnish主机:
在这里插入图片描述
配制成这个样子，因为我们没有作数据库，所以数据库的一些配置我们删除。
更改httpd的端口为8080，因为varnish占用了80端口：

在这里插入图片描述
重启httpd,测试访问：
在这里插入图片描述
可以使用。使用HTTP方式
我们需要设置一个权限，只对特定ip推送：

vim /etc/varnish/default.vcl

在这里插入图片描述在这里插入图片描述

if (req.method == "BAN") {            #判断是否要清除缓存
if (!client.ip ~ westos) {				##如果ip和westos定义的ip不匹配，告知不允许return(synth(405,"Not allowed"));
}
ban("req.url ～ " + req.url);			#否则清楚return (purge);
}

重启服务，
查看我们是否有缓存;
在这里插入图片描述
命中缓存，则有。
我们推送 .* 表示清楚所有缓存。
在这里插入图片描述
然后我们在访问：

在这里插入图片描述
就又变成了MISS 了。
我们还可以推送 index.html，他不影响整体缓存，清空后只有/index.html 是MISS form cache
在这里插入图片描述
现在两个的缓存都存在，
推送：
在这里插入图片描述
然后再次访问：
在这里插入图片描述

只有index.html MISS 了。

总结

从 varnish-book 总结流程：
在这里插入图片描述
各个模块的功能：

vcl_recv ：接受用户的请求，并进行查询
vcl_hash:在recv之后被调用，用来请求创建hash值，作用是在varnish中查找key值。
  • hit函数 缓存查找成功时调用的，进入pass模块或者deliver模块
  • pass函数 进入通道模式请求的，不经过缓存，进入pass模块
  • hit-for-pass函数 进入pass模块
  • miss函数 未命中缓存，进入miss模块，在进入后端查询模块（vcl_backend_fetch）
  • purge函数 用于清空缓存
  • pipe函数 在管道模式中使用，进入vcl_pipe 模块，子进程，可以使请求直接传送到后端，通常用于大数据的传输
  • busy函数 在varnish繁忙的时侯 进入waiting模块
vcl_backend_response:接受
vcl_beresp动作：读取请求头，如果缓存没有，进入vcl_backend_error 模块，有就进入response模块，准备响应请求。
cacheabel动作：询问是否缓存数据，因为比如用户的密码是不允许缓存的
vcl_deliver：将数据结果返回给客户端
done：返回给客户端后结束

这篇关于cdn缓存加速---varnish的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/857539。

相关文章

Redis缓存问题与缓存更新机制详解

Redis缓存问题与缓存更新机制详解

《Redis缓存问题与缓存更新机制详解》本文主要介绍了缓存问题及其解决方案,包括缓存穿透、缓存击穿、缓存雪崩等问题的成因以及相应的预防和解决方法,同时,还详细探讨了缓存更新机制,包括不同情况下的缓存更... 目录一、缓存问题1.1 缓存穿透1.1.1 问题来源1.1.2 解决方案1.2 缓存击穿1.2.1
阅读更多...
Redis与缓存解读

Redis与缓存解读

《Redis与缓存解读》文章介绍了Redis作为缓存层的优势和缺点,并分析了六种缓存更新策略,包括超时剔除、先删缓存再更新数据库、旁路缓存、先更新数据库再删缓存、先更新数据库再更新缓存、读写穿透和异步... 目录缓存缓存优缺点缓存更新策略超时剔除先删缓存再更新数据库旁路缓存(先更新数据库，再删缓存）先更新数
阅读更多...
el-select下拉选择缓存的实现

el-select下拉选择缓存的实现

《el-select下拉选择缓存的实现》本文主要介绍了在使用el-select实现下拉选择缓存时遇到的问题及解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录项目场景：问题描述解决方案：项目场景：从左侧列表中选取字段填入右侧下拉多选框，用户可以对右侧
阅读更多...
SpringBoot使用注解集成Redis缓存的示例代码

SpringBoot使用注解集成Redis缓存的示例代码

《SpringBoot使用注解集成Redis缓存的示例代码》：本文主要介绍在SpringBoot中使用注解集成Redis缓存的步骤,包括添加依赖、创建相关配置类、需要缓存数据的类（Tes... 目录一、创建 Caching 配置类二、创建需要缓存数据的类三、测试方法Spring Boot 熟悉后，集成一个外
阅读更多...
使用Spring Cache时设置缓存键的注意事项详解

使用Spring Cache时设置缓存键的注意事项详解

《使用SpringCache时设置缓存键的注意事项详解》在现代的Web应用中,缓存是提高系统性能和响应速度的重要手段之一,Spring框架提供了强大的缓存支持,通过​​@Cacheable​​、​​... 目录引言1. 缓存键的基本概念2. 默认缓存键生成器3. 自定义缓存键3.1 使用​​@Cacheab
阅读更多...
Nacos客户端本地缓存和故障转移方式

Nacos客户端本地缓存和故障转移方式

《Nacos客户端本地缓存和故障转移方式》Nacos客户端在从Server获得服务时,若出现故障,会通过ServiceInfoHolder和FailoverReactor进行故障转移,ServiceI... 目录1. ServiceInfoHolder本地缓存目录2. FailoverReactorinit
阅读更多...
缓存雪崩问题

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库，瞬间耗尽数据库资源，导致数据库无法使用。 解决方案： 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内，大量缓存数据同时失效，导致所有请求直接涌向数据库，瞬间增加数据库的负载压力，可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k
阅读更多...
速盾高防cdn是怎么解决网站攻击的？

速盾高防cdn是怎么解决网站攻击的？

速盾高防CDN是一种基于云计算技术的网络安全解决方案，可以有效地保护网站免受各种网络攻击的威胁。它通过在全球多个节点部署服务器，将网站内容缓存到这些服务器上，并通过智能路由技术将用户的请求引导到最近的服务器上，以提供更快的访问速度和更好的网络性能。 速盾高防CDN主要采用以下几种方式来解决网站攻击： 分布式拒绝服务攻击(DDoS)防护：DDoS攻击是一种常见的网络攻击手段，攻击者通过向目标网
阅读更多...
速盾：直播 cdn 服务器带宽？

速盾：直播 cdn 服务器带宽？

在当今数字化时代，直播已经成为了一种非常流行的娱乐和商业活动形式。为了确保直播的流畅性和高质量，直播平台通常会使用 CDN（Content Delivery Network，内容分发网络）服务器来分发直播流。而 CDN 服务器的带宽则是影响直播质量的一个重要因素。下面我们就来探讨一下速盾视角下的直播 CDN 服务器带宽问题。 一、直播对带宽的需求 高清视频流 直播通常需要传输高清视频
阅读更多...
Redis中使用布隆过滤器解决缓存穿透问题

Redis中使用布隆过滤器解决缓存穿透问题

一、缓存穿透(失效)问题 缓存穿透是指查询一个一定不存在的数据，由于缓存中没有命中，会去数据库中查询，而数据库中也没有该数据，并且每次查询都不会命中缓存，从而每次请求都直接打到了数据库上，这会给数据库带来巨大压力。 二、布隆过滤器原理 布隆过滤器（Bloom Filter）是一种空间效率很高的随机数据结构，它利用多个不同的哈希函数将一个元素映射到一个位数组中的多个位置，并将这些位置的值置
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2