从零手写实现 nginx-09-compress http 文件压缩

2024-06-07 09:44
文章标签 实现 nginx http 压缩 手写 09 compress

本文主要是介绍从零手写实现 nginx-09-compress http 文件压缩，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

大家好，我是老马。很高兴遇到你。

我们为 java 开发者实现了 java 版本的 nginx

https://github.com/houbb/nginx4j

如果你想知道 servlet 如何处理的，可以参考我的另一个项目：

手写从零实现简易版 tomcat minicat

手写 nginx 系列

如果你对 nginx 原理感兴趣，可以阅读：

从零手写实现 nginx-01-为什么不能有 java 版本的 nginx?

从零手写实现 nginx-02-nginx 的核心能力

从零手写实现 nginx-03-nginx 基于 Netty 实现

从零手写实现 nginx-04-基于 netty http 出入参优化处理

从零手写实现 nginx-05-MIME类型（Multipurpose Internet Mail Extensions，多用途互联网邮件扩展类型）

从零手写实现 nginx-06-文件夹自动索引

从零手写实现 nginx-07-大文件下载

从零手写实现 nginx-08-范围查询

从零手写实现 nginx-09-文件压缩

从零手写实现 nginx-10-sendfile 零拷贝

从零手写实现 nginx-11-file+range 合并

从零手写实现 nginx-12-keep-alive 连接复用

从零手写实现 nginx-13-nginx.conf 配置文件介绍

从零手写实现 nginx-14-nginx.conf 和 hocon 格式有关系吗？

从零手写实现 nginx-15-nginx.conf 如何通过 java 解析处理？

从零手写实现 nginx-16-nginx 支持配置多个 server

什么是 http 压缩

HTTP压缩是一种网络优化技术，用于减少在客户端和服务器之间传输的数据量。

通过压缩响应内容（如HTML、CSS、JavaScript、图片等），可以加快加载速度，减少带宽消耗，提升用户体验。

HTTP压缩通常在服务器端进行，客户端接收到压缩后的数据后进行解压缩。

以下是HTTP压缩的一些关键点：

  1. 压缩算法：

    • GZIP：最常用的压缩格式，广泛支持各种压缩级别。
    • DEFLATE：与GZIP类似，但通常不包含文件元数据。
    • Brotli：一种较新的压缩算法，提供比GZIP更好的压缩比率，被现代浏览器支持。
    • 其他：如Zstandard（Zstd），也是一种高效的压缩算法，但浏览器支持度较低。

  2. HTTP头信息：

    • Content-Encoding：响应头，指示数据使用的压缩格式。
    • Accept-Encoding：请求头，客户端通过此头通知服务器它支持的压缩格式。
    • Vary：响应头，用于指示响应内容会根据不同的请求头（如Accept-Encoding）而变化。

  3. 服务器配置：

    • 服务器需要配置相应的模块或中间件来处理HTTP压缩。例如，在Nginx中，可以使用gzip模块，在Apache中可以使用mod_deflate。

  4. 内容类型：

    • 并非所有内容类型都适合压缩。文本内容（如HTML、CSS、JavaScript）通常会从压缩中受益，而已经压缩的媒体类型（如JPEG、GIF图片，MP3音频）则不会。

  5. 压缩级别：

    • 服务器可以配置不同的压缩级别，以平衡压缩比率和CPU负载。压缩级别越高，压缩比率越好，但CPU负载也越大。

  6. 缓存处理：

    • 压缩内容应该被适当地缓存。如果客户端支持条件请求（如ETag或Last-Modified），缓存的压缩内容可以被重复使用。

  7. 安全性：

    • 在某些情况下，压缩可能会暴露敏感信息，尤其是当内容是动态生成的。因此，需要确保压缩的内容不会泄露敏感数据。

  8. 配置示例：

    • 以下是Nginx配置GZIP压缩的示例：
      gzip on;
gzip_vary on;
gzip_proxied any;
gzip_comp_level 5;
gzip_min_length 256;
gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
    • 这个配置启用了GZIP压缩，根据Accept-Encoding头变化响应不同的内容，对所有代理请求进行压缩，设置压缩级别为5（快速压缩），只压缩大于256字节的响应，并且指定了可以被压缩的内容类型。

  9. 测试和验证：

    • 使用工具（如Chrome开发者工具或在线服务）来测试和验证压缩是否按预期工作。

  10. 客户端支持：

    • 客户端（浏览器）必须支持并发送Accept-Encoding头，才能接收压缩内容。

HTTP压缩是一个强大的工具，可以显著提高网站性能。然而，它也增加了服务器的CPU负载，因此需要根据服务器的处理能力和网站的需求来适当配置。

如果一个 txt 文件很大，指定压缩响应。那么 response 中的 Content-Type 应该是什么？响应中会有哪些信息标识压缩相关的？

对于一个大型的文本文件（如.txt），如果服务器配置了压缩响应，那么Content-Type通常设置为text/plain，因为.txt文件是纯文本格式。

当响应被压缩时，响应头中会包含一些标识压缩相关的信息：

  1. Content-Encoding： 这个响应头用于指示响应体使用的压缩格式。例如，如果使用了GZIP压缩，Content-Encoding将被设置为gzip。如果使用了Brotli压缩，它将被设置为br。

    Content-Encoding: gzip

  2. Vary： Vary响应头用于指示响应内容会根据不同的请求头而变化。当启用压缩时，服务器可能会设置Vary头为Accept-Encoding，表示响应内容会根据请求中的Accept-Encoding头变化。

    Vary: Accept-Encoding

  3. Content-Length： Content-Length响应头指示响应体的大小（以字节为单位）。当响应被压缩时，Content-Length将反映压缩后的大小。

    Content-Length: 1200

    注意：在某些情况下，如果服务器使用分块传输编码（chunked transfer encoding），Content-Length可能不会被设置。

当客户端接收到包含Content-Encoding头的响应时，它知道需要对接收到的数据进行解压缩，以恢复原始内容。

以下是一个示例HTTP响应，假设服务器对一个大型文本文件的响应进行了GZIP压缩：

HTTP/1.1 200 OK
Content-Type: text/plain; charset=UTF-8
Content-Encoding: gzip
Content-Length: 1200
Vary: Accept-Encoding
Date: Wed, 31 Dec 2024 12:00:00 GMT
Server: YourServer/1.0<压缩的响应体>

在这个示例中：

  • Content-Type: text/plain; charset=UTF-8 表示响应体是一个文本文件，使用UTF-8编码。
  • Content-Encoding: gzip 表示响应体被GZIP压缩。
  • Content-Length 表示压缩后的响应体大小。
  • Vary: Accept-Encoding 表示响应内容可能会根据请求头中的Accept-Encoding变化。

客户端在接收到这个响应后，会根据Content-Encoding头来解压缩响应体，然后以原始的文本格式进行处理或显示。

核心实现

/*** 文件压缩** @since 0.8.0* @author 老马啸西风*/
public class NginxRequestDispatchFileCompress extends AbstractNginxRequestDispatchFullResp {private static final Log logger = LogFactory.getLog(AbstractNginxRequestDispatchFullResp.class);@Overrideprotected FullHttpResponse buildFullHttpResponse(FullHttpRequest request,final NginxConfig nginxConfig,NginxRequestDispatchContext context) {final File targetFile = context.getFile();logger.info("[Nginx] match compress file, path={}", targetFile.getAbsolutePath());// 压缩内容byte[] compressData = getCompressData(context);// 创建一个带有GZIP压缩内容的ByteBufByteBuf compressedContent = Unpooled.copiedBuffer(compressData);FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.OK, compressedContent);// 设置压缩相关的响应头response.headers().set(HttpHeaderNames.CONTENT_ENCODING, HttpHeaderValues.GZIP);response.headers().set(HttpHeaderNames.CONTENT_LENGTH, response.content().readableBytes());response.headers().set(HttpHeaderNames.CONTENT_TYPE, InnerMimeUtil.getContentTypeWithCharset(targetFile, context.getNginxConfig().getCharset()));// 检查请求是否接受GZIP编码if (request.headers().contains(HttpHeaderNames.ACCEPT_ENCODING) &&request.headers().get(HttpHeaderNames.ACCEPT_ENCODING).contains(HttpHeaderValues.GZIP)) {// 添加Vary头，告知存在多个版本的响应response.headers().set(HttpHeaderNames.VARY, HttpHeaderNames.ACCEPT_ENCODING);}return response;}public static byte[] getCompressData(NginxRequestDispatchContext context) {final File targetFile = context.getFile();byte[] inputData = FileUtil.getFileBytes(targetFile);// 使用try-with-resources语句自动关闭资源try (ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();GZIPOutputStream gzipOutputStream = new GZIPOutputStream(byteArrayOutputStream)) {// 写入要压缩的数据gzipOutputStream.write(inputData);// 强制刷新输出流以确保所有数据都被压缩和写入gzipOutputStream.finish();// 获取压缩后的数据return byteArrayOutputStream.toByteArray();} catch (IOException e) {logger.error("[Nginx] getCompressData failed", e);throw new Nginx4jException(e);}}}

测试

测试代码

public static void main(String[] args) {NginxGzipConfig gzipConfig = new NginxGzipConfig();gzipConfig.setGzip("on");gzipConfig.setGzipMinLength(256);Nginx4jBs.newInstance().nginxGzipConfig(gzipConfig).init().start();
}

页面访问

http://192.168.1.12:8080/c.txt

可以直接返回 c.txt 的内容。

而且后端命中了压缩处理。

[INFO] [2024-05-26 21:01:26.319] [nioEventLoopGroup-3-1] [c.g.h.n.s.r.d.h.AbstractNginxRequestDispatchFullResp.buildFullHttpResponse] - [Nginx] match compress file, path=D:\data\nginx4j\c.txt
[INFO] [2024-05-26 21:01:26.324] [nioEventLoopGroup-3-1] [c.g.h.n.u.InnerMimeUtil.getContentTypeWithCharset] - file=D:\data\nginx4j\c.txt, contentType=text/plain; charset=UTF-8
[INFO] [2024-05-26 21:01:26.327] [nioEventLoopGroup-3-1] [c.g.h.n.s.r.d.h.AbstractNginxRequestDispatchFullResp.doDispatch] - [Nginx] channelRead writeAndFlush DONE response=DefaultFullHttpResponse(decodeResult: success, version: HTTP/1.1, content: UnpooledHeapByteBuf(freed))
HTTP/1.1 200 OK
content-encoding: gzip
content-type: text/plain; charset=UTF-8
vary: accept-encoding
content-length: 696
[INFO] [2024-05-26 21:01:26.328] [nioEventLoopGroup-3-1] [c.g.h.n.s.h.NginxNettyServerHandler.channelRead0] - [Nginx] channelRead writeAndFlush DONE id=40a5effffe257be0-00006394-00000001-0af1170bb1114311-b3ae0da9

http 信息

请求基本信息

Request URL:
http://192.168.1.12:8080/c.txt
Request Method:
GET
Status Code:
200 OK
Remote Address:
192.168.1.12:8080
Referrer Policy:
strict-origin-when-cross-origin

请求头

GET /c.txt HTTP/1.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Connection: keep-alive
Host: 192.168.1.12:8080
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36

响应头

HTTP/1.1 200 OK
content-encoding: gzip
content-type: text/plain; charset=UTF-8
vary: accept-encoding
content-length: 696

可见，虽然返回的是 gzip 内容，但是浏览器会自动解压处理。

小结

本节我们实现了文件的压缩处理，这个对于文件的传输性能提升比较大。

当然，压缩+解压本身也是对性能有损耗的。要结合具体的压缩比等考虑。

下一节，我们考虑实现一下 cors 的支持。

我是老马，期待与你的下次重逢。

开源地址

为了便于大家学习，已经将 nginx 开源

https://github.com/houbb/nginx4j

这篇关于从零手写实现 nginx-09-compress http 文件压缩的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1038821。

相关文章

Oracle查询优化之高效实现仅查询前10条记录的方法与实践

Oracle查询优化之高效实现仅查询前10条记录的方法与实践

《Oracle查询优化之高效实现仅查询前10条记录的方法与实践》：本文主要介绍Oracle查询优化之高效实现仅查询前10条记录的相关资料,包括使用ROWNUM、ROW_NUMBER()函数、FET... 目录1. 使用 ROWNUM 查询2. 使用 ROW_NUMBER() 函数3. 使用 FETCH FI
阅读更多...
Python脚本实现自动删除C盘临时文件夹

Python脚本实现自动删除C盘临时文件夹

《Python脚本实现自动删除C盘临时文件夹》在日常使用电脑的过程中,临时文件夹往往会积累大量的无用数据,占用宝贵的磁盘空间,下面我们就来看看Python如何通过脚本实现自动删除C盘临时文件夹吧... 目录一、准备工作二、python脚本编写三、脚本解析四、运行脚本五、案例演示六、注意事项七、总结在日常使用
阅读更多...
Java实现Excel与HTML互转

Java实现Excel与HTML互转

《Java实现Excel与HTML互转》Excel是一种电子表格格式,而HTM则是一种用于创建网页的标记语言,虽然两者在用途上存在差异,但有时我们需要将数据从一种格式转换为另一种格式,下面我们就来看看... Excel是一种电子表格格式，广泛用于数据处理和分析，而HTM则是一种用于创建网页的标记语言。虽然两
阅读更多...
Java中Springboot集成Kafka实现消息发送和接收功能

Java中Springboot集成Kafka实现消息发送和接收功能

《Java中Springboot集成Kafka实现消息发送和接收功能》Kafka是一个高吞吐量的分布式发布-订阅消息系统,主要用于处理大规模数据流,它由生产者、消费者、主题、分区和代理等组件构成,Ka... 目录一、Kafka 简介二、Kafka 功能三、POM依赖四、配置文件五、生产者六、消费者一、Kaf
阅读更多...
详解Java如何向http/https接口发出请求

详解Java如何向http/https接口发出请求

《详解Java如何向http/https接口发出请求》这篇文章主要为大家详细介绍了Java如何实现向http/https接口发出请求,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 用Java发送web请求所用到的包都在java.net下，在具体使用时可以用如下代码，你可以把它封装成一
阅读更多...
使用Python实现在Word中添加或删除超链接

使用Python实现在Word中添加或删除超链接

《使用Python实现在Word中添加或删除超链接》在Word文档中,超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能,本文将为大家介绍一下Python如何实现在Word中添加或... 在Word文档中，超链接是一种将文本或图像连接到其他文档、网页或同一文档中不同部分的功能。通过添加超
阅读更多...
windos server2022里的DFS配置的实现

windos server2022里的DFS配置的实现

《windosserver2022里的DFS配置的实现》DFS是WindowsServer操作系统提供的一种功能,用于在多台服务器上集中管理共享文件夹和文件的分布式存储解决方案,本文就来介绍一下wi... 目录什么是DFS？优势：应用场景：DFS配置步骤什么是DFS？DFS指的是分布式文件系统（Distr
阅读更多...
NFS实现多服务器文件的共享的方法步骤

NFS实现多服务器文件的共享的方法步骤

《NFS实现多服务器文件的共享的方法步骤》NFS允许网络中的计算机之间共享资源,客户端可以透明地读写远端NFS服务器上的文件,本文就来介绍一下NFS实现多服务器文件的共享的方法步骤,感兴趣的可以了解一... 目录一、简介二、部署1、准备1、服务端和客户端：安装nfs-utils2、服务端：创建共享目录3、服
阅读更多...
C#使用yield关键字实现提升迭代性能与效率

C#使用yield关键字实现提升迭代性能与效率

《C#使用yield关键字实现提升迭代性能与效率》yield关键字在C#中简化了数据迭代的方式,实现了按需生成数据,自动维护迭代状态,本文主要来聊聊如何使用yield关键字实现提升迭代性能与效率,感兴... 目录前言传统迭代和yield迭代方式对比yield延迟加载按需获取数据yield break显式示迭
阅读更多...
Python实现高效地读写大型文件

Python实现高效地读写大型文件

《Python实现高效地读写大型文件》Python如何读写的是大型文件,有没有什么方法来提高效率呢,这篇文章就来和大家聊聊如何在Python中高效地读写大型文件,需要的可以了解下... 目录一、逐行读取大型文件二、分块读取大型文件三、使用 mmap 模块进行内存映射文件操作（适用于大文件）四、使用 pand
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2