【CS.CN】优化HTTP传输:揭示Transfer-Encoding: chunked的奥秘与应用

2024-06-08 08:52

本文主要是介绍【CS.CN】优化HTTP传输:揭示Transfer-Encoding: chunked的奥秘与应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 0 序言
      • 0.1 由来
      • 0.2 使用场景
    • 1 `Transfer-Encoding: chunked`的机制
    • 2 语法 && 通过设置`Transfer-Encoding: chunked`优化性能
    • 3 总结
    • References

在这里插入图片描述

0 序言

0.1 由来

Transfer-Encoding头部字段在HTTP/1.1中被引入,用于指示数据传输过程中使用的编码方式。常见的值包括chunked。当使用chunked传输编码时,数据以分块的形式传输,每一块都有自己的大小标识,直到最后一个块(大小为0)表示传输结束。

可以将Transfer-Encoding: chunked机制比作分批次发送邮件:

  1. 情景设定
    • 你需要寄送一大批邮件,但一次性发送可能会超出邮件系统的限制。
  2. 正常流程
    • 你将所有邮件一次性发送,可能会遇到系统限制或传输失败。
  3. 使用Transfer-Encoding: chunked
    • 你将邮件分批次发送,每次发送一部分,直到所有邮件发送完毕。

0.2 使用场景

  • 大文件上传:当客户端需要上传大文件时,使用chunked传输可以避免一次性传输大量数据,减轻服务器压力。

  • 不确定的内容长度:在数据长度不确定的情况下,使用chunked传输可以方便地逐块发送数据。

    • 减少失败率:分块传输可以避免一次性传输大量数据导致的传输失败。
    • 提高效率:在数据生成过程中可以逐块发送数据,提高传输效率。

虽然Transfer-Encoding: chunked在某些情况下依然有用,但现代HTTP/2和HTTP/3协议中已经内置了多路复用和流控制机制,使其重要性有所降低:

  • HTTP/2和HTTP/3:现代协议已经支持多路复用和流控制,可以高效处理大数据传输。
  • 高效网络:现代网络基础设施的改进使得数据传输更加稳定和高效。

是否需要使用Transfer-Encoding: chunked取决于具体的应用场景:

  • 需要:在使用HTTP/1.1的环境中,尤其是需要传输大数据或不确定长度的数据时,依然可以使用。
  • 不需要:在使用HTTP/2或HTTP/3的环境中,已经不需要显式设置chunked传输。

1 Transfer-Encoding: chunked的机制

Transfer-Encoding 是一个请求和响应消息头,用于指示数据传输过程中使用的编码方式。常见的值包括chunked

规范中规定,chunked表示数据以分块的形式传输,每一块都有自己的大小标识,直到最后一个块(大小为0)表示传输结束。

例如,如果使用chunked,服务器可以逐块接收数据,而不是一次性接收所有数据。

Client Server HTTP Request (Headers with Transfer-Encoding: chunked) HTTP/1.1 200 OK Client sends request body in chunks HTTP Request Body (Chunk 1) HTTP Request Body (Chunk 2) HTTP Request Body (Final Chunk) HTTP Response Client Server

在分块传输中,Transfer-Encoding头可以显著影响数据传输的稳定性和效率。默认情况下,客户端可能会使用chunked传输,但明确设置可以确保行为一致。

客户端发送带有Transfer-Encoding: chunked头的请求,服务器接收数据时逐块处理。这种机制可以避免一次性传输大量数据导致的传输失败,提高传输效率。

在HTTP长连接(持久连接)中,客户端与服务器之间会复用同一个TCP连接以发送多个请求/响应对话。这通常会显著降低延迟和资源消耗。

注意: Transfer-Encoding: chunked机制与连接的长短无关。无论是短连接还是长连接,当客户端发送一个包含chunked头的请求时,都会触发分块传输的机制。

2 语法 && 通过设置Transfer-Encoding: chunked优化性能

目前规范中规定的值包括chunked

Transfer-Encoding: chunked

例如,curl库默认设置,或者在大文件上传时:

# 客户端发送带有 Transfer-Encoding: chunked 消息头的请求,逐块传输数据。PUT /upload HTTP/1.1
Host: origin.example.com
Transfer-Encoding: chunked

通过设置Transfer-Encoding: chunked,可以避免一次性传输大量数据,提高传输稳定性和效率。

3 总结

通过正确使用Transfer-Encoding头,尤其是chunked传输,可以避免一次性传输大量数据导致的传输失败,提高传输稳定性和效率。

References

这篇关于【CS.CN】优化HTTP传输:揭示Transfer-Encoding: chunked的奥秘与应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1041722

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

2. c#从不同cs的文件调用函数

1.文件目录如下: 2. Program.cs文件的主函数如下 using System;using System.Collections.Generic;using System.Linq;using System.Threading.Tasks;using System.Windows.Forms;namespace datasAnalysis{internal static

hdu1394(线段树点更新的应用)

题意:求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质,在0到n-1这些数字组成的乱序排列,将第一个数字A移到最后一位,得到的逆序数为res-a+(n-a-1) 知道上面的知识点后,可以用暴力来解 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in

zoj3820(树的直径的应用)

题意:在一颗树上找两个点,使得所有点到选择与其更近的一个点的距离的最大值最小。 思路:如果是选择一个点的话,那么点就是直径的中点。现在考虑两个点的情况,先求树的直径,再把直径最中间的边去掉,再求剩下的两个子树中直径的中点。 代码如下: #include <stdio.h>#include <string.h>#include <algorithm>#include <map>#

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份