菜鸟nginx源码剖析数据结构篇(八) 缓冲区链表ngx_chain_t

2024-03-15 03:08

本文主要是介绍菜鸟nginx源码剖析数据结构篇(八) 缓冲区链表ngx_chain_t,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

分类: Server - 菜鸟nginx源码剖析 10195人阅读 评论(7) 收藏 举报
nginx 数据结构 缓冲区 源码

目录(?)[+]

 

菜鸟nginx源码剖析数据结构篇(八) 缓冲区链表 ngx_chain_t

 

  • Author:Echo Chen(陈斌)

  • Email:chenb19870707@gmail.com

  • Blog:Blog.csdn.net/chen19870707

  • Date:Nov 6th, 2014

     

    1.缓冲区链表结构ngx_chain_t和ngx_buf_t

    nginx的缓冲区链表如下图所示,ngx_chain_t为链表,ngx_buf_t为缓冲区结点:

    image

    2.源代码位置

     

    头文件:http://trac.nginx.org/nginx/browser/nginx/src/core/ngx_buf.h

    源文件:http://trac.nginx.org/nginx/browser/nginx/src/core/ngx_buf.c

     

    3.数据结构定义

    ngx_buf_t为缓冲区结点,其定义如下:

       1: typedef struct ngx_buf_s    ngx_buf_t;
       2: typedef void  *ngx_buf_tag_t;
       3: struct ngx_buf_s {
       4:     /*
       5:      * pos通常是用来告诉使用者本次应该从pos这个位置开始处理内存中的数据,这样设置是因为同一个
       6:      * ngx_buf_t可能被多次反复处理。当然,pos的含义是由使用它的模板定义的
       7:      */
       8:     u_char  *pos;
       9:                                
      10:     /* last通常表示有效的内容到此为止,注意,pos与last之间的内存是希望nginx处理的内容 */
      11:     u_char  *last;
      12:                                
      13:     /*
      14:      * 处理文件时,file_pos与file_last的含义与处理内存时的pos与last相同,
      15:      * file_pos表示将要处理的文件位置,file_last表示截至的文件位置。
      16:      */
      17:     off_t   file_pos;
      18:     off_t   file_last;
      19:                                
      20:     /* 如果ngx_buf_t缓冲区用于内存,那么start指向这段内存的起始地址 */
      21:     u_char  *start;
      22:                                
      23:     /* 与start成员对应,指向缓冲区内存的末尾 */
      24:     u_char  *end;
      25:                                
      26:     /* 表示当前缓冲区的类型,例如由哪个模块使用就指向这个模块ngx_module_t变量的地址 */
      27:     ngx_buf_tag_t  tag;
      28:                                
      29:     /* 引用的文件 */
      30:     ngx_file_t  *file;
      31:                                
      32:     /*
      33:      * 当前缓冲区的影子缓冲区,该成员很少用到。当缓冲区转发上游服务器的响应时才使用了shadow成员,
      34:      * 这是因为nginx太节约内存了,分配一块内存并使用ngx_buf_t表示接收到的上游服务器响应后,
      35:      * 在向下游客户端转发时可能会把这块内存存储到文件中,也可能直接向下游发送,此时nginx绝对不会
      36:      * 重新复制一份内存用于新的目的,而是再次建立一个ngx_buf_t结构体指向原内存,这样多个ngx_buf_t
      37:      * 结构体指向了同一份内存,它们之间的关系就通过shadow成员来引用,一般不建议使用。
      38:      */
      39:     ngx_buf_t   *shadow;
      40:                                
      41:     /* 临时内存标志位,为1时表示数据在内存中且这段内存可以修改 */
      42:     unsigned    temporay:1;
      43:                                
      44:     /* 标志位,为1时表示数据在内存中且这段内存不可以修改 */
      45:     unsigned    memory:1;
      46:                                
      47:     /* 标志位,为1时表示这段内存是用nmap系统调用映射过来的,不可以修改 */
      48:     unsigned    mmap:1;
      49:                                
      50:     /* 标志位,为1时表示可回收 */
      51:     unsigned    recycled:1;
      52:                                
      53:     /* 标志位,为1时表示这段缓冲区处理的是文件而不是内存 */
      54:     unsigned    in_file:1;
      55:                                
      56:     /* 标志位,为1时表示需要执行flush操作 */
      57:     unsigned    flush:1;
      58:                                
      59:     /*
      60:      * 标志位,对于操作这块缓冲区时是否使用同步方式,需谨慎考虑,这可能会阻塞nginx进程,nginx中所有
      61:      * 操作几乎都是异步的,这是它支持高并发的关键。有些框架代码在sync为1时可能会有阻塞的方式进行I/O
      62:      * 操作,它的意义视使用它的nginx模块而定。
      63:      */
      64:     unsigned    sync:1;
      65:                                
      66:     /*
      67:      * 标志位,表示是否是最后一块缓冲区,因为ngx_buf_t可以由ngx_chain_t链表串联起来,因此为1时,
      68:      * 表示当前是最后一块待处理的缓冲区。   
      69:      */
      70:     unsigned    last_buf:1;
      71:                                
      72:     /* 标志位,表示是否是ngx_chain_t中的最后一块缓冲区 */
      73:     unsigned    last_in_chain:1;
      74:                                
      75:     /* 标志位,表示是否是最后一个影子缓冲区,与shadow域配合使用。通常不建议使用它 */
      76:     unsigned    last_shadow:1;
      77:                                
      78:     /* 标志位,表示当前缓冲区是否属于临时文件 */
      79:     unsigned    temp_file:1;
      80: }

     

    ngx_chain_t为缓冲区链表,其结构如下:

     

       1: typedef struct ngx_chain_s       ngx_chain_t;
       2: struct ngx_chain_s {
       3:     ngx_buf_t    *buf;        //buf指向当前的ngx_buf_t缓冲区
       4:     ngx_chain_t  *next;       //next则用来指向下一个ngx_chain_t,如果这是最后一个ngx_chain_t,则需要把next置为NULL。
       5: };

    4.临时buffer创建ngx_create_tmp_buf

     

       1: ngx_buf_t *ngx_create_temp_buf(ngx_pool_t *pool, size_t size)
       2: {
       3:     ngx_buf_t *b;
       4:  
       5:     b = ngx_calloc_buf(pool);            //分配ngx_buf_t
       6:     if (b == NULL) {
       7:         return NULL;
       8:     }
       9:  
      10:     b->start = ngx_palloc(pool, size);  //给ngx_buf_t分配buffer
      11:     if (b->start == NULL) {
      12:         return NULL;
      13:     }
      14:  
      15:     /*
      16:      * set by ngx_calloc_buf():
      17:      *
      18:      *     b->file_pos = 0;
      19:      *     b->file_last = 0;
      20:      *     b->file = NULL;
      21:      *     b->shadow = NULL;
      22:      *     b->tag = 0;
      23:      *     and flags
      24:      */
      25:  
      26:     //设置起始位置pos和结束位置last,end指向缓冲区的末尾,临时标志设置为1
      27:     b->pos = b->start;
      28:     b->last = b->start;
      29:     b->end = b->last + size;
      30:     b->temporary = 1;
      31:  
      32:     return b;
      33: }

     

    5.创建缓冲区链表ngx_alloc_chain_link

     

       1: ngx_chain_t *ngx_alloc_chain_link(ngx_pool_t *pool)
       2: {
       3:     ngx_chain_t  *cl;
       4:  
       5:     cl = pool->chain;
       6:     
       7:     if (cl) 
       8:     {
       9:         pool->chain = cl->next;
      10:         return cl;
      11:     }
      12:  
      13:     cl = ngx_palloc(pool, sizeof(ngx_chain_t));
      14:     if (cl == NULL)
      15:     {
      16:         return NULL;
      17:     }
      18:  
      19:     return cl;
      20: }

    6.缓冲区链表构建ngx_create_chain_of_bufs

    构建如下的缓冲区链表,代码比较简单,很容易理解:

    image

       1: ngx_chain_t *ngx_create_chain_of_bufs(ngx_pool_t *pool, ngx_bufs_t *bufs)
       2: {
       3:     u_char       *p;
       4:     ngx_int_t     i;
       5:     ngx_buf_t    *b;
       6:     ngx_chain_t  *chain, *cl, **ll;
       7:  
       8:     //分配buf内存
       9:     p = ngx_palloc(pool, bufs->num * bufs->size);
      10:     if (p == NULL)
      11:     {
      12:         return NULL;
      13:     }
      14:  
      15:     ll = &chain;
      16:  
      17:     for (i = 0; i < bufs->num; i++)
      18:     {
      19:         //分配ngx_buf_t内存
      20:         b = ngx_calloc_buf(pool);
      21:         if (b == NULL)
      22:         {
      23:             return NULL;
      24:         }
      25:  
      26:         /*
      27:          * set by ngx_calloc_buf():
      28:          *
      29:          *     b->file_pos = 0;
      30:          *     b->file_last = 0;
      31:          *     b->file = NULL;
      32:          *     b->shadow = NULL;
      33:          *     b->tag = 0;
      34:          *     and flags
      35:          *
      36:          */
      37:  
      38:         b->pos = p;
      39:         b->last = p;
      40:         b->temporary = 1;
      41:  
      42:         b->start = p;
      43:         p += bufs->size;
      44:         b->end = p;
      45:  
      46:         //分配ngx_chain_t
      47:         cl = ngx_alloc_chain_link(pool);
      48:         if (cl == NULL)
      49:         {
      50:             return NULL;
      51:         }
      52:  
      53:         //
      54:         cl->buf = b;
      55:         *ll = cl;
      56:         ll = &cl->next;
      57:     }
      58:  
      59:     //最后一个结点指向NULL
      60:     *ll = NULL;
      61:  
      62:     return chain;
      63: }

    7.将其它缓冲区拷贝增加到已有缓冲区末尾ngx_chain_add_copy

      

       1: ngx_int_t ngx_chain_add_copy(ngx_pool_t *pool, ngx_chain_t **chain, ngx_chain_t *in)
       2: {
       3:     ngx_chain_t  *cl, **ll;
       4:  
       5:     ll = chain;
       6:  
       7:     //找到缓冲区末尾,即为NULL
       8:     for (cl = *chain; cl; cl = cl->next)
       9:     {
      10:         ll = &cl->next;
      11:     }
      12:  
      13:     while (in) 
      14:     {
      15:         //遍历in,依次拷贝每一个结点
      16:         cl = ngx_alloc_chain_link(pool);
      17:         if (cl == NULL)
      18:         {
      19:             return NGX_ERROR;
      20:         }
      21:  
      22:         cl->buf = in->buf;
      23:         *ll = cl;
      24:         ll = &cl->next;
      25:         in = in->next;
      26:     }
      27:  
      28:     //缓冲区末尾赋值为NULL
      29:     *ll = NULL;
      30:  
      31:     return NGX_OK;
      32: }

     

    8.从空闲缓冲区列表中获取一个未使用的buf ngx_get_free_buf

    ngx_chain_get_free_buf 得到链表中未使用的buf,如果没有,则分配一个。
       1: ngx_chain_t *ngx_chain_get_free_buf(ngx_pool_t *p, ngx_chain_t **free)
       2: {
       3:     ngx_chain_t  *cl;
       4:  
       5:     //若空闲链表中有结点,直接返回
       6:     if (*free)
       7:     {
       8:         cl = *free;
       9:         *free = cl->next;
      10:         cl->next = NULL;
      11:         return cl;
      12:     }
      13:  
      14:     //否则分配ngx_chain_t
      15:     cl = ngx_alloc_chain_link(p);
      16:     if (cl == NULL) {
      17:         return NULL;
      18:     }
      19:  
      20:     //并给ngx_chain_t分配buf
      21:     cl->buf = ngx_calloc_buf(p);
      22:     if (cl->buf == NULL)
      23:     {
      24:         return NULL;
      25:     }
      26:  
      27:     cl->next = NULL;
      28:  
      29:     return cl;
      30: }

    9.  buf释放 ngx_chain_update_chains

     

       1:  
       2: void ngx_chain_update_chains(ngx_pool_t *p, ngx_chain_t **free, ngx_chain_t **busy,
       3:     ngx_chain_t **out, ngx_buf_tag_t tag)
       4: {
       5:     ngx_chain_t  *cl;
       6:  
       7:     //让busy指向out
       8:     if (*busy == NULL)
       9:     {
      10:         *busy = *out;
      11:  
      12:     } 
      13:     else
      14:     {
      15:         for (cl = *busy; cl->next; cl = cl->next) { /* void */ }
      16:  
      17:         cl->next = *out;
      18:     }
      19:  
      20:     *out = NULL;
      21:  
      22:     while (*busy) 
      23:     {
      24:         cl = *busy;
      25:  
      26:         //这个结点内存有占用,不满足释放条件,跳出
      27:         if (ngx_buf_size(cl->buf) != 0) 
      28:         {
      29:             break;
      30:         }
      31:  
      32:         //缓冲区类型不同,直接释放
      33:         if (cl->buf->tag != tag)
      34:         {
      35:             *busy = cl->next;
      36:             ngx_free_chain(p, cl);
      37:             continue;
      38:         }
      39:  
      40:         //将该结点放入free
      41:         cl->buf->pos = cl->buf->start;
      42:         cl->buf->last = cl->buf->start;
      43:  
      44:         *busy = cl->next;
      45:         cl->next = *free;
      46:         *free = cl;
      47:     }
      48: }

     

    -

    Echo Chen:Blog.csdn.net/chen19870707

这篇关于菜鸟nginx源码剖析数据结构篇(八) 缓冲区链表ngx_chain_t的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/810588

相关文章

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

【数据结构】——原来排序算法搞懂这些就行,轻松拿捏

前言:快速排序的实现最重要的是找基准值,下面让我们来了解如何实现找基准值 基准值的注释:在快排的过程中,每一次我们要取一个元素作为枢纽值,以这个数字来将序列划分为两部分。 在此我们采用三数取中法,也就是取左端、中间、右端三个数,然后进行排序,将中间数作为枢纽值。 快速排序实现主框架: //快速排序 void QuickSort(int* arr, int left, int rig

csu1329(双向链表)

题意:给n个盒子,编号为1到n,四个操作:1、将x盒子移到y的左边;2、将x盒子移到y的右边;3、交换x和y盒子的位置;4、将所有的盒子反过来放。 思路分析:用双向链表解决。每个操作的时间复杂度为O(1),用数组来模拟链表,下面的代码是参考刘老师的标程写的。 代码如下: #include<iostream>#include<algorithm>#include<stdio.h>#

6.1.数据结构-c/c++堆详解下篇(堆排序,TopK问题)

上篇:6.1.数据结构-c/c++模拟实现堆上篇(向下,上调整算法,建堆,增删数据)-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小): 2.2 C语言代码(手写堆) 2.3 C++代码(使用优先级队列 priority_queue)

Java ArrayList扩容机制 (源码解读)

结论:初始长度为10,若所需长度小于1.5倍原长度,则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1:数组默认长度         2:这是一个共享的空数组实例,用于明确创建长度为0时的ArrayList ,比如通过 new ArrayList<>(0),ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL

如何在Visual Studio中调试.NET源码

今天偶然在看别人代码时,发现在他的代码里使用了Any判断List<T>是否为空。 我一般的做法是先判断是否为null,再判断Count。 看了一下Count的源码如下: 1 [__DynamicallyInvokable]2 public int Count3 {4 [__DynamicallyInvokable]5 get

工厂ERP管理系统实现源码(JAVA)

工厂进销存管理系统是一个集采购管理、仓库管理、生产管理和销售管理于一体的综合解决方案。该系统旨在帮助企业优化流程、提高效率、降低成本,并实时掌握各环节的运营状况。 在采购管理方面,系统能够处理采购订单、供应商管理和采购入库等流程,确保采购过程的透明和高效。仓库管理方面,实现库存的精准管理,包括入库、出库、盘点等操作,确保库存数据的准确性和实时性。 生产管理模块则涵盖了生产计划制定、物料需求计划、

深入手撕链表

链表 分类概念单链表增尾插头插插入 删尾删头删删除 查完整实现带头不带头 双向链表初始化增尾插头插插入 删查完整代码 数组 分类 #mermaid-svg-qKD178fTiiaYeKjl {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-

建立升序链表

题目1181:遍历链表 时间限制:1 秒 内存限制:32 兆 特殊判题:否 提交:2744 解决:1186 题目描述: 建立一个升序链表并遍历输出。 输入: 输入的每个案例中第一行包括1个整数:n(1<=n<=1000),接下来的一行包括n个整数。 输出: 可能有多组测试数据,对于每组数据, 将n个整数建立升序链表,之后遍历链表并输出。 样例输

《数据结构(C语言版)第二版》第八章-排序(8.3-交换排序、8.4-选择排序)

8.3 交换排序 8.3.1 冒泡排序 【算法特点】 (1) 稳定排序。 (2) 可用于链式存储结构。 (3) 移动记录次数较多,算法平均时间性能比直接插入排序差。当初始记录无序,n较大时, 此算法不宜采用。 #include <stdio.h>#include <stdlib.h>#define MAXSIZE 26typedef int KeyType;typedef char In