菜鸟nginx源码剖析数据结构篇(五) 基数树 ngx_radix_tree_t

2024-03-15 03:08

本文主要是介绍菜鸟nginx源码剖析数据结构篇(五) 基数树 ngx_radix_tree_t,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

分类: Server - 菜鸟nginx源码剖析 8388人阅读 评论(3) 收藏 举报
基数树 nginx 剖析 源码 radix_tree

目录(?)[+]

 

菜鸟nginx源码剖析数据结构篇(五) 基数树 ngx_radix_tree_t

 

  • Author:Echo Chen(陈斌)

  • Email:chenb19870707@gmail.com

  • Blog:Blog.csdn.net/chen19870707

  • Date:October 28h, 2014

     

    1.什么是基数树

    基数树(radix tree)是一种不怎么常见的数据结构,这里简单的做一下介绍:在计算机科学中,基数树,是一种基于trie(字典树)的特殊的数据结构,可以快速定位叶子结点。radix tree是一种多叉搜索树,每个结点有固定的孩子数(叉数 为2^n)。

    如下图radix树的分叉为4,树的高度为4,共有4*4*4*4 = 256 个叶子结点,可以快速定位256个结点。

    2.ngx_radix_tree_t

    ngx_radix_tree 是一种二叉查找树,即叉数为2,它要求存储的每个节点必须以32位整型作为任意两节点的唯一标识,ngx_radix_tree 具备二叉查找树所有优点,并且不用像红黑树通过自身旋转达到平衡,基数树不用管树的形态是否平衡。也因此,它在插入节点、删除节点的速度会比红黑树快的多。

     

    基数树可以不管树平衡的原因在于:红黑树是通过不同节点key关键字的比较决定树的形态,而基数树的每个节点的key关键字自身已经决定了其在树中的位置。先将节点的key关键字转化为二进制,32位,从左至右开始,遇0入左子树,遇1入右子树。

     

    ngx_radix_tree_t树的最大深度为32,由于一般用不到这样的深度,所以引入了掩码,掩码中的1的个数就表示树的高度,掩码1110 0000 0000 0000 0000 0000 0000 0000 ,表示树的高度为3。

     

    eg:如果此时一个节点的key关键字为0x20000000,根据掩码决定取其转化为二进制后的前3位为010,因此,该节点的位置是,根节点-->左子树-->右子树-->左子树。用下图至关表示下:


    image

    3.源代码位置

     

    头文件:http://trac.nginx.org/nginx/browser/nginx/src/core/ngx_radix_tree.h

    源文件:http://trac.nginx.org/nginx/browser/nginx/src/core/ngx_radix_tree.c

     

    4.数据结构定义

     

    结点中left和right分别指向左右孩子,parent指向父亲结点,value为指向用户自定义的数据的指针。

       1: typedef struct ngx_radix_node_s  ngx_radix_node_t;
       2:  
       3: struct ngx_radix_node_s {
       4:     ngx_radix_node_t  *right;
       5:     ngx_radix_node_t  *left;
       6:     ngx_radix_node_t  *parent;
       7:     uintptr_t          value;
       8: };

     

    与红黑树不同的是,radix_tree自己管理内存,pool为内存池对象,root为根节点,free管理已经分配但暂未使用的节点,free实际上是所有不在树中结点的单链表。start为已分配内存中未使用内存的首地址,size为已分配内存还未使用内存的大小。

     

       1: typedef struct {
       2:     ngx_radix_node_t  *root;
       3:     ngx_pool_t        *pool;
       4:     ngx_radix_node_t  *free;
       5:     char              *start;
       6:     size_t             size;
       7: } ngx_radix_tree_t;

    5.基数树的创建ngx_radix_tree_create

     

    基数树的构造流程为首先创建 基数树结构 ngx_radix_tree_t ,然后创建 基数树的 root结点,然后根据传入的preallacate参数来决定预分配结点的个数,如果传入-1 ,即按照页面大小决定预分配结点个数,然后就一次插入这些结点。源代码加注释如下:

     

       1: //poll为内存池指针,preallocate是预分配基数树的节点数目,如果传-1,那么将会根据当前系统一个页的大小来预分配基数树结点
       2: ngx_radix_tree_t *ngx_radix_tree_create(ngx_pool_t *pool, ngx_int_t preallocate)
       3: {
       4:     uint32_t           key, mask, inc;
       5:     ngx_radix_tree_t  *tree;
       6:  
       7:     //分配ngx_radix_tree_t
       8:     tree = ngx_palloc(pool, sizeof(ngx_radix_tree_t));
       9:     if (tree == NULL) {
      10:         return NULL;
      11:     }
      12:  
      13:     tree->pool = pool;
      14:     tree->free = NULL;
      15:     tree->start = NULL;
      16:     tree->size = 0;
      17:  
      18:     //分配根节点
      19:     tree->root = ngx_radix_alloc(tree);
      20:     if (tree->root == NULL) {
      21:         return NULL;
      22:     }
      23:  
      24:     tree->root->right = NULL;
      25:     tree->root->left = NULL;
      26:     tree->root->parent = NULL;
      27:     tree->root->value = NGX_RADIX_NO_VALUE;
      28:  
      29:     //如果需要的预分配结点为0个,完成返回
      30:     if (preallocate == 0) {
      31:         return tree;
      32:     }
      33:  
      34:     /*
      35:      * Preallocation of first nodes : 0, 1, 00, 01, 10, 11, 000, 001, etc.
      36:      * increases TLB hits even if for first lookup iterations.
      37:      * On 32-bit platforms the 7 preallocated bits takes continuous 4K,
      38:      * 8 - 8K, 9 - 16K, etc.  On 64-bit platforms the 6 preallocated bits
      39:      * takes continuous 4K, 7 - 8K, 8 - 16K, etc.  There is no sense to
      40:      * to preallocate more than one page, because further preallocation
      41:      * distributes the only bit per page.  Instead, a random insertion
      42:      * may distribute several bits per page.
      43:      *
      44:      * Thus, by default we preallocate maximum
      45:      *     6 bits on amd64 (64-bit platform and 4K pages)
      46:      *     7 bits on i386 (32-bit platform and 4K pages)
      47:      *     7 bits on sparc64 in 64-bit mode (8K pages)
      48:      *     8 bits on sparc64 in 32-bit mode (8K pages)
      49:      */
      50:  
      51:     //如果预分配为-1,则按系统的页大小预分配页,以下为根据页面大小,确定preallocate
      52:     if (preallocate == -1) {
      53:         switch (ngx_pagesize / sizeof(ngx_radix_node_t)) {
      54:  
      55:         /* amd64 */
      56:         case 128:
      57:             preallocate = 6;
      58:             break;
      59:  
      60:         /* i386, sparc64 */
      61:         case 256:
      62:             preallocate = 7;
      63:             break;
      64:  
      65:         /* sparc64 in 32-bit mode */
      66:         default:
      67:             preallocate = 8;
      68:         }
      69:     }
      70:  
      71:     //inc 的二进制形式为 1000 0000 0000 0000 0000 0000 0000 0000,逐渐向右移动
      72:     mask = 0;
      73:     inc = 0x80000000;
      74:  
      75:     //依次插入到基数树中
      76:     while (preallocate--) {
      77:  
      78:         key = 0;
      79:         mask >>= 1;
      80:         mask |= 0x80000000;
      81:         
      82:         //沿途一次插入结点
      83:         do {
      84:             if (ngx_radix32tree_insert(tree, key, mask, NGX_RADIX_NO_VALUE)
      85:                 != NGX_OK)
      86:             {
      87:                 return NULL;
      88:             }
      89:  
      90:             key += inc;
      91:  
      92:         } while (key);
      93:  
      94:         inc >>= 1;
      95:     }
      96:  
      97:     return tree;
      98: }
      99:  

     

     

    6.基数树插入操作ngx_radix_tree_insert

     

    基数树的首先遍历树的深度,如果为1,向右子树搜索,否则向左子树搜索,如果找到位置有结点,则直接覆盖。否则,则依次创建沿途结点(0或1)并插入在树中。

     

       1: //tree为基数树,key为关键字,mask为掩码
       2: ngx_int_t ngx_radix32tree_insert(ngx_radix_tree_t *tree, uint32_t key, uint32_t mask, uintptr_t value)
       3: {
       4:     uint32_t           bit;
       5:     ngx_radix_node_t  *node, *next;
       6:  
       7:     bit = 0x80000000;
       8:  
       9:     node = tree->root;
      10:     next = tree->root;
      11:     
      12:     //遍历掩码中1的个数,即为树的深度
      13:     while (bit & mask) {
      14:         //如果为1,向右子树
      15:         if (key & bit) {
      16:             next = node->right;
      17:         //为0,向左子树
      18:         } else {
      19:             next = node->left;
      20:         }
      21:  
      22:         if (next == NULL) {
      23:             break;
      24:         }
      25:  
      26:         bit >>= 1;
      27:         node = next;
      28:     }
      29:     
      30:     //这个位置有结点,直接修改值,返回
      31:     if (next) {
      32:         if (node->value != NGX_RADIX_NO_VALUE) {
      33:             return NGX_BUSY;
      34:         }
      35:  
      36:         node->value = value;
      37:         return NGX_OK;
      38:     }
      39:     
      40:     //如果树中没有结点,依次沿途插入结点
      41:     while (bit & mask) {
      42:         next = ngx_radix_alloc(tree);
      43:         if (next == NULL) {
      44:             return NGX_ERROR;
      45:         }
      46:  
      47:         next->right = NULL;
      48:         next->left = NULL;
      49:         next->parent = node;
      50:         next->value = NGX_RADIX_NO_VALUE;
      51:  
      52:         if (key & bit) {
      53:             node->right = next;
      54:  
      55:         } else {
      56:             node->left = next;
      57:         }
      58:  
      59:         bit >>= 1;
      60:         node = next;
      61:     }
      62:  
      63:     node->value = value;
      64:  
      65:     return NGX_OK;
      66: }

     

    7.基数树删除操作ngx_radix_tree_delete

     

    基数树的删除遍历搜索,遍历基数树的深度(mask中1 个个数),关键字与当前深度为1,向右;否则向左,如果没找到,返回。找到了,并且不为叶子节点,赋值为无效,返回;如果为叶子节点,则将其从基数树中删除,放入空闲链表,并查看其父亲结点是否为一个无效结点,如果也无效,则依次删除。

     

       1: //tree为基数树,key为要删除的结点的关键字,mask为掩码
       2: ngx_int_t ngx_radix32tree_delete(ngx_radix_tree_t *tree, uint32_t key, uint32_t mask)
       3: {
       4:     uint32_t           bit;
       5:     ngx_radix_node_t  *node;
       6:  
       7:     bit = 0x80000000;
       8:     node = tree->root;
       9:     
      10:     //遍历基数树的深度(mask中1 个个数)
      11:     while (node && (bit & mask)) {
      12:         //关键字与当前深度为1,向右;否则向左
      13:         if (key & bit) {
      14:             node = node->right;
      15:  
      16:         } else {
      17:             node = node->left;
      18:         }
      19:  
      20:         bit >>= 1;
      21:     }
      22:     
      23:     //没找到,返回
      24:     if (node == NULL) {
      25:         return NGX_ERROR;
      26:     }
      27:     
      28:     //找到了,并且不为叶子节点,赋值为无效,返回
      29:     if (node->right || node->left) {
      30:         if (node->value != NGX_RADIX_NO_VALUE) {
      31:             node->value = NGX_RADIX_NO_VALUE;
      32:             return NGX_OK;
      33:         }
      34:  
      35:         return NGX_ERROR;
      36:     }
      37:     
      38:     //为叶子节点
      39:     for ( ;; ) {
      40:         //如果在右子树,从树中删除
      41:         if (node->parent->right == node) {
      42:             node->parent->right = NULL;
      43:         //如果在左子树,从树中删除
      44:         } else {
      45:             node->parent->left = NULL;
      46:         }
      47:         
      48:         //将该叶子结点链接到空闲链表中
      49:         node->right = tree->free;
      50:         tree->free = node;
      51:         
      52:         //向上回归,依次删除,直至到不能删除的结点(有有效值的孩子或者自己有有效值)
      53:         node = node->parent;
      54:  
      55:         if (node->right || node->left) {
      56:             break;
      57:         }
      58:  
      59:         if (node->value != NGX_RADIX_NO_VALUE) {
      60:             break;
      61:         }
      62:  
      63:         if (node->parent == NULL) {
      64:             break;
      65:         }
      66:     }
      67:  
      68:     return NGX_OK;
      69: }

     

     

    8.基数树内存分配ngx_radix_tree_alloc

     

       1: static ngx_radix_node_t *
       2: ngx_radix_alloc(ngx_radix_tree_t *tree)
       3: {
       4:     ngx_radix_node_t  *p;
       5:     
       6:     //如果空闲链表中有结点,取一个返回
       7:     if (tree->free) {
       8:         p = tree->free;
       9:         tree->free = tree->free->right;
      10:         return p;
      11:     }
      12:     
      13:     //如果空闲链表中没有结点且基数树中的空闲内存大小不够分配一个结点,则从内存池中分配一个页面大小
      14:     if (tree->size < sizeof(ngx_radix_node_t)) {
      15:         tree->start = ngx_pmemalign(tree->pool, ngx_pagesize, ngx_pagesize);
      16:         if (tree->start == NULL) {
      17:             return NULL;
      18:         }
      19:  
      20:         tree->size = ngx_pagesize;
      21:     }
      22:     
      23:     //从未分配内存中分配,并减小size
      24:     p = (ngx_radix_node_t *) tree->start;
      25:     tree->start += sizeof(ngx_radix_node_t);
      26:     tree->size -= sizeof(ngx_radix_node_t);
      27:  
      28:     return p;
      29: }

    9.基数树查找ngx_radix32tree_find

     

    基数树的查找也很简单,为1向右,为0向左。

       1: uintptr_t
       2: ngx_radix32tree_find(ngx_radix_tree_t *tree, uint32_t key)
       3: {
       4:     uint32_t           bit;
       5:     uintptr_t          value;
       6:     ngx_radix_node_t  *node;
       7:  
       8:     bit = 0x80000000;
       9:     value = NGX_RADIX_NO_VALUE;
      10:     node = tree->root;
      11:  
      12:     while (node) {
      13:         if (node->value != NGX_RADIX_NO_VALUE) {
      14:             value = node->value;
      15:         }
      16:  
      17:         if (key & bit) {
      18:             node = node->right;
      19:  
      20:         } else {
      21:             node = node->left;
      22:         }
      23:  
      24:         bit >>= 1;
      25:     }
      26:  
      27:     return value;
      28: }

这篇关于菜鸟nginx源码剖析数据结构篇(五) 基数树 ngx_radix_tree_t的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/810586

相关文章

Java调用C++动态库超详细步骤讲解(附源码)

《Java调用C++动态库超详细步骤讲解(附源码)》C语言因其高效和接近硬件的特性,时常会被用在性能要求较高或者需要直接操作硬件的场合,:本文主要介绍Java调用C++动态库的相关资料,文中通过代... 目录一、直接调用C++库第一步:动态库生成(vs2017+qt5.12.10)第二步:Java调用C++

详解nginx 中location和 proxy_pass的匹配规则

《详解nginx中location和proxy_pass的匹配规则》location是Nginx中用来匹配客户端请求URI的指令,决定如何处理特定路径的请求,它定义了请求的路由规则,后续的配置(如... 目录location 的作用语法示例:location /www.chinasem.cntestproxy

C#数据结构之字符串(string)详解

《C#数据结构之字符串(string)详解》:本文主要介绍C#数据结构之字符串(string),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录转义字符序列字符串的创建字符串的声明null字符串与空字符串重复单字符字符串的构造字符串的属性和常用方法属性常用方法总结摘

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

如何自定义Nginx JSON日志格式配置

《如何自定义NginxJSON日志格式配置》Nginx作为最流行的Web服务器之一,其灵活的日志配置能力允许我们根据需求定制日志格式,本文将详细介绍如何配置Nginx以JSON格式记录访问日志,这种... 目录前言为什么选择jsON格式日志?配置步骤详解1. 安装Nginx服务2. 自定义JSON日志格式各

Nginx指令add_header和proxy_set_header的区别及说明

《Nginx指令add_header和proxy_set_header的区别及说明》:本文主要介绍Nginx指令add_header和proxy_set_header的区别及说明,具有很好的参考价... 目录Nginx指令add_header和proxy_set_header区别如何理解反向代理?proxy

Nginx配置location+rewrite实现隐性域名配置

《Nginx配置location+rewrite实现隐性域名配置》本文主要介绍了Nginx配置location+rewrite实现隐性域名配置,包括基于根目录、条件和反向代理+rewrite配置的隐性... 目录1、配置基于根目录的隐性域名(就是nginx反向代理)2、配置基于条件的隐性域名2.1、基于条件

Spring 中 BeanFactoryPostProcessor 的作用和示例源码分析

《Spring中BeanFactoryPostProcessor的作用和示例源码分析》Spring的BeanFactoryPostProcessor是容器初始化的扩展接口,允许在Bean实例化前... 目录一、概览1. 核心定位2. 核心功能详解3. 关键特性二、Spring 内置的 BeanFactory

Ubuntu中Nginx虚拟主机设置的项目实践

《Ubuntu中Nginx虚拟主机设置的项目实践》通过配置虚拟主机,可以在同一台服务器上运行多个独立的网站,本文主要介绍了Ubuntu中Nginx虚拟主机设置的项目实践,具有一定的参考价值,感兴趣的可... 目录简介安装 Nginx创建虚拟主机1. 创建网站目录2. 创建默认索引文件3. 配置 Nginx4

Nginx如何进行流量按比例转发

《Nginx如何进行流量按比例转发》Nginx可以借助split_clients指令或通过weight参数以及Lua脚本实现流量按比例转发,下面小编就为大家介绍一下两种方式具体的操作步骤吧... 目录方式一:借助split_clients指令1. 配置split_clients2. 配置后端服务器组3. 配