Linux下快速解析nf_conntrack

2024-02-02 21:38
文章标签 linux 快速 解析 nf conntrack

本文主要是介绍Linux下快速解析nf_conntrack，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 背景

回顾了项目需求是系统的统计tcp连接数;
于是想到了 nf_conntrack 这个Linux内核提供的记录和跟踪连接状态的功能;
然后写了个程序解析 /proc/net/nf_conntrack这个映射文件，后来悲剧就发生了，当conntrack表记录变增加到1w以上之后，解析速度急速下降，到了10w规模后，解析耗时几十秒都不能完成，，，
终于后来翻到了netfilter的老巢，发现了解决方法：libnml、libnetfilter_conntrack

2. 使用

核心原理是通过netlink套接字的方式，与内核交互，查询得到结果
libmnl基本方法：

extern struct mnl_socket *mnl_socket_open(int bus);
extern int mnl_socket_bind(struct mnl_socket *nl, unsigned int groups, pid_t pid);
extern int mnl_socket_close(struct mnl_socket *nl);
extern ssize_t mnl_socket_sendto(const struct mnl_socket *nl, const void *req, size_t siz);
extern ssize_t mnl_socket_recvfrom(const struct mnl_socket *nl, void *buf, size_t siz);

libnetfilter_conntrack则主要是对获取的结果进行解析，比如拿出源地址、协议簇信息

/* conntrack attributes */
enum nf_conntrack_attr {ATTR_ORIG_IPV4_SRC = 0,         /* u32 bits */ATTR_IPV4_SRC = ATTR_ORIG_IPV4_SRC, /* alias */ATTR_ORIG_IPV4_DST,         /* u32 bits */ATTR_IPV4_DST = ATTR_ORIG_IPV4_DST, /* alias */ATTR_REPL_IPV4_SRC,         /* u32 bits */ATTR_REPL_IPV4_DST,         /* u32 bits */ATTR_ORIG_IPV6_SRC = 4,         /* u128 bits */ATTR_IPV6_SRC = ATTR_ORIG_IPV6_SRC, /* alias */ATTR_ORIG_IPV6_DST,         /* u128 bits */ATTR_IPV6_DST = ATTR_ORIG_IPV6_DST, /* alias */ATTR_REPL_IPV6_SRC,         /* u128 bits */ATTR_REPL_IPV6_DST,         /* u128 bits */ATTR_ORIG_PORT_SRC = 8,         /* u16 bits */ATTR_PORT_SRC = ATTR_ORIG_PORT_SRC, /* alias */ATTR_ORIG_PORT_DST,         /* u16 bits */ATTR_PORT_DST = ATTR_ORIG_PORT_DST, /* alias */ATTR_REPL_PORT_SRC,         /* u16 bits */ATTR_REPL_PORT_DST,         /* u16 bits */ATTR_ICMP_TYPE = 12,            /* u8 bits */ATTR_ICMP_CODE,             /* u8 bits */ATTR_ICMP_ID,               /* u16 bits */ATTR_ORIG_L3PROTO,          /* u8 bits */ATTR_L3PROTO = ATTR_ORIG_L3PROTO,   /* alias */ATTR_REPL_L3PROTO = 16,         /* u8 bits */ATTR_ORIG_L4PROTO,          /* u8 bits */ATTR_L4PROTO = ATTR_ORIG_L4PROTO,   /* alias */ATTR_REPL_L4PROTO,          /* u8 bits */ATTR_TCP_STATE,             /* u8 bits */ATTR_SNAT_IPV4 = 20,            /* u32 bits */ATTR_DNAT_IPV4,             /* u32 bits */ATTR_SNAT_PORT,             /* u16 bits */ATTR_DNAT_PORT,             /* u16 bits */ATTR_TIMEOUT = 24,          /* u32 bits */ATTR_MARK,              /* u32 bits */ATTR_ORIG_COUNTER_PACKETS,      /* u64 bits */ATTR_REPL_COUNTER_PACKETS,      /* u64 bits */ATTR_ORIG_COUNTER_BYTES = 28,       /* u64 bits */ATTR_REPL_COUNTER_BYTES,        /* u64 bits */ATTR_USE,               /* u32 bits */ATTR_ID,                /* u32 bits */ATTR_STATUS = 32,           /* u32 bits  */ATTR_TCP_FLAGS_ORIG,            /* u8 bits */ATTR_TCP_FLAGS_REPL,            /* u8 bits */ATTR_TCP_MASK_ORIG,         /* u8 bits */ATTR_TCP_MASK_REPL = 36,        /* u8 bits */ATTR_MASTER_IPV4_SRC,           /* u32 bits */ATTR_MASTER_IPV4_DST,           /* u32 bits */ATTR_MASTER_IPV6_SRC,           /* u128 bits */ATTR_MASTER_IPV6_DST = 40,      /* u128 bits */ATTR_MASTER_PORT_SRC,           /* u16 bits */ATTR_MASTER_PORT_DST,           /* u16 bits */ATTR_MASTER_L3PROTO,            /* u8 bits */ATTR_MASTER_L4PROTO = 44,       /* u8 bits */ATTR_SECMARK,               /* u32 bits */ATTR_ORIG_NAT_SEQ_CORRECTION_POS,   /* u32 bits */ATTR_ORIG_NAT_SEQ_OFFSET_BEFORE,    /* u32 bits */ATTR_ORIG_NAT_SEQ_OFFSET_AFTER = 48,    /* u32 bits */ATTR_REPL_NAT_SEQ_CORRECTION_POS,   /* u32 bits */ATTR_REPL_NAT_SEQ_OFFSET_BEFORE,    /* u32 bits */ATTR_REPL_NAT_SEQ_OFFSET_AFTER,     /* u32 bits */ATTR_SCTP_STATE = 52,           /* u8 bits */ATTR_SCTP_VTAG_ORIG,            /* u32 bits */ATTR_SCTP_VTAG_REPL,            /* u32 bits */ATTR_HELPER_NAME,           /* string (30 bytes max) */ATTR_DCCP_STATE = 56,           /* u8 bits */ATTR_DCCP_ROLE,             /* u8 bits */ATTR_DCCP_HANDSHAKE_SEQ,        /* u64 bits */ATTR_TCP_WSCALE_ORIG,           /* u8 bits */ATTR_TCP_WSCALE_REPL = 60,      /* u8 bits */ATTR_ZONE,              /* u16 bits */ATTR_SECCTX,                /* string */ATTR_TIMESTAMP_START,           /* u64 bits, linux >= 2.6.38 */ATTR_TIMESTAMP_STOP = 64,       /* u64 bits, linux >= 2.6.38 */ATTR_HELPER_INFO,           /* variable length */ATTR_CONNLABELS,            /* variable length */ATTR_CONNLABELS_MASK,           /* variable length */ATTR_ORIG_ZONE,             /* u16 bits */ATTR_REPL_ZONE,             /* u16 bits */ATTR_SNAT_IPV6,             /* u128 bits */ATTR_DNAT_IPV6,             /* u128 bits */ATTR_SYNPROXY_ISN,          /* u32 bits */ATTR_SYNPROXY_ITS,          /* u32 bits */ATTR_SYNPROXY_TSOFF,            /* u32 bits */ATTR_MAX
};

3. 例子

以下例子为打印TCP当前连接情况
main函数主要就是创建一个netlink套接字，发送请求IPCTNL_MSG_CT_GET获取整个conntrack表信息
最终结果接收在buf中，使用mnl_cb_run进行循环解析。

int main(void)
{struct mnl_socket *nl;struct nlmsghdr *nlh;struct nfgenmsg *nfh;char buf[MNL_SOCKET_BUFFER_SIZE];unsigned int seq, portid;int ret;nl = mnl_socket_open(NETLINK_NETFILTER);if (nl == NULL) {perror("mnl_socket_open");exit(EXIT_FAILURE);}   if (mnl_socket_bind(nl, 0, MNL_SOCKET_AUTOPID) < 0) {perror("mnl_socket_bind");exit(EXIT_FAILURE);}   portid = mnl_socket_get_portid(nl);nlh = mnl_nlmsg_put_header(buf);nlh->nlmsg_type = (NFNL_SUBSYS_CTNETLINK << 8) | IPCTNL_MSG_CT_GET;nlh->nlmsg_flags = NLM_F_REQUEST | NLM_F_DUMP;nlh->nlmsg_seq = seq = time(NULL);nfh = mnl_nlmsg_put_extra_header(nlh, sizeof(struct nfgenmsg));nfh->nfgen_family = AF_INET;nfh->version = NFNETLINK_V0;nfh->res_id = 0;ret = mnl_socket_sendto(nl, nlh, nlh->nlmsg_len);if (ret == -1) {perror("mnl_socket_recvfrom");exit(EXIT_FAILURE);}ret = mnl_socket_recvfrom(nl, buf, sizeof(buf));while (ret > 0) {ret = mnl_cb_run(buf, ret, seq, portid, data_cb, NULL);if (ret <= MNL_CB_STOP) {break;}ret = mnl_socket_recvfrom(nl, buf, sizeof(buf));}if (ret == -1) {perror("mnl_socket_recvfrom");exit(EXIT_FAILURE);}mnl_socket_close(nl);return 0;
}

以下为 回调函数的实现，在本例子中，则筛选出TCP连接进行展示

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <time.h>
#include <arpa/inet.h>#include <libmnl/libmnl.h>
#include <libnetfilter_conntrack/libnetfilter_conntrack.h>static int data_cb(const struct nlmsghdr *nlh, void *data)
{struct nf_conntrack *ct;char buf[4096];ct = nfct_new();if (ct == NULL) {return MNL_CB_OK;}   nfct_nlmsg_parse(nlh, ct);switch (nfct_get_attr_u8(ct, ATTR_ORIG_L4PROTO)) {case IPPROTO_TCP:nfct_snprintf(buf, sizeof(buf), ct, NFCT_T_UNKNOWN, NFCT_O_DEFAULT, 0); printf("%s\n", buf);break;}   nfct_destroy(ct);return MNL_CB_OK;
}

运行结果涉及本机一些地址，就不展示了，结果与 /proc/net/nf_conntrack一致，但到10w记录的环境下，并不会有巨大的开销。

4. 总结

只要不设置notrack标识的连接，就可以通过 nf_conntrack进行获取连接数；
而使用libnml+libnetfilter_conntrack的netlink套接字的方式，比直接cat文件速度快很多；
查看了官方手册，发现libnetfilter_conntrack不仅可解析conntrack表，还能够进行监控、修改等高级操作，功能十分强大！

参考文章：
[1] https://en.wikipedia.org/wiki/Netfilter
[2] https://www.netfilter.org/projects/libnetfilter_conntrack/index.html

这篇关于Linux下快速解析nf_conntrack的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/672051。

相关文章

Linux内核的调试（TODO）

Linux内核的调试（TODO）

（TODO）
阅读更多...
网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
linux-基础知识3

linux-基础知识3

打包和压缩 zip 安装zip软件包 yum -y install zip unzip 压缩打包命令: zip -q -r -d -u 压缩包文件名 目录和文件名列表 -q:不显示命令执行过程-r:递归处理，打包各级子目录和文件-u:把文件增加/替换到压缩包中-d:从压缩包中删除指定的文件 解压:unzip 压缩包名 打包文件 把压缩包从服务器下载到本地 把压缩包上传到服务器(zip
阅读更多...
电脑桌面文件删除了怎么找回来？别急，快速恢复攻略在此

电脑桌面文件删除了怎么找回来？别急，快速恢复攻略在此

在日常使用电脑的过程中，我们经常会遇到这样的情况：一不小心，桌面上的某个重要文件被删除了。这时，大多数人可能会感到惊慌失措，不知所措。 其实，不必过于担心，因为有很多方法可以帮助我们找回被删除的桌面文件。下面，就让我们一起来了解一下这些恢复桌面文件的方法吧。 一、使用撤销操作 如果我们刚刚删除了桌面上的文件，并且还没有进行其他操作，那么可以尝试使用撤销操作来恢复文件。在键盘上同时按下“C
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
Linux 网络编程 --- 应用层

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码： 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口，https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor
阅读更多...
【Python编程】Linux创建虚拟环境并配置与notebook相连接

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如，在当前目录下创建一个名为 myenv 的虚拟环境： python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行： source myenv/bin/activate 3.与notebook连接 在虚拟环境中，使用 pip 安装 Jupyter 和 ipykernel： pip instal
阅读更多...
Linux_kernel驱动开发11

Linux_kernel驱动开发11

一、改回nfs方式挂载根文件系统         在产品将要上线之前，需要制作不同类型格式的根文件系统         在产品研发阶段，我们还是需要使用nfs的方式挂载根文件系统         优点：可以直接在上位机中修改文件系统内容，延长EMMC的寿命         【1】重启上位机nfs服务         sudo service nfs-kernel-server resta
阅读更多...
hdu 4565 推倒公式+矩阵快速幂

hdu 4565 推倒公式+矩阵快速幂

题意 求下式的值： Sn=⌈ (a+b√)n⌉%m S_n = \lceil\ (a + \sqrt{b}) ^ n \rceil\% m 其中： 0<a,m<215 0< a, m < 2^{15} 0<b,n<231 0 < b, n < 2^{31} (a−1)2<b<a2 (a-1)^2< b < a^2 解析 令： An=(a+b√)n A_n = (a +
阅读更多...
【Linux 从基础到进阶】Ansible自动化运维工具使用

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具，采用无代理架构（agentless），基于 SSH 连接进行管理，具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用，旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2