Linux下快速解析nf_conntrack

2024-02-02 21:38
文章标签 linux 快速 解析 nf conntrack

本文主要是介绍Linux下快速解析nf_conntrack,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. 背景

回顾了项目需求是系统的统计tcp连接数;
于是想到了 nf_conntrack 这个Linux内核提供的记录和跟踪连接状态的功能;
然后写了个程序解析 /proc/net/nf_conntrack这个映射文件,后来悲剧就发生了,当conntrack表记录变增加到1w以上之后,解析速度急速下降,到了10w规模后,解析耗时几十秒都不能完成,,,
终于后来翻到了netfilter的老巢,发现了解决方法:libnml、libnetfilter_conntrack

2. 使用

核心原理是通过netlink套接字的方式,与内核交互,查询得到结果
libmnl基本方法:

extern struct mnl_socket *mnl_socket_open(int bus);
extern int mnl_socket_bind(struct mnl_socket *nl, unsigned int groups, pid_t pid);
extern int mnl_socket_close(struct mnl_socket *nl);
extern ssize_t mnl_socket_sendto(const struct mnl_socket *nl, const void *req, size_t siz);
extern ssize_t mnl_socket_recvfrom(const struct mnl_socket *nl, void *buf, size_t siz);

libnetfilter_conntrack则主要是对获取的结果进行解析,比如拿出源地址、协议簇信息

/* conntrack attributes */
enum nf_conntrack_attr {ATTR_ORIG_IPV4_SRC = 0,         /* u32 bits */ATTR_IPV4_SRC = ATTR_ORIG_IPV4_SRC, /* alias */ATTR_ORIG_IPV4_DST,         /* u32 bits */ATTR_IPV4_DST = ATTR_ORIG_IPV4_DST, /* alias */ATTR_REPL_IPV4_SRC,         /* u32 bits */ATTR_REPL_IPV4_DST,         /* u32 bits */ATTR_ORIG_IPV6_SRC = 4,         /* u128 bits */ATTR_IPV6_SRC = ATTR_ORIG_IPV6_SRC, /* alias */ATTR_ORIG_IPV6_DST,         /* u128 bits */ATTR_IPV6_DST = ATTR_ORIG_IPV6_DST, /* alias */ATTR_REPL_IPV6_SRC,         /* u128 bits */ATTR_REPL_IPV6_DST,         /* u128 bits */ATTR_ORIG_PORT_SRC = 8,         /* u16 bits */ATTR_PORT_SRC = ATTR_ORIG_PORT_SRC, /* alias */ATTR_ORIG_PORT_DST,         /* u16 bits */ATTR_PORT_DST = ATTR_ORIG_PORT_DST, /* alias */ATTR_REPL_PORT_SRC,         /* u16 bits */ATTR_REPL_PORT_DST,         /* u16 bits */ATTR_ICMP_TYPE = 12,            /* u8 bits */ATTR_ICMP_CODE,             /* u8 bits */ATTR_ICMP_ID,               /* u16 bits */ATTR_ORIG_L3PROTO,          /* u8 bits */ATTR_L3PROTO = ATTR_ORIG_L3PROTO,   /* alias */ATTR_REPL_L3PROTO = 16,         /* u8 bits */ATTR_ORIG_L4PROTO,          /* u8 bits */ATTR_L4PROTO = ATTR_ORIG_L4PROTO,   /* alias */ATTR_REPL_L4PROTO,          /* u8 bits */ATTR_TCP_STATE,             /* u8 bits */ATTR_SNAT_IPV4 = 20,            /* u32 bits */ATTR_DNAT_IPV4,             /* u32 bits */ATTR_SNAT_PORT,             /* u16 bits */ATTR_DNAT_PORT,             /* u16 bits */ATTR_TIMEOUT = 24,          /* u32 bits */ATTR_MARK,              /* u32 bits */ATTR_ORIG_COUNTER_PACKETS,      /* u64 bits */ATTR_REPL_COUNTER_PACKETS,      /* u64 bits */ATTR_ORIG_COUNTER_BYTES = 28,       /* u64 bits */ATTR_REPL_COUNTER_BYTES,        /* u64 bits */ATTR_USE,               /* u32 bits */ATTR_ID,                /* u32 bits */ATTR_STATUS = 32,           /* u32 bits  */ATTR_TCP_FLAGS_ORIG,            /* u8 bits */ATTR_TCP_FLAGS_REPL,            /* u8 bits */ATTR_TCP_MASK_ORIG,         /* u8 bits */ATTR_TCP_MASK_REPL = 36,        /* u8 bits */ATTR_MASTER_IPV4_SRC,           /* u32 bits */ATTR_MASTER_IPV4_DST,           /* u32 bits */ATTR_MASTER_IPV6_SRC,           /* u128 bits */ATTR_MASTER_IPV6_DST = 40,      /* u128 bits */ATTR_MASTER_PORT_SRC,           /* u16 bits */ATTR_MASTER_PORT_DST,           /* u16 bits */ATTR_MASTER_L3PROTO,            /* u8 bits */ATTR_MASTER_L4PROTO = 44,       /* u8 bits */ATTR_SECMARK,               /* u32 bits */ATTR_ORIG_NAT_SEQ_CORRECTION_POS,   /* u32 bits */ATTR_ORIG_NAT_SEQ_OFFSET_BEFORE,    /* u32 bits */ATTR_ORIG_NAT_SEQ_OFFSET_AFTER = 48,    /* u32 bits */ATTR_REPL_NAT_SEQ_CORRECTION_POS,   /* u32 bits */ATTR_REPL_NAT_SEQ_OFFSET_BEFORE,    /* u32 bits */ATTR_REPL_NAT_SEQ_OFFSET_AFTER,     /* u32 bits */ATTR_SCTP_STATE = 52,           /* u8 bits */ATTR_SCTP_VTAG_ORIG,            /* u32 bits */ATTR_SCTP_VTAG_REPL,            /* u32 bits */ATTR_HELPER_NAME,           /* string (30 bytes max) */ATTR_DCCP_STATE = 56,           /* u8 bits */ATTR_DCCP_ROLE,             /* u8 bits */ATTR_DCCP_HANDSHAKE_SEQ,        /* u64 bits */ATTR_TCP_WSCALE_ORIG,           /* u8 bits */ATTR_TCP_WSCALE_REPL = 60,      /* u8 bits */ATTR_ZONE,              /* u16 bits */ATTR_SECCTX,                /* string */ATTR_TIMESTAMP_START,           /* u64 bits, linux >= 2.6.38 */ATTR_TIMESTAMP_STOP = 64,       /* u64 bits, linux >= 2.6.38 */ATTR_HELPER_INFO,           /* variable length */ATTR_CONNLABELS,            /* variable length */ATTR_CONNLABELS_MASK,           /* variable length */ATTR_ORIG_ZONE,             /* u16 bits */ATTR_REPL_ZONE,             /* u16 bits */ATTR_SNAT_IPV6,             /* u128 bits */ATTR_DNAT_IPV6,             /* u128 bits */ATTR_SYNPROXY_ISN,          /* u32 bits */ATTR_SYNPROXY_ITS,          /* u32 bits */ATTR_SYNPROXY_TSOFF,            /* u32 bits */ATTR_MAX
};

3. 例子

以下例子为打印TCP当前连接情况
main函数主要就是创建一个netlink套接字,发送请求IPCTNL_MSG_CT_GET获取整个conntrack表信息
最终结果接收在buf中,使用mnl_cb_run进行循环解析。

int main(void)
{struct mnl_socket *nl;struct nlmsghdr *nlh;struct nfgenmsg *nfh;char buf[MNL_SOCKET_BUFFER_SIZE];unsigned int seq, portid;int ret;nl = mnl_socket_open(NETLINK_NETFILTER);if (nl == NULL) {perror("mnl_socket_open");exit(EXIT_FAILURE);}   if (mnl_socket_bind(nl, 0, MNL_SOCKET_AUTOPID) < 0) {perror("mnl_socket_bind");exit(EXIT_FAILURE);}   portid = mnl_socket_get_portid(nl);nlh = mnl_nlmsg_put_header(buf);nlh->nlmsg_type = (NFNL_SUBSYS_CTNETLINK << 8) | IPCTNL_MSG_CT_GET;nlh->nlmsg_flags = NLM_F_REQUEST | NLM_F_DUMP;nlh->nlmsg_seq = seq = time(NULL);nfh = mnl_nlmsg_put_extra_header(nlh, sizeof(struct nfgenmsg));nfh->nfgen_family = AF_INET;nfh->version = NFNETLINK_V0;nfh->res_id = 0;ret = mnl_socket_sendto(nl, nlh, nlh->nlmsg_len);if (ret == -1) {perror("mnl_socket_recvfrom");exit(EXIT_FAILURE);}ret = mnl_socket_recvfrom(nl, buf, sizeof(buf));while (ret > 0) {ret = mnl_cb_run(buf, ret, seq, portid, data_cb, NULL);if (ret <= MNL_CB_STOP) {break;}ret = mnl_socket_recvfrom(nl, buf, sizeof(buf));}if (ret == -1) {perror("mnl_socket_recvfrom");exit(EXIT_FAILURE);}mnl_socket_close(nl);return 0;
}

以下为 回调函数的实现,在本例子中,则筛选出TCP连接进行展示

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <time.h>
#include <arpa/inet.h>#include <libmnl/libmnl.h>
#include <libnetfilter_conntrack/libnetfilter_conntrack.h>static int data_cb(const struct nlmsghdr *nlh, void *data)
{struct nf_conntrack *ct;char buf[4096];ct = nfct_new();if (ct == NULL) {return MNL_CB_OK;}   nfct_nlmsg_parse(nlh, ct);switch (nfct_get_attr_u8(ct, ATTR_ORIG_L4PROTO)) {case IPPROTO_TCP:nfct_snprintf(buf, sizeof(buf), ct, NFCT_T_UNKNOWN, NFCT_O_DEFAULT, 0); printf("%s\n", buf);break;}   nfct_destroy(ct);return MNL_CB_OK;
}

运行结果涉及本机一些地址,就不展示了,结果与 /proc/net/nf_conntrack一致,但到10w记录的环境下,并不会有巨大的开销。

4. 总结

只要不设置notrack标识的连接,就可以通过 nf_conntrack进行获取连接数;
而使用libnml+libnetfilter_conntrack的netlink套接字的方式,比直接cat文件速度快很多;
查看了官方手册,发现libnetfilter_conntrack不仅可解析conntrack表,还能够进行监控、修改等高级操作,功能十分强大!

参考文章:
[1] https://en.wikipedia.org/wiki/Netfilter
[2] https://www.netfilter.org/projects/libnetfilter_conntrack/index.html

这篇关于Linux下快速解析nf_conntrack的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/672051

相关文章

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

Springboot @Autowired和@Resource的区别解析

《Springboot@Autowired和@Resource的区别解析》@Resource是JDK提供的注解,只是Spring在实现上提供了这个注解的功能支持,本文给大家介绍Springboot@... 目录【一】定义【1】@Autowired【2】@Resource【二】区别【1】包含的属性不同【2】@

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

Linux samba共享慢的原因及解决方案

《Linuxsamba共享慢的原因及解决方案》:本文主要介绍Linuxsamba共享慢的原因及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux samba共享慢原因及解决问题表现原因解决办法总结Linandroidux samba共享慢原因及解决