一个很棒的数据包分流方法

2023-11-23 18:30
文章标签 方法 数据包 分流 很棒

本文主要是介绍一个很棒的数据包分流方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前段时间看流量分类方向的论文,看了许多中科大王伟老师的论文。受益匪浅,尝试着去学习借鉴。
因为流量分类的基本单元一般就是单个包,整条流或者双向流。通常使用双向流Bi-Flow作为基本单元,而通过网卡接口抓取的pcap文件或者pcapng文件一般都有很多个session组成。所以分流一般都是预处理过程的第一步。

1.获取流量数据集
首先使用了开源数据集ISCX VPN and NO-VPN
ISCX开源数据集集合

2.pcapng转pcap
解压得到完整的pcap文件之后,首先要把其中的pcapng文件转化为pcap文件,可以通过脚本,或者直接用转化工具。包含的行为类型可以划分为以下几种:
在这里插入图片描述
聊天,邮件,文件传输,P2P,流媒体,语音电话共六种类型。

3.ps脚本批量处理
通过powershell脚本批量拆分pcap文件,得到每个session对应的单一文件。
脚本
实现pcap拆分的ps脚本是1_Pcap2Session.ps1。
在这里插入图片描述
即对1_Pcap中的pcap文件,调用开源工具splitcap根据TCP和UDP将其拆分为多个文件,每个session对应一个文件。splitcap在同一级目录的0_Tool文件夹中。除此之外如果在命令行后面加入-y L7代表仅提取了应用层数据。

4.常见问题
如果在windows powershell中执行ps文件出错,输入Set-ExecutionPolicy Unrestricted来改变执行权限即可。如果出现找不到文件,出现no such directory,说明文件路径有误,建议绝对路径。
在这里插入图片描述
输出的结果为每个以原pcap文件名-ALL/L7命名的文件夹中都有许多的pcap文件。
在这里插入图片描述
5.后续
这里的pcap文件对应着各自的五元组信息。得到这部分文件之后,还需要进行接下来的处理工作,因为并不是所有的会话文件都适合作为训练数据。但是分流任务的完成表示着预处理的第一步算是完成了。接下来要通过这些较为原始的文件,根据自己的需要来处理为训练输入。通过AllLayer得到的数据可以选择剔除某些部分的原始字节信息,操作更加灵活。对于后面的ProcessSession以及session2png等脚本就不介绍了,ProcessSession就涉及了王伟老师论文的实验思想,其中包括截断784个字节,padding,然后784->28*28->png,还有数据集划分等操作。
个人接下来的数据预处理更倾向于特征映射,不是原始字节转img。

这篇关于一个很棒的数据包分流方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/419898

相关文章

Python字符串处理方法超全攻略

《Python字符串处理方法超全攻略》字符串可以看作多个字符的按照先后顺序组合,相当于就是序列结构,意味着可以对它进行遍历、切片,:本文主要介绍Python字符串处理方法的相关资料,文中通过代码介... 目录一、基础知识:字符串的“不可变”特性与创建方式二、常用操作:80%场景的“万能工具箱”三、格式化方法

springboot+redis实现订单过期(超时取消)功能的方法详解

《springboot+redis实现订单过期(超时取消)功能的方法详解》在SpringBoot中使用Redis实现订单过期(超时取消)功能,有多种成熟方案,本文为大家整理了几个详细方法,文中的示例代... 目录一、Redis键过期回调方案(推荐)1. 配置Redis监听器2. 监听键过期事件3. Redi

基于SpringBoot实现分布式锁的三种方法

《基于SpringBoot实现分布式锁的三种方法》这篇文章主要为大家详细介绍了基于SpringBoot实现分布式锁的三种方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、基于Redis原生命令实现分布式锁1. 基础版Redis分布式锁2. 可重入锁实现二、使用Redisso

自定义注解SpringBoot防重复提交AOP方法详解

《自定义注解SpringBoot防重复提交AOP方法详解》该文章描述了一个防止重复提交的流程,通过HttpServletRequest对象获取请求信息,生成唯一标识,使用Redis分布式锁判断请求是否... 目录防重复提交流程引入依赖properties配置自定义注解切面Redis工具类controller

Java调用DeepSeek API的8个高频坑与解决方法

《Java调用DeepSeekAPI的8个高频坑与解决方法》现在大模型开发特别火,DeepSeek因为中文理解好、反应快、还便宜,不少Java开发者都用它,本文整理了最常踩的8个坑,希望对... 目录引言一、坑 1:Token 过期未处理,鉴权异常引发服务中断问题本质典型错误代码解决方案:实现 Token

Nginx 访问控制的多种方法

《Nginx访问控制的多种方法》本文系统介绍了Nginx实现Web访问控制的多种方法,包括IP黑白名单、路径/方法/参数控制、HTTP基本认证、防盗链机制、客户端证书校验、限速限流、地理位置控制等基... 目录一、IP 白名单与黑名单1. 允许/拒绝指定IP2. 全局黑名单二、基于路径、方法、参数的访问控制

Python中Request的安装以及简单的使用方法图文教程

《Python中Request的安装以及简单的使用方法图文教程》python里的request库经常被用于进行网络爬虫,想要学习网络爬虫的同学必须得安装request这个第三方库,:本文主要介绍P... 目录1.Requests 安装cmd 窗口安装为pycharm安装在pycharm设置中为项目安装req

nginx跨域访问配置的几种方法实现

《nginx跨域访问配置的几种方法实现》本文详细介绍了Nginx跨域配置方法,包括基本配置、只允许指定域名、携带Cookie的跨域、动态设置允许的Origin、支持不同路径的跨域控制、静态资源跨域以及... 目录一、基本跨域配置二、只允许指定域名跨域三、完整示例四、配置后重载 nginx五、注意事项六、支持

MySQL查看表的历史SQL的几种实现方法

《MySQL查看表的历史SQL的几种实现方法》:本文主要介绍多种查看MySQL表历史SQL的方法,包括通用查询日志、慢查询日志、performance_schema、binlog、第三方工具等,并... 目录mysql 查看某张表的历史SQL1.查看MySQL通用查询日志(需提前开启)2.查看慢查询日志3.

MySQL底层文件的查看和修改方法

《MySQL底层文件的查看和修改方法》MySQL底层文件分为文本类(可安全查看/修改)和二进制类(禁止手动操作),以下按「查看方法、修改方法、风险管控三部分详细说明,所有操作均以Linux环境为例,需... 目录引言一、mysql 底层文件的查看方法1. 先定位核心文件路径(基础前提)2. 文本类文件(可直