网络分流器|基于复合存储的100GbpsDPI技术

2023-10-08 15:59

本文主要是介绍网络分流器|基于复合存储的100GbpsDPI技术,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

网络分流器|基于复合存储的100Gbps DPI技术
网络分流器|基于复合存储的100GbpsDPI技术

  1. 网络分流器|背景与需求
    当前,随着防火墙、***检测系统、高速网络管控、CDN、运营商信令分析、垃圾邮件分类等领域的发展,对高速链路进行深度报文检测(Deep Packet Inspection,简称DPI)和分类的要求越来越高。一方面是带宽越来越高,另一方面是检测特征越来越复杂,特征种类越来越多,这为DPI技术的发展提出了非常高的要求。

深度报文检测是使用预定义的一系列规则在流级上对报文载荷(而非仅仅是报文头)进行匹配,并根据匹配的结果决定对报文所采用的动作的一个过程。

  1. 复合存储技术
    当前在DPI领域,主要采用两种特种模式,分别是关键字和正则表达式,由于高性能的正则表达式匹配技术尚未达到实用,目前广泛使用的仍然是关键字(商用的正则表达式匹配技术尚未超过10Gbps),甚至大部分的DPI系统仍无法完成10Gbps以上链路的全报文关键字匹配,而只能对报文首部的部分字节(如报文载荷的前32字节或者64字节)执行深度检测,性能问题依然是DPI面临的首要挑战。为了提高DPI的处理能力,产业界和学术界普通采用的是以下三种技术:

(1)依靠更高性能的服务器或服务器集群来加速DPI吞吐量,由于在报文流上执行多机器或多核的负载均衡非常方便,这种方法很容易达到很高的处理性能,缺点是代价比较大。

(2)依靠更好的软件算法来提高匹配性能,目前研究界普通采用以AC算法作为基础来优化性能,主要有WU-MANBER、SBOM、一次多字节(俗称多步)、BloomFilter等方法,但是DPI过程要求的前后状态转移是关联的,即下一次访问的地址与上一次访问的状态和当前报文字节的内容紧密相关,受限于存储器本身(主要是DDR)的性能,软件优化的空间非常有限。

(3)依靠各种多核NPU自带的匹配引擎来加速,目前国外两大多核NPU巨头Broadcom和Cavium都有在其NPU上内置了DPI加速引擎,如Cavium内置的HFA引擎宣称其单个NPU可以达到24Gbps的处理能力,但是实测性能与宣称性能之间相差巨大。尤其是配置正则表达式规则时,带通配符的规则会对其性能造成十分显著的影响。

总是,虽然研究界和产业界都非常关注深度报文检测,当前DPI技术的技术发展仍然无法赶上相关应用领域的现实要求。

在深度报文检测(DPI)中,首先要将关键字或正则表达式特征编译成有限状态自动机(Finite State Automata,FSA),并将FSA的状态表配置在存储器中。匹配过程中,每处理报文的一个字节都需要至少一次查表,以获取下一次要访问的状态地址。匹配的速度取决于访存次数和每次访存的时延,而对于一个给定的报文,访存次数等于报文负载长度。因此要提高匹配的速度就需要尽量减少每次访存的时延。

在轻量级的网络下,网络链路速率低。如果规则数比较少,可以把每条规则编译成一个FSA,状态表配置在高速存储器中,以获得较高的匹配速度。然而,随着网络带宽的快速增加,10G比特的网络已经开始应用于园区网络中;规则的数目也增加到数百甚至上千条。将每条规则编译成单个FSA的方案已经无法满足性能需求。如果将所有规则编译成一个FSA,可能发生状态爆炸。状态表的规模可能超过数100G字节,远超过目前高速存储器的容量,只能配置在外部磁盘这样的低速存储器中,访存时延大大提高。

DPI技术的关键其实是访存的性能,尤其是随机访存的性能,如果能够设计一种存储结构,既能够支持很高的随机访问性能(如达到几十个Gbps以上),又能够有比较大的容量(如到几十兆的大小),则通过良好的状态表数据结构优化,使得状态表的访问能够相对聚集;然后对访存过程加以优化,如流水化访存、Bank交错、并行化访存等措施来进一步提高访问状态表的效率,则高性能的DPI是可以实现的。

湖南戎腾网络创新团队在国家自然科学基金的支持下,研究出来的高性能DPI技术,借鉴了计算机系统的Cache结构。在计算机系统中,由于局部性原理,可以用先进先出、最近最少使用等替换算法,使Cache有较高的命中率。但是在深度报文检测中,报文的内容却是完全随机的,难以预知下一个要处理的字节内容,会转向哪个状态。选择那些经常被访问的状态存储到高速存储器中是提高性能的关键。戎腾通过独有的马尔科夫预测技术,很好地解决了状态访问的预测问题。网络分流器|基于复合存储的100GbpsDPI技术
图1 复合存储匹配引擎

整个匹配引擎采用两层甚至三层,通过复合存储及并行和流水技术,解决性能和存储容量之间的矛盾,既能够通过一级匹配引擎的并行达到很高的性能,又能够通过二级存储达到大容量的状态表空间。这种结构既适合于关键字匹配,也适合于正则表达式匹配。

  1. 复合存储技术的产品化与应用|网络分流器
    为了将复合存储技术推广到实际应用中,戎腾开发了独立机箱的PET160S和基于ATCA的CNT16S两种系统,其中PET160S系统可以在16K关键字下,达到70Gbps到90Gbps的匹配性能;而CNT16S系统可以支持在4K正则表达式下,达到40Gbps的性能。此类设备可以在流级上对报文进行标签动作,匹配规则的报文会在报文头部打上命中的规则编号,使得后端分析系统能够根据相应的标签快速执行相应的检测任务。

通过我们的分析,辅以软硬一体化流表技术,整体报文处理能力一般是核心匹配引擎4倍的性能。即如果核心匹配引擎能够达到n Gbps的性能,则整体报文处理能力就能够4n Gbps左右的性能,也就是说PET160S系统已经完成可以满足双向100Gbps以太网全带宽的关键字DPI能力,而CNT16S也可以满足实网条件下双向100Gbps以太网(实网条件下,上下行流量不会超过200Gbps*80%)的正则表达式DPI要求。

当前,正在研制基于PCI-E的DPI加速卡,可望于近期在单块PCI加速卡上实现40Gbps左右的关键字匹配性能和20Gbps的正则表达式匹配性能,以硬件加速卡的形式为防火墙、***检测系统、高速网络管控、CDN、运营商信令分析提供硬件加速。

  1. 结束语|网络分流器
    关键字匹配和正则表达式匹配是深度报文检测(DPI)的关键技术,规则集的复杂化导致对访存的性能和容量需求急剧增加。而状态表的规模远超过高速存储器容量,通过复合存储技术,可以很好地解决DPI的性能问题,并很好地与现有需要DPI加速的产品进行整合。

转载于:https://blog.51cto.com/13853577/2153874

这篇关于网络分流器|基于复合存储的100GbpsDPI技术的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/166408

相关文章

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.

Java实现数据库图片上传与存储功能

《Java实现数据库图片上传与存储功能》在现代的Web开发中,上传图片并将其存储在数据库中是常见的需求之一,本文将介绍如何通过Java实现图片上传,存储到数据库的完整过程,希望对大家有所帮助... 目录1. 项目结构2. 数据库表设计3. 实现图片上传功能3.1 文件上传控制器3.2 图片上传服务4. 实现

C语言中的浮点数存储详解

《C语言中的浮点数存储详解》:本文主要介绍C语言中的浮点数存储详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、首先明确一个概念2、接下来,讲解C语言中浮点型数存储的规则2.1、可以将上述公式分为两部分来看2.2、问:十进制小数0.5该如何存储?2.3 浮点