dpdk个人学习使用全过程

linux：centos 3.10.0-957.el7.x86_64

dpdk：17.11.4     https://fast.dpdk.org/rel/dpdk-17.11.4.tar.xz

vm：15.5 pro

折腾了快一个礼拜，遇到的小问题很多，所以记录回顾一下，如果对大家有借鉴意义，那就再好不过了。

目录

1.技术原理

1.1为什么dpdk能提高网络传输效率

1.2.实现原理

2.重要目录

3.环境搭建

4.编译安装

5.用例

6.网速测试

---

1.技术原理

DPDK实践一：技术介绍 + 编译运行_恩来贺的博客-CSDN博客_dpdk 定时器

这一部分可以参考这个帖子，讲的很完善，如果只是为了使用，可以主要了解如下几个地方。

1.1为什么dpdk能提高网络传输效率

       1.控制层留给Linux做，其它数据层全部由应用程序来处理。
　　2.减少系统调度、系统调用、系统中断，上下文切换等
　　3.摒弃Linux内核协议栈，将数据包传输到用户空间定制协议栈
　　4.使用多核编程技术替代多线程，将OS绑在指定核上运行
　　5.针对SMP系统，使CPU尽量使用所在NUMA系统节点的内存，减少内存刷写
　　6.使用大页面，减少访问
　　7.采用无锁技术解竞争

使用中，接触到 配置大页、绑定核和端口、绕过linux内核处理这几点，其他还没遇到。

1.2.实现原理

  dpdk从内核手中接管eth，ETH不再具有ip地址和网卡名，无法被linux管理，转由port绑定，mac地址比较重要，最好接管之前记录一下网卡mac地址。没有特殊设置，服务器重启后网卡会恢复。
其他细节我反正是看了也记不住，就略过了。

2.重要目录

我用的是17.11.4稳定版，以此为例

解压后可以看见很多文件夹，以下几个目录比较重要
app    config      examples     usertools

使用usertools下的dpdk-setup.py编译后，会生成文件夹
例如： x86_64-native-linuxapp-gcc

两个环境变量
RTE_SDK指的是解压后的一级目录，例如解压到root下，就是/root/dpdk-stable-17-11-4
RTE_TARGET指的就是编译后生成的文件夹x86_64-native-linuxapp-gcc
每次开启一个terminal后，要运行dpdk相关内容，都要敲下面两条命令。

export  RTE_SDK=/root/dpdk-stable-17-11-4

export  RTE_TARGET=x86_64-native-linuxapp-gcc

3.环境搭建

在Windows上使用VM安装linux系统，安装过程就不细说了，主要说两个配置的地方，方便后续使用。

3.1一是 多配置几个网卡，我配置了三个，一个用来做ssh连接，两个给dpdk，配置方法如下。

第一种方法是在系统安装时，单击“网络和主机名”，在弹出的窗口增加并开启网卡。

 

第二种方法右键对应的虚拟机  设置   添加...  网络适配器。

3.2二是 因为vm打开的终端界面无法上下浏览、也没办法直接上传下载很不方便，说一下我这里ssh连接vm虚拟机的方法。

 1.检查是否安装

 ssh rpm -qa |grep ssh

 2.开启ssh服务

 service sshd restart

 3.VM添加桥接网络

 4.我的电脑 右键 管理->设备管理器->网络管理器 -> 启动对应的vmware virtual eth adapter

 5.能ping通虚拟机网卡ip之后，使用ssh工具（mobaxterm等）连接网卡ip即可。

4.编译安装

这方面文章比较多，我参考的是后面链接的这篇文章。https://www.jianshu.com/p/6ceb82e0fbe8

有些文章里面说的要把config文件夹里的common_base中的CONFIG_RTE_EAL_IGB_UIO改为y,实际使用中发现不改也没有影响，可能是这个版本不用改为yes就能自动编译UIO。

简单说一下我的编译安装过程种遇到百度查不到的问题，网上不好找解决方法。

这种报错要看一下路径是否正确，如果是报错如图所示的路径，看一下软连接是否正常，如果变红了，删除重建一下。

ln -s  源路径  build

如果是2中所说的RTE_XX的路径有问题，先确认一下放的位置是否正确，然后就看export的内容是不是敲错了。

最终出现如下图的打印就表示编译成功了。不需要安装，不用在意最后一句话。

还有其他问题后续再补充，我后面还要再实体机环境上安装。

5.用例

跑dpdk的用例前，必须设置好环境：

  1.设置两个环境变量RTE_SDK  、RTE_TARGET

 

  2.down掉要让dpdk接管的网卡（ifconfig  网卡名  down）

    这里要下载安装ifconfig，和一般下载方法不太一样，参考：    Linux-安装ifconfig_「已注销」的博客-CSDN博客_linux安装ifconfig

 3.运行dpdk安装脚本（usertools/dpdk-setup.sh），插入UIO模块、设置大页、绑定网卡

 

 

 

 如果失败，可能是因为没有事先down掉网卡。

编译并运行hello程序

 

6.网速测试

因为我最终要做的是一个提高网络传输速度的工具，所以在尝试各种不同的网速测试方法，目前有如下两种。

6.1使用第三方工具pktgen测试dpdk网速

6.1.1下载压缩包并安装

wget http://dpdk.org/browse/apps/pktgen-dpdk/snapshot/pktgen-3.4.2.tar.gz

tar -zxvf pktgen-3.4.2.tar.gz

cd pktgen-3.4.2

make

6.1.2编译遇到的一些问题

/root/pktgen-3.4.2/app/pktgen-port-cfg.h:47:23: 致命错误：pcap/pcap.h：没有那个文件或目录

解决：安装libpcap库

yum install libpcap-devel

make[2]: *** 没有规则可以创建目标“/root/pktgen-3.2.8/app/../lib/common/lib/common/x86_64-native-linuxapp-gcc/lib/libcommon.a”。

3.4.2没有这个问题，/root/pktgen-3.2.8/app/下的makefile有问题，修改为

#LUA_LIB    := $(RTE_SRCDIR)/../lib/lua/src/lib/lua/src/$(RTE_TARGET)/lib

LUA_LIB    := $(RTE_SRCDIR)/../lib/lua/src/$(RTE_TARGET)/lib

#COMMON_LIB := $(RTE_SRCDIR)/../lib/common/lib/common/$(RTE_TARGET)/lib

COMMON_LIB := $(RTE_SRCDIR)/../lib/common/$(RTE_TARGET)/lib

GUI_LIB    := $(RTE_SRCDIR)/../gui/gui/$(RTE_TARGET)/lib

#CLI_LIB    := $(RTE_SRCDIR)/../lib/cli/lib/cli/$(RTE_TARGET)/lib

CLI_LIB    := $(RTE_SRCDIR)/../lib/cli/$(RTE_TARGET)/lib

/root/pktgen-3.2.8/app/pktgen-port-cfg.h: 在函数‘pktgen_dump_dev_info’中:

/root/pktgen-3.2.8/app/pktgen-port-cfg.h:325:28: 错误：提领指向不完全类型的指针

   di->pci_dev ? di->pci_dev->max_vfs : 0,

修改pktgen-port-cfg.h，include 结构体定义的文件，增加如下一行

#include <rte_ethdev_pci.h>

最终编译成功会大页LD pktgen，反馈是有点朴实无华，一开始还以为没成功。

 6.1.3 两台虚拟机间使用pktgen测试

初始化配置，同dpdk启动程序过程，配置sdk及target路径，加载UIO，分配大页，配置网口

1.切换到pktgen目录下，都只运行一个端口（最后的参数指的是核1端口0）

./app/x86_64-native-linuxapp-gcc/pktgen -l 0-2 -n 3 -- -P -m "[1].0"

2.互相设置对端mac地址，两端都设置

set 0 dst mac 00:0c:29:14:4f:1a

3.默认tcp传输，可以设置为udp传输     set 0 proto udp

4.开始    start 0

5.结束     stop 0

6.退出    quit

6.1.4 一台机器自己收发

其他步骤都相同，需要注意的是要配置两个port，所以虚拟机加两个网卡是最方便的处理，把两个网卡互相设为自己的dst mac 地址。

运行时，开启两个port会自动设为对端，只敲如下命令即可。

./app/x86_64-native-linuxapp-gcc/pktgen -l 0-2 -n 3 -- -P -m "[1].0, [2].1"

 

 6.1.4 一些问题

使用pktgen的控制台后，退出会在shell敲命令会发现方向键和退格减都是^H，敲一下如下命令就可以了。

stty erase ^H

另一个就是测试发现网速很低，暂时没有去研究原因。

6.2Linux工具iperf测试通过linux内核的网速

iperf是一个linux上一键式的网速测试工具，适用于测试两台服务器之间通过linux内核进行tcp/udp传输的速率。一台服务器做服务端，一台做客户端。使用很简单、很便捷。因为没有使用dpdk，所以肯定没法达到网口极限速率，仅作参考对比工具。

我用的包是 iperf3-3.1.3-1.fc24.x86_64.rpm。

1.安装iperf
 rpm -ivh iper3.rpm

2.确保服务器和客户端都关闭了防火墙

firewall-cmd --state
not running

systemctl stop firewalld.service

3.启动服务端

iperf3 -s

4.运行客户端
iperf3 -c 192.168.10.133

udp：
iperf3 -u -c 192.168.10.133

实体机测试效果：

还在学习优化中，等有进展接着补充。

仅供参考，有错误之处还请大家指出。