【56】linux NTB 的测试工具

https://www.kernel.org/doc/html/latest/driver-api/ntb.html
https://github.com/jonmason/ntb/wiki/Linux-NTB-HOWTO-build-and-install
https://github.com/jonmason/ntb/wiki/Linux-NTB-HOWTO-test
https://www.kernel.org/doc/html/latest/driver-api/ntb.html
1、NTB的概念和作用
  NTB全称non transparent bridge，是相对于transparent bridge来说的。简单说就是枚举的时候，到了NTB这个桥时，枚举事务就结束了，也就是该桥对于枚举事务不再透明了（说白了就是PCI域隔离）。主要作用：用来连接两个或者多个分离的memory系统（说白了就是地址转换）。现在的NTB的支持两个通用特性：doorbell reg和memory地址转换窗口，还有一些不通用的特性：scratchpad和message寄存器。
  Scratchpad寄存器是一个EP两端都可以读写的寄存器，可以用让对端设备和本段设备交换少量信息。
  Message寄存器也可以用来做同样的事情。
这两种寄存器提供了特殊的mask bit来防止信息被对端设备重写（也就是说同一时间只能有一端写）。
  Doorbell reg用让对控给本控发送中断（主要用来IO到达时，及时通知本控接收数据）。
  Memory windows寄存器用来translate 对对控内存的读写请求。
2、linux NTB driver软件栈

  上图可以看到linux NTB的软件栈，hardware目录是各个厂商具体的实现方式，NTB抽象出一个概念：ntb_dev，所有的hardware厂商要注册对应的OPS到ntb_dev->ops，这样可以提供统一的API，上层driver是看不到底层硬件具体操作（这种抽象是linux的核心思想，否者linux根本玩不转这么多硬件）。
3、NTB的测试工具
  linux kernel在drivers\ntb\test提供了三个测试工具：ntb_tool、ntb_pingpong、ntb_perf

3.1 NTB pingpong测试原理
  pingpong测试的原理很简单，ntb_pingpong.ko加载后会注册ntb_client pp_client。
pp_link_event-> pp_setup建立好pingpong数据结构，选择使用哪个port，选择doorbell哪写bit，然后挂上hrtimer pp_timer_func。
  本控Ping操作：
pp_timer_func–>pp_ping，把计数写对端的scratch reg，然后写doorebell request reg来触发对端产生doorbell中断，最后写doorbell mask reg 来enable本端的doorbell中断。
  对控Pong操作：
中断服务函数：ndev_interrupt-> ntb_db_event-> pp_db_event-> pp_pong。会读取scratchreg（其实就是对端写过来的计数），然后增加该计数，并写doorbell mask reg来禁止本端的doorbell中断，写 doorbell status 来清除本端的doorbell中断。最后挂hrtimer pp_timer_func，等待ping的爆发。


3.2. NTB perf原理
  ntb perf是使用CPU或者DMA通过NTB往对控搬移数据。
默认是使用cpu搬运数据，如果想使用DMA搬运数据需要制定模块参数use_dma为1：insmod ntb_perf.ko dyndbg=+p use_dma=1
  注意：ntb_perf的状态机写的比较土，必须两控同时加载ntb_perf.ko(可以使用secureCRT或者xshell发送交互命令到所有对话让两控同时加载)，否者必然有一控的状态机走不完。使用DMA搬运数据的代码写错了，导致填写到描述符的目的地址是个非法地址，DMA无法使用。
解决目的地址非法的patch见
https://lore.kernel.org/patchwork/patch/1156715/
增加定位信息的patch见
https://lore.kernel.org/patchwork/patch/1168668/
怎么把patch合并到自己的代码中见：
https://blog.csdn.net/linjiasen/article/details/85262213

  使用CPU搬运数据的数据流如下，下图只是画了从主控到从控的数据流，从从控到主控的数据流也是一样的，只是CPU换成从控的CPU，地址映射使用的是从端的XLAT映射主控内存。

  使用DMA搬运数据的数据流如下，下图只是画了从主控到从控的数据流，从从控到主控的数据流也是一样的，只是DMA换成从控的NTBCCP，地址映射使用的是从端的XLAT映射主控内存。