Linux Topics (4.2) - opROM Bar attribute confuse of PCIe device

2024-03-19 16:10
文章标签 linux 4.2 attribute device bar pcie topics oprom confuse

本文主要是介绍Linux Topics (4.2) - opROM Bar attribute confuse of PCIe device，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

1. Confuse

2. PCIe Config Space

2.1 BAR Introduction

2.2 BAR Attributes

3. BAR Initialization in Linux

3.1 Initialization Flow

3.2 pci_read_bases(）

1. Confuse

原因是查看linux kernel boot log的时候， 发现一个SSD 设备的opROM bar 属性被标志为pref,

 pci 0001:01:00.0: [144d:a80a] type 00 class 0x010802
 pci 0001:01:00.0: reg 0x10: [mem 0x740004110000-0x740004113fff 64bit]
 pci 0001:01:00.0: reg 0x30: [mem 0x740004100000-0x74000410ffff pref]

但是我记得该设备的BAR不是prefetchable， 到了OS 下， lspci 看了下，也没有标志prefetchable

#lspci -vvs 0001:01:00.0

0001:01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO (prog-if 02 [NVM Express])
        Region 0: Memory at 740004010000 (64-bit, non-prefetchable) [size=16K]
        Expansion ROM at 740004000000 [disabled] [size=64K]

Dump 一下配置空间，也证明了 opROM BAR prefetch bit 没有置位：

00: 4d 14 0a a8 06 04 10 00 00 02 08 01 10 00 00 00
10: 04 00 01 04 00 00 00 00 00 00 00 00 00 00 00 00
20: 00 00 00 00 00 00 00 00 00 00 00 00 4d 14 12 a8
30: 00 00 10 04 40 00 00 00 00 00 00 00 ff 01 00 00

但是查看了 /sys/devices 下面的设备资源信息，却是跟boot log 一致，标识opROM BAR为prefetchable。

#define IORESOURCE_PREFETCH    0x00002000    /* No side effects */
cat /sys/devices/pci0001\:00/0001\:00\:01.0/0001\:01\:00.0/resource
0x0000740004010000 0x0000740004013fff 0x0000000000140204
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000740004000000 0x000074000400ffff 0x0000000000046200  //ROM BAR, Pref Bit= 0x2000
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000000000000000 0x0000000000000000 0x0000000000000000
0x0000000000000000 0x0000000000000000 0x0000000000000000

那opROM BAR 如何初始化的呢？ 为何要这样标识呢？首先要查查代码

2. PCIe Config Space

2.1 BAR Introduction

Config space 的BARs  如果下图

  • Type0 PCIe device的 config space, 共有 6 个BAR(0x10 – 0x24)， 一个ROM BAR(0x30).
  • Type1 PCIe bridge 的 config space, 共有 2个BAR(0x10 – 0x14)， 一个ROM BAR(0x38).

ROM Bar 主要用来在BIOS 初始化的时候， 先在Pcie enumeration的时候分配合适的地址，

用来关联该device的 opROM driver(UEFI 时候， 包的就是UEFI driver）

对于BIOS 来说， 

  • BIOS 把某个PCIE device的 opROM driver 直接包在代码里面，可以override 设备自带的较久的opROM driver, 这种设备是设计的时候已经设计在主板上了。
  • 对于外置add-in card, 一般都是BIOS 初始化的是时候， 获取card 本身自带的opROM driver 来初始化。

2.2 BAR Attributes

重点看一下 bit 3, 用来标识是否 Prefetchable.

3. BAR Initialization in Linux

3.1 Initialization Flow

acpi_pci_root_add()

        pci_acpi_scan_root()

                root_ops->release_info = pci_acpi_generic_release_info;

                root_ops->prepare_resources = pci_acpi_root_prepare_resources;

                acpi_pci_root_create()

                      |-->ops->prepare_resources(info);

                      |      |-->pci_acpi_root_prepare_resources;     //Get resource from ACPI(_CRS..)

                      |--> pci_acpi_root_add_resources(info);

                      |-->pci_create_root_bus()

                      |      |-->pci_register_host_bridge()

                      |-->pci_scan_child_bus(bus);

                      |           pci_scan_child_bus_extend(bus, 0);

                      |                      pci_scan_slot(bus, devfn);

                      |                            pci_scan_single_device()

                      |                                    |-->pci_scan_device(bus, devfn); //扫描slot，并创建pci dev

                      |                                    |           |-->pci_setup_device()

                      |                                    |                   |-->pci_read_bases()

3.2 pci_read_bases(）

static void pci_read_bases(struct pci_dev *dev, unsigned int howmany, int rom)

{

    unsigned int pos, reg;

    if (dev->non_compliant_bars)         return;

    /* Per PCIe r4.0, sec 9.3.4.1.11, the VF BARs are all RO Zero */

    if (dev->is_virtfn)       return;

    for (pos = 0; pos < howmany; pos++) {

       struct resource *res = &dev->resource[pos];

       reg = PCI_BASE_ADDRESS_0 + (pos << 2);

       pos += __pci_read_base(dev, pci_bar_unknown, res, reg);

    }

    if (rom) {

       struct resource *res = &dev->resource[PCI_ROM_RESOURCE];

       dev->rom_base_reg = rom;

       res->flags = IORESOURCE_MEM | IORESOURCE_PREFETCH |  //why opROM BAR masked as prefetch?

              IORESOURCE_READONLY | IORESOURCE_SIZEALIGN;

       __pci_read_base(dev, pci_bar_mem32, res, rom);

    }

}

代码里面已经很明显了，如果是opROM bar, 那么就要标志为 IORESOURCE_PREFETCH,

虽然 prefetchable memory(MMIO)有它的好处，

Prefetchable memory is memory which the CPU can request in advance as an optimization, before actual code operates on it. This happens because the CPU guesses it may be needed in the future or because the code contains explicit prefetch instructions. Then it prefetches those memory locations while processing some other instructions or doing some other work.

但是一般来说，都是根据BAR 自己的属性定义来配置才对。

查下了 Linux kernel git repo, 在 Linus 开始 2.6 版本的时候，就已经是这样了， 虽然之后由于side-effect, 取消了该设定，但是后来又revert了。

至于最初肯定是出于性能目的这样设置，但是暂时找不到最初的记录，真是好奇害死猫，留个TBD吧。

commit bb44609361fe87c5e136c2b8dfde59bcbdbabf61

Author: Gary Hade <garyhade@us.ibm.com>

Date:   Tue Dec 11 17:09:13 2007 -0800

    PCI: Restore PCI expansion ROM P2P prefetch window creation

    Restore PCI expansion ROM P2P prefetch window creation.

    This patch reverts previous "Avoid creating P2P prefetch

    window for expansion ROMs" change due to regressions that

    were spotted on some systems.

Signed-off-by: Gary Hade <garyhade@us.ibm.com>

Signed-off-by: Greg Kroah-Hartman gregkh@suse.de

commit fd64cb4606cbdd592b7119e82341d4ae5b56f2cc

Author: Gary Hade <garyhade@us.ibm.com>

Date:   Wed Oct 3 15:56:30 2007 -0700

    PCI: avoid P2P prefetch window for expansion ROMs

    Avoid creating P2P prefetch window for expansion ROMs

    Because of the future possibility that P2P prefetch windows will contain

    address ranges above 4GB some BIOSes are providing space in the P2P

    non-prefetch windows for expansion ROMs.  This is due to expansion ROM

    BAR 32-bit limitation.  When expansion ROM BARs without BIOS assigned

    address(es) are currently found behind a P2P bridge, the kernel attempts

    to create a P2P prefetch window for them even though space for them has

    already been provided in the non-prefetch window.  _CRS on some systems

    with certain resource conservation conscious BIOSes may not provide the

    extra 1MB or more memory resource needed for the expansion ROM motivated

    prefetch window causing resource allocation errors.

    This change corrects the problem by removing IORESOURCE_PREFETCH from

    the expansion ROM flags initialization.  It also removes

    IORESOURCE_CACHEABLE which seems inappropriate if only non-cacheable

    memory is available.

    Signed-off-by: Gary Hade <gary.hade@us.ibm.com>

    Signed-off-by: Greg Kroah-Hartman <gregkh@suse.de>

这篇关于Linux Topics (4.2) - opROM Bar attribute confuse of PCIe device的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/826544。

相关文章

Linux内核的调试（TODO）

Linux内核的调试（TODO）

（TODO）
阅读更多...
linux-基础知识3

linux-基础知识3

打包和压缩 zip 安装zip软件包 yum -y install zip unzip 压缩打包命令: zip -q -r -d -u 压缩包文件名 目录和文件名列表 -q:不显示命令执行过程-r:递归处理，打包各级子目录和文件-u:把文件增加/替换到压缩包中-d:从压缩包中删除指定的文件 解压:unzip 压缩包名 打包文件 把压缩包从服务器下载到本地 把压缩包上传到服务器(zip
阅读更多...
如何在页面调用utility bar并传递参数至lwc组件

如何在页面调用utility bar并传递参数至lwc组件

1.在app的utility item中添加lwc组件： 2.调用utility bar api的方式有两种： 方法一，通过lwc调用： import {LightningElement,api ,wire } from 'lwc';import { publish, MessageContext } from 'lightning/messageService';import Ca
阅读更多...
Linux 网络编程 --- 应用层

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码： 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口，https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor
阅读更多...
【Python编程】Linux创建虚拟环境并配置与notebook相连接

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如，在当前目录下创建一个名为 myenv 的虚拟环境： python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行： source myenv/bin/activate 3.与notebook连接 在虚拟环境中，使用 pip 安装 Jupyter 和 ipykernel： pip instal
阅读更多...
Linux_kernel驱动开发11

Linux_kernel驱动开发11

一、改回nfs方式挂载根文件系统         在产品将要上线之前，需要制作不同类型格式的根文件系统         在产品研发阶段，我们还是需要使用nfs的方式挂载根文件系统         优点：可以直接在上位机中修改文件系统内容，延长EMMC的寿命         【1】重启上位机nfs服务         sudo service nfs-kernel-server resta
阅读更多...
【Linux 从基础到进阶】Ansible自动化运维工具使用

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具，采用无代理架构（agentless），基于 SSH 连接进行管理，具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用，旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念
阅读更多...
Linux服务器Java启动脚本

Linux服务器Java启动脚本

Linux服务器Java启动脚本 1、初版2、优化版本3、常用脚本仓库 本文章介绍了如何在Linux服务器上执行Java并启动jar包， 通常我们会使用nohup直接启动，但是还是需要手动停止然后再次启动， 那如何更优雅的在服务器上启动jar包呢，让我们一起探讨一下吧。 1、初版 第一个版本是常用的做法，直接使用nohup后台启动jar包， 并将日志输出到当前文件夹n
阅读更多...
[Linux]：进程(下)

[Linux]：进程(下)

✨✨ 欢迎大家来到贝蒂大讲堂✨✨ 🎈🎈养成好习惯，先赞后看哦~🎈🎈 所属专栏：Linux学习 贝蒂的主页：Betty’s blog 1. 进程终止 1.1 进程退出的场景 进程退出只有以下三种情况： 代码运行完毕，结果正确。代码运行完毕，结果不正确。代码异常终止（进程崩溃）。 1.2 进程退出码 在编程中，我们通常认为main函数是代码的入口，但实际上它只是用户级
阅读更多...
【Linux】应用层http协议

【Linux】应用层http协议

一、HTTP协议 1.1 简要介绍一下HTTP        我们在网络的应用层中可以自己定义协议，但是，已经有大佬定义了一些现成的，非常好用的应用层协议，供我们直接使用，HTTP（超文本传输协议）就是其中之一。        在互联网世界中，HTTP（超文本传输协议）是一个至关重要的协议，他定义了客户端（如浏览器）与服务器之间如何进行通信，以交换或者传输超文本（比如HTML文档）。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2