HP DL380服务器安装 ovs-dpdk 问题记录4 min read

  • A+
所属分类：服务器

 

服务器环境：

  1. ##硬件环境  
  2. # dmidecode|grep "System Information" -A9|egrep  "Manufacturer|Product|Serial"  
  3.         Manufacturer: HP  
  4.         Product Name: ProLiant DL380 Gen9  
  5.         Serial Number: 6CU747DMXP  
  6.   
  7. # lspci | grep Ethe  
  8. 02:00.0 Ethernet controller: Broadcom Limited NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)  
  9. 02:00.1 Ethernet controller: Broadcom Limited NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)  
  10. 02:00.2 Ethernet controller: Broadcom Limited NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)  
  11. 02:00.3 Ethernet controller: Broadcom Limited NetXtreme BCM5719 Gigabit Ethernet PCIe (rev 01)  
  12. 04:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)  
  13. 04:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)  
  14. 88:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)  
  15. 88:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)  
  16.   
  17.   
  18. ##系统环境  
  19.    os： centos 7.5  
  20.    kernel: 3.10.0-862.11.6.el7.x86_64  
  21.    kernel启动参数开启iommu、设置大页类型：  
  22.        iommu=pt intel_iommu=on default_hugepagesz=1G hugepagesz=1G  
  23.   
  24.    预留大页个数(32G)：  
  25.         echo "32" > /etc/sysctl.d/hugepages.conf  

 

问题概述：在安装DPDK时后加载vfio-pci驱动时报错，报错内容如下，经过查找官方相关文档找到解决方案，因为涉及到大批量服务器固件升级，后续又跟HP技术专员经过沟通，收集sosreport，再次确认问题，最后提出关闭网卡的“share memory” 试试，经过关闭一台测试，后续安装成功，方案可行即实施。关闭方法见 实际解决方案/步骤

  1. #dmesg  
  2. [ 3827.187376] vfio-pci 0000:88:00.0: Device is ineligible for IOMMU domain attach due to platform RMRR requirement.  Contact your platform vendor.  
  3. [ 3827.208127] vfio-pci 0000:88:00.1: Device is ineligible for IOMMU domain attach due to platform RMRR requirement.  Contact your platform vendor.  
  4. [ 4124.634267] vfio-pci 0000:88:00.1: Device is ineligible for IOMMU domain attach due to platform RMRR requirement.  Contact your platform vendor.  
  5. [ 4124.654766] vfio-pci 0000:88:00.0: Device is ineligible for IOMMU domain attach due to platform RMRR requirement.  Contact your platform vendor.  
  6. [ 4246.969124] vfio-pci 0000:88:00.1: Device is ineligible for IOMMU domain attach due to platform RMRR requirement.  Contact your platform vendor.  
  7. [ 4246.989097] vfio-pci 0000:88:00.0: Device is ineligible for IOMMU domain attach due to platform RMRR requirement.  Contact your platform vendor.  
  8.   
  9. [root@bj02-compute-10e129e170e77 ~]# lspci -nn | grep Ether  
  10. 02:00.0 Ethernet controller [0200]: Broadcom Limited NetXtreme BCM5719 Gigabit Ethernet PCIe [14e4:1657] (rev 01)  
  11. 02:00.1 Ethernet controller [0200]: Broadcom Limited NetXtreme BCM5719 Gigabit Ethernet PCIe [14e4:1657] (rev 01)  
  12. 02:00.2 Ethernet controller [0200]: Broadcom Limited NetXtreme BCM5719 Gigabit Ethernet PCIe [14e4:1657] (rev 01)  
  13. 02:00.3 Ethernet controller [0200]: Broadcom Limited NetXtreme BCM5719 Gigabit Ethernet PCIe [14e4:1657] (rev 01)  
  14. 04:00.0 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)  
  15. 04:00.1 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)  
  16. 88:00.0 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)  
  17. 88:00.1 Ethernet controller [0200]: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection [8086:10fb] (rev 01)  

 

参考文档：
文档解决方案：
HPE ProLiant Gen9-series servers with firmware version 1.30_12-24-2014 (or later) support PCI device pass-through with third-party NICs
 
实际解决方案/步骤：关闭使用网卡 “share memory” ，即该网卡共享内存功能。
 
操作如下：
1. 重启服务器根据提示按 F9 进入 system utilities（系统应用程序）。
HP DL380服务器安装 ovs-dpdk 问题记录
  
2. 进入系统配置
HP DL380服务器安装 ovs-dpdk 问题记录
 
3. 将使用的该网卡的共享内存功能关闭（如果不知道是那块儿都关闭也可）
HP DL380服务器安装 ovs-dpdk 问题记录
 
如下是部分网卡关闭的截图：
HP DL380服务器安装 ovs-dpdk 问题记录
HP DL380服务器安装 ovs-dpdk 问题记录
HP DL380服务器安装 ovs-dpdk 问题记录
 
将网卡的共享内存关闭之后保存退出正常重启即可。 
 
 
zhaoyulin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: