Infiniband Linux上驱动安装
- 固件工具,用于烧写ib卡的固件和查询相关信息:Mellanox Firmware Tools (MFT)
安装过程
tar xf mft-4.11.0-103-x86_64-rpm.tgz
cd mft-4.11.0-103-x86_64-rpm
sudo ./install.sh
接下来会自动检测环境,提示用户补充安装缺少的软件包。
CentOS 7 Core缺少的如下:
sudo yum install -y gcc rpm-build kernel-devel
- 在检测完固件之后,选择相应版本的驱动下载:Mellanox OpenFabrics Enterprise Distribution for Linux (MLNX_OFED) 可以选择历史版本。所有版本对应支持的固件列表参考如下: http://www.mellanox.com/page/mlnx_ofed_matrix?mtag=linux_sw_drivers
系统环境是CentOS 7.6,但是ib卡的固件版本只有2.33.5000,处于各种原因,既不打算换系统,也不打算烧固件,于是打算强上老驱动试试。 然后。。炸了,编译错误,还是C语言层面的,不管了,直接上最新驱动
不更新固件 -> --without-fw-update
mxm
需要gui,丢掉 -> --without-mxm
缺失的软件包:
sudo yum install -y tcl tcsh tk lsof libxml2-python pciutils perl
然后就开始安装,应该没有问题了 配ip,方法就跟配Ethernet一样的
sudo service openibd restart
sudo ip addr add <ip-addr>/<netmask> dev <devname>
用netperf
测试网络质量:
直接用github上的源码编译安装(推荐使用release),需要在被连接测试的服务器上运行netserver
命令,该命令自带于已安装好的netperf中。
然后在主动连接的主机上运行以下命令:
netperf -H 10.0.0.30 -t omni -- -d rr -O "THROUGHPUT, THROUGHPUT_UNITS, MIN_LATENCY, MAX_LATENCY, MEAN_LATENCY"
-H
选项用于指定主机。