Verify RDMA is working over SoftRoCE

root@embsys-VirtualBox:~# lsmod | grep rxe

rdma_rxe              102400  0

ip6_udp_tunnel         16384  1 rdma_rxe

udp_tunnel             16384  1 rdma_rxe

ib_core               196608  6 rdma_cm,ib_cm,iw_cm,ib_uverbs,rdma_rxe,rdma_ucm

root@embsys-VirtualBox:~# ibv_devices

    device                 node GUID

    ------              ----------------

    rxe0                0a0027fffe1e8ca0

root@embsys-VirtualBox:~# ibv_devinfo

hca_id: rxe0

        transport:                      InfiniBand (0)

        fw_ver:                         0.0.0

        node_guid:                      0a00:27ff:fe1e:8ca0

        sys_image_guid:                 0000:0000:0000:0000

        vendor_id:                      0x0000

        vendor_part_id:                 0

        hw_ver:                         0x0

        phys_port_cnt:                  1

                port:   1

                        state:                  PORT_ACTIVE (4)

                        max_mtu:                4096 (5)

                        active_mtu:             1024 (3)

                        sm_lid:                 0

                        port_lid:               0

                        port_lmc:               0x00

                        link_layer:             Ethernet

root@embsys-VirtualBox:~# rxe_cfg status

  Name    Link  Driver  Speed  NMTU  IPv4_addr       RDEV  RMTU

  enp0s3  yes   e1000          1500  10.0.2.15

  enp0s8  yes   e1000          1500  192.168.99.100

  enp0s9  yes   e1000          1500  192.168.11.59   rxe0  1024  (3)

Server Side

root@embsys-VirtualBox:~# rping -s -a 192.168.11.59 -v

..
..
server ping data: rdma-ping-2237: bcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUV
server ping data: rdma-ping-2238: cdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVW
server ping data: rdma-ping-2239: defghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWX
server ping data: rdma-ping-2240: efghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXY
server ping data: rdma-ping-2241: fghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
server ping data: rdma-ping-2242: ghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ[
server DISCONNECT EVENT...
wait for RDMA_WRITE_ADV state 10

root@embsys-VirtualBox:~# rxe_cfg status

  Name    Link  Driver  Speed  NMTU  IPv4_addr       RDEV  RMTU

  enp0s3  yes   e1000          1500  10.0.2.15

  enp0s8  yes   e1000          1500  192.168.99.100

  enp0s9  yes   e1000          1500  192.168.11.59   rxe0  1024  (3)

root@embsys-VirtualBox:~# rping -s -a 192.168.11.59 -v

Client Side

root@embsys-VirtualBox:~# rxe_cfg status

  Name    Link  Driver  Speed  NMTU  IPv4_addr       RDEV  RMTU

  enp0s3  yes   e1000          1500  10.0.2.15

  enp0s8  yes   e1000          1500  192.168.99.100

  enp0s9  yes   e1000          1500  192.168.11.32   rxe0  1024  (3)

root@embsys-VirtualBox:~# rping -c -a 192.168.11.59 -v