Teilen über

Microsoft Azure-Netzwerkadapter (MANA) und DPDK unter Linux

  • Artikel

Der Microsoft Azure-Netzwerkadapter (MANA) ist eine neue Hardware für virtuelle Azure-Computer, um einen höheren Durchsatz und höhere Zuverlässigkeit zu erzielen. Um MANA nutzen zu können, müssen Benutzer*innen ihre DPDK-Initialisierungsroutinen ändern. MANA erfordert im Vergleich zu Legacyhardware zwei Änderungen:

  • Die MANA-EAL-Argumente für den Abfragemodustreiber (Poll-Mode Driver, PMD) unterscheiden sich von der vorherigen Hardware.
  • Der Linux-Kernel muss die Steuerung der MANA-Netzwerkschnittstellen freigeben, bevor die DPDK-Initialisierung beginnt.

Das Setupverfahren für das MANA-DPDK ist im Beispielcode beschrieben.

Einführung

Legacy-VMs mit Linux in Azure basieren auf den mlx4- oder mlx5-Treibern und der zugehörigen Hardware für den beschleunigten Netzwerkbetrieb. Benutzer*innen des Azure-DPDK können bestimmte Schnittstellen auswählen, die eingeschlossen oder ausgeschlossen werden sollen, indem sie Busadressen an das DPDK-EAL übergeben. Das Setupverfahren für das MANA-DPDK unterscheidet sich geringfügig, da die Annahme einer Busadresse pro Accelerated-Networking-Schnittstelle nicht mehr zutrifft. Anstatt eine PCI-Busadresse zu verwenden, verwendet der MANA-PMD die MAC-Adresse, um zu bestimmen, an welche Schnittstelle sie gebunden werden soll.

EAL-Argumente des MANA-DPDK

Der MANA-PMD prüft alle Geräte und Ports im System, wenn kein --vdev-Argument vorhanden ist. Das --vdev-Argument ist nicht obligatorisch. In Testumgebungen ist es häufig wünschenswert, eine (primäre) Schnittstelle für die Wartung der SSH-Verbindung mit dem virtuellen Computer zu belassen. Um das DPDK mit einer Teilmenge der verfügbaren VFs zu verwenden, sollten Benutzer*innen sowohl die Busadresse des MANA-Geräts als auch die MAC-Adresse der Schnittstellen im --vdev-Argument übergeben. Für weitere Details steht Beispielcode zur Veranschaulichung der DPDK-EAL-Initialisierung in MANA zur Verfügung.

Allgemeine Informationen zur DPDK-EAL (Environment Abstraction Layer, Umgebungsabstraktionsschicht):

DPDK-Anforderungen für MANA

Die Verwendung von DPDK auf MANA-Hardware erfordert den Linux-Kernel 6.2 oder höher oder einen Backport der Ethernet- und InfiniBand-Treiber aus dem neuesten Linux-Kernel. Außerdem sind bestimmte Versionen von DPDK und Benutzeradressraum-Treibern erforderlich.

Das MANA-DPDK erfordert die folgenden Treiber:

  1. Linux-Kernel-Ethernet-Treiber (Kernel 5.15 und höher)
  2. Linux-Kernel-InfiniBand-Treiber (Kernel 6.2 und höher)
  3. DPDK MANA-Pollmodustreiber (DPDK 22.11 und höher)
  4. Libmana-Treiber für Benutzeradressraum (rdma-core v44 und höher)

Hinweis

Das MANA-DPDK ist für Windows nicht verfügbar. Es funktioniert nur auf Linux-VMs.

Beispiel: Überprüfung auf MANA

Hinweis

In diesem Artikel wird davon ausgegangen, dass das pciutils-Paket, das den Befehl „lspci“ enthält, auf dem System installiert ist.

# check for pci devices with ID:
#   vendor: Microsoft Corporation (1414)
#   class:  Ethernet Controller (0200)
#   device: Microsft Azure Network Adapter VF (00ba)
if [[ -n `lspci -d 1414:00ba:0200` ]]; then
    echo "MANA device is available."
else
    echo "MANA was not detected."
fi

Beispiel: DPDK-Installation (Ubuntu 22.04)

Hinweis

In diesem Artikel wird davon ausgegangen, dass kompatible Kernel und rdma-core auf dem System installiert sind.

DEBIAN_FRONTEND=noninteractive sudo apt-get install -q -y build-essential libudev-dev libnl-3-dev libnl-route-3-dev ninja-build libssl-dev libelf-dev python3-pip meson libnuma-dev

pip3 install pyelftools

# Try latest LTS DPDK, example uses DPDK tag v23.07-rc3
git clone https://github.com/DPDK/dpdk.git -b v23.07-rc3 --depth 1
pushd dpdk
meson build
cd build
ninja
sudo ninja install
popd

Beispiel: Testpmd-Setup und netvsc-Test

Beachten Sie den folgenden Beispielcode zum Ausführen des DPDK mit MANA. Die direct-to-vf-Konfiguration „netvsc“ in Azure wird für maximale Leistung mit MANA empfohlen.

Hinweis

Für die Aktivierung des DPDK sind entweder 2 MB oder 1 GB große Hugepages erforderlich.

# Enable 2MB hugepages.
echo 1024 | tee /sys/devices/system/node/node*/hugepages/hugepages-2048kB/nr_hugepages

# Assuming use of eth1 for DPDK in this demo
PRIMARY="eth1"

# $ ip -br link show master eth1 
# > enP30832p0s0     UP             f0:0d:3a:ec:b4:0a <... # truncated
# grab interface name for device bound to primary
SECONDARY="`ip -br link show master $PRIMARY | awk '{ print $1 }'`"
# Get mac address for MANA interface (should match primary)
MANA_MAC="`ip -br link show master $PRIMARY | awk '{ print $3 }'`"


# $ ethtool -i enP30832p0s0 | grep bus-info
# > bus-info: 7870:00:00.0
# get MANA device bus info to pass to DPDK
BUS_INFO="`ethtool -i $SECONDARY | grep bus-info | awk '{ print $2 }'`"

# Set MANA interfaces DOWN before starting DPDK
ip link set $PRIMARY down
ip link set $SECONDARY down


## Move synthetic channel to user mode and allow it to be used by NETVSC PMD in DPDK
DEV_UUID=$(basename $(readlink /sys/class/net/$PRIMARY/device))
NET_UUID="f8615163-df3e-46c5-913f-f2d2f965ed0e"
modprobe uio_hv_generic
echo $NET_UUID > /sys/bus/vmbus/drivers/uio_hv_generic/new_id
echo $DEV_UUID > /sys/bus/vmbus/drivers/hv_netvsc/unbind
echo $DEV_UUID > /sys/bus/vmbus/drivers/uio_hv_generic/bind

# MANA single queue test
dpdk-testpmd -l 1-3 --vdev="$BUS_INFO,mac=$MANA_MAC" -- --forward-mode=txonly --auto-start --txd=128 --rxd=128 --stats 2

# MANA multiple queue test (example assumes > 9 cores)
dpdk-testpmd -l 1-9 --vdev="$BUS_INFO,mac=$MANA_MAC" -- --forward-mode=txonly --auto-start --nb-cores=8  --txd=128 --rxd=128 --txq=8 --rxq=8 --stats 2

Problembehandlung

Fehler beim Festlegen der Schnittstelle auf DOWN

Wenn das MANA-gebundene Gerät nicht auf DOWN festgelegt wird, kann das zu einem niedrigen oder gar keinem Paketdurchsatz führen. Die EAL-Fehlermeldung im Zusammenhang mit Übertragungswarteschlangen kann dadurch verursacht werden, dass das Gerät nicht freigegeben werden kann.

mana_start_tx_queues(): Failed to create qp queue index 0
mana_dev_start(): failed to start tx queues -19

Fehler beim Aktivieren von Hugepages

Versuchen Sie, Hugepages zu aktivieren, und überprüfen Sie, ob die Informationen in meminfo sichtbar sind.

EAL: No free 2048 kB hugepages reported on node 0
EAL: FATAL: Cannot get hugepage information.
EAL: Cannot get hugepage information.
EAL: Error - exiting with code: 1
Cause: Cannot init EAL: Permission denied

Niedriger Durchsatz bei Verwendung von --vdev="net_vdev_netvsc0,iface=eth1"

Für Hochleistung in Azure wird die Failoverkonfiguration der Abfragemodustreiber net_failsafe oder net_vdev_netvsc nicht empfohlen. Die netvsc-Konfiguration mit DPDK-Version 20.11 oder höher kann bessere Ergebnisse liefern. Stellen Sie sicher, dass Ihr Linux-Kernel, rdma-core und die DPDK-Pakete die aufgeführten Anforderungen für DPDK und MANA erfüllen, um eine optimale Leistung zu erzielen.