Live Migration Probleme Hyper-V RDMA

Question

Ich kann aktuell keine Live Migration auf den Hosts durchführen weil der Vorgang mit "The operation timed out" fehlschlägt??? Wir haben Hosts mit 100GbE RDMA NICs im Einsatz und ich fand bisher keine Lösung wo die Migration wieder sauber durchläuft. Das Ganze liegt wohl an RoCE v2 PFC (Priority Flow Control) Mismatches auf den Top-of-Rack Switches.

Versucht habe ich:

-Live Migration über Cluster Manager mit neustart und ohne neustart

-Netzwerkadapter und Treiber überprüft

-Switch-Ports und Logs kontrolliert welche schlussendlich auf PFC-Probleme hinweisen.

Wie können wir die DCBX- und PFC-Parameter auf den Hyper-V Hosts genau überprüfen und richtig konfigurieren?

Answer 1

Hallo Leon,

der Timeout bei der Live Migration über RDMA mit RoCE v2 ist fast immer ein Hinweis darauf, dass die End-to-End-Konfiguration von PFC und DCBX nicht konsistent ist. Windows Server selbst aktiviert PFC nicht automatisch, auch wenn die Switches DCBX-Parameter anbieten. Man muss die Data-Center-Bridging-Komponente auf den Hosts installieren und die QoS-Richtlinien explizit setzen.

Zuerst solltest du auf den Hyper-V Hosts prüfen, ob RDMA überhaupt korrekt läuft und ob PFC aktiv ist. Mit Get-NetAdapterRdma siehst du pro NIC den Status. Wenn dort „Operational: True“ steht, aber keine PFC-Informationen angezeigt werden, fehlt die DCB-Konfiguration. Mit Get-NetQosFlowControl kannst du kontrollieren, welche Prioritäten Flow Control aktiviert haben. Standardmäßig ist das leer, was bedeutet, dass kein PFC aktiv ist.

Die Installation erfolgt mit:

Install-WindowsFeature Data-Center-Bridging

Danach musst du eine QoS Policy für SMB Direct erstellen, da Live Migration über SMB Port 445 läuft:

New-NetQosPolicy -Name "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3

Enable-NetQosFlowControl -Priority 3

New-NetQosTrafficClass -Name "SMBClass" -Priority 3 -BandwidthPercentage 40 -Algorithm ETS

Damit wird SMB-Verkehr mit CoS 3 markiert und PFC für diese Priorität aktiviert. Wichtig ist, dass die Top-of-Rack Switches exakt dieselbe Priorität als lossless Queue mit PFC enabled behandeln. Wenn die Switches einen anderen Wert erzwingen oder DCBX im „non-willing mode“ laufen, kommt es zu den Mismatches, die du in den Logs gesehen hast.

Auf Switch-Seite musst du sicherstellen, dass DCBX auf „willing“ steht und die Profile für ETS/PFC mit den Hosts übereinstimmen. Bei Mellanox oder Intel NICs ist außerdem ein aktuelles Firmware- und Treiberpaket zwingend notwendig, da ältere Versionen RoCE v2 mit PFC nicht sauber verhandeln.

Kurz gesagt: Prüfe mit Get-NetAdapterRdma und Get-NetQosFlowControl die aktuelle Host-Konfiguration, installiere und konfiguriere DCB, richte die QoS Policies für SMB ein und gleiche die CoS/PFC-Profile mit den Switches ab. Erst wenn beide Seiten dieselben Parameter aushandeln, läuft die Live Migration stabil ohne Timeout.

Ich hoffe, du hast hier etwas Nützliches gefunden. Wenn es dir hilft, mehr Einblick in das Problem zu bekommen, freue ich mich über eine akzeptierte Antwort. Solltest du weitere Fragen haben, hinterlasse gerne eine Nachricht. Einen schönen Tag dir!HP.