Bringen Sie Ihre eigene Netzwerksicherheitsgruppe (Network Security Group, NSG) in einen Azure Red Hat OpenShift (ARO)-Cluster

In der Regel müssen Sie beim Einrichten eines ARO-Clusters eine Ressourcengruppe für die Bereitstellung des ARO-Clusterobjekts (im folgenden Diagramm als Basisressourcengruppe bezeichnet) festlegen. In solchen Szenarien können Sie entweder dieselbe Ressourcengruppe sowohl für das virtuelle Netzwerk (VNET) als auch für den Cluster verwenden, oder Sie können sich für eine separate Ressourcengruppe ausschließlich für das VNET entscheiden. Keiner dieser Ressourcengruppen entspricht direkt einem einzelnen ARO-Cluster und gewährt Ihnen die vollständige Kontrolle darüber. Dies bedeutet, dass Sie Ressourcen innerhalb dieser Ressourcengruppen frei erstellen, ändern oder löschen können.

Während des Clustererstellungsprozesses richtet der ARO-Ressourcenanbieter (RP) eine dedizierte Ressourcengruppe ein, die für die Anforderungen des Clusters spezifisch ist. Diese Gruppe enthält verschiedene clusterspezifische Ressourcen wie Knoten-VMs, Lastenausgleichsgeräte und Netzwerksicherheitsgruppen (Network Security Groups, NSGs), wie in der verwalteten Ressourcengruppe im folgenden Diagramm dargestellt. Die Gruppe "Verwaltete Ressourcen" ist eng gesichert und verbietet änderungen an ihren Inhalten, einschließlich der NSG, die mit den während der Clustererstellung angegebenen VNET-Subnetzen verknüpft ist. In einigen Fällen entspricht die NSG, die vom ARO RP generiert wurde, möglicherweise nicht den Sicherheitsrichtlinien bestimmter Organisationen.

In diesem Artikel wird gezeigt, wie Sie das "Bring your own" Network Security Group (NSG)-Feature verwenden, um Ihre eigene vorkonfigurierte NSG, die sich in der Base/VNET-Ressourcengruppe (RG) befindet (im folgenden Diagramm als BYO-NSGgezeigt), mit den ARO-Cluster-Subnetzen zu verbinden. Da Sie diese vorkonfigurierte NSG besitzen, können Sie während der Lebensdauer des ARO-Clusters Regeln hinzufügen/entfernen.

Allgemeine Funktionen und Einschränkungen

• Sie müssen Ihre vorkonfigurierten NSGs sowohl an Master- als auch an Worker-Subnetze anfügen, bevor Sie den Cluster erstellen. Wenn es Ihnen nicht gelingt, Ihre vorkonfigurierten NSGs an beide Subnetze anzuhängen, kommt es zu einem Fehler.

• Sie können die gleichen oder andere vorkonfigurierte NSGs für Master- und Worker-Subnetze verwenden.

• Wenn Sie Ihre eigene NSG verwenden, erstellt das ARO RP weiterhin eine NSG in der verwalteten Ressourcengruppe (Standard-NSG), aber diese NSG ist nicht an die Arbeits- oder Primär-Subnetze angefügt.

• Sie können das vorkonfigurierte NSG-Feature nicht für einen vorhandenen ARO-Cluster aktivieren. Derzeit kann dieses Feature nur zum Zeitpunkt der Clustererstellung aktiviert werden.

• Die vorkonfigurierte NSG-Option kann nicht über das Azure-Portal konfiguriert werden.

• Wenn Sie dieses Feature während der Vorschau verwendet haben, werden Ihre vorhandenen vorkonfigurierten Cluster jetzt vollständig unterstützt.

Hinweis

Wenn Sie das "Bring your own" NSG-Feature verwenden und NSG-Flussprotokolle nutzen möchten, lesen Sie bitte die Protokollierung der Netzwerkflüsse für Sicherheitsgruppen in der Azure Network Watcher-Dokumentation, anstatt der ARO-spezifischen Ablaufprotokolldokumentation, da sie nicht mit der 'Bring your own' NSG-Funktion kompatibel ist.

Verwenden von Regeln

Warnung

Vorkonfigurierte NSGs werden nicht automatisch mit Regeln aktualisiert, wenn Sie Kubernetes LoadBalancer-Typdienste oder OpenShift-Routen innerhalb des ARO-Clusters erstellen. Daher müssen Sie diese Regeln bei Bedarf manuell aktualisieren. Dieses Verhalten unterscheidet sich vom ursprünglichen ARO-Verhalten, bei dem die Standard-NSG programmgesteuert in solchen Situationen aktualisiert wird.

• Der Standard-ARO-Cluster NSG (nicht an ein Subnetz angefügt, während dieses Feature verwendet wird) wird weiterhin mit Regeln aktualisiert, wenn Sie Kubernetes LoadBalancer-Typdienste oder OpenShift-Routen innerhalb des ARO-Clusters erstellen.

• Sie können vorkonfigurierte NSGs von den Subnetzen des mithilfe dieses Features erstellten Clusters trennen. Es führt zu einem Cluster mit Subnetzen ohne NSGs. Anschließend können Sie einen anderen Satz vorkonfigurierten NSGs an den Cluster anfügen. Alternativ können Sie den ARO-Standard-NSG an die Cluster-Subnetze anfügen (an diesem Punkt wird ihr Cluster wie jeder andere Cluster, der dieses Feature nicht verwendet).

• Ihre vorkonfigurierten NSGs sollten keine REGELN FÜR EINGEHENDE/AUSGEHENDE Verweigerungen der folgenden Typen aufweisen, da diese den Betrieb des Clusters beeinträchtigen und/oder die ARO-Support-/SRE-Teams daran hindern können, Support/Management bereitzustellen. (Hier gibt das Subnetz eine oder alle IP-Adressen im Subnetz und alle Ports an, die diesem Subnetz entsprechen):

  • Master-Subnetz ←→ Master-Subnetz

  • Worker-Subnetz ←→ Worker-Subnetz

  • Master-Subnetz ←→ Worker-Subnetz

  • Falsch konfigurierte Regeln führen zu einem Signal, das von Azure Monitor verwendet wird, um probleme mit vorkonfigurierten NSGs zu beheben.

• Um eingehenden Datenverkehr für Ihren öffentlichen ARO-Cluster zuzulassen, legen Sie die folgenden INBOUND ALLOW-Regeln (oder gleichwertig) in Ihrer NSG fest. Im Standard-NSG des Clusters finden Sie spezifische Details und das Beispiel für NSG, das in der Bereitstellung gezeigt wird. Sie können einen Cluster auch ohne solche Regeln im NSG erstellen.

  • Für den API-Serverzugriff → Vom Internet (oder Ihren bevorzugten Quell-IP-Adressen) zum Port 6443 im Master-Subnetz.
  • Für den Zugriff auf den OpenShift-Router (und damit auf die OpenShift-Konsole und die OpenShift-Routen) → Vom Internet (oder Ihren bevorzugten Quell-IPs) zu den Ports 80 und 443 auf der Standard-v4-IP-Adresse des öffentlichen Lastenausgleichs des Clusters.
  • Für den Zugriff auf jeden Kubernetes-Dienst vom Typ "Lastverteiler" → Vom Internet (oder Ihre bevorzugten Quell-IPs) zu Dienstanschlüssen auf öffentlicher IP, die dem Dienst im öffentlichen Lastverteiler des Clusters entsprechen.

Einsatz

Erstellen von VNET und Erstellen und Konfigurieren eines vorkonfigurierten NSG

1. Erstellen Sie ein VNET, und erstellen Sie dann Master- und Worker-Subnetze darin.

2. Erstellen Sie vorkonfigurierte NSGs mit Standardregeln (oder gar keine Regeln), und fügen Sie sie an die Master- und Worker-Subnetze an.

Erstellen eines ARO-Clusters und vorkonfigurierte NSGs aktualisieren

1. Erstellen Sie den Cluster.

   az aro create \
   --resource-group BASE_RESOURCE_GROUP_NAME \
   --name CLUSTER_NAME \
   --vnet VNET_NAME \
   --master-subnet MASTER_SUBNET_NAME \
   --worker-subnet WORKER_SUBNET_NAME \
   --client-id CLUSTER_SERVICE_PRINCIPAL_ID \
   --client-secret CLUSTER_SERVICE_PRINCIPAL_SECRET \
   --enable-preconfigured-nsg
   

2. Aktualisieren Sie die vorkonfigurierten NSGs gemäß Ihren Anforderungen mit Regeln, und berücksichtigen Sie dabei auch die in "Funktionen und Einschränkungen" genannten Punkte.

   Im folgenden Beispiel wird der öffentliche Load-Balancer des Clusters wie im Screenshot/in der CLI-Ausgabe gezeigt.

   

   $ oc get svc | grep tools
   tools LoadBalancer 172.30.182.7 20.141.176.3 80:30520/TCP 143m
   $ $ oc get svc -n openshift-ingress | grep Load
   router-default LoadBalancer 172.30.105.218 20.159.139.208 80:31157/TCP,443:31177/TCP 
   5d20