AKS ingeschakeld door Azure Arc-netwerkvereisten

Van toepassing op: Azure Stack HCI, versie 23H2

In dit artikel worden de belangrijkste netwerkconcepten voor uw VM's en toepassingen in AKS geïntroduceerd die zijn ingeschakeld door Azure Arc. In het artikel worden ook de vereiste netwerkvereisten beschreven voor het maken van Kubernetes-clusters. U wordt aangeraden samen te werken met een netwerkbeheerder om de netwerkparameters op te geven en in te stellen die vereist zijn voor het implementeren van AKS die door Arc zijn ingeschakeld.

In dit conceptuele artikel worden de volgende belangrijke onderdelen geïntroduceerd. Deze onderdelen hebben een statisch IP-adres nodig om het AKS Arc-cluster en de toepassingen succesvol te kunnen maken en gebruiken:

• AKS-cluster-VM's
• IP-adres van AKS-besturingsvlak
• Load balancer voor containertoepassingen

Netwerken voor AKS-cluster-VM's

Kubernetes-knooppunten worden geïmplementeerd als gespecialiseerde virtuele machines in AKS die zijn ingeschakeld door Arc. Deze VM's worden toegewezen IP-adressen om communicatie tussen Kubernetes-knooppunten mogelijk te maken. AKS Arc maakt gebruik van logische Azure Stack HCI-netwerken om IP-adressen en netwerken te bieden voor de onderliggende VM's van de Kubernetes-clusters. Zie Logische netwerken voor Azure Stack HCI voor meer informatie over logische netwerken. U moet één IP-adres per AKS-clusterknooppunt-VM reserveren in uw Azure Stack HCI-omgeving.

Notitie

Statisch IP is de enige ondersteunde modus voor het toewijzen van een IP-adres aan AKS Arc-VM's. Dit komt doordat Kubernetes vereist dat het IP-adres dat is toegewezen aan een Kubernetes-knooppunt, constant is gedurende de levenscyclus van het Kubernetes-cluster.

De volgende parameters zijn vereist voor het gebruik van een logisch netwerk voor het maken van AKS Arc-clusters:

Parameter logisch netwerk	Beschrijving	Vereiste parameter voor AKS Arc-cluster
--address-prefixes	AddressPrefix voor het netwerk. Op dit moment wordt slechts 1 adresvoorvoegsel ondersteund. Gebruik: --address-prefixes "10.220.32.16/24".
--dns-servers	Door ruimte gescheiden lijst met IP-adressen van DNS-servers. Gebruik: --dns-servers 10.220.32.16 10.220.32.17.
--gateway	Gateway. Het IP-adres van de gateway moet binnen het bereik van het adresvoorvoegsel vallen. Gebruik: --gateway 10.220.32.16.
--ip-allocation-method	De toewijzingsmethode voor IP-adressen. Ondersteunde waarden zijn 'Statisch'. Gebruik: --ip-allocation-method "Static".
--ip-pool-start	Het begin-IP-adres van uw IP-pool. Het adres moet binnen het bereik van het adresvoorvoegsel staan. Gebruik: --ip-pool-start "10.220.32.18".
--ip-pool-end	Het eind-IP-adres van uw IP-adres. Het adres moet binnen het bereik van het adresvoorvoegsel staan. Gebruik: --ip-pool-end "10.220.32.38".
--vm-switch-name	De naam van de VM-switch. Gebruik: --vm-switch-name "vm-switch-01".

IP-adres van besturingsvlak

Kubernetes maakt gebruik van een besturingsvlak om ervoor te zorgen dat elk onderdeel in het Kubernetes-cluster de gewenste status heeft. Het besturingsvlak beheert en onderhoudt ook de werkknooppunten die de containertoepassingen bevatten. AKS die is ingeschakeld door Arc implementeert de KubeVIP-load balancer om ervoor te zorgen dat het IP-adres van de API-server van het Kubernetes-besturingsvlak altijd beschikbaar is. Voor dit KubeVIP-exemplaar is één onveranderbaar IP-adres van het besturingsvlak vereist om correct te kunnen functioneren.

Notitie

Het IP-adres van het besturingsvlak is een vereiste parameter voor het maken van een Kubernetes-cluster. U moet ervoor zorgen dat het IP-adres van het besturingsvlak van een Kubernetes-cluster niet overlapt met iets anders, waaronder logische arc-VM-netwerken, netwerk-IP's van infrastructuur, load balancers, enzovoort. Het IP-adres van het besturingsvlak moet zich ook binnen het bereik van het adresvoorvoegsel van het logische netwerk bevinden, maar buiten de IP-adresgroep. Dit komt doordat de IP-groep alleen wordt gebruikt voor VM's en als u een IP-adres uit de IP-groep voor het besturingsvlak kiest, kan een IP-adresconflict optreden. Overlappende IP-adressen kunnen leiden tot onverwachte fouten voor zowel het AKS-cluster als elke andere plaats waar het IP-adres wordt gebruikt. U moet van plan zijn om één IP-adres per Kubernetes-cluster in uw omgeving te reserveren.

IP-adressen van load balancers voor containertoepassingen

Het belangrijkste doel van een load balancer is het distribueren van verkeer over meerdere knooppunten in een Kubernetes-cluster. Deze taakverdeling kan helpen bij het voorkomen van downtime en het verbeteren van de algehele prestaties van toepassingen. AKS ondersteunt de volgende opties voor het implementeren van een load balancer voor uw Kubernetes-cluster:

• Implementeer de MetalLB-load balancer met behulp van de Azure Arc-extensie.
• Bring your own third party load balancer.

Of u nu de MetalLB Arc-extensie of bring your own load balancer kiest, u moet een set IP-adressen opgeven voor de load balancer-service. U hebt de volgende opties:

• Geef IP-adressen op voor uw services van hetzelfde subnet als de AKS Arc-VM's.
• Gebruik een ander netwerk en een andere lijst met IP-adressen als uw toepassing externe taakverdeling nodig heeft.

Ongeacht de optie die u kiest, moet u ervoor zorgen dat de IP-adressen die aan de load balancer zijn toegewezen, niet conflicteren met de IP-adressen in het logische netwerk of ip-adressen van besturingsvlakken voor uw Kubernetes-clusters. Conflicterende IP-adressen kunnen leiden tot onvoorziene fouten in uw AKS-implementatie en -toepassingen.

Eenvoudige IP-adresplanning voor Kubernetes-clusters en -toepassingen

In het volgende scenario kunt u IP-adressen reserveren vanuit één netwerk voor uw Kubernetes-clusters en -services. Dit is het eenvoudigste en eenvoudigste scenario voor ip-adrestoewijzing.

IP-adresvereiste	Minimum aantal IP-adressen	Hoe en waar u deze reservering kunt maken
IP-adressen van AKS Arc-VM's	Reserveer één IP-adres voor elk werkknooppunt in uw Kubernetes-cluster. Als u bijvoorbeeld drie knooppuntgroepen met 3 knooppunten in elke knooppuntgroep wilt maken, moet u 9 IP-adressen in uw IP-pool hebben.	Reserveer IP-adressen voor AKS Arc-VM's via IP-adresgroepen in het logische netwerk van arc-VM's.
AKS Arc K8s-versie-upgrade-IP's	Omdat AKS Arc rolling upgrades uitvoert, reserveert u één IP-adres voor elk AKS Arc-cluster voor kubernetes-versie-upgradebewerkingen.	Reserveer IP-adressen voor een upgradebewerking van K8s-versies via IP-pools in het logische netwerk van arc-VM's.
IP-adres van besturingsvlak	Reserveer één IP-adres voor elk Kubernetes-cluster in uw omgeving. Als u bijvoorbeeld in totaal vijf clusters wilt maken, reserveert u 5 IP-adressen, één voor elk Kubernetes-cluster.	Reserveer IP-adressen voor IP-adressen van besturingsvlak in hetzelfde subnet als het logische arc-VM-netwerk, maar buiten de opgegeven IP-adresgroep.
IP-adressen van load balancers	Het aantal gereserveerde IP-adressen is afhankelijk van uw toepassingsimplementatiemodel. Als uitgangspunt kunt u één IP-adres reserveren voor elke Kubernetes-service.	Reserveer IP-adressen voor IP-adressen van besturingsvlak in hetzelfde subnet als het logische arc-VM-netwerk, maar buiten de opgegeven IP-adresgroep.

Voorbeeldscenario voor IP-adresreservering voor Kubernetes-clusters en -toepassingen

Jane is een IT-beheerder die net begint met AKS die is ingeschakeld door Azure Arc. Ze wil twee Kubernetes-clusters implementeren: Kubernetes-cluster A en Kubernetes-cluster B op haar Azure Stack HCI-cluster. Ze wil ook een stemtoepassing uitvoeren boven op cluster A. Deze toepassing heeft drie exemplaren van de front-endgebruikersinterface die wordt uitgevoerd op de twee clusters en één exemplaar van de back-enddatabase. Al haar AKS-clusters en -services worden uitgevoerd in één netwerk, met één subnet.

• Kubernetes-cluster A heeft 3 besturingsvlakknooppunten en 5 werkknooppunten.
• Kubernetes-cluster B heeft 1 besturingsvlakknooppunt en 3 werkknooppunten.
• 3 exemplaren van de front-endgebruikersinterface (poort 443).
• 1 exemplaar van de back-enddatabase (poort 80).

Op basis van de vorige tabel moet ze in totaal 19 IP-adressen reserveren in haar subnet:

• 8 IP-adressen voor de AKS Arc-knooppunt-VM's in cluster A (één IP per K8s-knooppunt-VM).
• 4 IP-adressen voor de AKS Arc-knooppunt-VM's in cluster B (één IP per K8s-knooppunt-VM).
• 2 IP-adressen voor het uitvoeren van een AKS Arc-upgradebewerking (één IP-adres per AKS Arc-cluster).
• 2 IP-adressen voor het AKS Arc-besturingsvlak (één IP-adres per AKS Arc-cluster)
• 3 IP-adressen voor de Kubernetes-service (één IP-adres per exemplaar van de front-endgebruikersinterface, omdat ze allemaal dezelfde poort gebruiken. De back-enddatabase kan een van de drie IP-adressen gebruiken zolang deze een andere poort gebruikt).

Als u doorgaat met dit voorbeeld en deze toevoegt aan de volgende tabel, krijgt u het volgende:

Parameter	Aantal IP-adressen	Hoe en waar u deze reservering kunt maken
Upgrade van AKS Arc-VM's en K8s-versie	14 IP-adressen reserveren	Maak deze reservering via IP-pools in het logische Azure Stack HCI-netwerk.
IP-adres van besturingsvlak	2 IP-adressen reserveren, één voor AKS Arc-cluster	Gebruik de controlPlaneIP parameter om het IP-adres voor het IP-adres van het besturingsvlak door te geven. Zorg ervoor dat dit IP-adres zich in hetzelfde subnet bevindt als het logische Arc-netwerk, maar buiten de IP-adresgroep die is gedefinieerd in het logische Arc-netwerk.
IP-adressen van load balancers	3 IP-adres voor Kubernetes-services, voor jane's stemtoepassing.	Deze IP-adressen worden gebruikt wanneer u een load balancer op cluster A installeert. U kunt de MetalLB Arc-extensie gebruiken of uw eigen load balancer van derden meenemen. Zorg ervoor dat dit IP-adres zich in hetzelfde subnet bevindt als het logische Arc-netwerk, maar buiten de IP-groep die is gedefinieerd in het logische arc-VM-netwerk.

Proxyinstellingen

Proxy-instellingen in AKS worden overgenomen van het onderliggende infrastructuursysteem. De functionaliteit voor het instellen van afzonderlijke proxy-instellingen voor Kubernetes-clusters en het wijzigen van proxy-instellingen wordt nog niet ondersteund.

Netwerkpoort- en VLAN-vereisten

Wanneer u Azure Stack HCI implementeert, wijst u een aaneengesloten blok van ten minste zes statische IP-adressen toe in het subnet van uw beheernetwerk, zodat adressen die al door de fysieke servers worden gebruikt weggelaten. Deze IP-adressen worden gebruikt door Azure Stack HCI en interne infrastructuur (Arc Resource Bridge) voor arc-VM-beheer en AKS Arc. Als uw beheernetwerk dat IP-adressen levert aan Arc Resource Bridge gerelateerde Azure Stack HCI-services zich op een ander VLAN bevindt dan het logische netwerk dat u hebt gebruikt om AKS-clusters te maken, moet u ervoor zorgen dat de volgende poorten worden geopend om een AKS-cluster te maken en te gebruiken.

Doelpoort	Bestemming	Source	Beschrijving	Opmerkingen bij meerdere VLAN-netwerken
22	Logisch netwerk dat wordt gebruikt voor AKS Arc-VM's	IP-adressen in het beheernetwerk	Vereist voor het verzamelen van logboeken voor probleemoplossing.	Als u afzonderlijke VLAN's gebruikt, moeten IP-adressen in het beheernetwerk dat wordt gebruikt voor Azure Stack HCI en Arc Resource Bridge toegang krijgen tot de AKS Arc-cluster-VM's op deze poort.
6443	Logisch netwerk dat wordt gebruikt voor AKS Arc-VM's	IP-adressen in het beheernetwerk	Vereist voor communicatie met Kubernetes-API's.	Als u afzonderlijke VLAN's gebruikt, moeten IP-adressen in het beheernetwerk dat wordt gebruikt voor Azure Stack HCI en Arc Resource Bridge toegang krijgen tot de AKS Arc-cluster-VM's op deze poort.
55000	IP-adressen in het beheernetwerk	Logisch netwerk dat wordt gebruikt voor AKS Arc-VM's	Cloud Agent gRPC-server	Als u afzonderlijke VLAN's gebruikt, moeten de AKS Arc-VM's toegang hebben tot de IP-adressen in het beheernetwerk dat wordt gebruikt voor ip-adressen van de cloudagent en het cluster-IP op deze poort.
65000	IP-adressen in het beheernetwerk	Logisch netwerk dat wordt gebruikt voor AKS Arc-VM's	GRPC-verificatie voor cloudagent	Als u afzonderlijke VLAN's gebruikt, moeten de AKS Arc-VM's toegang hebben tot de IP-adressen in het beheernetwerk dat wordt gebruikt voor ip-adressen van de cloudagent en het cluster-IP op deze poort.

Uitzonderingen voor firewall-URL's

Zie de netwerkvereisten voor de Azure Arc-resourcebrug en de Netwerkvereisten voor Azure Stack HCI 23H2 voor meer informatie over de acceptatielijst voor de Azure Arc-firewall/proxy-URL.

Notitie

Als u een oudere Azure Stack HCI-release implementeert, zoals 2402 en eerder, moet u ook de URL's voor gcr.io en storage.googleapis.com toestaan. Deze URL's zijn verwijderd uit de nieuwste AKS Arc-release.

URL	Poort	Service	Opmerkingen
https://mcr.microsoft.com *.data.mcr.microsoft.com azurearcfork8s.azurecr.io linuxgeneva-microsoft.azurecr.io pipelineagent.azurecr.io ecpacr.azurecr.io https://azurearcfork8sdev.azurecr.io https://hybridaks.azurecr.io aszk8snetworking.azurecr.io	443	AKS-boog	Wordt gebruikt voor officiële Microsoft-artefacten, zoals containerinstallatiekopieën.
docker.io	443	AKS-boog	Wordt gebruikt voor officiële Kubernetes-artefacten, zoals containerbasisinstallatiekopieën.
hybridaksstorage.z13.web.core.windows.net	443	AKS-boog	Statische AKSHCI-website die wordt gehost in Azure Storage.
*.blob.core.windows.net *.dl.delivery.mp.microsoft.com *.do.dsp.mp.microsoft.com	443	AKS-boog	Wordt gebruikt voor het downloaden en bijwerken van AKS Arc VHD-installatiekopieën.
*.prod.do.dsp.mp.microsoft.com	443	AKS-boog	Wordt gebruikt voor het downloaden en bijwerken van AKS Arc VHD-installatiekopieën.
*.login.microsoft.com	443	Azure	Vereist voor het ophalen en bijwerken van Azure Resource Manager-tokens voor aanmelding bij Azure.
https://*.his.arc.azure.com	443	K8s met Azure Arc	Wordt gebruikt voor identiteits- en toegangsbeheer voor Arc-agents.
https://*.dp.kubernetesconfiguration.azure.com	443	K8s met Azure Arc	Wordt gebruikt voor azure Arc-configuratie.
https://*.servicebus.windows.net	443	K8s met Azure Arc	Wordt gebruikt om veilig verbinding te maken met Kubernetes-clusters met Azure Arc zonder dat er een binnenkomende poort op de firewall moet worden ingeschakeld.
https://guestnotificationservice.azure.com	443	K8s met Azure Arc	Wordt gebruikt voor bewerkingen voor gastmeldingen.
sts.windows.net	443	K8s met Azure Arc	Voor scenario's voor clusterverbinding en aangepaste locatie.
https://*.dp.prod.appliances.azure.com	443	Arc-resourcebrug	Wordt gebruikt voor gegevensvlakbewerkingen voor resourcebrug (apparaat).
*.prod.microsoftmetrics.com *.prod.hot.ingestion.msftcloudes.com dc.services.visualstudio.com *.prod.warm.ingest.monitor.core.windows.net gcs.prod.monitoring.core.windows.net https://adhs.events.data.microsoft.com https://v20.events.data.microsoft.com	443	Metrische gegevens en statuscontrole	Wordt gebruikt voor metrische gegevens en het bewaken van telemetrieverkeer.
pypi.org  *.pypi.org  files.pythonhosted.org	443	Az CLI	Wordt gebruikt om Az CLI- en Az CLI-extensies te downloaden.
aka.ms	443	Azure Stack HCI	Vereist voor azure Stack HCI-gerelateerde downloads.
raw.githubusercontent.com	443	GitHub	Wordt gebruikt voor GitHub.
www.microsoft.com	80	Officiële website van Microsoft.	Officiële website van Microsoft.

Volgende stappen

Logische netwerken maken voor Kubernetes-clusters in Azure Stack HCI 23H2