Usługa AKS włączona przez wymagania sieciowe usługi Azure Arc

Dotyczy: Azure Stack HCI, wersja 23H2

W tym artykule przedstawiono podstawowe pojęcia dotyczące sieci maszyn wirtualnych i aplikacji w usłudze AKS włączone przez usługę Azure Arc. W tym artykule opisano również wymagania wstępne dotyczące sieci wymagane do tworzenia klastrów Kubernetes. Zalecamy pracę z administratorem sieci w celu zapewnienia i skonfigurowania parametrów sieci wymaganych do wdrożenia usługi AKS włączonej przez usługę Arc.

W tym artykule koncepcyjnym przedstawiono następujące kluczowe składniki. Te składniki wymagają statycznego adresu IP w celu utworzenia i pomyślnego działania klastra usługi AKS Arc i aplikacji:

• Maszyny wirtualne klastra usługi AKS
• Adres IP płaszczyzny sterowania usługi AKS
• Moduł równoważenia obciążenia dla konteneryzowanych aplikacji

Sieć dla maszyn wirtualnych klastra usługi AKS

Węzły kubernetes są wdrażane jako wyspecjalizowane maszyny wirtualne w usłudze AKS włączone przez usługę Arc. Te maszyny wirtualne są przydzielane adresom IP w celu umożliwienia komunikacji między węzłami platformy Kubernetes. Usługa AKS Arc używa sieci logicznych rozwiązania Azure Stack HCI do dostarczania adresów IP i sieci dla bazowych maszyn wirtualnych klastrów Kubernetes. Aby uzyskać więcej informacji na temat sieci logicznych, zobacz Sieci logiczne dla usługi Azure Stack HCI. Należy zaplanować rezerwę jednego adresu IP na maszynę wirtualną węzła klastra usługi AKS w środowisku azure Stack HCI.

Uwaga

Statyczny adres IP jest jedynym obsługiwanym trybem przypisywania adresu IP do maszyn wirtualnych usługi AKS Arc. Dzieje się tak, ponieważ platforma Kubernetes wymaga, aby adres IP przypisany do węzła Kubernetes był stały w całym cyklu życia klastra Kubernetes.

Aby używać sieci logicznej dla operacji tworzenia klastra usługi AKS Arc, wymagane są następujące parametry:

Parametr sieci logicznej	opis	Wymagany parametr dla klastra usługi AKS Arc
--address-prefixes	AddressPrefix dla sieci. Obecnie obsługiwany jest tylko 1 prefiks adresu. Użycie: --address-prefixes "10.220.32.16/24".
--dns-servers	Rozdzielona spacjami lista adresów IP serwera DNS. Użycie: --dns-servers 10.220.32.16 10.220.32.17.
--gateway	Brama. Adres IP bramy musi należeć do zakresu prefiksu adresu. Użycie: --gateway 10.220.32.16.
--ip-allocation-method	Metoda alokacji adresu IP. Obsługiwane wartości to "Statyczne". Użycie: --ip-allocation-method "Static".
--ip-pool-start	Początkowy adres IP puli adresów IP. Adres musi być w zakresie prefiksu adresu. Użycie: --ip-pool-start "10.220.32.18".
--ip-pool-end	Końcowy adres IP puli adresów IP. Adres musi być w zakresie prefiksu adresu. Użycie: --ip-pool-end "10.220.32.38".
--vm-switch-name	Nazwa przełącznika maszyny wirtualnej. Użycie: --vm-switch-name "vm-switch-01".

Adres IP płaszczyzny sterowania

Platforma Kubernetes używa płaszczyzny sterowania, aby upewnić się, że każdy składnik w klastrze Kubernetes jest przechowywany w żądanym stanie. Płaszczyzna sterowania zarządza również węzłami procesu roboczego, które przechowują konteneryzowane aplikacje. Usługa AKS włączona przez usługę Arc wdraża moduł równoważenia obciążenia KubeVIP, aby upewnić się, że adres IP serwera interfejsu API płaszczyzny sterowania Kubernetes jest dostępny przez cały czas. To wystąpienie kubeVIP wymaga jednego niezmiennego "adresu IP płaszczyzny sterowania" do poprawnego działania.

Uwaga

Adres IP płaszczyzny sterowania jest wymaganym parametrem do utworzenia klastra Kubernetes. Należy się upewnić, że adres IP płaszczyzny sterowania klastra Kubernetes nie nakłada się na inne elementy, w tym sieci logiczne maszyn wirtualnych usługi Arc, adresy IP sieci infrastruktury, moduły równoważenia obciążenia itp. Adres IP płaszczyzny sterowania musi również należeć do zakresu prefiksu adresu sieci logicznej, ale poza pulą adresów IP. Jest to spowodowane tym, że pula adresów IP jest używana tylko dla maszyn wirtualnych, a jeśli wybierzesz adres IP z puli adresów IP dla płaszczyzny sterowania, konflikt adresów IP może spowodować konflikt. Nakładające się adresy IP mogą prowadzić do nieoczekiwanych awarii zarówno klastra usługi AKS, jak i dowolnego innego miejsca, w jakim jest używany adres IP. Należy zaplanować rezerwę jednego adresu IP na klaster Kubernetes w danym środowisku.

Adresy IP modułu równoważenia obciążenia dla aplikacji konteneryzowanych

Głównym celem modułu równoważenia obciążenia jest dystrybucja ruchu między wieloma węzłami w klastrze Kubernetes. To równoważenie obciążenia może pomóc zapobiec przestojom i poprawić ogólną wydajność aplikacji. Usługa AKS obsługuje następujące opcje wdrażania modułu równoważenia obciążenia dla klastra Kubernetes:

• Wdrażanie modułu równoważenia obciążenia usługi MetalLB przy użyciu rozszerzenia usługi Azure Arc.
• Korzystanie z własnego modułu równoważenia obciążenia innej firmy.

Niezależnie od tego, czy wybrano rozszerzenie MetalLB Arc, czy też użyć własnego modułu równoważenia obciążenia, musisz podać zestaw adresów IP dla usługi modułu równoważenia obciążenia. Do wyboru są następujące opcje:

• Podaj adresy IP usług z tej samej podsieci co maszyny wirtualne usługi AKS Arc.
• Użyj innej sieci i listy adresów IP, jeśli aplikacja wymaga zewnętrznego równoważenia obciążenia.

Niezależnie od wybranej opcji należy upewnić się, że adresy IP przydzielone do modułu równoważenia obciążenia nie powodują konfliktu z adresami IP w sieci logicznej lub adresach IP płaszczyzny sterowania dla klastrów Kubernetes. Sprzeczne adresy IP mogą prowadzić do nieprzewidzianych błędów we wdrożeniu i aplikacjach usługi AKS.

Proste planowanie adresów IP dla klastrów i aplikacji Kubernetes

W poniższym scenariuszu przedstawiono rezerwowanie adresów IP z jednej sieci dla klastrów i usług Kubernetes. Jest to najprostszy i prosty scenariusz przypisywania adresów IP.

Wymaganie dotyczące adresu IP	Minimalna liczba adresów IP	Jak i gdzie dokonać tej rezerwacji
Adresy IP maszyn wirtualnych usługi AKS Arc	Zarezerwuj jeden adres IP dla każdego węzła roboczego w klastrze Kubernetes. Jeśli na przykład chcesz utworzyć 3 pule węzłów z 3 węzłami w każdej puli węzłów, musisz mieć 9 adresów IP w puli adresów IP.	Zarezerwuj adresy IP maszyn wirtualnych usługi AKS Arc za pośrednictwem pul adresów IP w sieci logicznej maszyny wirtualnej usługi Arc.
Adresy IP uaktualnienia wersji usługi AKS Arc K8s	Ponieważ usługa AKS Arc wykonuje uaktualnienia stopniowe, zarezerwuj jeden adres IP dla każdego klastra usługi AKS Arc dla operacji uaktualniania wersji platformy Kubernetes.	Zarezerwuj adresy IP dla operacji uaktualniania wersji K8s za pośrednictwem pul adresów IP w sieci logicznej maszyny wirtualnej usługi Arc.
Adres IP płaszczyzny sterowania	Zarezerwuj jeden adres IP dla każdego klastra Kubernetes w środowisku. Jeśli na przykład chcesz utworzyć 5 klastrów w sumie, zarezerwuj 5 adresów IP, po jednym dla każdego klastra Kubernetes.	Zarezerwuj adresy IP adresów IP płaszczyzny sterowania w tej samej podsieci co sieć logiczna maszyny wirtualnej usługi Arc, ale poza określoną pulą adresów IP.
Adresy IP modułu równoważenia obciążenia	Liczba zarezerwowanych adresów IP zależy od modelu wdrażania aplikacji. Jako punkt początkowy można zarezerwować jeden adres IP dla każdej usługi Kubernetes.	Zarezerwuj adresy IP adresów IP płaszczyzny sterowania w tej samej podsieci co sieć logiczna maszyny wirtualnej usługi Arc, ale poza określoną pulą adresów IP.

Przykładowy przewodnik dotyczący rezerwacji adresów IP dla klastrów i aplikacji Kubernetes

Jane jest administratorem IT, który dopiero zaczyna się od usługi AKS włączonej przez usługę Azure Arc. Chce wdrożyć dwa klastry Kubernetes: klaster Kubernetes A i klaster Kubernetes B w klastrze Azure Stack HCI. Chce również uruchomić aplikację do głosowania na szczycie klastra A. Ta aplikacja ma trzy wystąpienia interfejsu użytkownika frontonu uruchomionego w dwóch klastrach i jedno wystąpienie bazy danych zaplecza. Wszystkie jej klastry i usługi AKS działają w jednej sieci z jedną podsiecią.

• Klaster Kubernetes A ma 3 węzły płaszczyzny sterowania i 5 węzłów roboczych.
• Klaster Kubernetes B ma 1 węzeł płaszczyzny sterowania i 3 węzły robocze.
• 3 wystąpienia interfejsu użytkownika frontonu (port 443).
• 1 wystąpienie bazy danych zaplecza (port 80).

Na podstawie poprzedniej tabeli musi zarezerwować łącznie 19 adresów IP w jej podsieci:

• 8 adresów IP maszyn wirtualnych węzła usługi A usługi A w węźle usługi A (jeden adres IP na maszynę wirtualną węzła K8s).
• 4 adresy IP maszyn wirtualnych węzła usługi AKS Arc w klastrze B (jeden adres IP na maszynę wirtualną węzła K8s).
• 2 adresy IP do uruchamiania operacji uaktualniania usługi AKS Arc (jeden adres IP na klaster usługi AKS Arc).
• 2 adresy IP płaszczyzny sterowania usługi AKS Arc (jeden adres IP dla klastra usługi AKS Arc)
• 3 adresy IP usługi Kubernetes (jeden adres IP na wystąpienie interfejsu użytkownika frontonu, ponieważ wszystkie używają tego samego portu. Baza danych zaplecza może używać dowolnego z trzech adresów IP, o ile używa innego portu).

Kontynuując ten przykład i dodając go do poniższej tabeli, uzyskasz następujące informacje:

Parametr	Liczba adresów IP	Jak i gdzie dokonać tej rezerwacji
Uaktualnianie wersji maszyn wirtualnych usługi AKS Arc i K8s	Zarezerwuj 14 adresów IP	Utwórz tę rezerwację za pośrednictwem pul adresów IP w sieci logicznej rozwiązania Azure Stack HCI.
Adres IP płaszczyzny sterowania	Zarezerwuj 2 adresy IP— jeden dla klastra usługi AKS Arc	Użyj parametru , controlPlaneIP aby przekazać adres IP dla adresu IP płaszczyzny sterowania. Upewnij się, że ten adres IP znajduje się w tej samej podsieci co sieć logiczna usługi Arc, ale poza pulą adresów IP zdefiniowaną w sieci logicznej usługi Arc.
Adresy IP modułu równoważenia obciążenia	3 Adres IP dla usług Kubernetes dla aplikacji do głosowania Jane.	Te adresy IP są używane podczas instalowania modułu równoważenia obciążenia w klastrze A. Możesz użyć rozszerzenia MetalLB Arc lub użyć własnego modułu równoważenia obciążenia innej firmy. Upewnij się, że ten adres IP znajduje się w tej samej podsieci co sieć logiczna usługi Arc, ale poza pulą adresów IP zdefiniowaną w sieci logicznej maszyny wirtualnej arc.

Ustawienia serwera proxy

Ustawienia serwera proxy w usłudze AKS są dziedziczone z bazowego systemu infrastruktury. Funkcje ustawiania poszczególnych ustawień serwera proxy dla klastrów Kubernetes i zmiany ustawień serwera proxy nie są jeszcze obsługiwane.

Wymagania dotyczące portu sieciowego i sieci VLAN między sieciami VLAN

Podczas wdrażania rozwiązania Azure Stack HCI przydzielasz ciągły blok co najmniej sześciu statycznych adresów IP w podsieci sieci zarządzania, pomijając adresy używane już przez serwery fizyczne. Te adresy IP są używane przez rozwiązanie Azure Stack HCI i infrastrukturę wewnętrzną (mostek zasobów arc) na potrzeby zarządzania maszynami wirtualnymi usługi Arc i usługi AKS Arc. Jeśli sieć zarządzania, która udostępnia adresy IP do usług Azure Stack HCI związanych z mostkiem zasobów usługi Arc, znajdują się w innej sieci VLAN niż sieć logiczna używana do tworzenia klastrów usługi AKS, należy upewnić się, że następujące porty zostały otwarte w celu pomyślnego utworzenia i obsługi klastra usługi AKS.

Port docelowy	Element docelowy	Lokalizacja źródłowa	opis	Uwagi dotyczące sieci między sieciami sieci VLAN
22	Sieć logiczna używana dla maszyn wirtualnych usługi AKS Arc	Adresy IP w sieci zarządzania	Wymagane do zbierania dzienników na potrzeby rozwiązywania problemów.	Jeśli używasz oddzielnych sieci VLAN, adresy IP w sieci zarządzania używanej dla usług Azure Stack HCI i Arc Resource Bridge muszą uzyskiwać dostęp do maszyn wirtualnych klastra usługi AKS Arc na tym porcie.
6443	Sieć logiczna używana dla maszyn wirtualnych usługi AKS Arc	Adresy IP w sieci zarządzania	Wymagane do komunikowania się z interfejsami API platformy Kubernetes.	Jeśli używasz oddzielnych sieci VLAN, adresy IP w sieci zarządzania używanej dla usług Azure Stack HCI i Arc Resource Bridge muszą uzyskiwać dostęp do maszyn wirtualnych klastra usługi AKS Arc na tym porcie.
55000	Adresy IP w sieci zarządzania	Sieć logiczna używana dla maszyn wirtualnych usługi AKS Arc	Serwer gRPC agenta chmury	Jeśli używasz oddzielnych sieci VLAN, maszyny wirtualne usługi AKS Arc muszą uzyskiwać dostęp do adresów IP w sieci zarządzania używanej na potrzeby adresu IP agenta w chmurze i adresu IP klastra na tym porcie.
65000	Adresy IP w sieci zarządzania	Sieć logiczna używana dla maszyn wirtualnych usługi AKS Arc	Uwierzytelnianie gRPC agenta chmury	Jeśli używasz oddzielnych sieci VLAN, maszyny wirtualne usługi AKS Arc muszą uzyskiwać dostęp do adresów IP w sieci zarządzania używanej na potrzeby adresu IP agenta w chmurze i adresu IP klastra na tym porcie.

Wyjątki adresu URL zapory

Aby uzyskać informacje na temat listy dozwolonych adresów URL zapory/serwera proxy usługi Azure Arc, zobacz wymagania dotyczące sieci mostka zasobów usługi Azure Arc i wymagania sieciowe usługi Azure Stack HCI 23H2.

Uwaga

Jeśli wdrażasz starszą wersję rozwiązania Azure Stack HCI , taką jak 2402 i starsze, musisz również zezwolić na gcr.io i storage.googleapis.com adresy URL. Te adresy URL zostały usunięte z najnowszej wersji usługi AKS Arc.

URL	Port	Usługa	Uwagi
https://mcr.microsoft.com *.data.mcr.microsoft.com azurearcfork8s.azurecr.io linuxgeneva-microsoft.azurecr.io pipelineagent.azurecr.io ecpacr.azurecr.io https://azurearcfork8sdev.azurecr.io https://hybridaks.azurecr.io aszk8snetworking.azurecr.io	443	Łuk usługi AKS	Służy do oficjalnych artefaktów firmy Microsoft, takich jak obrazy kontenerów.
docker.io	443	Łuk usługi AKS	Służy do oficjalnych artefaktów platformy Kubernetes, takich jak obrazy podstawowe kontenerów.
hybridaksstorage.z13.web.core.windows.net	443	Łuk usługi AKS	Statyczna witryna internetowa AKSHCI hostowana w usłudze Azure Storage.
*.blob.core.windows.net *.dl.delivery.mp.microsoft.com *.do.dsp.mp.microsoft.com	443	Łuk usługi AKS	Służy do pobierania i aktualizowania obrazu VHD usługi AKS Arc.
*.prod.do.dsp.mp.microsoft.com	443	Łuk usługi AKS	Służy do pobierania i aktualizowania obrazu VHD usługi AKS Arc.
*.login.microsoft.com	443	Azure	Wymagane do pobrania i zaktualizowania tokenów usługi Azure Resource Manager w celu zalogowania się na platformie Azure.
https://*.his.arc.azure.com	443	K8s z obsługą usługi Azure Arc	Służy do obsługi tożsamości agentów usługi Arc i kontroli dostępu.
https://*.dp.kubernetesconfiguration.azure.com	443	K8s z obsługą usługi Azure Arc	Służy do konfigurowania usługi Azure Arc.
https://*.servicebus.windows.net	443	K8s z obsługą usługi Azure Arc	Służy do bezpiecznego nawiązywania połączenia z klastrami Kubernetes z włączoną usługą Azure Arc bez konieczności włączania żadnego portu przychodzącego w zaporze.
https://guestnotificationservice.azure.com	443	K8s z obsługą usługi Azure Arc	Służy do obsługi operacji powiadomień gościa.
sts.windows.net	443	K8s z obsługą usługi Azure Arc	W przypadku scenariusza opartego na połączeniu klastra i lokalizacji niestandardowej.
https://*.dp.prod.appliances.azure.com	443	Mostek zasobów łuku	Służy do operacji płaszczyzny danych dla mostka zasobów (urządzenia).
*.prod.microsoftmetrics.com *.prod.hot.ingestion.msftcloudes.com dc.services.visualstudio.com *.prod.warm.ingest.monitor.core.windows.net gcs.prod.monitoring.core.windows.net https://adhs.events.data.microsoft.com https://v20.events.data.microsoft.com	443	Monitorowanie metryk i kondycji	Służy do metryk i monitorowania ruchu telemetrycznego.
pypi.org  *.pypi.org  files.pythonhosted.org	443	Az CLI	Służy do pobierania rozszerzeń interfejsu wiersza polecenia az i az interfejsu wiersza polecenia.
aka.ms	443	Azure Stack HCI	Wymagane do pobrania powiązanych z rozwiązaniem Azure Stack HCI.
raw.githubusercontent.com	443	GitHub	Używany w usłudze GitHub.
www.microsoft.com	80	Oficjalna witryna internetowa firmy Microsoft.	Oficjalna witryna internetowa firmy Microsoft.

Następne kroki

Tworzenie sieci logicznych dla klastrów Kubernetes w usłudze Azure Stack HCI 23H2