다음을 통해 공유


AKS(Azure Kubernetes Service) 클러스터에 대한 아웃바운드 네트워크 및 FQDN 규칙

이 문서에서는 AKS(Azure Kubernetes Service)에서 아웃바운드 트래픽을 보호할 수 있는 필요한 세부 정보를 제공합니다. 여기에는 기본 AKS 배포에 대한 클러스터 요구 사항과 선택적 추가 기능 및 기능에 대한 추가 요구 사항이 포함됩니다. 이 정보를 아웃바운드 제한 방법 또는 어플라이언스로 적용할 수 있습니다.

Azure Firewall을 사용하는 예제 구성을 보려면 AKS에서 Azure Firewall을 사용하여 송신 트래픽 제어를 방문하세요.

배경

AKS 클러스터는 가상 네트워크에 배포됩니다. 이 네트워크는 사용자가 사용자 지정하고 미리 구성하거나 AKS에서 만들고 관리할 수 있습니다. 두 경우 모두 클러스터에는 가상 네트워크 외부의 서비스에 대한 아웃바운드 또는 송신 종속성이 있습니다.

관리 및 운영 목적으로 AKS 클러스터의 노드는 특정 포트 및 FQDN(정규화된 도메인 이름)에 액세스해야 합니다. 이러한 엔드포인트는 노드가 API 서버와 통신하거나 핵심 Kubernetes 클러스터 구성 요소 및 노드 보안 업데이트를 다운로드하고 설치하는 데 필요합니다. 예를 들어 클러스터는 MAR(Microsoft Artifact Registry)에서 컨테이너 이미지를 끌어와야 합니다.

AKS 아웃바운드 종속성은 거의 전적으로 FQDN으로 정의되며, FQDN에는 정적 주소가 없습니다. 정적 주소가 없으면 NSG(네트워크 보안 그룹)를 사용하여 AKS 클러스터의 아웃바운드 트래픽을 잠글 수 없습니다.

기본적으로 AKS 클러스터에는 무제한 아웃바운드 인터넷 액세스가 있습니다. 이러한 수준의 네트워크 액세스가 있으면 사용자가 실행하는 노드와 서비스는 필요할 때마다 외부 리소스에 액세스할 수 있습니다. 송신 트래픽을 제한하려면 정상적인 클러스터 유지 관리 작업을 유지할 수 있도록 제한된 수의 포트 및 주소에 액세스할 수 있어야 합니다.

네트워크 격리 AKS 클러스터는 기본적으로 클러스터에 대한 아웃바운드 제한을 설정하기 위한 가장 간단하고 안전한 솔루션을 제공합니다. 네트워크 격리 클러스터는 MAR에서 끌어오는 대신 클러스터에 연결된 프라이빗 ACR(Azure Container Registry) 인스턴스에서 클러스터 구성 요소 및 추가 기능에 대한 이미지를 가져옵니다. 이미지가 없는 경우 프라이빗 ACR은 MAR에서 끌어와 프라이빗 엔드포인트를 통해 제공하므로 클러스터에서 공용 MAR 엔드포인트로 송신할 필요가 없습니다. 그런 다음 클러스터 운영자는 사용하려는 각 시나리오에 대해 프라이빗 네트워크를 통해 허용된 아웃바운드 트래픽을 단계적으로 안전하게 설정할 수 있습니다. 이렇게 하면 클러스터 운영자가 처음부터 클러스터에서 허용된 아웃바운드 트래픽을 설계하는 방법을 완벽하게 제어할 수 있으므로 데이터 반출 위험을 줄일 수 있습니다.

아웃바운드 주소를 보호하는 또 다른 솔루션은 도메인 이름에 따라 아웃바운드 트래픽을 제어할 수 있는 방화벽 디바이스를 사용하는 것입니다. Azure Firewall은 대상의 FQDN에 따라 아웃바운드 HTTP 및 HTTPS 트래픽을 제한할 수 있습니다. 이러한 필수 포트와 주소를 허용하도록 기본 방화벽 및 보안 규칙을 구성할 수도 있습니다.

중요합니다

이 문서에서는 AKS 서브넷에서 나가는 트래픽을 잠그는 방법만 설명합니다. 기본적으로 AKS에는 수신 요구 사항이 없습니다. NSG(네트워크 보안 그룹) 및 방화벽을 사용하여 내부 서브넷 트래픽 차단은 지원되지 않습니다. 클러스터 내의 트래픽을 제어하고 차단하려면 AKS에서 네트워크 정책을 사용하여 Pod 간의 트래픽 보안을 참조하세요.

AKS 클러스터에 필요한 아웃바운드 네트워크 규칙 및 FQDN

AKS 클러스터에는 다음 네트워크 및 FQDN/애플리케이션 규칙이 필요합니다. Azure Firewall 이외의 솔루션을 구성하려는 경우 사용할 수 있습니다.

  • IP 주소 종속성은 비 HTTP/S 트래픽(TCP 및 UDP 트래픽 모두)에 대한 것입니다.
  • FQDN HTTP/HTTPS 엔드포인트는 방화벽 디바이스에 배치할 수 있습니다.
  • 와일드카드 HTTP/HTTPS 엔드포인트는 여러 한정자를 기준으로 AKS 클러스터에 따라 달라질 수 있는 종속성입니다.
  • AKS는 허용 컨트롤러를 사용하여 kube-system 및 gatekeeper-system의 모든 배포에 환경 변수로 FQDN을 삽입합니다. 이렇게 하면 노드와 API 서버 간의 모든 시스템 통신이 API 서버 IP가 아닌 API 서버 FQDN을 사용합니다. Pod 사양에 kubernetes.azure.com/set-kube-service-host-fqdn라는 주석을 추가하여, 어떤 네임스페이스에서도 고유한 Pod에서 같은 동작을 가져올 수 있습니다. 해당 주석이 있는 경우 AKS는 KUBERNETES_SERVICE_HOST 변수를 클러스터 내 서비스 IP 대신 API 서버의 도메인 이름으로 설정합니다. 클러스터 발신이 계층 7 방화벽을 통해 이루어지는 경우에 유용합니다.
  • API 서버와 통신해야 하는 앱 또는 솔루션이 있는 경우 API 서버 IP의 포트 443에 대한 TCP 통신을 허용하는 추가 네트워크 규칙을 추가해야 합니다. API 서버의 도메인 이름에 대한 트래픽을 허용하도록 구성된 계층 7 방화벽이 있는 경우 Pod 사양에서 설정합니다kubernetes.azure.com/set-kube-service-host-fqdn.
  • 드문 경우지만 유지 관리 작업이 있는 경우 API 서버 IP가 변경될 수 있습니다. API 서버 IP를 변경할 수 있는 계획된 유지 관리 작업은 항상 미리 전달됩니다.
  • "md-*.blob.storage.azure.net" 엔드포인트에 대한 트래픽을 확인할 수 있습니다. 이 엔드포인트는 Azure Managed Disks의 내부 구성 요소에 사용됩니다. 방화벽에서 이 엔드포인트에 대한 액세스를 차단해도 문제가 발생하지 않습니다.
  • "umsa*.blob.core.windows.net" 엔드포인트에 대한 트래픽을 확인할 수 있습니다. 이 엔드포인트는 Azure Linux VM 에이전트 및 확장에 대한 매니페스트를 저장하는 데 사용되며 새 버전을 다운로드하기 위해 정기적으로 확인됩니다. VM 확장에 대한 자세한 내용을 확인할 수 있습니다.

Azure 글로벌 필수 네트워크 규칙

대상 엔드포인트 프로토콜 항구 사용
*:1194
또는
ServiceTag - AzureCloud.<Region>:1194
또는
지역 CIDR들 - RegionCIDRs:1194
또는
APIServerPublicIP:1194 (only known after cluster creation)
UDP 1194 노드와 컨트롤 플레인 간의 터널된 보안 통신의 경우 이는 프라이빗 클러스터 또는 konnectivity-agent를 사용하도록 설정된 클러스터에는 필요하지 않습니다.
*:9000
또는
ServiceTag - AzureCloud.<Region>:9000
또는
지역 CIDR들 - RegionCIDRs:9000
또는
APIServerPublicIP:9000 (only known after cluster creation)
TCP 9000 노드와 컨트롤 플레인 간의 터널된 보안 통신의 경우 이는 프라이빗 클러스터 또는 konnectivity-agent를 사용하도록 설정된 클러스터에는 필요하지 않습니다.
*:123 또는 ntp.ubuntu.com:123 (Azure Firewall 네트워크 규칙을 사용하는 경우) UDP 123 Linux 노드에서 NTP(네트워크 시간 프로토콜) 시간 동기화에 필요합니다. 이는 2021년 3월 이후에 프로비전된 노드에는 필요하지 않습니다.
CustomDNSIP:53 (if using custom DNS servers) UDP 53 사용자 지정 DNS 서버를 사용하는 경우 클러스터 노드에서 액세스할 수 있는지 확인해야 합니다.
APIServerPublicIP:443 (if running pods/deployments, like Ingress Controller, that access the API Server) TCP 443 API 서버에 액세스하는 Pod/배포(예: 인그레스 컨트롤러)를 실행하는 경우 해당 Pod/배포는 API IP를 사용해야 합니다. 이 포트는 프라이빗 클러스터에 필요하지 않습니다.

Azure 글로벌 필수 FQDN/애플리케이션 규칙

대상 FQDN 항구 사용
*.hcp.<location>.azmk8s.io HTTPS:443 Node <-> API 서버 통신에 필요합니다. 위치를 AKS 클러스터가 배포된 지역으로 바꿉<니다.> 이는 konnectivity-agent 를 사용하도록 설정된 클러스터에 필요합니다. 또한 Konnectivity는 ALPN(Application-Layer Protocol Negotiation)을 사용하여 에이전트와 서버 간에 통신합니다. ALPN 확장을 차단하거나 다시 쓰면 오류가 발생합니다. 프라이빗 클러스터에는 필요하지 않습니다.
mcr.microsoft.com HTTPS:443 MCR(Microsoft Container Registry)의 이미지에 액세스하는 데 필요합니다. 이 레지스트리에는 자사 이미지/차트(예: coreDNS 등)가 포함되어 있습니다. 이러한 이미지는 크기 조정 및 업그레이드 작업을 포함하여 클러스터의 올바른 생성 및 작동에 필요합니다.
*.data.mcr.microsoft.com, mcr-0001.mcr-msedge.net HTTPS:443 Azure CDN(콘텐츠 배달 네트워크)에서 지원되는 MCR 스토리지에 필요합니다.
management.azure.com HTTPS:443 Azure API에 대한 Kubernetes 작업에 필요합니다.
login.microsoftonline.com HTTPS:443 Microsoft Entra 인증에 필요합니다.
packages.microsoft.com HTTPS:443 이 주소는 캐시된 apt-get 작업에 사용되는 Microsoft 패키지 리포지토리입니다. 예제 패키지에는 Moby, PowerShell 및 Azure CLI가 포함됩니다.
acs-mirror.azureedge.net HTTPS:443 이 주소는 kubenet 및 Azure CNI와 같은 필수 이진 파일을 다운로드하고 설치하는 데 필요한 리포지토리에 대한 것입니다.
packages.aks.azure.com HTTPS:443 이 주소는 나중에 대체 acs-mirror.azureedge.net 될 예정이며 필요한 Kubernetes 및 Azure CNI 이진 파일을 다운로드하고 설치하는 데 사용됩니다.

21Vianet에서 운영하는 Microsoft Azure 필수 네트워크 규칙

대상 엔드포인트 프로토콜 항구 사용
*:1194
또는
ServiceTag - AzureCloud.Region:1194
또는
지역 CIDR들 - RegionCIDRs:1194
또는
APIServerPublicIP:1194 (only known after cluster creation)
UDP 1194 노드와 컨트롤 플레인 간의 터널된 보안 통신의 경우
*:9000
또는
ServiceTag - AzureCloud.<Region>:9000
또는
지역 CIDR들 - RegionCIDRs:9000
또는
APIServerPublicIP:9000 (only known after cluster creation)
TCP 9000 노드와 컨트롤 플레인 간의 터널된 보안 통신의 경우
*:22
또는
ServiceTag - AzureCloud.<Region>:22
또는
지역 CIDR들 - RegionCIDRs:22
또는
APIServerPublicIP:22 (only known after cluster creation)
TCP 22 (이십이) 노드와 컨트롤 플레인 간의 터널된 보안 통신의 경우
*:123 또는 ntp.ubuntu.com:123 (Azure Firewall 네트워크 규칙을 사용하는 경우) UDP 123 Linux 노드에서 NTP(네트워크 시간 프로토콜) 시간 동기화에 필요합니다.
CustomDNSIP:53 (if using custom DNS servers) UDP 53 사용자 지정 DNS 서버를 사용하는 경우 클러스터 노드에서 액세스할 수 있는지 확인해야 합니다.
APIServerPublicIP:443 (if running pods/deployments, like Ingress Controller, that access the API Server) TCP 443 API 서버(수신 컨트롤러 등)에 액세스하는 Pod/배포를 실행하는 경우 필요하며, 해당 Pod/배포는 API IP를 사용합니다.

21Vianet에서 운영하는 Microsoft Azure에는 FQDN/애플리케이션 규칙이 필요합니다.

대상 FQDN 항구 사용
*.hcp.<location>.cx.prod.service.azk8s.cn HTTPS:443 Node <-> API 서버 통신에 필요합니다. 위치를 AKS 클러스터가 배포된 지역으로 바꿉<니다.>
*.tun.<location>.cx.prod.service.azk8s.cn HTTPS:443 Node <-> API 서버 통신에 필요합니다. 위치를 AKS 클러스터가 배포된 지역으로 바꿉<니다.>
mcr.microsoft.com HTTPS:443 MCR(Microsoft Container Registry)의 이미지에 액세스하는 데 필요합니다. 이 레지스트리에는 자사 이미지/차트(예: coreDNS 등)가 포함되어 있습니다. 이러한 이미지는 크기 조정 및 업그레이드 작업을 포함하여 클러스터의 올바른 생성 및 작동에 필요합니다.
*.data.mcr.microsoft.com HTTPS:443 Azure CDN(Content Delivery Network)에서 지원되는 MCR 스토리지에 필요합니다.
management.chinacloudapi.cn HTTPS:443 Azure API에 대한 Kubernetes 작업에 필요합니다.
login.chinacloudapi.cn HTTPS:443 Microsoft Entra 인증에 필요합니다.
packages.microsoft.com HTTPS:443 이 주소는 캐시된 apt-get 작업에 사용되는 Microsoft 패키지 리포지토리입니다. 예제 패키지에는 Moby, PowerShell 및 Azure CLI가 포함됩니다.
*.azk8s.cn HTTPS:443 이 주소는 kubenet 및 Azure CNI와 같은 필수 이진 파일을 다운로드하고 설치하는 데 필요한 리포지토리에 대한 것입니다.
mcr.azure.cn, *.data.mcr.azure.cn HTTPS:443 중국 클라우드(Mooncake)에서 이미지를 액세스하려면 Microsoft Container Registry(MCR)가 필요합니다. 이 레지스트리는 안정성과 성능이 향상된 mcr.microsoft.com 위한 캐시 역할을 합니다.

Azure 미국 정부 필수 네트워크 규칙

대상 엔드포인트 프로토콜 항구 사용
*:1194
또는
ServiceTag - AzureCloud.<Region>:1194
또는
지역 CIDR들 - RegionCIDRs:1194
또는
APIServerPublicIP:1194 (only known after cluster creation)
UDP 1194 노드와 컨트롤 플레인 간의 터널된 보안 통신의 경우
*:9000
또는
ServiceTag - AzureCloud.<Region>:9000
또는
지역 CIDR들 - RegionCIDRs:9000
또는
APIServerPublicIP:9000 (only known after cluster creation)
TCP 9000 노드와 컨트롤 플레인 간의 터널된 보안 통신의 경우
*:123 또는 ntp.ubuntu.com:123 (Azure Firewall 네트워크 규칙을 사용하는 경우) UDP 123 Linux 노드에서 NTP(네트워크 시간 프로토콜) 시간 동기화에 필요합니다.
CustomDNSIP:53 (if using custom DNS servers) UDP 53 사용자 지정 DNS 서버를 사용하는 경우 클러스터 노드에서 액세스할 수 있는지 확인해야 합니다.
APIServerPublicIP:443 (if running pods/deployments, like Ingress Controller, that access the API Server) TCP 443 API 서버에 액세스하는 Pod/배포(예: 인그레스 컨트롤러)를 실행하는 경우 해당 Pod/배포는 API IP를 사용해야 합니다.

Azure 미국 정부 필수 FQDN/애플리케이션 규칙

대상 FQDN 항구 사용
*.hcp.<location>.cx.aks.containerservice.azure.us HTTPS:443 Node <-> API 서버 통신에 필요합니다. 위치를 AKS 클러스터가 배포된 지역으로 바꿉<니다.>
mcr.microsoft.com HTTPS:443 MCR(Microsoft Container Registry)의 이미지에 액세스하는 데 필요합니다. 이 레지스트리에는 자사 이미지/차트(예: coreDNS 등)가 포함되어 있습니다. 이러한 이미지는 크기 조정 및 업그레이드 작업을 포함하여 클러스터의 올바른 생성 및 작동에 필요합니다.
*.data.mcr.microsoft.com HTTPS:443 Azure CDN(콘텐츠 배달 네트워크)에서 지원되는 MCR 스토리지에 필요합니다.
management.usgovcloudapi.net HTTPS:443 Azure API에 대한 Kubernetes 작업에 필요합니다.
login.microsoftonline.us HTTPS:443 Microsoft Entra 인증에 필요합니다.
packages.microsoft.com HTTPS:443 이 주소는 캐시된 apt-get 작업에 사용되는 Microsoft 패키지 리포지토리입니다. 예제 패키지에는 Moby, PowerShell 및 Azure CLI가 포함됩니다.
acs-mirror.azureedge.net HTTPS:443 이 주소는 kubenet 및 Azure CNI와 같은 필수 이진 파일을 설치하는 데 필요한 리포지토리에 대한 것입니다.
packages.aks.azure.com HTTPS:443 이 주소는 나중에 대체 acs-mirror.azureedge.net 될 예정이며 필요한 Kubernetes 및 Azure CNI 이진 파일을 다운로드하고 설치하는 데 사용됩니다.

다음 FQDN/애플리케이션 규칙은 필요하지 않지만 AKS 클러스터에 권장됩니다.

대상 FQDN 항구 사용
security.ubuntu.com, azure.archive.ubuntu.com, changelogs.ubuntu.com HTTP:80 이 주소를 사용하면 Linux 클러스터 노드에서 필요한 보안 패치 및 업데이트를 다운로드할 수 있습니다.
snapshot.ubuntu.com HTTPS:443 이 주소를 사용하면 Linux 클러스터 노드가 ubuntu 스냅샷 서비스에서 필요한 보안 패치 및 업데이트를 다운로드할 수 있습니다.

이러한 FQDN을 차단/허용하지 않도록 선택하면 노드 이미지 업그레이드 또는 클러스터 업그레이드를 수행할 때만 노드가 OS 업데이트를 받습니다. 노드 이미지 업그레이드에는 보안 수정을 포함한 업데이트된 패키지도 함께 제공됩니다.

GPU를 사용하도록 설정된 AKS 클러스터에는 FQDN/애플리케이션 규칙이 필요합니다.

대상 FQDN 항구 사용
nvidia.github.io HTTPS:443 이 주소는 GPU 기반 노드에서 올바른 드라이버 설치 및 작업에 사용됩니다.
us.download.nvidia.com HTTPS:443 이 주소는 GPU 기반 노드에서 올바른 드라이버 설치 및 작업에 사용됩니다.
download.docker.com HTTPS:443 이 주소는 GPU 기반 노드에서 올바른 드라이버 설치 및 작업에 사용됩니다.

Windows Server 기반 노드 풀에는 FQDN/애플리케이션 규칙이 필요합니다.

대상 FQDN 항구 사용
onegetcdn.azureedge.net, go.microsoft.com HTTPS:443 Windows 관련 바이너리를 설치하려면
*.mp.microsoft.com, www.msftconnecttest.com, ctldl.windowsupdate.com HTTP:80 Windows 관련 바이너리를 설치하려면

이러한 FQDN을 차단/허용하지 않도록 선택하면 노드 이미지 업그레이드 또는 클러스터 업그레이드를 수행할 때만 노드가 OS 업데이트를 받습니다. 노드 이미지 업그레이드에는 보안 수정을 포함한 업데이트된 패키지도 함께 제공됩니다.

AKS 기능, 추가 기능 및 통합

워크로드 정체성

필수 FQDN / 애플리케이션 규칙

대상 FQDN 항구 사용
login.microsoftonline.com 또는 login.chinacloudapi.cn 또는 login.microsoftonline.us HTTPS:443 Microsoft Entra 인증에 필요합니다.

컨테이너용 Microsoft Defender

필수 FQDN / 애플리케이션 규칙

FQDN(정규화된 도메인 이름) 항구 사용
login.microsoftonline.com
login.microsoftonline.us(Azure Government)
login.microsoftonline.cn (21Vianet에서 운영하는 Azure)
HTTPS:443 Microsoft Entra 인증에 필요합니다.
*.ods.opinsights.azure.com
*.ods.opinsights.azure.us(Azure Government)
*.ods.opinsights.azure.cn (21Vianet에서 운영하는 Azure)
HTTPS:443 Microsoft Defender가 보안 이벤트를 클라우드에 업로드하는 데 필요합니다.
*.oms.opinsights.azure.com
*.oms.opinsights.azure.us(Azure Government)
*.oms.opinsights.azure.cn (21Vianet에서 운영하는 Azure)
HTTPS:443 Log Analytics 작업 영역을 사용하여 인증하는 데 필요합니다.

비밀 저장소 CSI 드라이버용 Azure Key Vault 공급자

네트워크 격리 클러스터를 사용하는 경우 Azure Key Vault에 액세스하도록 프라이빗 엔드포인트를 설정하는 것이 좋습니다.

클러스터에 아웃바운드 유형 사용자 정의 라우팅 및 Azure Firewall이 있는 경우 다음 네트워크 규칙 및 애플리케이션 규칙이 적용됩니다.

필수 FQDN / 애플리케이션 규칙

FQDN(정규화된 도메인 이름) 항구 사용
vault.azure.net HTTPS:443 CSI 비밀 저장소 추가 기능 Pod가 Azure KeyVault 서버와 통신하는 데 필요합니다.
*.vault.usgovcloudapi.net HTTPS:443 Azure Government의 Azure KeyVault 서버와 통신하려면 CSI 비밀 저장소 추가 기능 Pod가 필요합니다.

Azure Monitor - 관리형 Prometheus, Container Insights 및 Azure Monitor Application Insights 자동 계측

네트워크 격리 클러스터를 사용하는 경우 Managed Prometheus(Azure Monitor 작업 영역), 컨테이너 인사이트(Log Analytics 작업 영역) 및 Azure Monitor Application Insights 자동 계측(Application Insights 리소스)에 대해 지원되는 프라이빗 엔드포인트를 기반으로 한 수집을 설정하는 것이 좋습니다.

클러스터에 아웃바운드 유형 사용자 정의 라우팅 및 Azure Firewall이 있는 경우 다음 네트워크 규칙 및 애플리케이션 규칙이 적용됩니다.

필수 네트워크 규칙

대상 엔드포인트 프로토콜 항구 사용
ServiceTag - AzureMonitor:443 TCP 443 이 엔드포인트는 메트릭 데이터 및 로그를 Azure Monitor 및 Log Analytics로 보내는 데 사용됩니다.

Azure 퍼블릭 클라우드에 필요한 FQDN/애플리케이션 규칙

엔드포인트 목적 항구
*.ods.opinsights.azure.com 443
*.oms.opinsights.azure.com 443
dc.services.visualstudio.com 443
*.in.applicationinsights.azure.com Application Insights 자동 계측. 범위를 제한하려면 대상 리소스에 대한 연결 문자열의 엔드포인트만 허용하도록 변경할 수 있습니다. 443
*.monitoring.azure.com 443
login.microsoftonline.com 443
global.handler.control.monitor.azure.com 액세스 제어 서비스 443
*.ingest.monitor.azure.com 컨테이너 인사이트 - 로그 수집 엔드포인트 (DCE) 443
*.metrics.ingest.monitor.azure.com Prometheus용 Azure Monitor 관리 서비스 - 메트릭 수집 엔드포인트(DCE) 443
<cluster-region-name>.handler.control.monitor.azure.com 특정 클러스터에 대한 데이터 수집 규칙 가져오기 443

21Vianet에서 운영하는 Microsoft Azure 클라우드에 필요한 FQDN/애플리케이션 규칙

엔드포인트 목적 항구
*.ods.opinsights.azure.cn 데이터 수집 443
*.oms.opinsights.azure.cn AMA(Azure Monitor 에이전트) 온보딩 443
dc.services.visualstudio.com Azure 퍼블릭 클라우드 Application Insights를 사용하는 에이전트 원격 분석의 경우 443
*.in.applicationinsights.azure.com Application Insights 자동 계측. 범위를 제한하려면 대상 리소스에 대한 연결 문자열의 엔드포인트만 허용하도록 변경할 수 있습니다. 443
global.handler.control.monitor.azure.cn 액세스 제어 서비스 443
<cluster-region-name>.handler.control.monitor.azure.cn 특정 클러스터에 대한 데이터 수집 규칙 가져오기 443
*.ingest.monitor.azure.cn 컨테이너 인사이트 - 로그 수집 엔드포인트 (DCE) 443
*.metrics.ingest.monitor.azure.cn Prometheus용 Azure Monitor 관리 서비스 - 메트릭 수집 엔드포인트(DCE) 443

Azure Government 클라우드에 필요한 FQDN/애플리케이션 규칙

엔드포인트 목적 항구
*.ods.opinsights.azure.us 데이터 수집 443
*.oms.opinsights.azure.us AMA(Azure Monitor 에이전트) 온보딩 443
dc.services.visualstudio.com Azure 퍼블릭 클라우드 Application Insights를 사용하는 에이전트 원격 분석의 경우 443
*.in.applicationinsights.azure.com Application Insights 자동 계측. 범위를 제한하려면 대상 리소스에 대한 연결 문자열의 엔드포인트만 허용하도록 변경할 수 있습니다. 443
global.handler.control.monitor.azure.us 액세스 제어 서비스 443
<cluster-region-name>.handler.control.monitor.azure.us 특정 클러스터에 대한 데이터 수집 규칙 가져오기 443
*.ingest.monitor.azure.us 컨테이너 인사이트 - 로그 수집 엔드포인트 (DCE) 443
*.metrics.ingest.monitor.azure.us Prometheus용 Azure Monitor 관리 서비스 - 메트릭 수집 엔드포인트(DCE) 443

Azure Policy

필수 FQDN / 애플리케이션 규칙

FQDN(정규화된 도메인 이름) 항구 사용
data.policy.core.windows.net HTTPS:443 이 주소는 Kubernetes 정책을 끌어오고 클러스터 준수 상태를 정책 서비스에 보고하는 데 사용됩니다.
store.policy.core.windows.net HTTPS:443 이 주소는 기본 제공 정책의 Gatekeeper 아티팩트 끌어오는 데 사용됩니다.
dc.services.visualstudio.com HTTPS:443 원격 분석 데이터를 애플리케이션 인사이트 엔드포인트로 보내는 Azure Policy 추가 기능입니다.

21Vianet에서 운영하는 Microsoft Azure에는 FQDN/애플리케이션 규칙이 필요합니다.

FQDN(정규화된 도메인 이름) 항구 사용
data.policy.azure.cn HTTPS:443 이 주소는 Kubernetes 정책을 끌어오고 클러스터 준수 상태를 정책 서비스에 보고하는 데 사용됩니다.
store.policy.azure.cn HTTPS:443 이 주소는 기본 제공 정책의 Gatekeeper 아티팩트 끌어오는 데 사용됩니다.

Azure 미국 정부 필수 FQDN/애플리케이션 규칙

FQDN(정규화된 도메인 이름) 항구 사용
data.policy.azure.us HTTPS:443 이 주소는 Kubernetes 정책을 끌어오고 클러스터 준수 상태를 정책 서비스에 보고하는 데 사용됩니다.
store.policy.azure.us HTTPS:443 이 주소는 기본 제공 정책의 Gatekeeper 아티팩트 끌어오는 데 사용됩니다.

AKS 비용 분석 추가 기능

필수 FQDN / 애플리케이션 규칙

FQDN(정규화된 도메인 이름) 항구 사용
management.azure.com
management.usgovcloudapi.net(Azure Government)
management.chinacloudapi.cn (21Vianet에서 운영하는 Azure)
HTTPS:443 Azure API에 대한 Kubernetes 작업에 필요합니다.
login.microsoftonline.com
login.microsoftonline.us(Azure Government)
login.microsoftonline.cn (21Vianet에서 운영하는 Azure)
HTTPS:443 Microsoft Entra ID 인증에 필요합니다.

클러스터 확장

필수 FQDN / 애플리케이션 규칙

FQDN(정규화된 도메인 이름) 항구 사용
<region>.dp.kubernetesconfiguration.azure.com HTTPS:443 이 주소는 클러스터 확장 서비스에서 구성 정보를 가져오고 확장 상태를 서비스에 보고하는 데 사용됩니다.
mcr.microsoft.com, *.data.mcr.microsoft.com HTTPS:443 이 주소는 AKS 클러스터에 클러스터 확장 에이전트를 설치하기 위해 컨테이너 이미지를 끌어오는 데 필요합니다.
arcmktplaceprod.azurecr.io HTTPS:443 이 주소는 AKS 클러스터에 마켓플레이스 확장을 설치하기 위해 컨테이너 이미지를 끌어오는 데 필요합니다.
arcmktplaceprod.centralindia.data.azurecr.io HTTPS:443 이 주소는 인도 중부 지역 데이터 엔드포인트용이며 AKS 클러스터에 마켓플레이스 확장을 설치하기 위해 컨테이너 이미지를 끌어오는 데 필요합니다.
arcmktplaceprod.japaneast.data.azurecr.io HTTPS:443 이 주소는 동일본 지역 데이터 엔드포인트용이며 AKS 클러스터에 마켓플레이스 확장을 설치하기 위한 컨테이너 이미지를 끌어오기 위해 필요합니다.
arcmktplaceprod.westus2.data.azurecr.io HTTPS:443 이 주소는 미국 서부 2 지역 데이터 엔드포인트용이며 AKS 클러스터에 마켓플레이스 확장을 설치하기 위해 컨테이너 이미지를 끌어오는 데 필요합니다.
arcmktplaceprod.westeurope.data.azurecr.io HTTPS:443 이 주소는 서유럽 지역 데이터 엔드포인트용이며 AKS 클러스터에 마켓플레이스 확장을 설치하기 위해 컨테이너 이미지를 끌어오는 데 필요합니다.
arcmktplaceprod.eastus.data.azurecr.io HTTPS:443 이 주소는 미국 동부 지역 데이터 엔드포인트용이며 AKS 클러스터에 마켓플레이스 확장을 설치하기 위해 컨테이너 이미지를 끌어오는 데 필요합니다.
*.ingestion.msftcloudes.com, *.microsoftmetrics.com HTTPS:443 이 주소는 에이전트 메트릭 데이터를 Azure로 보내는 데 사용됩니다.
marketplaceapi.microsoft.com HTTPS: 443 이 주소는 사용자 지정 미터 기반 사용량을 상거래 계량 API에 보내는 데 사용됩니다.

Azure 미국 정부 필수 FQDN/애플리케이션 규칙

FQDN(정규화된 도메인 이름) 항구 사용
<region>.dp.kubernetesconfiguration.azure.us HTTPS:443 이 주소는 클러스터 확장 서비스에서 구성 정보를 가져오고 확장 상태를 서비스에 보고하는 데 사용됩니다.
mcr.microsoft.com, *.data.mcr.microsoft.com HTTPS:443 이 주소는 AKS 클러스터에 클러스터 확장 에이전트를 설치하기 위해 컨테이너 이미지를 끌어오는 데 필요합니다.

비고

여기에 명시적으로 명시되지 않은 추가 기능의 경우 핵심 요구 사항이 이를 다룹니다.

Istio 기반 서비스 메시 추가 기능

Istio 기반의 서비스 메시 추가 기능에서, 플러그인 인증 기관(CA)를 사용하여 istiod를 설정하거나 보안 인그레스 게이트웨이를 설정하는 경우, 이러한 기능에는 비밀 저장소 CSI 드라이버용 Azure Key Vault 공급자가 필요합니다. 비밀 저장소 CSI 드라이버용 Azure Key Vault 공급자에 대한 아웃바운드 네트워크 요구 사항은 여기에서 찾을 수 있습니다.

애플리케이션 라우팅 추가 기능

애플리케이션 라우팅 추가 기능은 Azure Key Vault에 저장된 인증서를 사용하여 수신 시 SSL 종료를 지원합니다. 비밀 저장소 CSI 드라이버용 Azure Key Vault 공급자에 대한 아웃바운드 네트워크 요구 사항은 여기에서 찾을 수 있습니다.

다음 단계

이 문서에서는 클러스터의 송신 트래픽을 제한하는 경우 허용할 포트와 주소를 알아보았습니다.

Pod가 자체 통신하는 방식과 클러스터 내의 East-West 트래픽 제한을 제한하려면 AKS에서 네트워크 정책을 사용하여 Pod 간의 트래픽 보안을 참조하세요.