Azure Stack Hub의 견고한 네트워크 배포

이 항목에서는 TOR 스위치, IP 주소 할당 및 기타 네트워킹 배포 작업에 대한 액세스 권한을 다룹니다.

구성 배포 계획

다음 섹션에서는 사용 권한 및 IP 주소 할당에 대해 설명합니다.

물리적 스위치 액세스 제어 목록

Azure Stack 솔루션을 보호하기 위해 TOR 스위치에 ACL(액세스 제어 목록)을 구현했습니다. 이 섹션에서는 이 보안이 구현되는 방법을 설명합니다. 아래 표에서는 Azure Stack 솔루션 내의 모든 네트워크의 원본 및 대상을 보여 줍니다.

TOR 스위치의 액세스 제어 목록 다이어그램

아래 표에서는 ACL 참조를 Azure Stack 네트워크와 상호 연결합니다.

BMC Mgmt 프로토콜 및 포트에 따라 허용으로 포함된 배포 VM, BMC 인터페이스, HLH 서버 NTP 서버 및 DNS 서버 IP.
HLH 내부 액세스 가능(PDU) 트래픽은 BMC 스위치로 제한됩니다.
HLH 외부 액세스 가능(OEM 도구 VM) ACL은 테두리 디바이스 외부에 대한 액세스를 허용합니다.
Mgmt 전환 전용 스위치 관리 인터페이스.
스파인 Mgmt 전용 척추 관리 인터페이스입니다.
Azure 스택 Azure Stack 인프라 서비스 및 VM, 제한된 네트워크
인프라
Azure 스택 Azure Stack 보호 엔드포인트, 응급 복구 콘솔 서버
인프라
공용(PEP/ERCS)
Tor1, Tor2 라우터 IP SLB와 Switch/Router 간의 BGP 피어링에 사용되는 스위치의 루프백 인터페이스입니다.
스토리지 지역 외부로 라우팅되지 않는 개인 IP
내부 VIP 지역 외부로 라우팅되지 않는 개인 IP
공용 VIP 네트워크 컨트롤러에서 관리하는 테넌트 네트워크 주소 공간입니다.
Public-Admin-VIP 내부 VIP 및 Azure Stack 인프라와 통신하는 데 필요한 테넌트 풀의 작은 주소 하위 집합
고객/인터넷 고객 정의 네트워크. Azure Stack 0.0.0.0의 관점에서 테두리 디바이스입니다.
0.0.0.0
거부 고객은 관리 기능을 사용하도록 추가 네트워크를 허용하도록 이 필드를 업데이트할 수 있습니다.
허락하다 허용 트래픽은 사용하도록 설정되어 있지만 SSH는 기본적으로 액세스가 비활성화되어 있습니다. 고객은 SSH 서비스를 사용하도록 선택할 수 있습니다.
경로 없음 경로는 Azure Stack 환경 외부에서 전파되지 않습니다.
MUX ACL Azure Stack MUX ACL이 활용됩니다.
해당 사항 없음 VLAN ACL의 일부가 아닙니다.

IP 주소 할당

배포 워크시트에서 Azure Stack 배포 프로세스를 지원하기 위해 다음 네트워크 주소를 제공하라는 메시지가 표시됩니다. 배포 팀은 배포 워크시트 도구를 사용하여 IP 네트워크를 시스템에 필요한 모든 작은 네트워크로 분리합니다. 각 네트워크에 대한 자세한 설명은 위의 "네트워크 디자인 및 인프라" 섹션을 참조하세요.

이 예제에서는 배포 워크시트의 네트워크 설정 탭을 다음 값으로 채웁니다.

  • BMC 네트워크: 10.193.132.0 /27

  • 프라이빗 네트워크 스토리지 네트워크 및 내부 VIP: 11.11.128.0 /24

  • 인프라 네트워크: 12.193.130.0 /24

  • 공용 VIP(가상 IP) 네트워크: 13.200.132.0 /24

  • 인프라 네트워크 전환: 10.193.132.128 /26

배포 워크시트 도구의 생성 함수를 실행하면 스프레드시트에 두 개의 새 탭이 만들어집니다. 첫 번째 탭은 서브넷 요약이며, 시스템에 필요한 모든 네트워크를 만들기 위해 슈퍼넷이 분할된 방법을 보여 줍니다. 아래 예제에서는 이 탭에 있는 열의 하위 집합만 있습니다. 실제 결과에는 나열된 각 네트워크에 대한 자세한 내용이 있습니다.

서브넷 유형 이름 IPv4 서브넷 IPv4 주소
테두리 P2P 링크 P2P_Border/Border1_To_Rack1/TOR1 10.193.132.128/30 4
테두리 P2P 링크 P2P_Border/Border1_To_Rack1/TOR2 10.193.132.132/30 4
테두리 P2P 링크 P2P_Border/Border2_To_Rack1/TOR1 10.193.132.136/30 4
테두리 P2P 링크 P2P_Border/Border2_To_Rack1/TOR2 10.193.132.140/30 4
테두리 P2P 링크 P2P_Rack1/TOR1_To_Rack1/BMC 10.193.132.144/30 4
테두리 P2P 링크 P2P_Rack1/TOR2_To_Rack1/BMC 10.193.132.148/30 4
Rack1 루프백 Loopback0_Rack1_TOR1 10.193.132.152/32 1
Rack1 루프백 Loopback0_Rack1_TOR2 10.193.132.153/32 1
Rack1 루프백 Loopback0_Rack1_BMC 10.193.132.154/32 1
Rack1 P2P 링크 P2P_Rack1/TOR1-ibgp-1_To_Rack1/TOR2-ibgp-1 10.193.132.156/30 4
Rack1 P2P 링크 P2P_Rack1/TOR1-ibgp-2_To_Rack1/TOR2-ibgp-2 10.193.132.160/30 4
Rack1 가상 LAN (VLAN) BMCMgmt 10.193.132.0/27 32
Rack1 가상 LAN (VLAN) SwitchMgmt 10.193.132.168/29 8 (여덟)
Rack1 가상 LAN (VLAN) CL01-RG01-SU01-Storage 11.11.128.0/25 128
Rack1 가상 LAN (VLAN) CL01-RG01-SU01-Infra 12.193.130.0/24 256
Rack1 기타 CL01-RG01-SU01-VIPS 13.200.132.0/24 256
Rack1 기타 CL01-RG01-SU01-InternalVIPS 11.11.128.128/25 128

두 번째 탭은 IP 주소 사용량 이며 IP 사용 방법을 보여 줍니다.

BMC 네트워크

BMC 네트워크의 슈퍼넷에는 최소한 /26 네트워크가 필요합니다. 게이트웨이는 네트워크의 첫 번째 IP와 랙의 BMC 디바이스를 사용합니다. 하드웨어 수명 주기 호스트에는 이 네트워크에 할당된 여러 주소가 있으며 랙을 배포, 모니터링 및 지원하는 데 사용할 수 있습니다. 이러한 IP는 DVM, InternalAccessible 및 ExternalAccessible의 3개 그룹으로 배포됩니다.

  • 랙: Rack1
  • 이름: BMCMgmt
할당 대상 IPv4 주소
네트워크 10.193.132.0
게이트웨이 10.193.132.1
HLH-BMC 10.193.132.2
AzS-Node01 10.193.132.3
AzS-Node02 10.193.132.4
AzS-Node03 10.193.132.5
AzS-Node04 10.193.132.6
외부접근가능-1 10.193.132.19
외부 접근 가능-2 10.193.132.20
ExternalAccessible-3 10.193.132.21
외부 접근 가능-4 10.193.132.22
ExternalAccessible-5 (외부 접근 가능 - 5) 10.193.132.23
InternalAccessible-1 10.193.132.24
InternalAccessible-2 10.193.132.25
InternalAccessible-3 10.193.132.26
내부접근가능-4 10.193.132.27
InternalAccessible-5 10.193.132.28
CL01-RG01-SU01-DVM00 10.193.132.29
HLH-OS 10.193.132.30
브로드캐스트 10.193.132.31

스토리지 네트워크

스토리지 네트워크는 프라이빗 네트워크이며 랙을 넘어 라우팅할 수 없습니다. 프라이빗 네트워크 슈퍼넷의 상반기이며 아래 표와 같이 배포된 스위치에서 사용됩니다. 게이트웨이는 서브넷의 첫 번째 IP입니다. 내부 VIP에 사용되는 후반은 Azure Stack SLB에서 관리하는 개인 주소 풀이며 IP 주소 사용 탭에 표시되지 않습니다. 이러한 네트워크는 Azure Stack을 지원하며 TOR 스위치에는 이러한 네트워크가 솔루션 외부에서 보급 및/또는 액세스되지 않도록 하는 ACL이 있습니다.

  • 랙: Rack1
  • 이름: CL01-RG01-SU01-Storage
할당 대상 IPv4 주소
네트워크 11.11.128.0
게이트웨이 11.11.128.1
TOR1 11.11.128.2
TOR2 11.11.128.3
브로드캐스트 11.11.128.127

Azure Stack 인프라 네트워크

인프라 네트워크 슈퍼넷에는 /24 네트워크가 필요하며 배포 워크시트 도구가 실행된 후에도 계속 /24가 됩니다. 게이트웨이는 서브넷의 첫 번째 IP가 됩니다.

  • 랙: Rack1
  • 이름: CL01-RG01-SU01-Infra
할당 대상 IPv4 주소
네트워크 12.193.130.0
게이트웨이 12.193.130.1
TOR1 12.193.130.2
TOR2 12.193.130.3
브로드캐스트 12.193.130.255

인프라 네트워크 전환

인프라 네트워크는 물리적 스위치 인프라에서 사용하는 여러 네트워크로 나뉩니다. 이는 Azure Stack 소프트웨어만 지원하는 Azure Stack 인프라와 다릅니다. 스위치 인프라 네트워크는 물리적 스위치 인프라만 지원합니다. 인프라에서 지원하는 네트워크는 다음과 같습니다.

이름 IPv4 서브넷
P2P_Border/Border1_To_Rack1/TOR1 10.193.132.128/30
P2P_Border/Border1_To_Rack1/TOR2 10.193.132.132/30
P2P_Border/Border2_To_Rack1/TOR1 10.193.132.136/30
P2P_Border/Border2_To_Rack1/TOR2 10.193.132.140/30
P2P_Rack1/TOR1_To_Rack1/BMC 10.193.132.144/30
P2P_Rack1/TOR2_To_Rack1/BMC 10.193.132.148/30
Loopback0_Rack1_TOR1 10.193.132.152/32
Loopback0_Rack1_TOR2 10.193.132.153/32
Loopback0_Rack1_BMC 10.193.132.154/32
P2P_Rack1/TOR1-ibgp-1_To_Rack1/TOR2-ibgp-1 10.193.132.156/30
P2P_Rack1/TOR1-ibgp-2_To_Rack1/TOR2-ibgp-2 10.193.132.160/30
SwitchMgmt 10.193.132.168/29
  • P2P(지점 간): 이러한 네트워크는 모든 스위치 간의 연결을 허용합니다. 서브넷 크기는 각 P2P에 대한 /30 네트워크입니다. 가장 낮은 IP는 항상 스택의 업스트림(북쪽) 디바이스에 할당됩니다.

  • 루프백: 이러한 주소는 랙에 사용되는 각 스위치에 할당된 /32 네트워크입니다. 테두리 디바이스는 Azure Stack 솔루션의 일부가 될 것으로 예상되지 않으므로 루프백이 할당되지 않습니다.

  • 스위치 Mgmt 또는 스위치 관리: 이 /29 네트워크는 랙에 있는 스위치의 전용 관리 인터페이스를 지원합니다. IP는 다음과 같이 할당됩니다. 이 표는 배포 워크시트의 IP 주소 사용 탭에서도 찾을 수 있습니다.

  • 랙: Rack1

  • 이름: SwitchMgmt

할당 대상 IPv4 주소
네트워크 10.193.132.168
게이트웨이 10.193.132.169
TOR1 10.193.132.170
TOR2 10.193.132.171
브로드캐스트 10.193.132.175

환경 준비

하드웨어 수명 주기 호스트 이미지에는 물리적 네트워크 스위치 구성을 생성하는 데 사용되는 필수 Linux 컨테이너가 포함되어 있습니다.

최신 파트너 배포 도구 키트에는 최신 컨테이너 이미지가 포함됩니다. 업데이트된 스위치 구성을 생성해야 하는 경우 하드웨어 수명 주기 호스트의 컨테이너 이미지를 바꿀 수 있습니다.

컨테이너 이미지를 업데이트하는 단계는 다음과 같습니다.

  1. 컨테이너 이미지 다운로드

  2. 다음 위치에서 컨테이너 이미지 바꾸기

구성 생성

여기서는 JSON 파일 및 네트워크 스위치 구성 파일을 생성하는 단계를 안내합니다.

  1. 배포 워크시트 열기

  2. 모든 탭에서 모든 필수 필드 채우기

  3. 배포 워크시트에서 "Generate" 함수를 호출합니다.
    생성된 IP 서브넷 및 할당을 표시하는 두 개의 추가 탭이 만들어집니다.

  4. 데이터를 검토하고 확인되면 "Export" 함수를 호출합니다.
    JSON 파일이 저장될 폴더를 제공하라는 메시지가 표시됩니다.

  5. Invoke-SwitchConfigGenerator.ps1을 사용하여 컨테이너를 실행합니다. 이 스크립트를 실행하려면 관리자 권한 PowerShell 콘솔이 필요하며 다음 매개 변수를 실행해야 합니다.

    • ContainerName – 스위치 구성을 생성할 컨테이너의 이름입니다.

    • ConfigurationData – 배포 워크시트에서 내보낸 ConfigurationData.json 파일의 경로입니다.

    • OutputDirectory – 출력 디렉터리의 경로입니다.

    • 오프라인 – 스크립트가 오프라인 모드에서 실행된다는 신호를 표시합니다.

    C:\\WINDOWS\\system32\> .\\Invoke-SwitchConfigGenerate.ps1 -ContainerName generalonrampacr.azurecr.io/master -ConfigurationData .\\ConfigurationData.json -OutputDirectory c:\\temp -Offline
    

스크립트가 완료되면 워크시트에 사용되는 접두사를 사용하여 zip 파일을 생성합니다.

C:\WINDOWS\system32> .\Invoke-SwitchConfigGenerate.ps1 -ContainerName generalonrampacr.azurecr.io/master -ConfigurationData .\ConfigurationData.json -OutputDirectory c:\temp -Offline                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         
Seconds : 2
Section : Validation
Step    : WindowsRequirement
Status  : True
Detail  : @{CurrentImage=10.0.18363.0}


Seconds : 2
Section : Validation
Step    : DockerService
Status  : True
Detail  : @{Status=Running}


Seconds : 9
Section : Validation
Step    : DockerSetup
Status  : True
Detail  : @{CPU=4; Memory=4139085824; OS=Docker Desktop; OSType=linux}


Seconds : 9
Section : Validation
Step    : DockerImage
Status  : True
Detail  : @{Container=generalonrampacr.azurecr.io/master:1.1910.78.1}


Seconds : 10
Section : Run
Step    : Container
Status  : True
Detail  : @{ID=2a20ba622ef9f58f9bcd069c3b9af7ec076bae36f12c5653f9469b988c01706c; ExternalPort=32768}


Seconds : 38
Section : Generate
Step    : Config
Status  : True
Detail  : @{OutputFile=c:\temp\N22R19.zip}


Seconds : 38
Section : Exit
Step    : StopContainer
Status  : True
Detail  : @{ID=2a20ba622ef9f58f9bcd069c3b9af7ec076bae36f12c5653f9469b988c01706c}

사용자 지정 구성

Azure Stack 스위치 구성에 대한 몇 가지 환경 설정을 수정할 수 있습니다. 템플릿에서 변경할 수 있는 설정을 식별할 수 있습니다. 이 문서에서는 이러한 사용자 지정 가능한 각 설정과 변경 내용이 Azure Stack에 미치는 영향을 설명합니다. 이러한 설정에는 암호 업데이트, syslog 서버, SNMP 모니터링, 인증 및 액세스 제어 목록이 포함됩니다.

Azure Stack 솔루션을 배포하는 동안 OEM(원래 장비 제조업체)은 TOR 및 BMC 모두에 대한 스위치 구성을 만들고 적용합니다. OEM은 Azure Stack 자동화 도구를 사용하여 이러한 디바이스에서 필요한 구성이 올바르게 설정되어 있는지 확인합니다. 구성은 Azure Stack 배포 워크시트의 정보를 기반으로 합니다.

참고 항목

OEM 또는 Microsoft Azure Stack 엔지니어링 팀의 동의 없이 구성을 변경하지 마세요 . 네트워크 디바이스 구성을 변경하면 Azure Stack 인스턴스의 네트워크 문제 해결 또는 작업에 큰 영향을 미칠 수 있습니다. 네트워크 디바이스에서 이러한 기능에 대한 자세한 내용, 이러한 변경 방법은 OEM 하드웨어 공급자 또는 Microsoft 지원에 문의하세요. OEM에는 Azure Stack 배포 워크시트를 기반으로 자동화 도구에서 만든 구성 파일이 있습니다.

그러나 네트워크 스위치의 구성에서 추가, 제거 또는 변경할 수 있는 몇 가지 값이 있습니다.

암호 업데이트

운영자는 언제든지 네트워크 스위치의 모든 사용자에 대한 암호를 업데이트할 수 있습니다. Azure Stack 시스템에 대한 정보를 변경하거나 Azure Stack에서 비밀 회전 단계를 사용하기 위한 요구 사항은 없습니다.

Syslog 서버

운영자는 스위치 로그를 해당 데이터 센터의 syslog 서버로 리디렉션할 수 있습니다. 이 구성을 사용하여 특정 시점의 로그를 문제 해결에 사용할 수 있는지 확인합니다. 기본적으로 로그는 스위치에 저장됩니다. 로그 저장 용량이 제한됩니다. 스위치 관리 액세스에 대한 사용 권한을 구성하는 방법에 대한 개요는 Access 제어 목록 업데이트 섹션을 확인하세요.

SNMP 모니터링

운영자는 간단한 SNMP(네트워크 관리 프로토콜) v2 또는 v3을 구성하여 네트워크 디바이스를 모니터링하고 데이터 센터의 네트워크 모니터링 애플리케이션에 트랩을 보낼 수 있습니다. 보안상의 이유로 SNMPv3은 v2보다 더 안전하므로 사용합니다. 필요한 MIB 및 구성은 OEM 하드웨어 공급자에게 문의하세요. 스위치 관리 액세스에 대한 사용 권한을 구성하는 방법에 대한 개요는 Access 제어 목록 업데이트 섹션을 확인하세요.

인증

운영자는 네트워크 디바이스에서 인증을 관리하도록 RADIUS 또는 TACACS를 구성할 수 있습니다. 지원되는 방법과 구성이 필요한 경우 OEM 하드웨어 공급자에게 문의하세요. 스위치 관리 액세스에 대한 권한을 구성하는 방법에 대한 개요는 Access 제어 목록 업데이트 섹션을 확인하세요.

액세스 제어 목록 업데이트

운영자는 신뢰할 수 있는 데이터 센터 네트워크 범위에서 네트워크 디바이스 관리 인터페이스 및 하드웨어 수명 주기 호스트(HLH)에 대한 액세스를 허용하도록 일부 ACL(액세스 제어 목록)을 변경할 수 있습니다. 연산자는 연결할 수 있는 구성 요소와 위치에서 선택할 수 있습니다. 운영자는 액세스 제어 목록을 사용하여 특정 네트워크 범위 내의 관리 jumpbox VM이 스위치 관리 인터페이스 및 HLH OS 및 HLH BMC에 액세스하도록 허용할 수 있습니다.

자세한 내용은 물리적 스위치 액세스 제어 목록을 참조 하세요.

TACACS, RADIUS 및 Syslog

Azure Stack 솔루션은 스위치 및 라우터와 같은 디바이스의 액세스 제어를 위한 TACACS 또는 RADIUS 솔루션이나 스위치 로그를 캡처하는 Syslog 솔루션과 함께 제공되지 않지만 이러한 모든 디바이스는 이러한 서비스를 지원합니다. 사용자 환경의 기존 TACACS, RADIUS 및/또는 Syslog 서버와 통합할 수 있도록 엔지니어가 고객의 요구에 맞게 스위치를 사용자 지정할 수 있도록 네트워크 스위치 구성과 함께 추가 파일을 제공합니다.

다음 단계

네트워크 통합