간단한 탑재 및 SAP 애플리케이션용 SLES VM의 NFS를 사용하는 고가용성 SAP NetWeaver

아티클
05/06/2024

이 문서에서는 Azure VM(Virtual Machines)을 배포 및 구성하고, 클러스터 프레임워크를 설치하고, 간단한 탑재 구조로 HA(고가용성) SAP NetWeaver 컴퓨터를 설치하는 방법을 설명합니다. 다음 Azure 네이티브 NFS(네트워크 파일 시스템) 서비스 중 하나를 사용하여 제시된 아키텍처를 구현할 수 있습니다.

간단한 탑재 구성은 SAP 애플리케이션 15용 SLES를 새로 구성할 때 기본값이 될 것으로 예상됩니다.

필수 조건

다음 가이드에는 NetWeaver HA 시스템을 설정하는 데 필요한 모든 정보가 포함되어 있습니다.

SAP S/4 HANA - 단순 탑재를 사용하여 복제 2 고가용성 클러스터를 큐에 넣기
ASCS(ABAP SAP Central Services)/ERS HA 설정을 위한 파일 시스템 리소스 사용 불가
SAP Note 1928533, 다음 항목을 포함합니다.
- SAP 소프트웨어 배포에 지원되는 Azure VM 크기 목록
- Azure VM 크기에 대한 중요한 용량 정보
- 지원되는 SAP 소프트웨어, OS(운영 체제) 및 조합
- Microsoft Azure에서 Windows 및 Linux에 필요한 SAP 커널 버전
SAP Note 2015553, Azure에서 SAP 지원 SAP 소프트웨어 배포를 위한 필수 조건을 나열합니다.
SAP Note 2205917, SAP 애플리케이션용 SLES(SUSE Linux Enterprise Server)에 권장되는 OS 설정이 나와 있습니다.
SAP Note 2178632, Azure에서 SAP에 대해 보고된 모든 모니터링 메트릭에 대한 자세한 정보를 포함하고 있습니다.
SAP Note 2191498, Azure의 Linux용 필수 SAP 호스트 에이전트 버전을 포함하고 있습니다.
SAP Note 2243692, Azure의 Linux에 대한 SAP 라이선스에 대한 정보를 포함하고 있습니다.
SAP Note 2578899, SUSE Linux Enterprise Server 15에 대한 일반 정보를 포함하고 있습니다.
SAP Note 1275776, SAP 환경용 SUSE Linux Enterprise Server 준비에 대한 정보를 포함하고 있습니다.
SAP Note 1999351은 SAP용 Azure 고급 모니터링 확장을 위한 추가 문제 해결 정보를 포함하고 있습니다.
Linux용 필수 SAP Notes가 모두 포함된 SAP Community Wiki
Linux에서 SAP용 Azure Virtual Machines 계획 및 구현
Linux에서 SAP용 Azure Virtual Machines 배포
Linux에서 SAP용 Azure Virtual Machines DBMS 배포
SUSE SAP HA 모범 사례 가이드
SUSE High Availability Extension 릴리스 정보
Azure Files 설명서
NetApp NFS 모범 사례

개요

이 문서에서는 간단한 탑재 구조를 사용하는 ASCS의 고가용성 구성에 대해 설명합니다. SAP 애플리케이션 계층을 배포하려면 환경에 /sapmnt/SID, /usr/sap/SID 및 /usr/sap/trans와 같은 가용성이 높은 공유 디렉터리가 필요합니다. 이러한 파일 시스템은 Azure Files의 NFS 또는Azure NetApp Files에 배포할 수 있습니다.

SCS(SAP Central Services) 및 ASCS와 같은 단일 장애 지점 구성 요소를 보호하려면 여전히 Pacemaker 클러스터가 필요합니다.

단순 탑재 배포를 사용하는 기존 Pacemaker 클러스터 구성과 비교하여 클러스터는 파일 시스템을 관리하지 않습니다. 이 구성은 SAP 애플리케이션용 SLES 15 이상에서만 지원됩니다. 이 문서에서는 데이터베이스 계층을 자세히 다루지 않습니다.

구성 예 및 설치 명령은 다음 인스턴스 번호를 사용합니다.

인스턴스 이름	인스턴스 번호
ASCS	00
ERS(Enqueue Replication Server)	01
PAS(기본 애플리케이션 서버)	02
AAS(추가 애플리케이션 서버)	03
SAP 시스템 식별자	NW1

Important

단순 탑재 구조의 구성은 SAP 애플리케이션용 SLES 15 이상 릴리스에서만 지원됩니다.

간단한 탑재와 NFS를 사용하는 SAP NetWeaver 고가용성을 보여 주는 다이어그램

인프라 준비

SAP 인스턴스의 리소스 에이전트는 SAP 애플리케이션의 SUSE Linux Enterprise Server에 포함되어 있습니다. SAP 애플리케이션 12 또는 15용 SUSE Linux Enterprise Server에 대한 이미지는 Azure Marketplace에서 사용할 수 있습니다. 이미지를 사용하여 새 VM을 배포할 수 있습니다.

Azure Portal을 통해 수동으로 Linux VM 배포

이 문서에서는 리소스 그룹, Azure Virtual Network 및 서브넷을 이미 배포했다고 가정합니다.

SAP 애플리케이션용 SLES 이미지를 사용하여 가상 머신을 배포합니다. SAP 시스템에 지원되는 적합한 버전의 SLES 이미지를 선택합니다. 가상 머신 확장 집합, 가용성 영역 또는 가용성 집합 같은 배포 옵션 중 하나에서 VM을 선택합니다.

Azure Load Balancer 구성

VM 구성 중에 네트워킹 섹션에서 기존 부하 분산 장치를 만들거나 선택할 수 있는 옵션이 있습니다. 아래 단계에 따라 SAP ASCS 및 SAP ERS의 고가용성 설정에 대한 표준 부하 분산 장치를 구성합니다.

부하 분산 장치 만들기 가이드를 따라 Azure Portal을 사용하여 고가용성 SAP 시스템용 표준 부하 분산 장치를 설정합니다. 부하 분산 장치를 설정하는 동안 다음 사항을 고려합니다.

프런트 엔드 IP 구성: 두 개의 프런트 엔드 IP(ASCS용 및 ERS용)를 만듭니다. ASCS/ERS 가상 머신과 동일한 가상 네트워크 및 서브넷을 선택합니다.
백 엔드 풀: 백 엔드 풀을 만들고 ASCS 및 ERS VM을 추가합니다.
인바운드 규칙: ASCS용과 ERS용으로 하나씩 두 개의 부하 분산 규칙을 만듭니다. 두 부하 분산 규칙 모두에 대해 동일한 단계를 수행합니다.
- 프런트 엔드 IP 주소: 프런트 엔드 IP 선택
- 백 엔드 풀: 백 엔드 풀 선택
- "고가용성 포트" 확인
- 프로토콜: TCP
- 상태 프로브: 아래 세부 정보로 상태 프로브 만들기(ASCS 및 ERS 모두에 적용)
  - 프로토콜: TCP
  - 포트: [예: ASCS의 경우 620<인스턴스 번호>, ERS의 경우 621<인스턴스 번호>]
  - 간격: 5
  - 프로브 임계값: 2
- 유휴 제한 시간(분): 30
- "부동 IP 사용" 확인

참고 항목

상태 프로브 구성 속성 numberOfProbes(포털에서 “비정상 임계값”으로 알려짐)는 적용되지 않습니다. 따라서 성공하거나 실패한 연속 프로브 수를 제어하려면 "probeThreshold" 속성을 2로 설정합니다. 현재 Azure Portal을 사용하여 이 속성을 설정할 수 없으므로 Azure CLI 또는 PowerShell 명령을 사용합니다.

Azure CLI를 사용하여 SAP 시스템의 고가용성 설정을 위한 Azure 표준 부하 분산 장치를 만들려면 아래 단계를 수행합니다.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

전체 CLI 코드를 보려면 확장

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Azure PowerShell을 사용하여 SAP 시스템의 고가용성 설정을 위한 Azure 표준 부하 분산 장치를 만들려면 아래 단계를 수행합니다.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

전체 PowerShell 코드를 보려면 확장합니다.

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Important

부동 IP 주소는 부하 분산 시나리오의 NIC(네트워크 인터페이스 카드) 보조 IP 구성에서 지원되지 않습니다. 자세한 내용은 Azure Load Balancer 제한 사항을 참조하세요. VM에 다른 IP 주소가 필요한 경우 두 번째 NIC를 배포합니다.

참고 항목

공용 IP 주소가 없는 VM이 내부(공용 IP 주소 없음) 표준 Azure Load Balancer의 백 엔드 풀에 배치되면 공용 엔드포인트에 대한 라우팅을 허용하도록 추가 구성을 수행하지 않는 한 아웃바운드 인터넷 연결이 이루어지지 않습니다. 아웃바운드 연결을 설정하는 방법에 대한 자세한 내용은 SAP 고가용성 시나리오에서 Azure 표준 Load Balancer를 사용하는 Virtual Machines에 대한 퍼블릭 엔드포인트 연결을 참조하세요.

Important

Azure Load Balancer 뒤에 배치되는 Azure VM에서 TCP 타임스탬프를 사용하도록 설정하면 안 됩니다. TCP 타임스탬프를 사용하도록 설정하면 상태 프로브에 오류가 발생합니다. net.ipv4.tcp_timestamps 매개 변수를 0로 설정합니다. 자세한 내용은 Load Balancer 상태 프로브를 참조하세요.
saptune이 수동으로 설정된 net.ipv4.tcp_timestamps 값을 0에서 다시 1로 변경하지 못하게 하려면 saptune 버전을 3.1.1 이상으로 업데이트해야 합니다. 자세한 내용은 saptune 3.1.1 – 업데이트가 필요하나요?를 참조하세요.

NFS 배포

SAP 공유 디렉터리를 호스트하기 위해 Azure 네이티브 NFS를 배포하는 두 가지 옵션이 있습니다. Azure Files에 NFS 파일 공유를 배포하거나 Azure NetApp Files에 NFS 볼륨을 배포할 수 있습니다. Azure Files의 NFS는 NFSv4.1 프로토콜을 지원합니다. Azure NetApp Files의 NFS는 NFSv4.1 및 NFSv3을 모두 지원합니다.

다음 섹션에서는 NFS 배포 단계를 설명합니다. 옵션 중 하나만 선택합니다.

Azure Files 스토리지 계정 및 NFS 공유 배포

Azure Files의 NFS는 Azure Files 프리미엄 스토리지 위에서 실행됩니다. Azure Files의 NFS를 설정하기 전에 NFS 공유를 만드는 방법을 참조하세요.

Azure 지역 내에는 중복성에 대한 두 가지 옵션이 있습니다.

LRS(로컬 중복 스토리지)는 로컬, 영역 내 동기 데이터 복제를 제공합니다.
ZRS(영역 중복 스토리지)는 지역에 있는 세 개의 가용성 영역에서 데이터를 동기적으로 복제합니다.

선택한 Azure 지역이 적절한 중복성으로 Azure Files의 NFSv4.1을 제공하는지 확인합니다. Premium Files Storage에 대해 Azure 지역별 Azure Files 가용성을 검토합니다. 시나리오가 ZRS를 활용하는 경우 ZRS를 사용하는 프리미엄 파일 공유가 Azure 지역에서 지원되는지 확인합니다.

Azure 프라이빗 엔드포인트를 통해 Azure Storage 계정에 액세스하는 것이 좋습니다. Azure Files 스토리지 계정 엔드포인트와 NFS 공유를 탑재해야 하는 VM을 동일한 Azure Virtual Network 또는 피어링된 Azure Virtual Network에 배포해야 합니다.

sapnfsafs라는 Azure Files 스토리지 계정을 배포합니다. 이 예에서는 ZRS를 사용합니다. 프로세스에 익숙하지 않은 경우 Azure Portal에 대한 스토리지 계정 만들기를 참조하세요.
기본 사항 탭에서 다음 설정을 사용합니다.
1. 스토리지 계정 이름에 sapnfsafs를 입력합니다.
2. 성능에 대해 프리미엄을 선택합니다.
3. 프리미엄 계정 유형에 대해 FileStorage를 선택합니다.
4. 복제에 대해 ZRS(영역 중복)를 선택합니다.
다음을 선택합니다.
고급 탭에서 REST API에 대한 보안 전송 필요를 선택 취소합니다. 이 옵션을 선택 취소하지 않으면 NFS 공유를 VM에 탑재할 수 없습니다. 탑재 작업 시간이 초과됩니다.
다음을 선택합니다.
네트워킹 섹션에서 다음 설정을 구성합니다.
1. 네트워킹 연결에서 연결 방법으로 프라이빗 엔드포인트를 선택합니다.
2. 프라이빗 엔드포인트에서 프라이빗 엔드포인트 추가를 선택합니다.
프라이빗 엔드포인트 만들기 창에서 구독, 리소스 그룹 및 위치를 선택합니다. 그런 후 다음을 선택합니다.
1. 이름에 sapnfsafs_pe를 입력합니다.
2. 스토리지 하위 리소스에 대해 파일을 선택합니다.
3. 네트워킹에서 가상 네트워크에 대해 사용할 가상 네트워크와 서브넷을 선택합니다. 다시 말하지만, SAP VM이 있는 가상 네트워크 또는 피어링된 가상 네트워크를 사용할 수 있습니다.
4. 프라이빗 DNS 통합에서 프라이빗 DNS 영역과 통합에 대해 기본 옵션인 예를 적용합니다. 프라이빗 DNS 영역을 선택해야 합니다.
5. 확인을 선택합니다.
네트워킹 탭에서 다시 다음을 선택합니다.
데이터 보호 탭에서 모든 기본 설정을 유지합니다.
검토 + 만들기를 선택하여 구성의 유효성을 검사합니다.
유효성 검사가 완료될 때까지 기다립니다. 계속하기 전에 문제를 해결합니다.
검토 + 만들기 탭에서 만들기를 선택합니다.

다음으로, 만든 스토리지 계정에 NFS 공유를 배포합니다. 이 예제에는 두 개의 NFS 공유인 sapnw1 및 saptrans가 있습니다.

Azure Portal에 로그인합니다.
스토리지 계정을 선택하거나 검색합니다.
스토리지 계정 페이지에서 sapnfsafs를 선택합니다.
sapnfsafs의 리소스 메뉴에 있는 데이터 스토리지에서 파일 공유를 선택합니다.
파일 공유 페이지에서 파일 공유를 선택한 후 다음을 수행합니다.
1. 이름에 sapnw1, saptrans를 입력합니다.
2. 적절한 공유 크기를 선택합니다. 공유에 저장된 데이터의 크기, IOPS(초당 I/O) 및 처리량 요구 사항을 고려합니다. 자세한 내용은 Azure 파일 공유 대상을 참조하세요.
3. 프로토콜로 NFS를 선택합니다.
4. 루트 Squash 없음을 선택합니다. 그렇지 않으면 VM에 공유를 탑재할 때 파일 소유자 또는 그룹을 볼 수 없습니다.

NFS를 통해 탑재할 필요가 없는 SAP 파일 시스템은 Azure 디스크 스토리지에 배포할 수도 있습니다. 이 예제에서는 Azure 디스크 스토리지에 /usr/sap/NW1/D02 및 /usr/sap/NW1/D03을 배포할 수 있습니다.

Azure Files 공유의 NFS에 대한 중요한 고려 사항

Azure Files의 NFS를 통해 배포를 계획할 때는 다음과 같은 중요한 사항을 고려하세요.

최소 공유 크기는 100GiB입니다. 프로비저닝된 공유 용량에 대해서만 비용을 지불합니다.
용량 요구 사항뿐만 아니라 IOPS 및 처리량 요구 사항에 따라 NFS 공유 크기를 정합니다. 자세한 내용은 Azure 파일 공유 대상을 참조하세요.
워크로드를 테스트하여 크기 조정의 유효성을 검사하고 성능 목표를 충족하는지 확인합니다. Azure Files의 NFS 관련 성능 문제를 해결하는 방법을 알아보려면 Azure 파일 공유 성능 문제 해결을 참조하세요.
SAP J2EE 시스템의 경우 Azure Files의 NFS에 /usr/sap/<SID>/J<nr>을 배치하는 것은 지원되지 않습니다.
SAP 시스템에 일괄 작업 로드가 많은 경우 수백만 개의 작업 로그가 있을 수 있습니다. SAP 일괄 처리 작업 로그가 파일 시스템에 저장되어 있는 경우 sapmnt 공유의 크기 조정에 특히 주의해야 합니다. SAP_BASIS 7.52부터 일괄 작업 로그의 기본 동작은 데이터베이스에 저장됩니다. 자세한 내용은 데이터베이스의 작업 로그를 참조하세요.
각 SAP 시스템에 대해 별도의 sapmnt 공유를 배포합니다.
인터페이스와 같은 다른 작업에 sapmnt 공유를 사용하지 마세요.
인터페이스와 같은 다른 작업에 saptrans 공유를 사용하지 마세요.
단일 스토리지 계정에 너무 많은 SAP 시스템의 공유를 통합하지 않도록 합니다. 스토리지 계정에 대한 확장성 및 성능 대상도 있습니다. 스토리지 계정에 대한 제한을 초과하지 않도록 주의해야 합니다.
일반적으로 단일 스토리지 계정에 5개를 초과하는 SAP 시스템에 대한 공유를 통합하지 마세요. 이 지침은 스토리지 계정 제한을 초과하지 않도록 방지하고 성능 분석을 간소화하는 데 도움이 됩니다.
일반적으로 동일한 스토리지 계정의 비프로덕션 및 프로덕션 SAP 시스템에 대해 sapmnt와 같은 공유를 혼합하지 않도록 합니다.
NFS 클라이언트 개선 사항을 활용하려면 SLES 15 SP2 이상에 배포하는 것이 좋습니다.
프라이빗 엔드포인트를 사용합니다. 영역 오류가 발생할 가능성이 낮으면 NFS 세션이 자동으로 정상 영역으로 리디렉션됩니다. VM에서 NFS 공유를 다시 탑재할 필요가 없습니다.
가용성 영역에 VM을 배포하는 경우 ZRS를 지원하는 Azure 지역의 ZRS에서 Storage 계정을 사용합니다.
Azure Files는 현재 재해 복구 시나리오에 대해 지역 간 자동 복제를 지원하지 않습니다.

Azure NetApp Files 리소스 배포

선택한 Azure 지역에서 Azure NetApp Files 서비스를 사용할 수 있는지 확인합니다.
선택한 Azure 지역에서 NetApp 계정을 만듭니다. 다음 지침을 따릅니다.
Azure NetApp Files 용량 풀을 설정합니다. 다음 지침을 따릅니다.

이 문서에 나온 SAP NetWeaver 아키텍처에서는 단일 Azure NetApp Files 용량 풀인 프리미엄 SKU를 사용합니다. Azure의 SAP NetWeaver 애플리케이션 워크로드에는 Azure NetApp Files 프리미엄 SKU가 권장됩니다.
이 지침에 설명된 대로 서브넷을 Azure NetApp Files에 위임합니다.
이 지침에 따라 Azure NetApp Files 볼륨을 배포합니다. 지정된 Azure NetApp Files 서브넷에 볼륨을 배포합니다. Azure NetApp 볼륨의 IP 주소는 자동으로 할당됩니다.

Azure NetApp Files 리소스와 Azure VM은 동일하거나 피어링된 Azure 가상 네트워크에 있어야 합니다. 이 예에서는 두 개의 Azure NetApp Files 볼륨(sapnw1 및 trans)을 사용합니다. 해당 탑재 지점에 탑재되는 파일 경로는 다음과 같습니다.
- 볼륨 sapnw1(nfs://10.27.1.5/sapnw1/sapmntNW1)
- 볼륨 sapnw1(nfs://10.27.1.5/sapnw1/usrsapNW1)
- 볼륨 trans(nfs://10.27.1.5/trans)

공유할 필요가 없는 SAP 파일 시스템은 Azure 디스크 스토리지에 배포할 수도 있습니다. 예를 들어 /usr/sap/NW1/D02 및 /usr/sap/NW1/D03는 Azure 디스크 스토리지로 배포할 수 있습니다.

NFS on Azure NetApp Files에 대한 중요한 고려 사항

SAP NetWeaver 고가용성 아키텍처용 Azure NetApp Files를 고려하는 경우 다음과 같은 중요 사항을 생각해봐야 합니다.

최소 용량 풀은 4TiB(테비바이트)입니다. 용량 풀의 크기는 1TiB 단위로 늘릴 수 있습니다.
최소 볼륨은 100GiB입니다.
Azure NetApp Files와 Azure NetApp Files 볼륨이 탑재된 모든 가상 머신은 동일한 Azure Virtual Network나 동일한 지역의 피어링된 가상 네트워크에 있어야 합니다. 동일한 지역에서 가상 네트워크 피어링을 통한 Azure NetApp Files 액세스가 지원됩니다. 전역 피어링을 통한 Azure NetApp Files 액세스는 아직 지원되지 않습니다.
선택한 가상 네트워크에 Azure NetApp Files로 위임된 서브넷이 있어야 합니다.
Azure NetApp Files 볼륨의 처리량 및 성능 특성은 Azure NetApp Files에 대한 서비스 수준에 설명된 대로 볼륨 할당량과 서비스 수준의 함수입니다. SAP용 Azure NetApp Files 볼륨의 크기를 조정할 때 결과 처리량이 애플리케이션의 요구 사항을 충족하는지 확인합니다.
Azure NetApp Files는 내보내기 정책을 제공합니다. 허용된 클라이언트 및 액세스 형식(예: 읽기/쓰기 또는 읽기 전용)을 제어할 수 있습니다.
Azure NetApp Files는 아직 영역을 인식하지 못합니다. 현재 Azure NetApp Files는 Azure 지역의 모든 가용성 영역에 배포되지 않습니다. 일부 Azure 지역에서 잠재적 대기 시간 영향을 염두에 두어야 합니다.
Azure NetApp Files 볼륨은 NFSv3 또는 NFSv4.1 볼륨으로 배포할 수 있습니다. 두 프로토콜 모두 SAP 애플리케이션 레이어(ASCS/ERS, SAP 애플리케이션 서버)에 대해 지원됩니다.

ASCS 설정

다음으로 SAP ASCS 및 ERS 인스턴스를 준비하고 설치합니다.

Pacemaker 클러스터 만들기

Azure의 SUSE Linux Enterprise Server에서 Pacemaker 설정 단계에 따라 SAP ASCS용 기본 Pacemaker 클러스터를 만듭니다.

설치 준비

다음 항목에는 접두사가 붙습니다.

[A]: 모든 노드에 적용 가능합니다.
[1]: 노드 1에만 적용됩니다.
[2]: 노드 2에만 적용됩니다.

[A] 최신 버전의 SUSE 커넥터를 설치합니다.
```
sudo zypper install sap-suse-cluster-connector
```
[A]sapstartsrv 리소스 에이전트를 설치합니다.
```
sudo zypper install sapstartsrv-resource-agents
```
[A] SAP 리소스 에이전트를 업데이트합니다.

이 문서에서 설명하는 구성을 사용하려면 resource-agents 패키지에 대한 패치가 필요합니다. 패치가 이미 설치되어 있는지 확인하려면 다음 명령을 사용합니다.
```
sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
```
출력은 다음 예와 유사해야 합니다.
```
<parameter name="IS_ERS" unique="0" required="0">;
```
grep 명령이 IS_ERS 매개 변수를 찾지 못하면 SUSE 다운로드 페이지에 나열된 패치를 설치해야 합니다.

Important

2021년 11월부터 sapstartsrv-resource-agents 버전 0.91 및 resource-agents 4.x 이상을 설치해야 합니다.

[A] 호스트 이름 확인을 설정합니다.

DNS 서버를 사용하거나 모든 노드에서 /etc/hosts를 수정할 수 있습니다. 다음 예제에서는 /etc/hosts 파일을 사용하는 방법을 보여 줍니다.

sudo vi /etc/hosts

/etc/hosts에 다음 줄을 삽입합니다. 사용자 환경에 맞게 IP 주소와 호스트 이름을 변경합니다.

 # IP address of cluster node 1
 10.27.0.6    sap-cl1
 # IP address of cluster node 2
 10.27.0.7     sap-cl2
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
 10.27.0.9   sapascs
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
 10.27.0.10    sapers

[A] SWAP 파일을 구성합니다.

sudo vi /etc/waagent.conf

# Check if the ResourceDisk.Format property is already set to y, and if not, set it.
ResourceDisk.Format=y

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with the ResourceDisk.SwapSizeMB property.
# The free space of resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

에이전트를 다시 시작하여 변경 내용을 활성화합니다.

sudo service waagent restart

Azure Files의 NFS를 사용하는 경우 SAP 디렉터리 준비

[1] NFS 공유에 SAP 디렉터리를 만듭니다.

VM 중 하나에 NFS 공유 sapnw1을 임시로 탑재하고 중첩 탑재 지점으로 사용할 SAP 디렉터리를 만듭니다.

# Temporarily mount the volume.
sudo mkdir -p /saptmp
sudo mount -t nfs sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] 공유 디렉터리를 만듭니다.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] 파일 시스템을 탑재합니다.

간단한 탑재 구성을 사용하면 Pacemaker 클러스터가 파일 시스템을 제어하지 않습니다.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1/ /usr/sap/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Azure NetApp Files에서 NFS를 사용하는 경우 SAP 디렉터리 준비

이 섹션의 지침은 NFSv4.1 프로토콜과 함께 Azure NetApp Files 볼륨을 사용하는 경우에만 적용됩니다. Azure NetApp Files NFSv4.1 볼륨이 탑재될 모든 VM에서 구성을 수행합니다.

[A] ID 매핑을 사용하지 않도록 설정합니다.

NFS 도메인 설정 확인 도메인이 기본 Azure NetApp Files 도메인 defaultv4iddomain.com으로 구성되어 있는지 확인합니다. 또한 매핑이 nobody로 설정되어 있는지 확인합니다.

sudo cat /etc/idmapd.conf
# Examplepython-azure-mgmt-compute
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

nfs4_disable_idmapping를 확인합니다. Y로 설정되어야 합니다.

nfs4_disable_idmapping이 있는 디렉터리 구조를 만들려면 mount 명령을 실행합니다. 커널 및 드라이버에 대한 액세스가 예약되어 있으므로 /sys/modules 아래에 디렉터리를 수동으로 만들 수 없습니다.

# Check nfs4_disable_idmapping. 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping
# If you need to set nfs4_disable_idmapping to Y:
mkdir /mnt/tmp
mount 10.27.1.5:/sapnw1 /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
# Make the configuration permanent.
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

[1] VM 중 하나에 Azure NetApp Files 볼륨을 임시로 탑재하고 SAP 디렉터리(파일 경로)를 만듭니다.

# Temporarily mount the volume.
sudo mkdir -p /saptmp
# If you're using NFSv3:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.27.1.5:/sapnw1 /saptmp
# If you're using NFSv4.1:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.27.1.5:/sapnw1 /saptmp
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] 공유 디렉터리를 만듭니다.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] 파일 시스템을 탑재합니다.

간단한 탑재 구성을 사용하면 Pacemaker 클러스터가 파일 시스템을 제어하지 않습니다.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3,hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

SAP NetWeaver ASCS 및 ERS 설치

[1] ASCS 인스턴스에 대한 가상 IP 리소스 및 상태 프로브를 만듭니다.

Important

최소 버전이 resource-agents-4.3.0184.6ee15eb2-4.13.1인 리소스 에이전트 패키지의 일부인 azure-lb 리소스 에이전트를 사용하는 것이 좋습니다.

sudo crm node standby sap-cl2   
sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
  params ip=10.27.0.9 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
  meta resource-stickiness=3000

클러스터 상태가 정상이며 모든 리소스가 시작되었는지 확인합니다. 리소스가 실행 중인 노드는 중요하지 않습니다.

sudo crm_mon -r
# Node sap-cl2: standby
# Online: [ sap-cl1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl1
# Resource Group: g-NW1_ASCS
#  nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#  vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1

[1] SAP NetWeaver ASCS를 첫 번째 노드에 루트로 설치합니다.

ASCS에 대한 부하 분산 장치 프런트 엔드 구성의 IP 주소에 매핑되는 가상 호스트 이름(예: sapascs, 10.27.0.9) 및 부하 분산 장치의 프로브에 사용한 인스턴스 번호(예: 00)를 사용합니다.

sapinst 매개 변수 SAPINST_REMOTE_ACCESS_USER를 사용하여 루트가 아닌 사용자가 sapinst에 연결할 수 있습니다. SAPINST_USE_HOSTNAME 매개 변수를 사용하여 가상 호스트 이름을 사용하여 SAP를 설치할 수 있습니다.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
```
설치에서 /usr/sap/NW1/ASCS00에 하위 폴더를 만들지 못하면 ASCS00 폴더의 소유자와 그룹을 설정하고 다시 시도합니다.
```
chown nw1adm /usr/sap/NW1/ASCS00
chgrp sapsys /usr/sap/NW1/ASCS00
```

[1] ERS 인스턴스에 대한 가상 IP 리소스 및 상태 프로브를 만듭니다.

sudo crm node online sap-cl2
sudo crm node standby sap-cl1

sudo crm configure primitive vip_NW1_ERS IPaddr2 \
  params ip=10.27.0.10 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ERS nc_NW1_ERS vip_NW1_ERS

클러스터 상태가 정상이며 모든 리소스가 시작되었는지 확인합니다. 리소스가 실행 중인 노드는 중요하지 않습니다.

sudo crm_mon -r

# Node sap-cl1: standby
# Online: [ sap-cl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS  (ocf::heartbeat:IPaddr2):     Started sap-cl2

[2] 두 번째 노드에 루트로 SAP NetWeaver ERS를 설치합니다.

ERS에 대한 부하 분산 장치 프런트 엔드 구성의 IP 주소에 매핑되는 가상 호스트 이름(예: sapers, 10.27.0.10) 및 부하 분산 장치의 프로브에 사용한 인스턴스 번호(예: 01)를 사용합니다.

SAPINST_REMOTE_ACCESS_USER 매개 변수를 사용하여 루트가 아닌 사용자가 sapinst에 연결하도록 허용할 수 있습니다. SAPINST_USE_HOSTNAME 매개 변수를 사용하여 가상 호스트 이름을 사용하여 SAP를 설치할 수 있습니다.
```
<swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
참고 항목

SWPM SP 20 PL 05 이상을 사용합니다. 이전 버전은 권한을 올바르게 설정하지 않아 설치가 실패합니다.

설치에서 /usr/sap/NW1/ERS01에 하위 폴더를 만들지 못하면 ERS01 폴더의 소유자와 그룹을 설정하고 다시 시도합니다.
```
chown nw1adm /usr/sap/NW1/ERS01
chgrp sapsys /usr/sap/NW1/ERS01
```

[1] ASCS 인스턴스 프로필을 조정합니다.

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_sapascs

# Change the restart command to a start command.
# Restart_Program_01 = local $(_EN) pf=$(_PF).
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keepalive parameter, if you're using ENSA1.
enque/encni/set_so_keepalive = true

ENSA1 및 ENSA2(Standalone Enqueue Server 1 및 2)의 경우 keepalive OS 매개 변수가 SAP Note 1410736에 설명된 대로 설정되었는지 확인합니다.

이제 ERS 인스턴스 프로필을 조정합니다.

sudo vi /sapmnt/NW1/profile/NW1_ERS01_sapers

# Change the restart command to a start command.
# Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID).
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Remove Autostart from the ERS profile.
# Autostart = 1

[A]keepalive를 구성합니다.

SAP NetWeaver 애플리케이션 서버와 ASCS 간의 통신은 소프트웨어 부하 분산 장치를 통해 라우팅됩니다. 부하 분산 장치는 구성 가능한 시간 제한이 지나면 비활성 연결을 끊습니다.

이러한 연결이 끊기지 않도록 하려면 ENSA1을 사용하는 경우 SAP NetWeaver ASCS 프로필에서 매개 변수를 설정해야 합니다. ENSA1 및 ENSA2 모두에 대해 모든 SAP 서버에서 Linux 시스템 keepalive 설정을 변경합니다. 자세한 내용은 SAP Note 1410736을 참조하세요.
```
# Change the Linux system configuration.
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] 설치 후 SAP 사용자를 구성합니다.

# Add sidadm to the haclient group.
sudo usermod -aG haclient nw1adm

[1]sapservice 파일에 ASCS 및 ERS SAP 서비스를 추가합니다.

ASCS 서비스 항목을 두 번째 노드에 추가하고 ERS 서비스 항목을 첫 번째 노드에 복사합니다.
```
cat /usr/sap/sapservices | grep ASCS00 | sudo ssh sap-cl2 "cat >>/usr/sap/sapservices"
sudo ssh sap-cl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
```
[A]sapping 및 sappong를 사용하도록 설정합니다. sapping 에이전트는 /usr/sap/sapservices 파일을 숨기기 위해 sapinit 이전에 실행됩니다. sappong 에이전트는 sapinit 이후에 실행되어 VM 부팅 중에 sapservices 파일을 숨김 해제합니다. SAPStartSrv는 Pacemaker 클러스터가 관리하기 때문에 부팅 시 SAP 인스턴스에 대해 자동으로 시작되지 않습니다.
```
sudo systemctl enable sapping
sudo systemctl enable sappong
```
[1] 파일을 만들어 ASCS 및 ERS에 대한 SAPStartSrv 리소스를 만든 후 파일을 로드합니다.
```
vi crm_sapstartsrv.txt
```
crm_sapstartsrv.txt 파일에 아래 기본 요소를 입력하고 저장합니다.
```
primitive rsc_sapstartsrv_NW1_ASCS00 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ASCS00_sapascs

primitive rsc_sapstartsrv_NW1_ERS01 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ERS01_sapers
```
아래 명령을 사용하여 파일을 로드합니다.
```
sudo crm configure load update crm_sapstartsrv.txt
```
참고 항목

crmsh 버전 4.4.0+20220708.6ed6b56f-150400.3.3.1 이상에서 "crm configure primitive…" 명령을 사용하여 SAPStartSrv 리소스를 설정한 경우 SAPStartSrv 리소스 기본 형식의 구성을 검토해야 합니다. 모니터 작업이 있으면 제거해야 합니다. SUSE에서는 시작 및 중지 작업을 제거할 것을 제안하지만 이는 모니터 작업만큼 중요하지 않습니다. 자세한 내용은 최근 crmsh 패키지 변경으로 인해 SAP NetWeaver HA 클러스터에서 SAPStartSrv 리소스 에이전트 구성이 지원되지 않을 수 있음을 참조하세요.

[1] SAP 클러스터 리소스를 만듭니다.

ENSA1 또는 ENSA2 시스템을 실행하는지 여부에 따라 해당 탭을 선택하여 리소스를 정의합니다. SAP는 SAP NetWeaver 7.52에서 복제를 포함하여 ENSA2에 대한 지원을 도입했습니다. ABAP 플랫폼 1809부터 ENSA2가 기본적으로 설치됩니다. ENSA2 지원은 SAP Note 2630416을 참조하세요.

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

참고 항목

ENSA2를 실행하는 2노드 클러스터가 있는 경우 priority-fencing-delay 클러스터 속성을 구성하는 옵션이 있습니다. 이 속성은 분할 브레인 시나리오가 발생할 때 총 리소스 우선 순위가 더 높은 노드를 펜싱하는 데 더 많은 지연을 발생합니다. 자세한 내용은 SUSE Linux Enteprise Server 고가용성 확장 관리 가이드를 참조하세요.

속성 우선 순위 펜싱 지연은 2노드 클러스터에서 실행되는 ENSA2에만 적용됩니다. 자세한 내용은 간단한 탑재를 사용하여 복제 2 고가용성 클러스터 큐에 넣기를 참조하세요.

sudo crm configure property maintenance-mode="true"

sudo crm configure property priority-fencing-delay=30

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFSv4.1 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

이전 버전에서 업그레이드하고 ENSA2로 전환하는 경우 SAP Note 2641019를 참조하세요.

클러스터 상태가 정상이며 모든 리소스가 시작되었는지 확인합니다. 리소스가 실행 중인 노드는 중요하지 않습니다.

sudo crm_mon -r
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sapstartsrv_NW1_ASCS00 (ocf::suse:SAPStartSrv):        Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sapstartsrv_NW1_ERS01  (ocf::suse:SAPStartSrv):        Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1

SAP 애플리케이션 서버 준비

일부 데이터베이스는 애플리케이션 서버에서 데이터베이스 설치를 실행해야 합니다. 데이터베이스 설치를 실행할 수 있도록 애플리케이션 서버 VM을 준비합니다.

다음 일반적인 단계에서는 ASCS 및 HANA 서버와 다른 서버에 애플리케이션 서버를 설치한다고 가정합니다.

호스트 이름 확인을 설정합니다.

DNS 서버를 사용하거나 모든 노드에서 /etc/hosts를 수정할 수 있습니다. 다음 예제에서는 /etc/hosts 파일을 사용하는 방법을 보여 줍니다.
```
sudo vi /etc/hosts
```
/etc/hosts에 다음 줄을 삽입합니다. 사용자 환경에 맞게 IP 주소와 호스트 이름을 변경합니다.
```
10.27.0.6   sap-cl1
10.27.0.7   sap-cl2
# IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
10.27.0.9   sapascs
# IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
10.27.0.10  sapers
10.27.0.8   sapa01
10.27.0.12  sapa02
```

SWAP 파일을 구성합니다.

sudo vi /etc/waagent.conf

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file by using the ResourceDisk.SwapSizeMB property.
# The free space of the resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

에이전트를 다시 시작하여 변경 내용을 활성화합니다.

sudo service waagent restart

SAP 디렉터리 준비

Azure Files의 NFS를 사용하는 경우 다음 지침을 사용하여 SAP 애플리케이션 서버 VM에서 SAP 디렉터리를 준비합니다.

탑재 지점을 만듭니다.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

파일 시스템을 탑재합니다.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Azure NetApp Files에서 NFS를 사용하는 경우 다음 지침에 따라 SAP 애플리케이션 서버 VM에서 SAP 디렉터리를 준비합니다.

탑재 지점을 만듭니다.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

파일 시스템을 탑재합니다.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3, hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab    
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

데이터베이스 설치

이 예제에서는 SAP NetWeaver가 SAP HANA에 설치됩니다. 이 설치에 지원되는 모든 데이터베이스를 사용할 수 있습니다. Azure에서 SAP HANA를 설치하는 방법에 대한 자세한 내용은 Azure Virtual Machines의 SAP HANA 고가용성을 참조하세요. 지원되는 데이터베이스 목록은 SAP Note 1928533을 참조하세요.

데이터베이스에 대한 부하 분산 장치의 프런트 엔드 구성 IP 주소에 매핑되는 가상 호스트 이름을 사용하여 SAP NetWeaver 데이터베이스 인스턴스를 루트로 설치합니다. SAPINST_REMOTE_ACCESS_USER 매개 변수를 사용하여 루트가 아닌 사용자가 sapinst에 연결하도록 허용할 수 있습니다.

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

SAP NetWeaver 애플리케이션 서버 설치

다음 단계에 따라 SAP 애플리케이션 서버를 설치합니다.

[A] 애플리케이션 서버를 준비합니다.

SAP NetWeaver 애플리케이션 서버 준비의 단계를 따릅니다.
[A] 기본 또는 추가 SAP NetWeaver 애플리케이션 서버를 설치합니다.

SAPINST_REMOTE_ACCESS_USER 매개 변수를 사용하여 루트가 아닌 사용자가 sapinst에 연결하도록 허용할 수 있습니다.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
[A] 설치한 SAP HANA System Replication의 가상 이름을 가리키도록 SAP HANA 보안 저장소를 업데이트합니다.

다음 명령을 실행하여 항목을 나열합니다.
```
hdbuserstore List
```
명령은 모든 항목을 나열해야 하며 이 예와 유사해야 합니다.
```
DATA FILE       : /home/nw1adm/.hdb/sapa01/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/sapa01/SSFS_HDB.KEY

KEY DEFAULT 
  ENV : 10.27.0.4:30313
  USER: SAPABAP1
  DATABASE: NW1
```
이 예제에서 기본 진입점의 IP 주소는 부하 분산 장치가 아니라 VM을 가리킵니다. 부하 분산 장치의 가상 호스트 이름을 가리키도록 항목을 변경합니다. 동일한 포트와 데이터베이스 이름을 사용해야 합니다. 예를 들어 샘플 출력에서 30313 및 NW1을 사용합니다.
```
su - nw1adm
hdbuserstore SET DEFAULT nw1db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

클러스터 설정 테스트

Pacemaker 클러스터를 철저히 테스트합니다. 일반 장애 조치(failover) 테스트를 실행합니다.

간단한 탑재 및 SAP 애플리케이션용 SLES VM의 NFS를 사용하는 고가용성 SAP NetWeaver

필수 조건

개요

인프라 준비

Azure Portal을 통해 수동으로 Linux VM 배포

Azure Load Balancer 구성

NFS 배포

Azure Files 스토리지 계정 및 NFS 공유 배포

Azure Files 공유의 NFS에 대한 중요한 고려 사항

Azure NetApp Files 리소스 배포

NFS on Azure NetApp Files에 대한 중요한 고려 사항

ASCS 설정

Pacemaker 클러스터 만들기

설치 준비

Azure Files의 NFS를 사용하는 경우 SAP 디렉터리 준비

Azure NetApp Files에서 NFS를 사용하는 경우 SAP 디렉터리 준비

SAP NetWeaver ASCS 및 ERS 설치

SAP 애플리케이션 서버 준비

SAP 디렉터리 준비

데이터베이스 설치

SAP NetWeaver 애플리케이션 서버 설치

클러스터 설정 테스트

다음 단계

추가 리소스