SAP NetWeaver met hoge beschikbaarheid met eenvoudige koppeling en NFS op SLES voor VIRTUELE SAP-toepassingen

Artikel
02/05/2024

In dit artikel wordt beschreven hoe u virtuele Azure-machines (VM's) implementeert en configureert, het clusterframework installeert en een SAP NetWeaver-systeem met hoge beschikbaarheid (HA) installeert met een eenvoudige koppelingsstructuur. U kunt de gepresenteerde architectuur implementeren met behulp van een van de volgende systeemeigen NFS-services (Network File System) van Azure:

De eenvoudige koppelingsconfiguratie is naar verwachting de standaardinstelling voor nieuwe implementaties op SLES voor SAP-toepassingen 15.

Vereisten

De volgende handleidingen bevatten alle vereiste informatie voor het instellen van een NetWeaver HA-systeem:

SAP S/4 HANA - Replicatie 2 hoge beschikbaarheidscluster in de wachtrij plaatsen met eenvoudige koppeling
Gebruik van bestandssysteemresource voor ABAP SAP Central Services (ASCS)/ERS HA setup is niet mogelijk
SAP-notitie 1928533, met:
- Een lijst met Azure VM-grootten die worden ondersteund voor de implementatie van SAP-software
- Belangrijke capaciteitsinformatie voor Azure VM-grootten
- Ondersteunde SAP-software, besturingssystemen (besturingssystemen) en combinaties
- De vereiste SAP-kernelversie voor Windows en Linux in Microsoft Azure
SAP Note 2015553, waarin vereisten worden vermeld voor SAP-ondersteunde SAP-software-implementaties in Azure.
SAP Note 2205917, met aanbevolen besturingssysteeminstellingen voor SUSE Linux Enterprise Server (SLES) voor SAP-toepassingen
SAP Note 2178632, met gedetailleerde informatie over alle metrische bewakingsgegevens die zijn gerapporteerd voor SAP in Azure
SAP-opmerking 2191498, met de vereiste VERSIE van de SAP Host Agent voor Linux in Azure
SAP Note 2243692, met informatie over SAP-licenties in Linux in Azure
SAP-opmerking 2578899, met algemene informatie over SUSE Linux Enterprise Server 15
SAP-opmerking 1275776, met informatie over het voorbereiden van SUSE Linux Enterprise Server voor SAP-omgevingen
SAP-opmerking 1999351, met aanvullende informatie over probleemoplossing voor de Uitgebreide Bewakingsextensie van Azure voor SAP
SAP-communitywiki, met alle vereiste SAP-notities voor Linux
Azure Virtual Machines plannen en implementeren voor SAP in Linux
Azure Virtual Machines-implementatie voor SAP in Linux
DBMS-implementatie van Azure Virtual Machines voor SAP in Linux
Best practice-handleidingen voor SUSE SAP HA
Releaseopmerkingen voor SUSE High Availability Extension
Documentatie voor Azure Files
Best practices voor NetApp NFS

Overzicht

In dit artikel wordt een configuratie met hoge beschikbaarheid voor ASCS beschreven met een eenvoudige koppelingsstructuur. Als u de SAP-toepassingslaag wilt implementeren, hebt u gedeelde mappen nodig, zoals /sapmnt/SID, /usr/sap/SIDen /usr/sap/trans, die maximaal beschikbaar zijn. U kunt deze bestandssystemen implementeren op NFS in Azure FilesofAzure NetApp Files.

U hebt nog steeds een Pacemaker-cluster nodig om single point-of-failure-onderdelen, zoals SAP Central Services (SCS) en ASCS, te beveiligen.

Vergeleken met de klassieke Pacemaker-clusterconfiguratie, met de eenvoudige koppelingsimplementatie, beheert het cluster de bestandssystemen niet. Deze configuratie wordt alleen ondersteund op SLES voor SAP-toepassingen 15 en hoger. In dit artikel wordt de databaselaag niet gedetailleerd behandeld.

In de voorbeeldconfiguraties en installatieopdrachten worden de volgende exemplaarnummers gebruikt.

Exemplaarnaam	Exemplaarnummer
ASCS	00
Replicatieserver (ERS) in de wachtrij weergeven	01
Primaire toepassingsserver (PAS)	02
Aanvullende toepassingsserver (AAS)	03
SAP-systeem-id	NW1

Belangrijk

De configuratie met een eenvoudige koppelingsstructuur wordt alleen ondersteund op SLES voor SAP-toepassingen 15 en hoger.

Diagram that shows SAP NetWeaver high availability with simple mount and NFS.

De infrastructuur voorbereiden

De resourceagent voor SAP Instance is opgenomen in SUSE Linux Enterprise Server voor SAP-toepassingen. Een installatiekopieën voor SUSE Linux Enterprise Server voor SAP-toepassingen 12 of 15 zijn beschikbaar in Azure Marketplace. U kunt de installatiekopieën gebruiken om nieuwe VM's te implementeren.

Virtuele Linux-machines handmatig implementeren via Azure Portal

In dit document wordt ervan uitgegaan dat u al een resourcegroep, Azure Virtual Network en subnet hebt geïmplementeerd.

Implementeer virtuele machines met SLES for SAP Applications-installatiekopieën. Kies een geschikte versie van de SLES-installatiekopieën die worden ondersteund voor het SAP-systeem. U kunt vm's implementeren in een van de beschikbaarheidsopties: virtuele-machineschaalset, beschikbaarheidszone of beschikbaarheidsset.

Azure Load Balancer configureren

Tijdens de VM-configuratie hebt u de mogelijkheid om een load balancer te maken of te selecteren in de sectie Netwerken. Volg de onderstaande stappen om een standaard load balancer te configureren voor de installatie van SAP ASCS en SAP ERS met hoge beschikbaarheid.

Volg de handleiding voor het maken van load balancers om een standaard load balancer in te stellen voor een SAP-systeem met hoge beschikbaarheid met behulp van Azure Portal. Houd rekening met de volgende punten tijdens het instellen van de load balancer.

Front-end-IP-configuratie: maak twee front-end-IP-adressen, één voor ASCS en een andere voor ERS. Selecteer hetzelfde virtuele netwerk en subnet als uw virtuele ASCS-/ERS-machines.
Back-endpool: back-endpool maken en ASCS- en ERS-VM's toevoegen.
Inkomende regels: maak twee taakverdelingsregel, een voor ASCS en een andere voor ERS. Volg dezelfde stappen voor beide taakverdelingsregels.
- Front-end-IP-adres: front-end-IP selecteren
- Back-endpool: back-endpool selecteren
- Controleer poorten met hoge beschikbaarheid
- Protocol: TCP
- Statustest: Maak een statustest met de onderstaande details (geldt voor zowel ASCS als ERS)
  - Protocol: TCP
  - Poort: [bijvoorbeeld: 620<Instance-no.> voor ASCS, 621<Instance-no.> voor ERS]
  - Interval: 5
  - Testdrempel: 2
- Time-out voor inactiviteit (minuten): 30
- Schakel Zwevend IP-adres in

Notitie

Het eigenschapsnummer van de statustestconfiguratieofOfProbes, ook wel 'Drempelwaarde beschadigd' genoemd in de portal, wordt niet gerespecteerd. Als u dus het aantal geslaagde of mislukte opeenvolgende tests wilt beheren, stelt u de eigenschap probeThreshold in op 2. Het is momenteel niet mogelijk om deze eigenschap in te stellen met behulp van Azure Portal, dus gebruik de Azure CLI of PowerShell-opdracht .

Volg de onderstaande stappen om een Azure Standard Load Balancer te maken voor het instellen van een SAP-systeem met hoge beschikbaarheid met behulp van Azure CLI.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

Uitvouwen om volledige CLI-code weer te geven

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Volg de onderstaande stappen om een Azure Standard Load Balancer te maken voor het instellen van een SAP-systeem met hoge beschikbaarheid met behulp van Azure PowerShell.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

Uitvouwen om volledige PowerShell-code weer te geven

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Belangrijk

Een zwevend IP-adres wordt niet ondersteund op een secundaire IP-configuratie van een netwerkinterfacekaart (NIC) in scenario's voor taakverdeling. Zie Azure Load Balancer-beperkingen voor meer informatie. Als u een ander IP-adres voor de virtuele machine nodig hebt, implementeert u een tweede NIC.

Notitie

Wanneer VM's zonder openbare IP-adressen worden geplaatst in de back-endpool van een interne (geen openbaar IP-adres) Standard Azure Load Balancer, is er geen uitgaande internetverbinding, tenzij u aanvullende configuratie uitvoert om routering naar openbare eindpunten toe te staan. Zie Openbare eindpuntconnectiviteit voor virtuele machines met behulp van Azure Standard Load Balancer in scenario's met hoge beschikbaarheid van SAP voor meer informatie over het bereiken van uitgaande connectiviteit.

Belangrijk

Schakel TCP-tijdstempels niet in op Azure-VM's die achter Azure Load Balancer worden geplaatst. Als u TCP-tijdstempels inschakelt, mislukken de statustests. Stel de net.ipv4.tcp_timestamps parameter in op 0. Zie Statustests van Load Balancer voor meer informatie.
Als u wilt voorkomen dat saptune de handmatig ingestelde net.ipv4.tcp_timestamps waarde wijzigt van 0 terug naar 1, moet u saptune-versie bijwerken naar 3.1.1 of hoger. Zie saptune 3.1.1 – Moet ik bijwerken? voor meer informatie.

NFS implementeren

Er zijn twee opties voor het implementeren van systeemeigen Azure NFS voor het hosten van de gedeelde SAP-directory's. U kunt een NFS-bestandsshare implementeren in Azure Files of een NFS-volume implementeren in Azure NetApp Files. NFS in Azure Files ondersteunt het NFSv4.1-protocol. NFS in Azure NetApp Files ondersteunt zowel NFSv4.1 als NFSv3.

In de volgende secties worden de stappen beschreven voor het implementeren van NFS. Selecteer slechts een van de opties.

Een Azure Files-opslagaccount en NFS-shares implementeren

NFS in Azure Files wordt uitgevoerd boven op Azure Files Premium-opslag. Zie Een NFS-share maken voordat u NFS instelt in Azure Files.

Er zijn twee opties voor redundantie binnen een Azure-regio:

Lokaal redundante opslag (LRS) biedt lokale, zonesynchrone gegevensreplicatie.
Met zone-redundante opslag (ZRS) worden uw gegevens synchroon gerepliceerd in de drie beschikbaarheidszones in de regio.

Controleer of uw geselecteerde Azure-regio NFSv4.1 op Azure Files biedt met de juiste redundantie. Bekijk de beschikbaarheid van Azure Files per Azure-regio voor Premium Files Storage. Als uw scenario profiteert van ZRS, controleert u of Premium-bestandsshares met ZRS worden ondersteund in uw Azure-regio.

U wordt aangeraden toegang te krijgen tot uw Azure-opslagaccount via een privé-eindpunt van Azure. Zorg ervoor dat u het eindpunt van het Azure Files-opslagaccount implementeert en de VM's waarop u de NFS-shares moet koppelen, in hetzelfde virtuele Azure-netwerk of in gekoppelde virtuele Azure-netwerken.

Implementeer een Azure Files-opslagaccount met de naam sapnfsafs. In dit voorbeeld wordt ZRS gebruikt. Als u niet bekend bent met het proces, raadpleegt u Een opslagaccount maken voor Azure Portal.
Gebruik deze instellingen op het tabblad Basisbeginselen :
1. Voer sapnfsafs in als opslagaccountnaam.
2. Selecteer Premium voor Prestaties.
3. Selecteer FileStorage voor premium-accounttype.
4. Selecteer voor Replicatie zoneredundantie (ZRS).
Selecteer Volgende.
Schakel op het tabblad Geavanceerd de optie Veilige overdracht vereisen voor REST API uit. Als u deze optie niet wist, kunt u de NFS-share niet koppelen aan uw virtuele machine. Er treedt een time-out op voor de koppelingsbewerking.
Selecteer Volgende.
Configureer deze instellingen in de sectie Netwerken :
1. Selecteer onder Netwerkconnectiviteit voor Verbinding maken iviteitsmethode het privé-eindpunt.
2. Selecteer Privé-eindpunt toevoegen onder Privé-eindpunt.
Selecteer uw abonnement, resourcegroep en locatie in het deelvenster Privé-eindpunt maken. Maak vervolgens de volgende selecties:
1. Voer bij Naam sapnfsafs_pe in.
2. Selecteer het bestand voor opslagsubresource.
3. Selecteer onder Netwerken voor virtueel netwerk het virtuele netwerk en het subnet dat u wilt gebruiken. Ook hier kunt u het virtuele netwerk gebruiken waar uw SAP-VM's zich bevinden of een virtueel peernetwerk.
4. Accepteer onder Privé-DNS integratie de standaardoptie Ja voor integreren met een privé-DNS-zone. Zorg ervoor dat u uw privé-DNS-zone selecteert.
5. Selecteer OK.
Selecteer Volgende op het tabblad Netwerken opnieuw.
Behoud op het tabblad Gegevensbeveiliging alle standaardinstellingen.
Selecteer Beoordelen en maken om uw configuratie te valideren.
Wacht tot de validatie is voltooid. Los eventuele problemen op voordat u doorgaat.
Selecteer op het tabblad Beoordelen en maken de optie Maken.

Implementeer vervolgens de NFS-shares in het opslagaccount dat u hebt gemaakt. In dit voorbeeld zijn er twee NFS-shares sapnw1 en saptrans.

Meld u aan bij de Azure-portal.
Selecteer of zoek naar Opslagaccounts.
Selecteer sapnfsafs op de pagina Opslagaccounts.
Selecteer in het resourcemenu voor sapnfsafs bestandsshares onder Gegevensopslag.
Selecteer op de pagina Bestandsshares de optie Bestandsshare en selecteer vervolgens:
1. Voer bij Naam sapnw1, saptrans in.
2. Selecteer een geschikte sharegrootte. Houd rekening met de grootte van de gegevens die zijn opgeslagen op de share, I/O per seconde (IOPS) en doorvoervereisten. Zie Azure-bestandssharedoelen voor meer informatie.
3. Selecteer NFS als protocol.
4. Selecteer Geen root Squash. Als u de shares op uw VM's koppelt, kunt u de bestandseigenaar of groep niet zien.

De SAP-bestandssystemen die niet via NFS hoeven te worden gekoppeld, kunnen ook worden geïmplementeerd in Azure Disk Storage. In dit voorbeeld kunt u Azure Disk Storage implementeren /usr/sap/NW1/D02 en /usr/sap/NW1/D03 gebruiken.

Belangrijke overwegingen voor NFS op Azure Files-shares

Houd rekening met de volgende belangrijke punten wanneer u uw implementatie plant met NFS in Azure Files:

De minimale sharegrootte is 100 gibibytes (GiB). U betaalt alleen voor de capaciteit van de ingerichte shares.
Pas de grootte van uw NFS-shares aan op basis van capaciteitsvereisten, maar ook op IOPS- en doorvoervereisten. Zie Azure-bestandssharedoelen voor meer informatie.
Test de workload om de grootte te valideren en ervoor te zorgen dat deze voldoet aan uw prestatiedoelen. Raadpleeg prestatieproblemen met Azure-bestandsshares oplossen voor meer informatie over het oplossen van prestatieproblemen met NFS in Azure Files.
Voor SAP J2EE-systemen wordt het plaatsen /usr/sap/<SID>/J<nr> op NFS in Azure Files niet ondersteund.
Als uw SAP-systeem veel batchtaken bevat, hebt u mogelijk miljoenen taaklogboeken. Als de SAP-batchtaaklogboeken worden opgeslagen in het bestandssysteem, moet u speciale aandacht besteden aan de grootte van de sapmnt share. Vanaf SAP_BASIS 7.52 moet het standaardgedrag voor de batchtaaklogboeken worden opgeslagen in de database. Zie Taaklogboek in de database voor meer informatie.
Implementeer een afzonderlijke sapmnt share voor elk SAP-systeem.
Gebruik de sapmnt share niet voor andere activiteiten, zoals interfaces.
Gebruik de saptrans share niet voor andere activiteiten, zoals interfaces.
Vermijd het consolideren van de shares voor te veel SAP-systemen in één opslagaccount. Er zijn ook schaalbaarheids- en prestatiedoelen voor opslagaccounts. Zorg ervoor dat u de limieten voor het opslagaccount niet overschrijdt.
Over het algemeen voegt u de shares voor meer dan vijf SAP-systemen niet samen in één opslagaccount. Deze richtlijn helpt u te voorkomen dat u de limieten van het opslagaccount overschrijdt en de prestatieanalyse vereenvoudigt.
Over het algemeen vermijdt u het combineren van shares zoals sapmnt voor sap-systemen die niet in productie en productie zijn opgenomen in hetzelfde opslagaccount.
We raden u aan om SLES 15 SP2 of hoger te implementeren om te profiteren van VERBETERINGEN in de NFS-client.
Gebruik een privé-eindpunt. In het onwaarschijnlijke geval van een zonefout worden uw NFS-sessies automatisch omgeleid naar een gezonde zone. U hoeft de NFS-shares niet opnieuw te koppelen op uw VM's.
Als u uw VM's in beschikbaarheidszones implementeert, gebruikt u een opslagaccount met ZRS in de Azure-regio's die ondersteuning bieden voor ZRS.
Azure Files biedt momenteel geen ondersteuning voor automatische replicatie tussen regio's voor scenario's voor herstel na noodgevallen.

Azure NetApp Files-resources implementeren

Controleer of de Azure NetApp Files-service beschikbaar is in uw Azure-regio van keuze.
Maak het NetApp-account in de geselecteerde Azure-regio. Volg deze instructies.
Stel de Azure NetApp Files-capaciteitspool in. Volg deze instructies.

De SAP NetWeaver-architectuur die in dit artikel wordt gepresenteerd, maakt gebruik van één Azure NetApp Files-capaciteitspool, Premium SKU. We raden Azure NetApp Files Premium SKU aan voor SAP NetWeaver-toepassingsworkloads in Azure.
Een subnet delegeren aan Azure NetApp Files, zoals beschreven in deze instructies.
Implementeer Azure NetApp Files-volumes door deze instructies te volgen. Implementeer de volumes in het aangewezen Azure NetApp Files-subnet. De IP-adressen van de Azure NetApp-volumes worden automatisch toegewezen.

Houd er rekening mee dat de Azure NetApp Files-resources en de Azure-VM's zich in hetzelfde virtuele Azure-netwerk of in gekoppelde virtuele Azure-netwerken moeten bevinden. In dit voorbeeld worden twee Azure NetApp Files-volumes gebruikt: sapnw1 en trans. De bestandspaden die aan de bijbehorende koppelpunten zijn gekoppeld, zijn:
- Volume sapnw1 (nfs://10.27.1.5/sapnw1/sapmntNW1)
- Volume sapnw1 (nfs://10.27.1.5/sapnw1/usrsapNW1)
- Volume trans (nfs://10.27.1.5/trans)

De SAP-bestandssystemen die niet hoeven te worden gedeeld, kunnen ook worden geïmplementeerd in Azure-schijfopslag. En /usr/sap/NW1/D03 kan bijvoorbeeld /usr/sap/NW1/D02 worden geïmplementeerd als Azure-schijfopslag.

Belangrijke overwegingen voor NFS in Azure NetApp Files

Wanneer u Azure NetApp Files overweegt voor de architectuur met hoge beschikbaarheid van SAP NetWeaver, moet u rekening houden met de volgende belangrijke overwegingen:

De minimale capaciteitspool is 4 tebibytes (TiB). U kunt de grootte van de capaciteitspool vergroten in stappen van 1 TiB.
Het minimumvolume is 100 GiB.
Azure NetApp Files en alle virtuele machines waarop Azure NetApp Files-volumes worden gekoppeld, moeten zich in hetzelfde virtuele Azure-netwerk of in gekoppelde virtuele netwerken in dezelfde regio bevinden. Azure NetApp Files-toegang via peering van virtuele netwerken in dezelfde regio wordt ondersteund. Azure NetApp Files-toegang via wereldwijde peering wordt nog niet ondersteund.
Het geselecteerde virtuele netwerk moet een subnet hebben dat is gedelegeerd aan Azure NetApp Files.
De doorvoer- en prestatiekenmerken van een Azure NetApp Files-volume zijn een functie van het volumequotum en het serviceniveau, zoals beschreven in Serviceniveau voor Azure NetApp Files. Wanneer u de grootte van de Azure NetApp Files-volumes voor SAP wijzigt, moet u ervoor zorgen dat de resulterende doorvoer voldoet aan de vereisten van de toepassing.
Azure NetApp Files biedt een exportbeleid. U kunt de toegestane clients en het toegangstype beheren (bijvoorbeeld lezen/schrijven of alleen-lezen).
Azure NetApp Files is nog niet zonebewust. Momenteel wordt Azure NetApp Files niet geïmplementeerd in alle beschikbaarheidszones in een Azure-regio. Houd rekening met de mogelijke latentie in sommige Azure-regio's.
Azure NetApp Files-volumes kunnen worden geïmplementeerd als NFSv3- of NFSv4.1-volumes. Beide protocollen worden ondersteund voor de SAP-toepassingslaag (ASCS/ERS, SAP-toepassingsservers).

ASCS instellen

Vervolgens bereidt en installeert u de SAP ASCS- en ERS-exemplaren.

Een Pacemaker-cluster maken

Volg de stappen in Pacemaker instellen op SUSE Linux Enterprise Server in Azure om een eenvoudig Pacemaker-cluster voor SAP ASCS te maken.

Installatie voorbereiden

De volgende items worden voorafgegaan door:

[A]: Van toepassing op alle knooppunten.
[1]: Alleen van toepassing op knooppunt 1.
[2]: Alleen van toepassing op knooppunt 2.

[A] Installeer de nieuwste versie van de SUSE-connector.
```
sudo zypper install sap-suse-cluster-connector
```

[A] Installeer de sapstartsrv resourceagent.

sudo zypper install sapstartsrv-resource-agents

[A] SAP-resourceagents bijwerken.

Als u de configuratie wilt gebruiken die in dit artikel wordt beschreven, hebt u een patch nodig voor het resource-agents-pakket. Gebruik de volgende opdracht om te controleren of de patch al is geïnstalleerd.
```
sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
```
De uitvoer moet vergelijkbaar zijn met het volgende voorbeeld.
```
<parameter name="IS_ERS" unique="0" required="0">;
```
Als de grep opdracht de IS_ERS parameter niet vindt, moet u de patch installeren die wordt vermeld op de SUSE-downloadpagina.

Belangrijk

U moet ten minste sapstartsrv-resource-agents versie 0.91 en resource-agents 4.x installeren vanaf november 2021.

[A] Hostnaamomzetting instellen.

U kunt een DNS-server gebruiken of wijzigen /etc/hosts op alle knooppunten. In dit voorbeeld ziet u hoe u het /etc/hosts bestand gebruikt.

sudo vi /etc/hosts

Voeg de volgende regels in op /etc/hosts. Wijzig het IP-adres en de hostnaam zodat deze overeenkomt met uw omgeving.

 # IP address of cluster node 1
 10.27.0.6    sap-cl1
 # IP address of cluster node 2
 10.27.0.7     sap-cl2
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
 10.27.0.9   sapascs
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
 10.27.0.10    sapers

[A] Configureer het SWAP-bestand.

sudo vi /etc/waagent.conf

# Check if the ResourceDisk.Format property is already set to y, and if not, set it.
ResourceDisk.Format=y

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with the ResourceDisk.SwapSizeMB property.
# The free space of resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

Start de agent opnieuw om de wijziging te activeren.

sudo service waagent restart

SAP-mappen voorbereiden als u NFS in Azure Files gebruikt

[1] Maak de SAP-mappen op de NFS-share.

Koppel de NFS-share sapnw1 tijdelijk aan een van de VM's en maak de SAP-directory's die worden gebruikt als geneste koppelpunten.

# Temporarily mount the volume.
sudo mkdir -p /saptmp
sudo mount -t nfs sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Maak de gedeelde mappen.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] Koppel de bestandssystemen.

Met de eenvoudige koppelingsconfiguratie heeft het Pacemaker-cluster geen controle over de bestandssystemen.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1/ /usr/sap/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

SAP-mappen voorbereiden als u NFS gebruikt in Azure NetApp Files

De instructies in deze sectie zijn alleen van toepassing als u Azure NetApp Files-volumes gebruikt met het NFSv4.1-protocol. Voer de configuratie uit op alle VM's waarop Azure NetApp Files NFSv4.1-volumes worden gekoppeld.

[A] Id-toewijzing uitschakelen.

Controleer de NFS-domeininstelling. Zorg ervoor dat het domein is geconfigureerd als het standaarddomein van Azure NetApp Files, defaultv4iddomain.com. Controleer ook of de toewijzing is ingesteld op nobody.

sudo cat /etc/idmapd.conf
# Examplepython-azure-mgmt-compute
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

controlerennfs4_disable_idmapping. Deze moet worden ingesteld op Y.

Als u de mapstructuur wilt maken waar nfs4_disable_idmapping zich bevindt, voert u de mount opdracht uit. U kunt de map niet handmatig maken, /sys/modulesomdat de toegang is gereserveerd voor de kernel en stuurprogramma's.

# Check nfs4_disable_idmapping. 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping
# If you need to set nfs4_disable_idmapping to Y:
mkdir /mnt/tmp
mount 10.27.1.5:/sapnw1 /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
# Make the configuration permanent.
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

[1] Koppel het Azure NetApp Files-volume tijdelijk aan een van de VM's en maak de SAP-mappen (bestandspaden).

# Temporarily mount the volume.
sudo mkdir -p /saptmp
# If you're using NFSv3:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.27.1.5:/sapnw1 /saptmp
# If you're using NFSv4.1:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.27.1.5:/sapnw1 /saptmp
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Maak de gedeelde mappen.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] Koppel de bestandssystemen.

Met de eenvoudige koppelingsconfiguratie heeft het Pacemaker-cluster geen controle over de bestandssystemen.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3,hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

SAP NetWeaver ASCS en ERS installeren

[1] Maak een virtuele IP-resource en statustest voor het ASCS-exemplaar.

Belangrijk

We raden u aan de azure-lb resourceagent te gebruiken, die deel uitmaakt van het resourceagentpakket met een minimale versie van resource-agents-4.3.0184.6ee15eb2-4.13.1.

sudo crm node standby sap-cl2   
sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
  params ip=10.27.0.9 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
  meta resource-stickiness=3000

Zorg ervoor dat de clusterstatus ok is en of alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

sudo crm_mon -r
# Node sap-cl2: standby
# Online: [ sap-cl1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl1
# Resource Group: g-NW1_ASCS
#  nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#  vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1

[1] Installeer SAP NetWeaver ASCS als hoofdmap op het eerste knooppunt.

Gebruik een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor ASCS (bijvoorbeeld sapascs10.27.0.9, ) en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer (bijvoorbeeld00).

U kunt de sapinst parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt de SAPINST_USE_HOSTNAME parameter gebruiken om SAP te installeren met behulp van een virtuele hostnaam.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
```
Als de installatie geen submap kan maken, stelt u de eigenaar en groep van de map in /usr/sap/NW1/ASCS00en probeert u het ASCS00 opnieuw.
```
chown nw1adm /usr/sap/NW1/ASCS00
chgrp sapsys /usr/sap/NW1/ASCS00
```

[1] Maak een virtuele IP-resource en statustest voor het ERS-exemplaar.

sudo crm node online sap-cl2
sudo crm node standby sap-cl1

sudo crm configure primitive vip_NW1_ERS IPaddr2 \
  params ip=10.27.0.10 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ERS nc_NW1_ERS vip_NW1_ERS

Zorg ervoor dat de clusterstatus ok is en of alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

sudo crm_mon -r

# Node sap-cl1: standby
# Online: [ sap-cl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS  (ocf::heartbeat:IPaddr2):     Started sap-cl2

[2] Installeer SAP NetWeaver ERS als hoofdmap op het tweede knooppunt.

Gebruik een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor ERS (bijvoorbeeld sapers10.27.0.10, ) en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer (bijvoorbeeld 01).

U kunt de SAPINST_REMOTE_ACCESS_USER parameter gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt de SAPINST_USE_HOSTNAME parameter gebruiken om SAP te installeren met behulp van een virtuele hostnaam.
```
<swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Notitie

Gebruik SWPM SP 20 PL 05 of hoger. Eerdere versies stellen de machtigingen niet juist in en ze zorgen ervoor dat de installatie mislukt.

Als de installatie geen submap kan maken, stelt u de eigenaar en groep van de map in /usr/sap/NW1/ERS01en probeert u het ERS01 opnieuw.
```
chown nw1adm /usr/sap/NW1/ERS01
chgrp sapsys /usr/sap/NW1/ERS01
```

[1] Pas het ASCS-exemplaarprofiel aan.

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_sapascs

# Change the restart command to a start command.
# Restart_Program_01 = local $(_EN) pf=$(_PF).
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keepalive parameter, if you're using ENSA1.
enque/encni/set_so_keepalive = true

Voor Standalone Enqueue Server 1 en 2 (ENSA1 en ENSA2) moet u ervoor zorgen dat de parameters van het keepalive besturingssysteem zijn ingesteld zoals beschreven in SAP Note 1410736.

Pas nu het ERS-exemplaarprofiel aan.

sudo vi /sapmnt/NW1/profile/NW1_ERS01_sapers

# Change the restart command to a start command.
# Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID).
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Remove Autostart from the ERS profile.
# Autostart = 1

[A] Configureren keepalive.

Communicatie tussen de SAP NetWeaver-toepassingsserver en ASCS wordt gerouteerd via een software load balancer. De load balancer verbreekt inactieve verbindingen na een configureerbare time-out.

Als u deze verbinding wilt voorkomen, moet u een parameter instellen in het SAP NetWeaver ASCS-profiel als u ENSA1 gebruikt. Wijzig de Linux-systeeminstellingen keepalive op alle SAP-servers voor zowel ENSA1 als ENSA2. Lees SAP Note1410736 voor meer informatie.
```
# Change the Linux system configuration.
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] Configureer de SAP-gebruikers na de installatie.

# Add sidadm to the haclient group.
sudo usermod -aG haclient nw1adm

[1] Voeg de ASCS- en ERS SAP-services toe aan het sapservice bestand.

Voeg de ASCS-servicevermelding toe aan het tweede knooppunt en kopieer de ERS-servicevermelding naar het eerste knooppunt.
```
cat /usr/sap/sapservices | grep ASCS00 | sudo ssh sap-cl2 "cat >>/usr/sap/sapservices"
sudo ssh sap-cl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
```
[A] Inschakelen sapping en sappong. De sapping agent wordt uitgevoerd voordat sapinit het /usr/sap/sapservices bestand wordt verborgen. De sappong agent wordt uitgevoerd na sapinit het zichtbaar maken van het bestand tijdens het opstarten van de sapservices VIRTUELE machine. SAPStartSrv wordt niet automatisch gestart voor een SAP-exemplaar tijdens het opstarten, omdat het Pacemaker-cluster dit beheert.
```
sudo systemctl enable sapping
sudo systemctl enable sappong
```

[1] Maak de SAP-clusterbronnen.

Afhankelijk van of u een ENSA1- of ENSA2-systeem uitvoert, selecteert u het betreffende tabblad om de resources te definiëren. SAP heeft ondersteuning geïntroduceerd voor ENSA2, inclusief replicatie, in SAP NetWeaver 7.52. Vanaf ABAP Platform 1809 wordt ENSA2 standaard geïnstalleerd. Zie SAP Note 2630416 voor ONDERSTEUNING voor ENSA2.

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

sudo crm configure primitive rsc_sapstartsrv_NW1_ASCS00 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ASCS00_sapascs

sudo crm configure primitive rsc_sapstartsrv_NW1_ERS01 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ERS01_sapers

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

Notitie

Als u een CLUSTER met twee knooppunten hebt waarop ENSA2 wordt uitgevoerd, hebt u de mogelijkheid om de clustereigenschap priority-fencing-delay te configureren. Deze eigenschap introduceert extra vertraging bij het afschermen van een knooppunt met een hogere totale resoureprioriteit wanneer er een split-brain-scenario optreedt. Zie de beheerhandleiding voor SUSE Linux Enteprise Server-extensie voor hoge beschikbaarheid voor meer informatie.

De eigenschap priority-fencing-delay is alleen van toepassing op ENSA2 die wordt uitgevoerd op een cluster met twee knooppunten. Zie Replicatie 2 met hoge beschikbaarheid met eenvoudige koppeling voor meer informatie

sudo crm configure property maintenance-mode="true"

sudo crm configure property priority-fencing-delay=30

sudo crm configure primitive rsc_sapstartsrv_NW1_ASCS00 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ASCS00_sapascs

sudo crm configure primitive rsc_sapstartsrv_NW1_ERS01 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ERS01_sapers

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFSv4.1 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

Zie SAP Note 2641019 als u een upgrade uitvoert van een oudere versie en overschakelt naar ENSA2.

Zorg ervoor dat de clusterstatus ok is en of alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

sudo crm_mon -r
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sapstartsrv_NW1_ASCS00 (ocf::suse:SAPStartSrv):        Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sapstartsrv_NW1_ERS01  (ocf::suse:SAPStartSrv):        Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1

De SAP-toepassingsserver voorbereiden

Voor sommige databases moet u de database-installatie uitvoeren op een toepassingsserver. Bereid de VM's van de toepassingsserver voor om de database-installatie uit te voeren.

Bij de volgende algemene stappen wordt ervan uitgegaan dat u de toepassingsserver installeert op een server die verschilt van de ASCS- en HANA-servers:

Hostnaamomzetting instellen.

U kunt een DNS-server gebruiken of wijzigen /etc/hosts op alle knooppunten. In dit voorbeeld ziet u hoe u het /etc/hosts bestand gebruikt.

sudo vi /etc/hosts

Voeg de volgende regels in op /etc/hosts. Wijzig het IP-adres en de hostnaam zodat deze overeenkomt met uw omgeving.

10.27.0.6   sap-cl1
10.27.0.7   sap-cl2
# IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
10.27.0.9   sapascs
# IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
10.27.0.10  sapers
10.27.0.8   sapa01
10.27.0.12  sapa02

Configureer het SWAP-bestand.

sudo vi /etc/waagent.conf

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file by using the ResourceDisk.SwapSizeMB property.
# The free space of the resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

Start de agent opnieuw om de wijziging te activeren.

sudo service waagent restart

SAP-mappen voorbereiden

Als u NFS in Azure Files gebruikt, gebruikt u de volgende instructies om de SAP-mappen voor te bereiden op de VM's van de SAP-toepassingsserver:

Maak de koppelpunten.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Koppel de bestandssystemen.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Als u NFS in Azure NetApp Files gebruikt, gebruikt u de volgende instructies om de SAP-directory's voor te bereiden op de VM's van de SAP-toepassingsserver:

Maak de koppelpunten.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Koppel de bestandssystemen.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3, hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab    
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

De database installeren

In dit voorbeeld wordt SAP NetWeaver geïnstalleerd op SAP HANA. U kunt elke ondersteunde database voor deze installatie gebruiken. Zie Hoge beschikbaarheid van SAP HANA op virtuele Azure-machines voor meer informatie over het installeren van SAP HANA in Azure. Zie SAP Note 1928533 voor een lijst met ondersteunde databases.

Installeer het SAP NetWeaver-database-exemplaar als hoofdmap met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de database. U kunt de SAPINST_REMOTE_ACCESS_USER parameter gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst.

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

De SAP NetWeaver-toepassingsserver installeren

Volg deze stappen om een SAP-toepassingsserver te installeren:

[A] Bereid de toepassingsserver voor.

Volg de stappen in de voorbereiding van de SAP NetWeaver-toepassingsserver.
[A] Installeer een primaire of extra SAP NetWeaver-toepassingsserver.

U kunt de SAPINST_REMOTE_ACCESS_USER parameter gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
[A] Werk de secure store van SAP HANA bij zodat deze verwijst naar de virtuele naam van de installatie van het SAP HANA-systeemreplicatie.

Voer de volgende opdracht uit om de vermeldingen weer te geven.
```
hdbuserstore List
```
De opdracht moet alle vermeldingen vermelden en moet er ongeveer uitzien als in dit voorbeeld.
```
DATA FILE       : /home/nw1adm/.hdb/sapa01/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/sapa01/SSFS_HDB.KEY

KEY DEFAULT 
  ENV : 10.27.0.4:30313
  USER: SAPABAP1
  DATABASE: NW1
```
In dit voorbeeld is het IP-adres van de standaardinvoerpunten naar de VM, niet de load balancer. Wijzig de vermelding zodat deze verwijst naar de naam van de virtuele host van de load balancer. Zorg ervoor dat u dezelfde poort- en databasenaam gebruikt. Gebruik bijvoorbeeld 30313 en NW1 in de voorbeelduitvoer.
```
su - nw1adm
hdbuserstore SET DEFAULT nw1db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

De clusterinstallatie testen

Test uw Pacemaker-cluster grondig. Voer de typische failovertests uit.

SAP NetWeaver met hoge beschikbaarheid met eenvoudige koppeling en NFS op SLES voor VIRTUELE SAP-toepassingen

Vereisten

Overzicht

De infrastructuur voorbereiden

Virtuele Linux-machines handmatig implementeren via Azure Portal

Azure Load Balancer configureren

NFS implementeren

Een Azure Files-opslagaccount en NFS-shares implementeren

Belangrijke overwegingen voor NFS op Azure Files-shares

Azure NetApp Files-resources implementeren

Belangrijke overwegingen voor NFS in Azure NetApp Files

ASCS instellen

Een Pacemaker-cluster maken

Installatie voorbereiden

SAP-mappen voorbereiden als u NFS in Azure Files gebruikt

SAP-mappen voorbereiden als u NFS gebruikt in Azure NetApp Files

SAP NetWeaver ASCS en ERS installeren

De SAP-toepassingsserver voorbereiden

SAP-mappen voorbereiden

De database installeren

De SAP NetWeaver-toepassingsserver installeren

De clusterinstallatie testen

Volgende stappen

Aanvullende resources