Hochverfügbarkeit von Azure Virtual Machines für SAP NetWeaver unter Red Hat Enterprise Linux

Artikel
01/19/2024

In diesem Artikel wird beschrieben, wie Sie virtuelle Computer (VMs) bereitstellen, die virtuellen Computer konfigurieren, das Clusterframework installieren und ein hoch verfügbares SAP NetWeaver 7.50-System installieren.

In den Beispielkonfigurationen und Installationsbefehlen werden die ASCS-Instanznummer 00, DIE ERS-Instanznummer 02 und die SAP-System-ID NW1 verwendet. Die Namen der Ressourcen (z. B. VMs und virtuelle Netzwerke) im Beispiel gehen davon aus, dass Sie die ASCS/SCS-Vorlage mit ressourcenpräfix NW1 zum Erstellen der Ressourcen verwendet haben.

Voraussetzungen

Lesen Sie zuerst die folgenden SAP-Hinweise und -Dokumente:

SAP-Hinweis 1928533 mit folgenden Informationen:
- Eine Liste der Azure-VM-Größen, die für die Bereitstellung von SAP-Software unterstützt werden.
- Wichtige Kapazitätsinformationen für Azure-VM-Größen
- Unterstützte SAP-Software und Kombinationen aus Betriebssystem (OS) und Datenbank.
- Erforderliche SAP-Kernelversion für Windows und Linux in Microsoft Azure
In SAP-Hinweis 2015553 sind die Voraussetzungen für Bereitstellungen von SAP-Software in Azure aufgeführt, die von SAP unterstützt werden.
SAP Note 2002167 hat empfohlene Betriebssystemeinstellungen für Red Hat Enterprise Linux (RHEL).
SAP-Hinweis 2009879 enthält SAP HANA-Richtlinien für Red Hat Enterprise Linux.
SAP-Hinweis 2178632 enthält ausführliche Informationen zu allen Überwachungsmetriken, die für SAP in Azure gemeldet werden.
SAP-Hinweis 2191498 enthält die erforderliche SAP Host Agent-Version für Linux in Azure.
SAP-Hinweis 2243692 enthält Informationen zur SAP-Lizenzierung unter Linux in Azure.
SAP-Hinweis 1999351 enthält Informationen zur Problembehandlung für die Azure Enhanced Monitoring-Erweiterung für SAP.
Das WIKI der SAP-Community enthält alle erforderlichen SAP-Hinweise für Linux.
Azure Virtual Machines – Planung und Implementierung für SAP unter Linux
Bereitstellung von Azure Virtual Machines für SAP unter Linux
Azure Virtual Machines – DBMS-Bereitstellung für SAP unter Linux
Produktdokumentation für Red Hat Gluster Storage
SAP NetWeaver im Pacemaker Cluster
Allgemeine RHEL-Dokumentation:
- Übersicht über das Hochverfügbarkeits-Add-On
- Verwaltung des Hochverfügbarkeits-Add-Ons
- Referenz zum Hochverfügbarkeits-Add-On
- Konfigurieren von ASCS/ERS für SAP NetWeaver mit eigenständigen Ressourcen in RHEL 7.5
- Configure SAP S/4HANA ASCS/ERS with Standalone Enqueue Server 2 (ENSA2) in Pacemaker on RHEL (Konfigurieren von SAP S/4HANA ASCS/ERS mit eigenständigen Enqueue-Server 2 (ENSA2) in Pacemaker unter RHEL)
Azure-spezifische RHEL-Dokumentation:
- Unterstützungsrichtlinien für RHEL-Hochverfügbarkeitscluster – Virtuelle Microsoft Azure-Computer als Clustermitglieder
- Installieren und Konfigurieren eines Red Hat Enterprise Linux 7.4-Hochverfügbarkeitclusters (und höher) in Microsoft Azure

Übersicht

Zum Erreichen von Hochverfügbarkeit erfordert SAP NetWeaver freigegebenen Speicher. GlusterFS ist in einem separaten Cluster konfiguriert, und es können mehrere SAP-Systeme verwendet werden.

Diagram that shows an overview of SAP NetWeaver high availability.

SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS und die SAP HANA-Datenbank verwenden einen virtuellen Hostnamen und virtuelle IP-Adressen. Für die Verwendung einer virtuellen IP-Adresse ist in Azure ein Lastenausgleich erforderlich. Wir empfehlen die Verwendung von Standard Azure Load Balancer. Die Konfiguration hier zeigt einen Lastenausgleich mit:

Front-End-IP-Adresse 10.0.0.7 für ASCS
Front-End-IP-Adresse 10.0.0.8 für ERS
Testport 62000 für ASCS
Testport 62101 für ERS

Einrichten von GlusterFS

SAP NetWeaver erfordert einen freigegebenen Speicher für den Transport und das Profilverzeichnis. Informationen zum Einrichten von GlusterFS für SAP NetWeaver finden Sie unter GlusterFS auf Azure VMs unter Red Hat Enterprise Linux für SAP NetWeaver.

Vorbereiten der Infrastruktur

Azure Marketplace enthält Images, die für SAP mit dem Add-On für hohe Verfügbarkeit qualifiziert sind, mit dem Sie neue VMs mithilfe verschiedener Versionen von Red Hat bereitstellen können.

Manuelles Bereitstellen von Linux-VMs über die Azure-Portal

In diesem Dokument wird davon ausgegangen, dass Sie bereits ein virtuelles Azure-Netzwerk, ein Subnetz und eine Ressourcengruppe bereitgestellt haben.

Stellen Sie VMs für SAP ASCS-, ERS- und Anwendungsserver bereit. Wählen Sie ein geeignetes RHEL-Image aus, das für das SAP-System unterstützt wird. Sie können einen virtuellen Computer in einer der Verfügbarkeitsoptionen bereitstellen: Skalierungssatz für virtuelle Computer, Verfügbarkeitszone oder Verfügbarkeitsgruppe.

Konfigurieren von Azure Load Balancer

Während der VM-Konfiguration haben Sie die Möglichkeit, das Lastenausgleichsmodul im Netzwerkabschnitt zu erstellen oder auszuwählen. Führen Sie die folgenden Schritte aus, um einen Standardlastenausgleich für die Hochverfügbarkeit von SAP ASCS und SAP ERS zu konfigurieren.

Befolgen Sie die Anleitung zum Erstellen des Lastenausgleichs, um einen Standardgerät zum Lastenausgleich für ein SAP-System mit hoher Verfügbarkeit mithilfe der Azure-Portal einzurichten. Berücksichtigen Sie beim Einrichten des Lastenausgleichs die folgenden Punkte.

Front-End-IP-Konfiguration: Erstellen Sie zwei Frontend-IP-Adressen, eine für ASCS und eine für ERS. Wählen Sie dasselbe virtuelle Netzwerk und subnetz wie Ihre virtuellen ASCS/ERS-Computer aus.
Back-End-Pool: Erstellen Sie einen Back-End-Pool, und fügen Sie ASCS- und ERS-VMs hinzu.
Eingehende Regeln: Erstellen Sie zwei Lastenausgleichsregel, eine für ASCS und eine für ERS. Führen Sie die gleichen Schritte für beide Lastenausgleichsregeln aus.
- Front-End-IP-Adresse: Frontend-IP auswählen
- Back-End-Pool: Back-End-Pool auswählen
- Überprüfen von "Ports für hohe Verfügbarkeit"
- Protokoll: TCP
- Integritätsprüfer: Erstellen einer Integritätssonde mit den folgenden Details (gilt für ASCS oder ERS)
  - Protokoll: TCP
  - Port: [beispiel: 620<Instance-No.> for ASCS, 621<Instance-no.> for ERS]
  - Intervall: 5
  - Probeschwellenwert: 2
- Leerlauftimeout (Minuten): 30
- Aktivieren von unverankerten IP-Adressen

Hinweis

Die Konfigurationseigenschaft „numberOfProbes“ für Integritätstests (im Portal als „Fehlerschwellenwert“ bezeichnet) wird nicht berücksichtigt. Um die Anzahl der erfolgreichen oder fehlgeschlagenen aufeinanderfolgenden Probes zu steuern, legen Sie die Eigenschaft "probeThreshold" auf 2 fest. Es ist derzeit nicht möglich, diese Eigenschaft mit Azure-Portal festzulegen. Verwenden Sie daher entweder den Azure CLI- oder PowerShell-Befehl.

Führen Sie die folgenden Schritte aus, um den Azure-Standardlastenausgleich für die Einrichtung des SAP-Systems mit Azure CLI zu erstellen.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

Erweitern, um den vollständigen CLI-Code anzuzeigen

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Führen Sie die folgenden Schritte aus, um den Azure-Standardlastenausgleich für die Einrichtung des SAP-Systems mithilfe von Azure PowerShell zu erstellen.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

Erweitern, um den vollständigen PowerShell-Code anzuzeigen

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Wichtig

Floating IP wird bei einer NIC-Sekundär-IP-Konfiguration in Load-Balancing-Szenarien nicht unterstützt. Weitere Informationen finden Sie unter Azure Load Balancer-Einschränkungen. Wenn Sie zusätzliche IP-Adressen für die VM benötigen, stellen Sie eine zweite NIC bereit.

Hinweis

Wenn VMs ohne öffentliche IP-Adressen im Back-End-Pool eines internen (keine öffentlichen IP-Adresse) Standardmäßigen Azure-Lastenausgleichs platziert werden, gibt es keine ausgehende Internetverbindung, es sei denn, mehr Konfiguration wird ausgeführt, um das Routing an öffentliche Endpunkte zu ermöglichen. Weitere Informationen zum Erreichen der ausgehenden Konnektivität finden Sie unter Public Endpoint Connectivity for VMs using Azure Load Balancer Standard in SAP high-availability scenarios.

Wichtig

Aktivieren Sie keine TCP-Zeitstempel auf Azure-VMs, die sich hinter Azure Load Balancer befinden. Die Aktivierung von TCP-Zeitstempeln führt dazu, dass die Health Probes fehlschlagen. Setzen Sie den Parameter net.ipv4.tcp_timestamps auf 0. Weitere Informationen finden Sie unter Lastenausgleichs-Integritätstests.

Einrichten (A)SCS

Im nächsten Schritt bereiten Sie die SAP ASCS- und ERS-Instanzen vor und installieren sie.

Erstellen eines Pacemaker-Clusters

Führen Sie die Schritte in Einrichten von Pacemaker unter Red Hat Enterprise Linux in Azure aus, um ein grundlegendes Pacemaker-Cluster für diesen (A)SCS-Server zu erstellen.

Vorbereiten der SAP NetWeaver-Installation

Die folgenden Elemente haben eines der folgenden Präfixe:

[A] : Gilt für alle Knoten
[1]: Gilt nur für Knoten 1
[2]: Gilt nur für Knoten 2

[A] Einrichten der Auflösung des Hostnamens.

Sie können entweder einen DNS-Server verwenden oder die Datei /etc/hosts auf allen Knoten ändern. In diesem Beispiel wird die Verwendung der Datei /etc/hosts gezeigt. Ersetzen Sie die IP-Adresse und den Hostnamen in den folgenden Befehlen:
```
sudo vi /etc/hosts
```
Fügen Sie die folgenden Zeilen in die /etc/hosts Datei ein. Ändern Sie die IP-Adresse und den Hostnamen Ihrer Umgebung entsprechend.
```
# IP addresses of the GlusterFS nodes
10.0.0.40 glust-0
10.0.0.41 glust-1
10.0.0.42 glust-2
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
```

[A] Erstellen der freigegebenen Verzeichnisse.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/NW1/SYS
sudo mkdir -p /usr/sap/NW1/ASCS00
sudo mkdir -p /usr/sap/NW1/ERS02

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/NW1/SYS
sudo chattr +i /usr/sap/NW1/ASCS00
sudo chattr +i /usr/sap/NW1/ERS02

[A] Installieren Sie den GlusterFS-Client und andere erforderliche Pakete.
```
sudo yum -y install glusterfs-fuse resource-agents resource-agents-sap
```

[A] Überprüfen Sie die Version von resource-agents-sap.

Stellen Sie sicher, dass die Version des installierten resource-agents-sap Pakets mindestens 3.9.5-124.el7 ist.

sudo yum info resource-agents-sap

# Loaded plugins: langpacks, product-id, search-disabled-repos
# Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
# Installed Packages
# Name        : resource-agents-sap
# Arch        : x86_64
# Version     : 3.9.5
# Release     : 124.el7
# Size        : 100 k
# Repo        : installed
# From repo   : rhel-sap-for-rhel-7-server-rpms
# Summary     : SAP cluster resource agents and connector script
# URL         : https://github.com/ClusterLabs/resource-agents
# License     : GPLv2+
# Description : The SAP resource agents and connector script interface with
#          : Pacemaker to allow SAP instances to be managed in a cluster
#          : environment.

[A] Fügen Sie Bereitstellungseinträge hinzu.

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
glust-0:/NW1-sapmnt /sapmnt/NW1 glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-trans /usr/sap/trans glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-sys /usr/sap/NW1/SYS glusterfs backup-volfile-servers=glust-1:glust-2 0 0

Mount the new shares.

sudo mount -a

[A] Konfigurieren der Auslagerungsdatei.

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

Starten Sie den Agenten neu, um die Änderung zu aktivieren.

sudo service waagent restart

[A] Konfigurieren von RHEL.

Führen Sie basierend auf der RHEL-Version die konfiguration Erwähnung in SAP Note 2002167, SAP Note 2772999 oder SAP Note 3108316 aus.

Installieren Sie SAP NetWeaver ASCS

[1] Konfigurieren Sie die Standard-Clustereigenschaften.

pcs resource defaults resource-stickiness=1
pcs resource defaults migration-threshold=3

[1] Erstellen Sie eine virtuelle IP-Ressource und einen Integritätstest für die ASCS-Instanz.

sudo pcs node standby nw1-cl-1

sudo pcs resource create fs_NW1_ASCS Filesystem device='glust-0:/NW1-ascs' \
  directory='/usr/sap/NW1/ASCS00' fstype='glusterfs' \
  options='backup-volfile-servers=glust-1:glust-2' \
  --group g-NW1_ASCS

sudo pcs resource create vip_NW1_ASCS IPaddr2 \
  ip=10.0.0.7 \
  --group g-NW1_ASCS

sudo pcs resource create nc_NW1_ASCS azure-lb port=62000 \
  --group g-NW1_ASCS

Stellen Sie sicher, dass der Clusterstatus gültig ist und alle Ressourcen gestartet sind. Es ist nicht wichtig, auf welchem Knoten die Ressourcen ausgeführt werden.

sudo pcs status

# Node nw1-cl-1: standby
# Online: [ nw1-cl-0 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0

[1] Installieren Sie SAP NetWeaver ASCS.

Installieren Sie SAP NetWeaver ASCS als Stamm auf dem ersten Knoten, indem Sie einen virtuellen Hostnamen verwenden, der der IP-Adresse der Front-End-Konfiguration des Lastenausgleichs für die ASCS zugeordnet ist, z. B. nw1-ascs und 10.0.0.7, und die Instanznummer, die Sie für den Prüfpunkt des Lastenausgleichs verwendet haben, z. B. 00.

Sie können den sapinst-ParameterSAPINST_REMOTE_ACCESS_USER verwenden, um einem Nicht-Root-Benutzer zu ermöglichen, sich mit sapinst zu verbinden.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Wenn bei der Installation kein Unterordner in „/usr/sap/NW1/ASCS00“ erstellt werden kann, legen Sie den Besitzer und die Gruppe des Ordners „ASCS00“ fest, und versuchen Sie es noch mal.
```
sudo chown nw1adm /usr/sap/NW1/ASCS00
sudo chgrp sapsys /usr/sap/NW1/ASCS00
```

[1] Erstellen einer virtuellen IP-Ressource und eines Integritätstests für die ERS-Instanz.

sudo pcs node unstandby nw1-cl-1
sudo pcs node standby nw1-cl-0

sudo pcs resource create fs_NW1_AERS Filesystem device='glust-0:/NW1-aers' \
  directory='/usr/sap/NW1/ERS02' fstype='glusterfs' \
  options='backup-volfile-servers=glust-1:glust-2' \
 --group g-NW1_AERS

sudo pcs resource create vip_NW1_AERS IPaddr2 \
  ip=10.0.0.8 \
 --group g-NW1_AERS

sudo pcs resource create nc_NW1_AERS azure-lb port=62102 \
 --group g-NW1_AERS

Stellen Sie sicher, dass der Clusterstatus gültig ist und alle Ressourcen gestartet sind. Es ist nicht wichtig, auf welchem Knoten die Ressourcen ausgeführt werden.

sudo pcs status

# Node nw1-cl-0: standby
# Online: [ nw1-cl-1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1

[2] Installieren Sie SAP NetWeaver ERS.

Installieren Sie SAP NetWeaver ERS als Stamm auf dem zweiten Knoten, indem Sie einen virtuellen Hostnamen verwenden, der der IP-Adresse der Front-End-Konfiguration des Lastenausgleichs für die ERS zugeordnet ist, z. B. nw1-aers und 10.0.0.8, und die Instanznummer, die Sie für den Prüfpunkt des Lastenausgleichs verwendet haben, z. B. 02.

Sie können den sapinst-ParameterSAPINST_REMOTE_ACCESS_USER verwenden, um einem Nicht-Root-Benutzer zu ermöglichen, sich mit sapinst zu verbinden.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Wenn bei der Installation kein Unterordner in „/usr/sap/NW1/ERS02“ erstellt werden kann, legen Sie den Besitzer und die Gruppe des Ordners „ERS02“ fest, und versuchen Sie es noch mal.
```
sudo chown nw1adm /usr/sap/NW1/ERS02
sudo chgrp sapsys /usr/sap/NW1/ERS02
```

[1] Passen Sie die ASCS/SCS- und ERS-Instanzprofile an.

ASCS/SCS-Profil:

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

Stellen Sie sowohl für ENSA1 als auch für ENSA2 sicher, dass die keepalive-Parameter des Betriebssystems wie im SAP-Hinweis 1410736 beschrieben festgelegt sind.

ERS-Profil:

sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

[A] Konfigurieren Sie Keep Alive.

Die Kommunikation zwischen dem SAP NetWeaver-Anwendungsserver und ASCS/SCS wird durch einen Softwarelastenausgleich weitergeleitet. Der Lastenausgleich trennt nach einem konfigurierbaren Timeout inaktive Verbindungen. Um diese Aktion zu verhindern, setzen Sie einen Parameter im SAP NetWeaver ASCS/SCS-Profil, wenn Sie ENSA1 verwenden. Ändern Sie außerdem die Linux-Systemeinstellungen für keepalive auf allen SAP-Servern (sowohl für ENSA1 als auch für ENSA2). Weitere Informationen finden Sie im SAP-Hinweis 1410736.
```
# Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] Aktualisieren Sie die /usr/sap/sapservices-Datei.

Um den Start der Instanzen durch das sapinitStartskript zu verhindern, müssen alle von Pacemaker verwalteten Instanzen in der /usr/sap/sapservices-Datei auskommentiert werden.

sudo vi /usr/sap/sapservices

# On the node where you installed the ASCS, comment out the following line
# LD_LIBRARY_PATH=/usr/sap/NW1/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW1/ASCS00/exe/sapstartsrv pf=/usr/sap/NW1/SYS/profile/NW1_ASCS00_nw1-ascs -D -u nw1adm

# On the node where you installed the ERS, comment out the following line
# LD_LIBRARY_PATH=/usr/sap/NW1/ERS02/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW1/ERS02/exe/sapstartsrv pf=/usr/sap/NW1/ERS02/profile/NW1_ERS02_nw1-aers -D -u nw1adm

[1] Erstellen der SAP-Clusterressourcen.

Je nachdem, ob Sie ein ENSA1- oder ENSA2-System ausführen, wählen Sie die entsprechende Registerkarte aus, um die Ressourcen zu definieren. SAP hat in SAP NetWeaver 7.52 Unterstützung für ENSA2 eingeführt, einschließlich Replikation. Ab der ABAP-Plattform 1809 wird ENSA2 standardmäßig installiert. Informationen zur ENSA2-Unterstützung finden Sie im SAP-Hinweis 2630416 für die Unterstützung von enqueue Server 2.

Wenn Sie die Enqueue Server 2 Architektur (ENSA2) verwenden, installieren Sie den Ressourcen-Agenten resource-agents-sap-4.1.1-12.el7.x86_64 oder neuer und definieren die Ressourcen wie hier gezeigt:

ENSA1
ENSA2

sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW1_ASCS00 SAPInstance \
InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_ASCS

sudo pcs resource meta g-NW1_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW1_ERS02 SAPInstance \
InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_AERS

sudo pcs constraint colocation add g-NW1_AERS with g-NW1_ASCS -5000
sudo pcs constraint location rsc_sap_NW1_ASCS00 rule score=2000 runs_ers_NW1 eq 1
sudo pcs constraint order start g-NW1_ASCS then stop g-NW1_AERS kind=Optional symmetrical=false

sudo pcs node unstandby nw1-cl-0
sudo pcs property set maintenance-mode=false

sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW1_ASCS00 SAPInstance \
InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_ASCS

sudo pcs resource meta g-NW1_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW1_ERS02 SAPInstance \
InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_AERS

sudo pcs resource meta rsc_sap_NW1_ERS02 resource-stickiness=3000

sudo pcs constraint colocation add g-NW1_AERS with g-NW1_ASCS -5000
sudo pcs constraint order start g-NW1_ASCS then start g-NW1_AERS kind=Optional symmetrical=false
sudo pcs constraint order start g-NW1_ASCS then stop g-NW1_AERS kind=Optional symmetrical=false

sudo pcs node unstandby nw1-cl-0
sudo pcs property set maintenance-mode=false

Hinweis

Wenn Sie ein Upgrade von einer älteren Version durchführen und zu Enqueue-Server 2 wechseln, lesen Sie den SAP-Hinweis 2641322.

Hinweis

Die Zeitüberschreitungen in der vorangegangenen Konfiguration sind nur Beispiele und müssen möglicherweise an die spezifische SAP-Einrichtung angepasst werden.

Stellen Sie sicher, dass der Clusterstatus gültig ist und alle Ressourcen gestartet sind. Es ist nicht wichtig, auf welchem Knoten die Ressourcen ausgeführt werden.

sudo pcs status

# Online: [ nw1-cl-0 nw1-cl-1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
#      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

[A] Fügen Sie Firewallregeln für ASCS und ERS auf beiden Knoten hinzu.

# Probe Port of ASCS
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp
# Probe Port of ERS
sudo firewall-cmd --zone=public --add-port={62102,3202,3302,50213,50214,50216}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62102,3202,3302,50213,50214,50216}/tcp

Vorbereitung des SAP NetWeaver-Anwendungsservers

Einige Datenbanken erfordern, dass die Installation der Datenbankinstanz auf einem Anwendungsserver läuft. Bereiten Sie die Anwendungsserver-VMs so vor, dass Sie diese in jenen Fällen verwenden können.

Die folgenden Schritte gehen davon aus, dass Sie den Anwendungsserver auf einem anderen Server als den ASCS/SCS- und HANA-Servern installieren. Andernfalls sind einige der Schritte (z. B. Konfigurieren der Hostnamenauflösung) nicht erforderlich.

Richten Sie die Hostnamenauflösung ein.

Sie können entweder einen DNS-Server verwenden oder die Datei /etc/hosts auf allen Knoten ändern. In diesem Beispiel wird die Verwendung der Datei /etc/hosts gezeigt. Ersetzen Sie die IP-Adresse und den Hostnamen in den folgenden Befehlen:

sudo vi /etc/hosts

Fügen Sie in /etc/hosts die folgenden Zeilen ein. Ändern Sie die IP-Adresse und den Hostnamen Ihrer Umgebung entsprechend.

# IP addresses of the GlusterFS nodes
10.0.0.40 glust-0
10.0.0.41 glust-1
10.0.0.42 glust-2
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db

Erstellen Sie das sapmnt Verzeichnis.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Installieren Sie den GlusterFS-Client und andere Anforderungen.
```
sudo yum -y install glusterfs-fuse uuidd
```

Fügen Sie Bereitstellungseinträge hinzu.

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
glust-0:/NW1-sapmnt /sapmnt/NW1 glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-trans /usr/sap/trans glusterfs backup-volfile-servers=glust-1:glust-2 0 0

Mount the new shares.

sudo mount -a

Konfigurieren Sie die Auslagerungsdatei.

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

Starten Sie den Agenten neu, um die Änderung zu aktivieren.

sudo service waagent restart

Installieren der Datenbank

In diesem Fall ist SAP NetWeaver auf SAP HANA installiert. Für diese Installation können Sie jede unterstützte Datenbank verwenden. Weitere Informationen zum Installieren von SAP HANA in Azure finden Sie unter Hochverfügbarkeit von SAP HANA auf Azure-VMs unter Red Hat Enterprise Linux. Eine Liste der unterstützten Datenbanken finden Sie im SAP-Hinweis 1928533.

Führen Sie die SAP-Datenbankinstanzinstallation aus.

Installieren Sie die SAP NetWeaver-Datenbankinstanz als Stamm, indem Sie einen virtuellen Hostnamen verwenden, der der IP-Adresse der Front-End-Konfiguration des Lastenausgleichs für die Datenbank zugeordnet ist, z. B. nw1-db und 10.0.0.13.

Sie können den sapinst-ParameterSAPINST_REMOTE_ACCESS_USER verwenden, um einem Nicht-Root-Benutzer zu ermöglichen, sich mit sapinst zu verbinden.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```

Installation des SAP NetWeaver-Anwendungsservers

Führen Sie die folgenden Schritte durch, um einen SAP-Anwendungsserver zu installieren.

Bereiten Sie den Anwendungsserver vor.

Führen Sie die Schritte des vorigen Abschnitts Vorbereitung des SAP NetWeaver-Anwendungsservers aus, um den Anwendungsserver vorzubereiten.
Installieren Sie den SAP NetWeaver-Anwendungsserver.

Installieren Sie einen primären oder einen zusätzlichen SAP NetWeaver-Anwendungsserver.

Sie können den sapinst-ParameterSAPINST_REMOTE_ACCESS_USER verwenden, um einem Nicht-Root-Benutzer zu ermöglichen, sich mit sapinst zu verbinden.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Aktualisieren Sie den sicheren SAP HANA Store.

Ändern Sie den sicheren SAP HANA-Speicher dahingehend, dass er auf den virtuellen Namen der Einrichtung der SAP HANA-Systemreplikation zeigt.

Führen Sie den folgenden Befehl aus, um die Einträge als <sapsid>adm auflisten:
```
hdbuserstore List
```
Alle Einträge sollten aufgelistet und ähnlich aussehen wie:
```
DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.0.0.14:30313
  USER: SAPABAP1
  DATABASE: NW1
```
Die Ausgabe zeigt, dass die IP-Adresse des Standardeintrags auf den virtuellen Computer und nicht auf die IP-Adresse des Lastenausgleichs verweist. Dieser Eintrag muss so geändert werden, dass er auf den Namen des virtuellen Hosts des Lastenausgleichs zeigt. Stellen Sie sicher, dass Sie denselben Port (30313 in der vorherigen Ausgabe) und den Datenbanknamen (HN1 in der vorherigen Ausgabe) verwenden.
```
su - nw1adm
hdbuserstore SET DEFAULT nw1-db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

Testen der Clustereinrichtung

Migrieren Sie die ASCS-Instanz manuell.

Zustand der Ressource vor dem Starten des Tests:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Führen Sie die folgenden Befehle als root aus, um die ASCS-Instanz zu migrieren.

[root@nw1-cl-0 ~]# pcs resource move rsc_sap_NW1_ASCS00

[root@nw1-cl-0 ~]# pcs resource clear rsc_sap_NW1_ASCS00

# Remove failed actions for the ERS that occurred as part of the migration
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Zustand der Ressource nach dem Test:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Simulieren eines Knotenabsturzes.

Zustand der Ressource vor dem Starten des Tests:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Führen Sie den folgenden Befehl als Stamm auf dem Knoten aus, auf dem die ASCS-Instanz ausgeführt wird.

[root@nw1-cl-1 ~]# echo b > /proc/sysrq-trigger

Der Status nach dem Erneuten Starten des Knotens sollte wie folgt aussehen:

Online: [ nw1-cl-0 nw1-cl-1 ]

Full list of resources:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Failed Actions:
* rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-0 'not running' (7): call=45, status=complete, exitreason='',
    last-rc-change='Tue Aug 21 13:52:39 2018', queued=0ms, exec=0ms

Führen Sie zum Bereinigen der fehlerhaften Ressourcen den folgenden Befehl aus:

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Zustand der Ressource nach dem Test:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Blockieren der Netzwerkkommunikation.

Zustand der Ressource vor dem Starten des Tests:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Führen Sie eine Firewallregel aus, um die Kommunikation auf einem der Knoten zu blockieren.

 # Execute iptable rule on nw1-cl-0 (10.0.0.7) to block the incoming and outgoing traffic to nw1-cl-1 (10.0.0.8)
 iptables -A INPUT -s 10.0.0.8 -j DROP; iptables -A OUTPUT -d 10.0.0.8 -j DROP

Wenn Clusterknoten nicht miteinander kommunizieren können, besteht das Risiko eines Split-Brain-Szenarios. In solchen Situationen versuchen Clusterknoten, sich gleichzeitig zu zaunieren, was zu einem Zaunrennen führt. Um diese Situation zu vermeiden, empfehlen wir, eine Eigenschaft mit Prioritätsverzögerung in einer Clusterkonfiguration festzulegen (gilt nur für Pacemaker-2.0.4-6.el8 oder höher).

Durch aktivieren der Eigenschaft führt der priority-fencing-delay Cluster eine Verzögerung in der Fencing-Aktion ein, insbesondere auf der Knotenhosting-ASCS-Ressource, sodass der Knoten das Zaunrennen gewinnen kann.

Führen Sie den folgenden Befehl aus, um die Firewallregel zu löschen.

 # If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
 iptables -D INPUT -s 10.0.0.8 -j DROP; iptables -D OUTPUT -d 10.0.0.8 -j DROP

Beenden Sie den Nachrichtenserverprozess.

Zustand der Ressource vor dem Starten des Tests:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Führen Sie die folgenden Befehle als root aus, um Prozess des Nachrichtenservers zu ermitteln und zu beenden.

[root@nw1-cl-0 ~]# pgrep -f ms.sapNW1 | xargs kill -9

Wenn Sie den Nachrichtenserver nur einmal beenden, sapstart starten Sie ihn neu. Wenn Sie es oft genug töten, verschiebt Pacemaker schließlich die ASCS-Instanz auf den anderen Knoten. Führen Sie die folgenden Befehle als root aus, um den Ressourcenstatus der ASCS- und ERS-Instanz nach dem Test zu bereinigen.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ASCS00
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Zustand der Ressource nach dem Test:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Beenden Sie den Enqueue-Serverprozess.

Zustand der Ressource vor dem Starten des Tests:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Führen Sie die folgenden Befehle als root auf dem Knoten aus, auf dem die ASCS-Instanz ausgeführt wird, um den Server für das Einreihen in die Warteschlange zu beenden.

#If using ENSA1 
[root@nw1-cl-1 ~]# pgrep -f en.sapNW1 | xargs kill -9

#If using ENSA2
[root@nw1-cl-1 ~]# pgrep -f enq.sapNW1 | xargs kill -9

Für die ASCS-Instanz sollte bei ENSA1 sofort ein Failover auf den anderen Knoten ausgeführt werden. Für die ERS-Instanz sollte ebenfalls ein Failover ausgeführt werden, nachdem die ASCS-Instanz gestartet wurde. Führen Sie die folgenden Befehle als root aus, um den Ressourcenstatus der ASCS- und ERS-Instanz nach dem Test zu bereinigen.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ASCS00
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Zustand der Ressource nach dem Test:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Beenden Sie den enqueue Replikationsserverprozess.

Zustand der Ressource vor dem Starten des Tests:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Führen Sie den folgenden Befehl als root auf dem Knoten aus, auf dem die ERS-Instanz ausgeführt wird, um den Prozess für den Replikationsserver zum Einreihen in die Warteschlange zu beenden.

#If using ENSA1
[root@nw1-cl-1 ~]# pgrep -f er.sapNW1 | xargs kill -9

#If using ENSA2
[root@nw1-cl-1 ~]# pgrep -f enqr.sapNW1 | xargs kill -9

Wenn Sie den Befehl nur einmal ausführen, sapstart wird der Prozess neu gestartet. Wenn Sie es häufig genug ausführen, starten Sie den Prozess nicht neu, sapstart und die Ressource befindet sich in einem angehaltenen Zustand. Führen Sie die folgenden Befehle als root aus, um den Ressourcenstatus der ERS-Instanz nach dem Test zu bereinigen.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Zustand der Ressource nach dem Test:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Beenden Sie den Queue-Prozess sapstartsrv .

Zustand der Ressource vor dem Starten des Tests:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Führen Sie die folgenden Befehle als root auf dem Knoten aus, auf dem ASCS ausgeführt wird.

[root@nw1-cl-0 ~]# pgrep -fl ASCS00.*sapstartsrv
# 59545 sapstartsrv

[root@nw1-cl-0 ~]# kill -9 59545

Der sapstartsrv Prozess sollte immer vom Pacemaker-Ressourcenagent im Rahmen der Überwachung neu gestartet werden. Zustand der Ressource nach dem Test:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Nächste Schritte

Informationen zum Bereitstellen eines Szenarios zur Kostenoptimierung, in dem die PAS- und AAS-Instanz mit DEM SAP NetWeaver HA-Cluster auf RHEL bereitgestellt wird, finden Sie unter Installieren der SAP Dialoginstanz mit SAP ASCS/SCS-VMs mit hoher Verfügbarkeit auf RHEL.
Siehe Hochverfügbarkeit für SAP NetWeaver auf virtuellen Azure-Computern auf RHEL für SAP-Anwendungen, Multi-SID-Leitfaden.
Siehe Azure Virtual Machines – Planung und Implementierung für SAP.
Siehe Bereitstellung von Azure Virtual Machines für SAP.
Siehe Azure Virtual Machines – DBMS-Bereitstellung für SAP.
Wie Sie HA einrichten und eine Notfallwiederherstellung von SAP HANA auf Azure (große Instanzen) planen, siehe SAP HANA (große Instanzen) Hochverfügbarkeit und Notfallwiederherstellung auf Azure.
Wie Sie HA einrichten und die Notfallwiederherstellung von SAP HANA auf Azure VMs planen, siehe Hochverfügbarkeit von SAP HANA auf Azure Virtual Machines.

Hochverfügbarkeit von Azure Virtual Machines für SAP NetWeaver unter Red Hat Enterprise Linux

Voraussetzungen

Übersicht

Einrichten von GlusterFS

Vorbereiten der Infrastruktur

Manuelles Bereitstellen von Linux-VMs über die Azure-Portal

Konfigurieren von Azure Load Balancer

Einrichten (A)SCS

Erstellen eines Pacemaker-Clusters

Vorbereiten der SAP NetWeaver-Installation

Installieren Sie SAP NetWeaver ASCS

Vorbereitung des SAP NetWeaver-Anwendungsservers

Installieren der Datenbank

Installation des SAP NetWeaver-Anwendungsservers

Testen der Clustereinrichtung

Nächste Schritte

Zusätzliche Ressourcen