Hoge beschikbaarheid voor SAP NetWeaver op Azure-VM's in Red Hat Enterprise Linux voor SAP-toepassingen met meerdere SID's

  • Artikel

In dit artikel wordt beschreven hoe u meerdere maximaal beschikbare SAP NetWeaver-systemen (meerdere SID's) implementeert in een cluster met twee knooppunten op Azure-VM's met Red Hat Enterprise Linux voor SAP-toepassingen.

In de voorbeeldconfiguraties worden drie SAP NetWeaver 7.50-systemen geïmplementeerd in één cluster met twee knooppunten met hoge beschikbaarheid. De SAP-systemen-SID's zijn:

  • NW1: ASCS-exemplaarnummer 00 en naam msnw1ascsvan virtuele host. ERS-exemplaarnummer 02 en virtuele hostnaam msnw1ers.
  • NW2: ASCS-exemplaarnummer 10 en virtuele hostnaam msnw2ascs. ERS-exemplaarnummer 12 en virtuele hostnaam msnw2ers.
  • NW3: ASCS-exemplaarnummer 20 en virtuele hostnaam msnw3ascs. ERS-instantienummer 22 en naam msnw3ersvan virtuele host.

Het artikel heeft geen betrekking op de databaselaag en de implementatie van de SAP NFS-shares.

In de voorbeelden in dit artikel wordt het Azure NetApp Files-volumesapMSID voor de NFS-shares gebruikt, ervan uitgaande dat het volume al is geïmplementeerd. In de voorbeelden wordt ervan uitgegaan dat het Azure NetApp Files-volume wordt geïmplementeerd met het NFSv3-protocol. Ze gebruiken de volgende bestandspaden voor de clusterbronnen voor de ASCS- en ERS-exemplaren van SAP-systemenNW1NW2, enNW3:

  • volume sapMSID (nfs://10.42.0.4/sapmntNW1)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW2)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW3)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ers)

Raadpleeg de volgende SAP-notities en -documenten voordat u begint:

Overzicht

De virtuele machines die deelnemen aan het cluster, moeten de grootte hebben om alle resources uit te kunnen voeren voor het geval er een failover plaatsvindt. Elke SAP-SID kan onafhankelijk van elkaar een failover uitvoeren in het cluster met hoge beschikbaarheid met meerdere SID's.

Voor hoge beschikbaarheid vereist SAP NetWeaver maximaal beschikbare shares. Dit artikel bevat voorbeelden met de SAP-shares die zijn geïmplementeerd op Azure NetApp Files NFS-volumes. U kunt in plaats daarvan de shares hosten op een maximaal beschikbare GlusterFS-cluster, dat kan worden gebruikt door meerdere SAP-systemen.

Diagram shows S A P NetWeaver High Availability overview with Pacemaker cluster and SAP NFS shares.

Belangrijk

De ondersteuning voor clustering met meerdere SID's van SAP ASCS/ERS met Red Hat Linux als gastbesturingssysteem in Azure-VM's is beperkt tot vijf SAP-SID's op hetzelfde cluster. Elke nieuwe SID verhoogt de complexiteit. Een combinatie van SAP Enqueue Replication Server 1 en Enqueue Replication Server 2 op hetzelfde cluster wordt niet ondersteund. Clustering met meerdere SID's beschrijft de installatie van meerdere SAP ASCS/ERS-exemplaren met verschillende SID's in één Pacemaker-cluster. Clustering met meerdere SID's wordt momenteel alleen ondersteund voor ASCS/ERS.

Tip

De clustering met meerdere SID's van SAP ASCS/ERS is een oplossing met een hogere complexiteit. Het is complexer om te implementeren. Het omvat ook een hogere administratieve inspanning bij het uitvoeren van onderhoudsactiviteiten, zoals het patchen van het besturingssysteem. Voordat u de daadwerkelijke implementatie start, moet u de implementatie zorgvuldig plannen en alle betrokken onderdelen, zoals VM's, NFS-koppelingen, VIP's, load balancer-configuraties, enzovoort.

SAP NetWeaver ASCS, SAP NetWeaver SCS en SAP NetWeaver ERS maken gebruik van virtuele hostnaam en virtuele IP-adressen. In Azure is een load balancer vereist voor het gebruik van een virtueel IP-adres. We raden u aan standard load balancer te gebruiken.

  • Front-end-IP-adressen voor ASCS: 10.3.1.50 (NW1), 10.3.1.52 (NW2) en 10.3.1.54 (NW3)
  • Front-end-IP-adressen voor ERS: 10.3.1.51 (NW1), 10.3.1.53 (NW2) en 10.3.1.55 (NW3)
  • Testpoort 62000 voor NW1 ASCS, 62010 voor NW2 ASCS en 62020 voor NW3 ASCS
  • Testpoort 62102 voor NW1 ASCS, 62112 voor NW2 ASCS en 62122 voor NW3 ASCS

Belangrijk

Zwevend IP-adres wordt niet ondersteund in een secundaire IP-configuratie van een NIC in scenario's voor taakverdeling. Zie Azure Load Balancer-beperkingen voor meer informatie. Als u extra IP-adres voor de virtuele machine nodig hebt, implementeert u een tweede NIC.

Notitie

Wanneer VM's zonder openbare IP-adressen worden geplaatst in de back-endpool van interne (geen openbaar IP-adres) Standard Azure Load Balancer, is er geen uitgaande internetverbinding, tenzij er aanvullende configuratie wordt uitgevoerd om routering naar openbare eindpunten toe te staan. Zie Openbare eindpuntconnectiviteit voor virtuele machines met behulp van Azure Standard Load Balancer in scenario's met hoge beschikbaarheid van SAP voor meer informatie over het bereiken van uitgaande connectiviteit.

Belangrijk

Schakel TCP-tijdstempels niet in op Azure-VM's die achter Azure Load Balancer worden geplaatst. Als u TCP-tijdstempels inschakelt, mislukken de statustests. Stel de parameter in net.ipv4.tcp_timestamps op 0. Zie Statustests van Load Balancer voor meer informatie.

SAP-shares

SAP NetWeaver vereist gedeelde opslag voor het transport, de profielmap, enzovoort. Voor sap-systeem met hoge beschikbaarheid is het belangrijk dat u maximaal beschikbare shares hebt. U moet beslissen over de architectuur voor uw SAP-shares. Een optie is het implementeren van de shares op Azure NetApp Files NFS-volumes. Met Azure NetApp Files krijgt u ingebouwde hoge beschikbaarheid voor de SAP NFS-shares.

Een andere optie is om GlusterFS te bouwen op Azure-VM's in Red Hat Enterprise Linux voor SAP NetWeaver, die kan worden gedeeld tussen meerdere SAP-systemen.

Het eerste SAP-systeem in het cluster implementeren

Nadat u de architectuur voor de SAP-shares hebt bepaald, implementeert u het eerste SAP-systeem in het cluster, volgens de bijbehorende documentatie.

In deze artikelen wordt u begeleid bij de stappen voor het voorbereiden van de benodigde infrastructuur, het bouwen van het cluster, het voorbereiden van het besturingssysteem voor het uitvoeren van de SAP-toepassing.

Tip

Test altijd de failoverfunctionaliteit van het cluster nadat het eerste systeem is geïmplementeerd, voordat u de extra SAP-SID's toevoegt aan het cluster. Op die manier weet u dat de clusterfunctionaliteit werkt, voordat u de complexiteit van extra SAP-systemen toevoegt aan het cluster.

Meer SAP-systemen implementeren in het cluster

In dit voorbeeld wordt ervan uitgegaan dat het systeem NW1 al in het cluster is geïmplementeerd. In dit voorbeeld ziet u hoe u SAP-systemen NW2 en NW3 in het cluster implementeert.

De volgende items worden voorafgegaan door:

  • [A] Van toepassing op alle knooppunten
  • [1] Alleen van toepassing op knooppunt 1
  • [2] Alleen van toepassing op knooppunt 2

Vereisten

Belangrijk

Voordat u de instructies voor het implementeren van extra SAP-systemen in het cluster volgt, implementeert u het eerste SAP-systeem in het cluster. Er zijn stappen die alleen nodig zijn tijdens de eerste systeemimplementatie.

In dit artikel wordt ervan uitgegaan dat:

  • Het Pacemaker-cluster is al geconfigureerd en wordt uitgevoerd.
  • Ten minste één SAP-systeem (ASCS/ERS-exemplaar) is al geïmplementeerd en wordt uitgevoerd in het cluster.
  • De functionaliteit van de clusterfailover is getest.
  • De NFS-shares voor alle SAP-systemen worden geïmplementeerd.

Voorbereiden op SAP NetWeaver-installatie

  1. Voeg de configuratie voor het zojuist geïmplementeerde systeem (dat wil NW2 gezegd en NW3) toe aan de bestaande Azure Load Balancer, volgens de instructies Azure Load Balancer handmatig implementeren via Azure Portal. Pas de IP-adressen, statustestpoorten en taakverdelingsregels voor uw configuratie aan.

  2. [A] Naamomzetting instellen voor de meer SAP-systemen. U kunt dns-server gebruiken of /etc/hosts op alle knooppunten wijzigen. In dit voorbeeld ziet u hoe u het bestand /etc/hosts gebruikt. Pas de IP-adressen en de hostnamen aan uw omgeving aan.

    sudo vi /etc/hosts
# IP address of the load balancer frontend configuration for NW2 ASCS
10.3.1.52 msnw2ascs
# IP address of the load balancer frontend configuration for NW3 ASCS
10.3.1.54 msnw3ascs
# IP address of the load balancer frontend configuration for NW2 ERS
10.3.1.53 msnw2ers
# IP address of the load balancer frontend configuration for NW3 ERS
10.3.1.55 msnw3ers

  3. [A] Maak de gedeelde mappen voor de NW2 en NW3 SAP-systemen die in het cluster moeten worden geïmplementeerd.

    sudo mkdir -p /sapmnt/NW2
sudo mkdir -p /usr/sap/NW2/SYS
sudo mkdir -p /usr/sap/NW2/ASCS10
sudo mkdir -p /usr/sap/NW2/ERS12
sudo mkdir -p /sapmnt/NW3
sudo mkdir -p /usr/sap/NW3/SYS
sudo mkdir -p /usr/sap/NW3/ASCS20
sudo mkdir -p /usr/sap/NW3/ERS22


sudo chattr +i /sapmnt/NW2
sudo chattr +i /usr/sap/NW2/SYS
sudo chattr +i /usr/sap/NW2/ASCS10
sudo chattr +i /usr/sap/NW2/ERS12
sudo chattr +i /sapmnt/NW3
sudo chattr +i /usr/sap/NW3/SYS
sudo chattr +i /usr/sap/NW3/ASCS20
sudo chattr +i /usr/sap/NW3/ERS22

  4. [A] Voeg de koppelingsvermeldingen toe voor de /sapmnt/SID en /usr/sap/SID/SYS-bestandssystemen voor de andere SAP-systemen die u in het cluster implementeert. In dit voorbeeld is NW2 het en NW3.

    Werk het bestand /etc/fstab bij met de bestandssystemen voor de andere SAP-systemen die u in het cluster implementeert.

ASCS/ERS installeren

  1. Maak de virtuele IP- en statustestclusterresources voor de ASCS-exemplaren van de andere SAP-systemen die u in het cluster implementeert. In dit voorbeeld wordt NW2 gebruikgemaakt NW3 van ASCS en NFS in Azure NetApp Files-volumes met een NFSv3-protocol.

    sudo pcs resource create fs_NW2_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ascs' \
directory='/usr/sap/NW2/ASCS10' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-NW2_ASCS

sudo pcs resource create vip_NW2_ASCS IPaddr2 \
ip=10.3.1.52 \
 --group g-NW2_ASCS

sudo pcs resource create nc_NW2_ASCS azure-lb port=62010 \
 --group g-NW2_ASCS

sudo pcs resource create fs_NW3_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ascs' \
directory='/usr/sap/NW3/ASCS20' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
--group g-NW3_ASCS

sudo pcs resource create vip_NW3_ASCS IPaddr2 \
ip=10.3.1.54 \
--group g-NW3_ASCS

sudo pcs resource create nc_NW3_ASCS azure-lb port=62020 \
--group g-NW3_ASCS

    Zorg ervoor dat de clusterstatus in orde is en of alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

  2. [1] INSTALLEER SAP NetWeaver ASCS.

    Installeer SAP NetWeaver ASCS als root, met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de ASCS. Voor het systeem NW2is msnw2ascsde virtuele hostnaam bijvoorbeeld , 10.3.1.52en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 10. Voor het systeem NW3is msnw3ascsde virtuele hostnaam , 10.3.1.54en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 20. Noteer op welk clusterknooppunt u ASCS hebt geïnstalleerd voor elke SAP-SID.

    U kunt de sapinst parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt de parameter SAPINST_USE_HOSTNAME gebruiken om SAP te installeren met behulp van de naam van de virtuele host.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
sudo firewall-cmd --zone=public --add-port=4237/tcp
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Als de installatie geen submap kan maken in /usr/sap/<SID>/ASCS<Instance#>, probeert u de eigenaar in te stellen op <sid>adm en groeperen op sapsys van het ASCS-exemplaar<#> en probeert u het opnieuw.

  3. [1] Maak een virtueel IP-adres en statustestclusterresources voor het ERS-exemplaar van het andere SAP-systeem dat u in het cluster implementeert. Dit voorbeeld is bedoeld voor NW2 en NW3 ERS, waarbij NFS wordt gebruikt in Azure NetApp Files-volumes met het NFSv3-protocol.

    sudo pcs resource create fs_NW2_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ers' \
directory='/usr/sap/NW2/ERS12' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-NW2_AERS

sudo pcs resource create vip_NW2_AERS IPaddr2 \
ip=10.3.1.53 \
 --group g-NW2_AERS

sudo pcs resource create nc_NW2_AERS azure-lb port=62112 \
 --group g-NW2_AERS

sudo pcs resource create fs_NW3_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ers' \
directory='/usr/sap/NW3/ERS22' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-NW3_AERS

sudo pcs resource create vip_NW3_AERS IPaddr2 \
ip=10.3.1.55 \
 --group g-NW3_AERS

sudo pcs resource create nc_NW3_AERS azure-lb port=62122 \
 --group g-NW3_AERS

    Zorg ervoor dat de clusterstatus in orde is en of alle resources zijn gestart.

    Controleer vervolgens of de resources van de zojuist gemaakte ERS-groep worden uitgevoerd op het clusterknooppunt, tegenover het clusterknooppunt waarop het ASCS-exemplaar voor hetzelfde SAP-systeem is geïnstalleerd. Als NW2 ASCS bijvoorbeeld is geïnstalleerd, rhelmsscl1controleert u of de NW2 ERS-groep wordt uitgevoerd.rhelmsscl2 U kunt de GROEP NW2 ERS migreren naar rhelmsscl2 door de volgende opdracht uit te voeren voor een van de clusterbronnen in de groep:

    pcs resource move fs_NW2_AERS rhelmsscl2

  4. [2] INSTALLEER SAP NetWeaver ERS.

    Installeer SAP NetWeaver ERS als hoofdmap op het andere knooppunt, met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de ERS. Voor het systeem NW2is msnw2ersde naam van de virtuele host bijvoorbeeld , 10.3.1.53en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 12. Voor systeem NW3, de naam msnw3ersvan de virtuele host en 10.3.1.55het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 22.

    U kunt de sapinst parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt de parameter SAPINST_USE_HOSTNAME gebruiken om SAP te installeren met behulp van de naam van de virtuele host.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
sudo firewall-cmd --zone=public --add-port=4237/tcp
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Notitie

    Gebruik SWPM SP 20 PL 05 of hoger. Lagere versies stellen de machtigingen niet correct in en de installatie mislukt.

    Als de installatie geen submap kan maken in /usr/sap/<NW2>/ERS<Instance#>, probeert u de eigenaar in te stellen op <sid>adm en de groep op sapsys van de map ERS<Instance#> en probeert u het opnieuw.

    Als het nodig was om de ERS-groep van het zojuist geïmplementeerde SAP-systeem te migreren naar een ander clusterknooppunt, vergeet dan niet om de locatiebeperking voor de ERS-groep te verwijderen. U kunt de beperking verwijderen door de volgende opdracht uit te voeren. Dit voorbeeld wordt gegeven voor SAP-systemen NW2 en NW3. Verwijder de tijdelijke beperkingen voor dezelfde resource die u in de opdracht hebt gebruikt om de ERS-clustergroep te verplaatsen.

    pcs resource clear fs_NW2_AERS
pcs resource clear fs_NW3_AERS

  5. [1] Pas de ASCS/SCS- en ERS-exemplaarprofielen aan voor de zojuist geïnstalleerde SAP-systemen. Het onderstaande voorbeeld is bedoeld voor NW2. U moet de ASCS/SCS- en ERS-profielen aanpassen voor alle SAP-exemplaren die zijn toegevoegd aan het cluster.

    • ASCS-/SCS-profiel

      sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

      Zorg ervoor dat voor zowel ENSA1 als ENSA2 de parameters van het keepalive besturingssysteem zijn ingesteld zoals beschreven in SAP note 1410736.

    • ERS-profiel

      sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

  6. [A] Werk het bestand /usr/sap/sapservices bij.

    Om het begin van de exemplaren door het sapinit-opstartscript te voorkomen, moeten alle exemplaren die worden beheerd door Pacemaker, worden uitgeschakeld vanuit het bestand /usr/sap/sapservices . Het onderstaande voorbeeld is bedoeld voor SAP-systemen NW2 en NW3.

    # Depending on whether the SAP Startup framework is integrated with systemd, you may observe below entries on the node for ASCS instances. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/NW2/ASCS10/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ASCS10/exe/sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs -D -u nw2adm
# LD_LIBRARY_PATH=/usr/sap/NW3/ASCS20/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ASCS20/exe/sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs -D -u nw3adm
# systemctl --no-ask-password start SAPNW2_10 # sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs
# systemctl --no-ask-password start SAPNW3_20 # sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs

# Depending on whether the SAP Startup framework is integrated with systemd, you may observe below entries on the node for ERS instances. You should comment out the line(s). 
#LD_LIBRARY_PATH=/usr/sap/NW2/ERS12/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ERS12/exe/sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers -D -u nw2adm
#LD_LIBRARY_PATH=/usr/sap/NW3/ERS22/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ERS22/exe/sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers -D -u nw3adm
# systemctl --no-ask-password start SAPNW2_12 # sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers
# systemctl --no-ask-password start SAPNW3_22 # sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers

    Belangrijk

    Met het systeemgebaseerde SAP Startup Framework kunnen SAP-exemplaren nu worden beheerd door een systeem. De minimaal vereiste Red Hat Enterprise Linux-versie (RHEL) is RHEL 8 voor SAP. Zoals beschreven in SAP Note 3115048, resulteert een nieuwe installatie van een SAP-kernel met geïntegreerde systeemgebaseerde SAP Startup Framework-ondersteuning altijd in een door het systeem beheerd SAP-exemplaar. Na een SAP-kernelupgrade van een bestaande SAP-installatie naar een kernel die systeemgebaseerde SAP Startup Framework-ondersteuning heeft, moeten echter enkele handmatige stappen worden uitgevoerd zoals beschreven in SAP Note 3115048 om de bestaande SAP-opstartomgeving te converteren naar een omgeving die wordt beheerd door het systeem.

    Bij het gebruik van Red Hat HA-services voor SAP (clusterconfiguratie) voor het beheren van SAP-toepassingsserverexemplaren, zoals SAP ASCS en SAP ERS, zijn aanvullende wijzigingen nodig om compatibiliteit tussen de SAPInstance-resourceagent en het nieuwe op het systeem gebaseerde SAP-opstartframework te garanderen. Zodra de SAP-toepassingsserverexemplaren zijn geïnstalleerd of zijn overgeschakeld naar een door het systeem ingeschakelde SAP-kernel volgens SAP Note 3115048, moeten de stappen die worden genoemd in Red Hat KBA 6884531 worden voltooid op alle clusterknooppunten.

  7. [1] Maak de SAP-clusterbronnen voor het zojuist geïnstalleerde SAP-systeem.

    Afhankelijk van of u een ENSA1- of ENSA2-systeem uitvoert, selecteert u het betreffende tabblad om de resources voor SAP-systemen NW2 te definiëren en NW3 als volgt. SAP heeft ondersteuning geïntroduceerd voor ENSA2, inclusief replicatie, in SAP NetWeaver 7.52. Vanaf ABAP Platform 1809 wordt ENSA2 standaard geïnstalleerd. Zie SAP Note 2630416 voor ondersteuning voor ENSA2-ondersteuning voor enqueueserver 2.

    Als u server 2-architectuur (ENSA2) in de wachtrij gebruikt, installeert u resourceagent resource-agents-sap-4.1.1-12.el7.x86_64 of hoger en definieert u de resources voor SAP-systemen NW2 en NW3 als volgt:

    sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW2_ASCS

sudo pcs resource meta g-NW2_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW2_AERS

sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
sudo pcs constraint location rsc_sap_NW2_ASCS10 rule score=2000 runs_ers_NW2 eq 1
sudo pcs constraint order start g-NW2_ASCS then stop g-NW2_AERS kind=Optional symmetrical=false

sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW3_ASCS

sudo pcs resource meta g-NW3_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW3_AERS

sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
sudo pcs constraint location rsc_sap_NW3_ASCS20 rule score=2000 runs_ers_NW3 eq 1
sudo pcs constraint order start g-NW3_ASCS then stop g-NW3_AERS kind=Optional symmetrical=false

sudo pcs property set maintenance-mode=false

    Als u een upgrade uitvoert van een oudere versie en overschakelt naar server 2 in de wachtrij, raadpleegt u de SAP-notitie 2641019.

    Notitie

    De time-outs in de bovenstaande configuratie zijn slechts voorbeelden en moeten mogelijk worden aangepast aan de specifieke SAP-installatie.

    Zorg ervoor dat de clusterstatus in orde is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd. In het volgende voorbeeld ziet u de status van de clusterbronnen, na SAP-systemen NW2 en NW3 zijn toegevoegd aan het cluster.

    sudo pcs status

# Online: [ rhelmsscl1 rhelmsscl2 ]

# Full list of resources:

# rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
# Resource Group: g-NW1_ASCS
#   fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW1_AERS
#   fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
#   vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
#   nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
#   rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
# Resource Group: g-NW2_ASCS
#   fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW2_AERS
#   fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW3_ASCS
#   fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW3_AERS
#   fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#  rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1

  8. [A] Voeg firewallregels toe voor ASCS en ERS op beide knooppunten. In het onderstaande voorbeeld ziet u de firewallregels voor zowel SAP-systemen NW2 als NW3.

    # NW1 - ASCS
sudo firewall-cmd --zone=public --add-port={62010,3210,3610,3910,8110,51013,51014,51016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62010,3210,3610,3910,8110,51013,51014,51016}/tcp
# NW2 - ERS
sudo firewall-cmd --zone=public --add-port={62112,3212,3312,51213,51214,51216}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62112,3212,3312,51213,51214,51216}/tcp
# NW3 - ASCS
sudo firewall-cmd --zone=public --add-port={62020,3220,3620,3920,8120,52013,52014,52016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62020,3220,3620,3920,8120,52013,52014,52016}/tcp
# NW3 - ERS
sudo firewall-cmd --zone=public --add-port={62122,3222,3322,52213,52214,52216}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62122,3222,3322,52213,52214,52216}/tcp

Doorgaan met de SAP-installatie

Voltooi uw SAP-installatie door:

De installatie van het cluster met meerdere SID's testen

De volgende tests zijn een subset van de testcases in de best practices-handleidingen van Red Hat. Ze zijn inbegrepen voor uw gemak. Raadpleeg de volgende documentatie voor de volledige lijst met clustertests:

Lees altijd de best practices van Red Hat en voer alle andere tests uit die mogelijk zijn toegevoegd. De tests die worden gepresenteerd, bevinden zich in een cluster met twee knooppunten met meerdere SID's waarop drie SAP-systemen zijn geïnstalleerd.

  1. Migreer het ASCS-exemplaar handmatig. In het voorbeeld ziet u hoe u het ASCS-exemplaar voor SAP-systeem NW3 migreert.

    Resourcestatus voordat u de test start:

    Online: [ rhelmsscl1 rhelmsscl2 ]

Full list of resources:

rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1

    Voer de volgende opdrachten uit als root om het ASCS-exemplaar NW3 te migreren.

    pcs resource move rsc_sap_NW3_ASCS200
# Clear temporary migration constraints
pcs resource clear rsc_sap_NW3_ASCS20

# Remove failed actions for the ERS that occurred as part of the migration
pcs resource cleanup rsc_sap_NW3_ERS22

    Resourcestatus na de test:

    Online: [ rhelmsscl1 rhelmsscl2 ]

Full list of resources:

rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2

  2. Simuleer het vastlopen van knooppunten.

    Resourcestatus voordat u de test start:

    Online: [ rhelmsscl1 rhelmsscl2 ]

Full list of resources:

rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2

    Voer de volgende opdracht uit als hoofdmap op een knooppunt waarop ten minste één ASCS-exemplaar wordt uitgevoerd. In dit voorbeeld wordt de opdracht uitgevoerd oprhelmsscl1, waarbij de ASCS-exemplaren voor NW1en NW2NW3 worden uitgevoerd.

    echo c > /proc/sysrq-trigger

    De status na de test en nadat het knooppunt dat is vastgelopen, opnieuw is gestart, moet er als volgt uitzien:

    Full list of resources:

rsc_st_azure    (stonith:fence_azure_arm):      Started rhelmsscl2
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1

    Als er berichten voor mislukte resources zijn, schoont u de status van de mislukte resources op. Voorbeeld:

    pcs resource cleanup rsc_sap_NW1_ERS02

Volgende stappen

Zie Hoge beschikbaarheid van SAP HANA op virtuele Azure-machines (VM's) voor meer informatie over het tot stand brengen van hoge beschikbaarheid en het plannen van herstel na noodgevallen van SAP HANA op Virtuele Machines in Azure.