Hoge beschikbaarheid voor SAP NetWeaver op Azure-VM's op SUSE Linux Enterprise Server met Azure NetApp Files voor SAP-toepassingen

  • Artikel

In dit artikel wordt uitgelegd hoe u hoge beschikbaarheid voor SAP NetWeaver-toepassing configureert met Azure NetApp Files.

Voor nieuwe implementaties op SLES voor SAP-toepassingen 15 raden we u aan hoge beschikbaarheid te implementeren voor SAP ASCS/ERS in eenvoudige koppelingsconfiguratie. De klassieke Pacemaker-configuratie, op basis van door clusters beheerde bestandssystemen voor de mappen van sap-centrale services, die in dit artikel worden beschreven, wordt nog steeds ondersteund.

In de voorbeeldconfiguraties, installatieopdrachten enzovoort is de ASCS-instantie nummer 00, het ERS-exemplaarnummer 01, het exemplaar van de primaire toepassing (PAS) 02 en het toepassingsexemplaren (AAS) 03. SAP System ID QAS wordt gebruikt. De databaselaag wordt niet uitgebreid behandeld in dit artikel.

Lees eerst de volgende SAP-notities en -documenten:

Overzicht

Hoge beschikbaarheid (HA) voor centrale SAP Netweaver-services vereist gedeelde opslag. Om dat in SUSE Linux tot nu toe te bereiken, was het noodzakelijk om een afzonderlijk NFS-cluster met hoge beschikbaarheid te bouwen.

Nu is het mogelijk om SAP Netweaver HA te bereiken met behulp van gedeelde opslag, geïmplementeerd in Azure NetApp Files. Als u Azure NetApp Files gebruikt voor de gedeelde opslag, hoeft u geen extra NFS-cluster meer te gebruiken. Pacemaker is nog steeds nodig voor hoge beschikbaarheid van de centrale SAP Netweaver-services (ASCS/SCS).

SAP NetWeaver High Availability overview

SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS en de SAP HANA-database maken gebruik van virtuele hostnaam en virtuele IP-adressen. In Azure is een load balancer vereist voor het gebruik van een virtueel IP-adres. We raden u aan standard load balancer te gebruiken. De gepresenteerde configuratie toont een load balancer met:

  • Front-end-IP-adres 10.1.1.20 voor ASCS
  • Front-end-IP-adres 10.1.1.21 voor ERS
  • Testpoort 62000 voor ASCS
  • Testpoort 62101 voor ERS

De Azure NetApp Files-infrastructuur instellen

SAP NetWeaver vereist gedeelde opslag voor de transport- en profielmap. Voordat u doorgaat met de installatie voor de infrastructuur van Azure NetApp-bestanden, moet u vertrouwd raken met de documentatie van Azure NetApp Files. Controleer of uw geselecteerde Azure-regio Azure NetApp Files biedt. De volgende koppeling toont de beschikbaarheid van Azure NetApp Files per Azure-regio: Beschikbaarheid van Azure NetApp Files per Azure-regio.

Azure NetApp-bestanden zijn beschikbaar in verschillende Azure-regio's.

Azure NetApp Files-resources implementeren

Bij de stappen wordt ervan uitgegaan dat u Azure Virtual Network al hebt geïmplementeerd. De Azure NetApp Files-resources en de VM's, waar de Azure NetApp Files-resources worden gekoppeld, moeten worden geïmplementeerd in hetzelfde virtuele Azure-netwerk of in gekoppelde virtuele Netwerken van Azure.

  1. Maak het NetApp-account in de geselecteerde Azure-regio en volg de instructies voor het maken van een NetApp-account.
  2. Stel een Azure NetApp Files-capaciteitsgroep in, met behulp van de instructies voor het instellen van een Azure NetApp Files-capaciteitspool.
    De SAP Netweaver-architectuur die in dit artikel wordt gepresenteerd, maakt gebruik van één Azure NetApp Files-capaciteitspool, Premium SKU. We raden Azure NetApp Files Premium SKU aan voor de workload van SAP Netweaver-toepassingen in Azure.
  3. Een subnet delegeren naar Azure NetApp-bestanden, zoals beschreven in de instructies Een subnet delegeren aan Azure NetApp Files.
  4. Implementeer Azure NetApp Files-volumes volgens de instructies voor het maken van een volume voor Azure NetApp Files. Implementeer de volumes in het aangewezen Azure NetApp Files-subnet. De IP-adressen van de Azure NetApp-volumes worden automatisch toegewezen. Houd er rekening mee dat de Azure NetApp Files-resources en de Azure-VM's zich in hetzelfde virtuele Azure-netwerk of in gekoppelde Virtuele Netwerken van Azure moeten bevinden. In dit voorbeeld gebruiken we twee Azure NetApp Files-volumes: sapQAS en trans. De bestandspaden die zijn gekoppeld aan de bijbehorende koppelpunten zijn /usrsapqas/sapmntQAS, /usrsapqas/usrsapQASsys, enzovoort.
    1. volume sapQAS (nfs://10.1.0.4/usrsapqas/sapmntQAS)
    2. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASascs)
    3. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASsys)
    4. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASers)
    5. volumetrans (nfs://10.1.0.4/trans)
    6. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASpas)
    7. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASaas)

In dit voorbeeld hebben we Azure NetApp Files gebruikt voor alle SAP Netweaver-bestandssystemen om te laten zien hoe Azure NetApp Files kan worden gebruikt. De SAP-bestandssystemen die niet hoeven te worden gekoppeld via NFS, kunnen ook worden geïmplementeerd als Azure-schijfopslag . In dit voorbeeld moet a-e zich in Azure NetApp Files bevinden en f-g (dat wil gezegd /usr/sap/QAS/D02, /usr/sap/QAS/D03) als Azure-schijfopslag worden geïmplementeerd.

Belangrijke aandachtspunten

Houd rekening met de volgende belangrijke overwegingen bij het overwegen van Azure NetApp Files voor de SAP Netweaver-architectuur voor hoge beschikbaarheid van SUSE:

  • De minimale capaciteitspool is 4 TiB. De grootte van de capaciteitspool kan worden verhoogd in stappen van 1 TiB.
  • Het minimumvolume is 100 GiB
  • Azure NetApp Files en alle virtuele machines, waar Azure NetApp Files-volumes worden gekoppeld, moeten zich in hetzelfde virtuele Azure-netwerk of in gekoppelde virtuele netwerken in dezelfde regio bevinden. Azure NetApp Files-toegang via VNET-peering in dezelfde regio wordt nu ondersteund. Azure NetApp-toegang via wereldwijde peering wordt nog niet ondersteund.
  • Het geselecteerde virtuele netwerk moet een subnet hebben dat is gedelegeerd aan Azure NetApp Files.
  • De doorvoer- en prestatiekenmerken van een Azure NetApp Files-volume zijn een functie van het volumequotum en het serviceniveau, zoals beschreven in Serviceniveau voor Azure NetApp Files. Zorg er tijdens het aanpassen van de grootte van de SAP Azure NetApp-volumes voor dat de resulterende doorvoer voldoet aan de toepassingsvereisten.
  • Azure NetApp Files biedt exportbeleid: u kunt de toegestane clients, het toegangstype (Lezen&Schrijven, Alleen-lezen, enzovoort) beheren.
  • De functie Azure NetApp Files is nog niet zonebewust. Momenteel wordt de functie Azure NetApp Files niet geïmplementeerd in alle beschikbaarheidszones in een Azure-regio. Houd rekening met de mogelijke latentie in sommige Azure-regio's.
  • Azure NetApp Files-volumes kunnen worden geïmplementeerd als NFSv3- of NFSv4.1-volumes. Beide protocollen worden ondersteund voor de SAP-toepassingslaag (ASCS/ERS, SAP-toepassingsservers).

Infrastructuur voorbereiden

De resourceagent voor SAP Instance is opgenomen in SUSE Linux Enterprise Server voor SAP-toepassingen. Een installatiekopieën voor SUSE Linux Enterprise Server voor SAP-toepassingen 12 of 15 zijn beschikbaar in Azure Marketplace. U kunt de installatiekopieën gebruiken om nieuwe VM's te implementeren.

Virtuele Linux-machines handmatig implementeren via Azure Portal

In dit document wordt ervan uitgegaan dat u al een resourcegroep, Azure Virtual Network en subnet hebt geïmplementeerd.

Implementeer virtuele machines met SLES for SAP Applications-installatiekopieën. Kies een geschikte versie van de SLES-installatiekopieën die worden ondersteund voor het SAP-systeem. U kunt vm's implementeren in een van de beschikbaarheidsopties: virtuele-machineschaalset, beschikbaarheidszone of beschikbaarheidsset.

Azure Load Balancer configureren

Tijdens de VM-configuratie hebt u de mogelijkheid om een load balancer te maken of te selecteren in de sectie Netwerken. Volg de onderstaande stappen om een standaard load balancer te configureren voor de installatie van SAP ASCS en SAP ERS met hoge beschikbaarheid.

Volg de handleiding voor het maken van load balancers om een standaard load balancer in te stellen voor een SAP-systeem met hoge beschikbaarheid met behulp van Azure Portal. Houd rekening met de volgende punten tijdens het instellen van de load balancer.

  1. Front-end-IP-configuratie: maak twee front-end-IP-adressen, één voor ASCS en een andere voor ERS. Selecteer hetzelfde virtuele netwerk en subnet als uw virtuele ASCS-/ERS-machines.
  2. Back-endpool: back-endpool maken en ASCS- en ERS-VM's toevoegen.
  3. Inkomende regels: maak twee taakverdelingsregel, een voor ASCS en een andere voor ERS. Volg dezelfde stappen voor beide taakverdelingsregels.
    • Front-end-IP-adres: front-end-IP selecteren
    • Back-endpool: back-endpool selecteren
    • Controleer poorten met hoge beschikbaarheid
    • Protocol: TCP
    • Statustest: Maak een statustest met de onderstaande details (geldt voor zowel ASCS als ERS)
      • Protocol: TCP
      • Poort: [bijvoorbeeld: 620<Instance-no.> voor ASCS, 621<Instance-no.> voor ERS]
      • Interval: 5
      • Testdrempel: 2
    • Time-out voor inactiviteit (minuten): 30
    • Schakel Zwevend IP-adres in

Notitie

Het eigenschapsnummer van de statustestconfiguratieofOfProbes, ook wel 'Drempelwaarde beschadigd' genoemd in de portal, wordt niet gerespecteerd. Als u dus het aantal geslaagde of mislukte opeenvolgende tests wilt beheren, stelt u de eigenschap probeThreshold in op 2. Het is momenteel niet mogelijk om deze eigenschap in te stellen met behulp van Azure Portal, dus gebruik de Azure CLI of PowerShell-opdracht .

Belangrijk

Zwevend IP-adres wordt niet ondersteund in een secundaire IP-configuratie van een NIC in scenario's voor taakverdeling. Zie Azure Load Balancer-beperkingen voor meer informatie. Als u extra IP-adres voor de virtuele machine nodig hebt, implementeert u een tweede NIC.

Notitie

Wanneer VM's zonder openbare IP-adressen worden geplaatst in de back-endpool van interne (geen openbaar IP-adres) Standard Azure Load Balancer, is er geen uitgaande internetverbinding, tenzij er aanvullende configuratie wordt uitgevoerd om routering naar openbare eindpunten toe te staan. Zie Openbare eindpuntconnectiviteit voor virtuele machines met behulp van Azure Standard Load Balancer in scenario's met hoge beschikbaarheid van SAP voor meer informatie over het bereiken van uitgaande connectiviteit.

Belangrijk

  • Schakel TCP-tijdstempels niet in op Azure-VM's die achter Azure Load Balancer worden geplaatst. Als u TCP-tijdstempels inschakelt, mislukken de statustests. Stel de net.ipv4.tcp_timestamps parameter in op 0. Zie Statustests van Load Balancer voor meer informatie.
  • Als u wilt voorkomen dat saptune de handmatig ingestelde net.ipv4.tcp_timestamps waarde wijzigt van 0 terug naar 1, moet u saptune-versie bijwerken naar 3.1.1 of hoger. Zie saptune 3.1.1 – Moet ik bijwerken? voor meer informatie.

Id-toewijzing uitschakelen (als u NFSv4.1 gebruikt)

De instructies in deze sectie zijn alleen van toepassing als u Azure NetApp Files-volumes met het NFSv4.1-protocol gebruikt. Voer de configuratie uit op alle VM's, waarbij Azure NetApp Files NFSv4.1-volumes worden gekoppeld.

  1. Controleer de NFS-domeininstelling. Zorg ervoor dat het domein is geconfigureerd als het standaard Azure NetApp Files-domein dat wel is en defaultv4iddomain.com dat de toewijzing is ingesteld op niemand.

    Belangrijk

    Zorg ervoor dat u het NFS-domein instelt op /etc/idmapd.conf de VIRTUELE machine zodat dit overeenkomt met de standaarddomeinconfiguratie in Azure NetApp Files: defaultv4iddomain.com. Als er een onjuiste overeenkomst is tussen de domeinconfiguratie op de NFS-client (d.w.z. de VM) en de NFS-server, d.w.z. de Azure NetApp-configuratie, worden de machtigingen voor bestanden op Azure NetApp-volumes die zijn gekoppeld op de VM's weergegeven als nobody.

    sudo cat /etc/idmapd.conf

# Example
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

  2. [A] Controleer nfs4_disable_idmapping. Deze moet worden ingesteld op Y. Als u de mapstructuur wilt maken waar nfs4_disable_idmapping zich bevindt, voert u de koppelingsopdracht uit. U kunt de map niet handmatig maken onder /sys/modules, omdat toegang is gereserveerd voor de kernel/stuurprogramma's.

    # Check nfs4_disable_idmapping 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping

# If you need to set nfs4_disable_idmapping to Y
mkdir /mnt/tmp
mount 10.1.0.4:/sapmnt/qas /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

SCS instellen (A)

Vervolgens bereidt en installeert u de SAP ASCS- en ERS-exemplaren.

Pacemaker-cluster maken

Volg de stappen in Het instellen van Pacemaker op SUSE Linux Enterprise Server in Azure om een eenvoudig Pacemaker-cluster te maken voor deze (A)SCS-server.

Installatie

De volgende items worden voorafgegaan door [A] - van toepassing op alle knooppunten, [1] - alleen van toepassing op knooppunt 1 of [2] - alleen van toepassing op knooppunt 2.

  1. [A] SUSE installeren Verbinding maken or

    sudo zypper install sap-suse-cluster-connector

    Notitie

    Het bekende probleem met het gebruik van een streepje in hostnamen is opgelost met versie 3.1.1 van pakket sap-suse-cluster-connector. Zorg ervoor dat u ten minste versie 3.1.1 van pakket sap-suse-cluster-connector gebruikt als u clusterknooppunten gebruikt met streepje in de hostnaam. Anders werkt uw cluster niet.

    Zorg ervoor dat u de nieuwe versie van de SAP SUSE-clusterconnector hebt geïnstalleerd. De oude is sap_suse_cluster_connector genoemd en de nieuwe heet sap-suse-cluster-connector.

    sudo zypper info sap-suse-cluster-connector

# Information for package sap-suse-cluster-connector:
# ---------------------------------------------------
# Repository     : SLE-12-SP3-SAP-Updates
# Name           : sap-suse-cluster-connector
# Version        : 3.1.0-8.1
# Arch           : noarch
# Vendor         : SUSE LLC <https://www.suse.com/>
# Support Level  : Level 3
# Installed Size : 45.6 KiB
# Installed      : Yes
# Status         : up-to-date
# Source package : sap-suse-cluster-connector-3.1.0-8.1.src
# Summary        : SUSE High Availability Setup for SAP Products

  2. [A] SAP-resourceagents bijwerken

    Er is een patch voor het resource-agents-pakket vereist voor het gebruik van de nieuwe configuratie die in dit artikel wordt beschreven. U kunt controleren of de patch al is geïnstalleerd met de volgende opdracht

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance

    De uitvoer moet vergelijkbaar zijn met

    <parameter name="IS_ERS" unique="0" required="0">

    Als de grep-opdracht de parameter IS_ERS niet vindt, moet u de patch installeren die wordt vermeld op de SUSE-downloadpagina

    # example for patch for SLES 12 SP1
sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1

# example for patch for SLES 12 SP2
sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1

  3. [A] Hostnaamomzetting instellen

    U kunt een DNS-server gebruiken of de /etc/hosts op alle knooppunten wijzigen. In dit voorbeeld ziet u hoe u het bestand /etc/hosts gebruikt. Vervang het IP-adres en de hostnaam in de volgende opdrachten

    sudo vi /etc/hosts

    Voeg de volgende regels in op /etc/hosts. Het IP-adres en de hostnaam wijzigen zodat deze overeenkomt met uw omgeving

    # IP address of cluster node 1
10.1.1.18    anftstsapcl1
# IP address of cluster node 2
10.1.1.6     anftstsapcl2
# IP address of the load balancer frontend configuration for SAP Netweaver ASCS
10.1.1.20    anftstsapvh
# IP address of the load balancer frontend configuration for SAP Netweaver ERS
10.1.1.21    anftstsapers

  4. [1] SAP-directory's maken in het Azure NetApp Files-volume.

    Koppel tijdelijk het Azure NetApp Files-volume op een van de VM's en maak de SAP-mappen (bestandspaden).

    # mount temporarily the volume
sudo mkdir -p /saptmp
# If using NFSv3
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.1.0.4:/sapQAS /saptmp
# If using NFSv4.1
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.1.0.4:/sapQAS /saptmp
# create the SAP directories
sudo cd /saptmp
sudo mkdir -p sapmntQAS
sudo mkdir -p usrsapQASascs
sudo mkdir -p usrsapQASers
sudo mkdir -p usrsapQASsys
sudo mkdir -p usrsapQASpas
sudo mkdir -p usrsapQASaas
# unmount the volume and delete the temporary directory
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

De installatie van SAP NetWeaver voorbereiden

  1. [A] De gedeelde mappen maken

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/QAS/SYS
sudo mkdir -p /usr/sap/QAS/ASCS00
sudo mkdir -p /usr/sap/QAS/ERS01

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/QAS/SYS
sudo chattr +i /usr/sap/QAS/ASCS00
sudo chattr +i /usr/sap/QAS/ERS01

  2. [A] Configureren autofs

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

    Als u NFSv3 gebruikt, maakt u een bestand met:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/SYS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASsys

    Als u NFSv4.1 gebruikt, maakt u een bestand met:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/SYS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASsys

    Notitie

    Zorg ervoor dat deze overeenkomt met de versie van het NFS-protocol van de Azure NetApp Files-volumes bij het koppelen van de volumes. Als de Azure NetApp Files-volumes worden gemaakt als NFSv3-volumes, gebruikt u de bijbehorende NFSv3-configuratie. Als de Azure NetApp Files-volumes zijn gemaakt als NFSv4.1-volumes, volgt u de instructies om id-toewijzing uit te schakelen en ervoor te zorgen dat u de bijbehorende NFSv4.1-configuratie gebruikt. In dit voorbeeld zijn de Azure NetApp Files-volumes gemaakt als NFSv3-volumes.

    Opnieuw opstarten autofs om de nieuwe shares te koppelen

    sudo systemctl enable autofs
sudo service autofs restart

  3. [A] SWAP-bestand configureren

    sudo vi /etc/waagent.conf

# Check if property ResourceDisk.Format is already set to y and if not, set it
ResourceDisk.Format=y

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Start de agent opnieuw om de wijziging te activeren

    sudo service waagent restart

SAP NetWeaver ASCS/ERS installeren

  1. [1] Maak een virtuele IP-resource en statustest voor het ASCS-exemplaar

    Belangrijk

    Recente tests hebben situaties ontdekt waarin Netcat niet meer reageert op aanvragen vanwege achterstand en de beperking van het verwerken van slechts één verbinding. De netcat-resource luistert niet meer naar de Azure Load Balancer-aanvragen en het zwevende IP-adres is niet meer beschikbaar.
    Voor bestaande Pacemaker-clusters raden we in het verleden aan netcat te vervangen door socat. Momenteel wordt u aangeraden azure-lb-resourceagent te gebruiken, die deel uitmaakt van pakketresource-agents, met de volgende pakketversievereisten:

    • Voor SLES 12 SP4/SP5 moet de versie ten minste resource-agents-4.3.018.a7fb5035-3.30.1 zijn.
    • Voor SLES 15/15 SP1 moet de versie ten minste resource-agents-4.3.0184.6ee15eb2-4.13.1 zijn.

    Houd er rekening mee dat voor de wijziging korte downtime is vereist.
    Als voor bestaande Pacemaker-clusters de configuratie al is gewijzigd om socat te gebruiken, zoals beschreven in Azure Load-Balancer Detection Hardening, hoeft u niet onmiddellijk over te schakelen naar de azure-lb-resourceagent.

    sudo crm node standby anftstsapcl2

# If using NFSv3
sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

# If using NFSv4.1
sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' options='sec=sys,nfsvers=4.1' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=105s

sudo crm configure primitive vip_QAS_ASCS IPaddr2 \
  params ip=10.1.1.20 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_QAS_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-QAS_ASCS fs_QAS_ASCS nc_QAS_ASCS vip_QAS_ASCS \
   meta resource-stickiness=3000

    Zorg ervoor dat de clusterstatus in orde is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

    sudo crm_mon -r

# Node anftstsapcl2: standby
# Online: [ anftstsapcl1 ]
# 
# Full list of resources:
#
# Resource Group: g-QAS_ASCS
#     fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#     nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#     vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2

  2. [1] SAP NetWeaver ASCS installeren

    Installeer SAP NetWeaver ASCS als hoofdmap op het eerste knooppunt met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de ASCS, bijvoorbeeld anftstsapvh, 10.1.1.20 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 00.

    U kunt de sapinst-parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt parameter SAPINST_USE_HOSTNAME gebruiken om SAP te installeren met behulp van de virtuele hostnaam.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Als de installatie geen submap kan maken in /usr/sap/QAS/ASCS00, probeert u de eigenaar en groep van de map ASCS00 in te stellen en het opnieuw te proberen.

    chown qasadm /usr/sap/QAS/ASCS00
chgrp sapsys /usr/sap/QAS/ASCS00

  3. [1] Maak een virtuele IP-resource en statustest voor het ERS-exemplaar.

    sudo crm node online anftstsapcl2
sudo crm node standby anftstsapcl1

# If using NFSv3
sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

# If using NFSv4.1
sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' options='sec=sys,nfsvers=4.1' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=105s

sudo crm configure primitive vip_QAS_ERS IPaddr2 \
  params ip=10.1.1.21 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_QAS_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-QAS_ERS fs_QAS_ERS nc_QAS_ERS vip_QAS_ERS

    Zorg ervoor dat de clusterstatus in orde is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

    sudo crm_mon -r

# Node anftstsapcl1: standby
# Online: [ anftstsapcl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#  Resource Group: g-QAS_ERS
#      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ERS  (ocf::heartbeat:IPaddr2):     Started anftstsapcl2

  4. [2] SAP NetWeaver ERS installeren

    Installeer SAP NetWeaver ERS als hoofdmap op het tweede knooppunt met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de ERS, bijvoorbeeld anftstsapers, 10.1.1.21 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 01.

    U kunt de sapinst-parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt parameter SAPINST_USE_HOSTNAME gebruiken om SAP te installeren met behulp van de virtuele hostnaam.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Notitie

    Gebruik SWPM SP 20 PL 05 of hoger. In lagere versies worden de machtigingen niet correct ingesteld en mislukt de installatie.

    Als de installatie geen submap kan maken in /usr/sap/QAS/ERS01, probeert u de eigenaar en groep van de MAP ERS01 in te stellen en het opnieuw te proberen.

    chown qasadm /usr/sap/QAS/ERS01
chgrp sapsys /usr/sap/QAS/ERS01

  5. [1] Pas de ASCS/SCS- en ERS-exemplaarprofielen aan

    • ASCS-/SCS-profiel

      sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

      Zorg ervoor dat voor zowel ENSA1 als ENSA2 de parameters van het keepalive besturingssysteem zijn ingesteld zoals beschreven in SAP note 1410736.

    • ERS-profiel

      sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

  6. [A] Keep Alive configureren

    De communicatie tussen de SAP NetWeaver-toepassingsserver en de ASCS/SCS wordt gerouteerd via een software load balancer. De load balancer verbreekt inactieve verbindingen na een configureerbare time-out. Om dit te voorkomen, moet u een parameter instellen in het SAP NetWeaver ASCS/SCS-profiel, als u ENSA1 gebruikt en de Linux-systeeminstellingen keepalive op alle SAP-servers voor beide ENSA1/ENSA2 wijzigen. Lees SAP-notitie 1410736 voor meer informatie.

    # Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300

  7. [A] De SAP-gebruikers configureren na de installatie

    # Add sidadm to the haclient group
sudo usermod -aG haclient qasadm

  8. [1] Voeg de ASCS- en ERS SAP-services toe aan het sapservice bestand

    Voeg de ASCS-servicevermelding toe aan het tweede knooppunt en kopieer de ERS-servicevermelding naar het eerste knooppunt.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh anftstsapcl2 "cat >>/usr/sap/sapservices"
sudo ssh anftstsapcl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices

  9. [1] Maak de SAP-clusterbronnen.

    Afhankelijk van of u een ENSA1- of ENSA2-systeem uitvoert, selecteert u het betreffende tabblad om de resources te definiëren. SAP heeft ondersteuning geïntroduceerd voor ENSA2, inclusief replicatie, in SAP NetWeaver 7.52. Vanaf ABAP Platform 1809 wordt ENSA2 standaard geïnstalleerd. Zie SAP Note 2630416 voor ONDERSTEUNING voor ENSA2.

    sudo crm configure property maintenance-mode="true"

# If using NFSv3
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=105 migration-threshold=1 priority=10

# If using NFSv3   
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000

sudo crm configure modgroup g-QAS_ASCS add rsc_sap_QAS_ASCS00
sudo crm configure modgroup g-QAS_ERS add rsc_sap_QAS_ERS01

sudo crm configure colocation col_sap_QAS_no_both -5000: g-QAS_ERS g-QAS_ASCS
sudo crm configure location loc_sap_QAS_failover_to_ers rsc_sap_QAS_ASCS00 rule 2000: runs_ers_QAS eq 1
sudo crm configure order ord_sap_QAS_first_start_ascs Optional: rsc_sap_QAS_ASCS00:start rsc_sap_QAS_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online anftstsapcl1
sudo crm configure property maintenance-mode="false"

Als u een upgrade uitvoert van een oudere versie en overschakelt naar server 2 in de wachtrij, raadpleegt u de SAP-notitie 2641019.

Notitie

De hogere time-outs die worden voorgesteld bij het gebruik van NFSv4.1 zijn nodig vanwege protocolspecifieke onderbreking, gerelateerd aan NFSv4.1-leaseverlengingen. Zie NFS in De best practice van NetApp voor meer informatie.

De time-outs in de bovenstaande configuratie moeten mogelijk worden aangepast aan de specifieke SAP-installatie.

Zorg ervoor dat de clusterstatus in orde is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

sudo crm_mon -r
  
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
#      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
#  Resource Group: g-QAS_ERS
#      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2

Voorbereiding van SAP NetWeaver-toepassingsserver

Voor sommige databases is vereist dat de installatie van het database-exemplaar wordt uitgevoerd op een toepassingsserver. Bereid de virtuele machines van de toepassingsserver voor om ze in deze gevallen te kunnen gebruiken.

Bij de stappen wordt ervan uitgegaan dat u de toepassingsserver op een andere server installeert dan de ASCS/SCS- en HANA-servers. Anders zijn sommige van de onderstaande stappen (zoals het configureren van hostnaamomzetting) niet nodig.

De volgende items worden voorafgegaan door [A] - van toepassing op zowel PAS als AAS, [P] - alleen van toepassing op PAS of [S] - alleen van toepassing op AAS.

  1. [A] Besturingssysteem configureren

    Verklein de grootte van de vuile cache. Zie Lage schrijfprestaties op SLES 11/12-servers met een groot RAM-geheugen voor meer informatie.

    sudo vi /etc/sysctl.conf

# Change/set the following settings
vm.dirty_bytes = 629145600
vm.dirty_background_bytes = 314572800

  2. [A] Hostnaamomzetting instellen

    U kunt een DNS-server gebruiken of de /etc/hosts op alle knooppunten wijzigen. In dit voorbeeld ziet u hoe u het bestand /etc/hosts gebruikt. Vervang het IP-adres en de hostnaam in de volgende opdrachten

    sudo vi /etc/hosts

    Voeg de volgende regels in op /etc/hosts. Het IP-adres en de hostnaam wijzigen zodat deze overeenkomt met uw omgeving

    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
10.1.1.20 anftstsapvh
# IP address of the load balancer frontend configuration for SAP NetWeaver ERS
10.1.1.21 anftstsapers
# IP address of all application servers
10.1.1.15 anftstsapa01
10.1.1.16 anftstsapa02

  3. [A] De sapmnt-map maken

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans

  4. [P] Maak de PAS-map

    sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

  5. [S] De AAS-map maken

    sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

  6. [P] Configureren autofs op PAS

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

    Als u NFSv3 gebruikt, maakt u een nieuw bestand met:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/D02 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASpas

    Als u NFSv4.1 gebruikt, maakt u een nieuw bestand met:

    sudo vi /etc/auto.direct
# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/D02 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASpas

    Opnieuw opstarten autofs om de nieuwe shares te koppelen

    sudo systemctl enable autofs
sudo service autofs restart

  7. [P] Configureren autofs op AAS

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

    Als u NFSv3 gebruikt, maakt u een nieuw bestand met:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/D03 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASaas

    Als u NFSv4.1 gebruikt, maakt u een nieuw bestand met:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/D03 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASaas

    Opnieuw opstarten autofs om de nieuwe shares te koppelen

    sudo systemctl enable autofs
sudo service autofs restart

  8. [A] SWAP-bestand configureren

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Start de agent opnieuw om de wijziging te activeren

    sudo service waagent restart

Database installeren

In dit voorbeeld wordt SAP NetWeaver geïnstalleerd op SAP HANA. U kunt elke ondersteunde database voor deze installatie gebruiken. Zie Hoge beschikbaarheid van SAP HANA op Virtuele Machines (VM's) voor meer informatie over het installeren van SAP HANA in Azure. Zie SAP Note 1928533 voor een lijst met ondersteunde databases.

  • De installatie van het SAP-database-exemplaar uitvoeren

    Installeer het SAP NetWeaver-database-exemplaar als hoofdmap met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de database.

    U kunt de sapinst-parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Installatie van SAP NetWeaver-toepassingsserver

Volg deze stappen om een SAP-toepassingsserver te installeren.

  1. [A] Bereid de toepassingsserver voor. Volg de stappen in het hoofdstuk SAP NetWeaver-toepassingsservervoorbereiding hierboven om de toepassingsserver voor te bereiden.

  2. [A] Installeer de SAP NetWeaver-toepassingsserver een primaire of aanvullende SAP NetWeaver-toepassingsserver.

    U kunt de sapinst-parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

  3. [A] Sap HANA Secure Store bijwerken

    Werk de secure store van SAP HANA bij zodat deze verwijst naar de virtuele naam van de installatie van sap HANA-systeemreplicatie.

    Voer de volgende opdracht uit om de vermeldingen weer te geven

    hdbuserstore List

    Hiermee worden alle vermeldingen vermeld en moet er ongeveer als volgt uitzien

    DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.1.1.5:30313
  USER: SAPABAP1
  DATABASE: QAS

    De uitvoer laat zien dat het IP-adres van de standaardvermelding verwijst naar de virtuele machine en niet naar het IP-adres van de load balancer. Deze vermelding moet worden gewijzigd om te verwijzen naar de virtuele hostnaam van de load balancer. Zorg ervoor dat u dezelfde poort (30313 in de bovenstaande uitvoer) en databasenaam (QAS in de bovenstaande uitvoer) gebruikt!

    su - qasadm

hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>

De clusterinstallatie testen

Test uw Pacemaker-cluster grondig. Voer de typische failovertests uit.

Volgende stappen