Vysoká dostupnost služby Azure Virtual Machines pro SAP NetWeaver v RHEL se službou Azure NetApp Files pro aplikace SAP

  • Článek

Tento článek popisuje, jak nasadit virtuální počítače, nakonfigurovat virtuální počítače, nainstalovat architekturu clusteru a nainstalovat vysoce dostupný systém SAP NetWeaver 7.50 pomocí služby Azure NetApp Files. V ukázkových konfiguracích a příkazech instalace je instance ASCS číslo 00, instance ERS je číslo 01, primární instance aplikace (PAS) je 02 a instance aplikace (AAS) je 03. Používá se kontrola kvality systému SAP.

Vrstva databáze není podrobně popsána v tomto článku.

Požadavky

Nejprve si přečtěte následující poznámky a dokumenty SAP:

Přehled

Vysoká dostupnost (HA) pro centrální služby SAP NetWeaver vyžaduje sdílené úložiště. Až doteď bylo možné dosáhnout vysoké dostupnosti v Red Hat Linuxu, bylo nutné vytvořit samostatný cluster GlusterFS s vysokou dostupností.

Teď je možné dosáhnout vysoké dostupnosti SAP NetWeaver pomocí sdíleného úložiště nasazeného ve službě Azure NetApp Files. Použití služby Azure NetApp Files pro sdílené úložiště eliminuje potřebu více clusterů GlusterFS. Pacemaker je stále nutný pro vysokou dostupnost centrálních služeb SAP NetWeaver (ASCS/SCS).

Diagram that shows SAP NetWeaver high-availability overview.

SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS a databáze SAP HANA používají virtuální název hostitele a virtuální IP adresy. V Azure se k použití virtuální IP adresy vyžaduje nástroj pro vyrovnávání zatížení. Doporučujeme používat Azure Load Balancer Standard. V této konfiguraci se zobrazí nástroj pro vyrovnávání zatížení s následujícími funkcemi:

  • Front-endová IP adresa 192.168.14.9 pro ASCS.
  • Front-endová IP adresa 192.168.14.10 pro ERS.
  • Port sondy 62000 pro ASCS
  • Port sondy 62101 pro ERS

Nastavení infrastruktury Služby Azure NetApp Files

SAP NetWeaver vyžaduje sdílené úložiště pro adresář přenosu a profilu. Než budete pokračovat v nastavení infrastruktury Služby Azure NetApp Files, seznamte se s dokumentací k Azure NetApp Files. Zkontrolujte, jestli vybraná oblast Azure nabízí Azure NetApp Files. Dostupnost služby Azure NetApp Files podle oblasti Azure najdete v tématu Dostupnost služby Azure NetApp Files podle oblasti Azure.

Služba Azure NetApp Files je dostupná v několika oblastech Azure.

Nasazení prostředků Azure NetApp Files

Kroky předpokládají, že jste už nasadili službu Azure Virtual Network. Prostředky Azure NetApp Files a virtuální počítače, ve kterých se připojí prostředky Azure NetApp Files, musí být nasazené ve stejné virtuální síti Azure nebo ve virtuálních sítích Azure v partnerském vztahu.

  1. Podle pokynů vytvořte účet Azure NetApp Files ve vybrané oblasti Azure podle pokynů k vytvoření účtu Azure NetApp Files.

  2. Podle pokynů k nastavení fondu kapacity Služby Azure NetApp Files postupujte podle pokynů k nastavení fondu kapacity Služby Azure NetApp Files. Architektura SAP NetWeaver uvedená v tomto článku používá jeden fond kapacity Azure NetApp Files, skladovou položku Premium. Pro úlohu aplikace SAP NetWeaver v Azure doporučujeme skladovou položku Azure NetApp Files Premium.

  3. Delegujte podsíť do služby Azure NetApp Files, jak je popsáno v pokynech k delegování podsítě do služby Azure NetApp Files.

  4. Svazky Azure NetApp Files nasaďte podle pokynů k vytvoření svazku pro Azure NetApp Files. Nasaďte svazky v určené podsíti Azure NetApp Files. IP adresy svazků Azure NetApp se přiřazují automaticky. Prostředky Azure NetApp Files a virtuální počítače Azure musí být ve stejné virtuální síti Azure nebo v partnerských virtuálních sítích Azure. V tomto příkladu používáme dva svazky Azure NetApp Files: sapQAS a transSAP. Cesty k souborům, které jsou připojené k odpovídajícím přípojným bodům, jsou /usrsapqas/sapmntQAS a /usrsapqas/usrsapQASsys.

    1. Volume sapQAS (nfs://192.168.24.5/usrsapqas/sapmntQAS)
    2. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASascs)
    3. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASsys)
    4. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASers)
    5. TransSAP svazku (nfs://192.168.24.4/transSAP)
    6. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASpas)
    7. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASaas)

V tomto příkladu jsme použili Azure NetApp Files pro všechny systémy souborů SAP NetWeaver k předvedení toho, jak můžete použít Azure NetApp Files. Systémy souborů SAP, které není potřeba připojit přes systém souborů NFS, je možné nasadit také jako diskové úložiště Azure. V tomto příkladu musí být a-e ve službě Azure NetApp Files a f-g (tj. /usr/sap/QAS/D02 a /usr/sap/QAS/D03) nasazené jako diskové úložiště Azure.

Důležitá poznámka

Při zvažování služby Azure NetApp Files pro architekturu SAP NetWeaver v architektuře RHEL HA mějte na paměti následující důležité aspekty:

  • Minimální fond kapacity je 4 TiB. Velikost fondu kapacity můžete zvětšit v přírůstcích 1 tiB.
  • Minimální svazek je 100 GiB.
  • Azure NetApp Files a všechny virtuální počítače, kde se připojí svazky Azure NetApp Files, musí být ve stejné virtuální síti Azure nebo v partnerských virtuálních sítích ve stejné oblasti. Přístup ke službě Azure NetApp Files přes partnerský vztah virtuální sítě ve stejné oblasti se teď podporuje. Přístup ke službě Azure NetApp Files přes globální partnerský vztah se zatím nepodporuje.
  • Vybraná virtuální síť musí mít delegovanou podsíť do služby Azure NetApp Files.
  • Charakteristiky propustnosti a výkonu svazku Azure NetApp Files jsou funkce kvóty svazku a úrovně služeb. Další informace najdete v tématu Úroveň služby pro Azure NetApp Files. Při nastavení velikosti svazků SAP Azure NetApp se ujistěte, že výsledná propustnost splňuje požadavky aplikace.
  • Azure NetApp Files nabízí zásady exportu. Můžete řídit povolené klienty a typ přístupu (například jen pro čtení a zápis a čtení).
  • Funkce Azure NetApp Files zatím není v zóně. V současné době není funkce Azure NetApp Files nasazená ve všech zónách dostupnosti v oblasti Azure. Mějte na paměti potenciální důsledky latence v některýchoblastechch
  • Svazky Azure NetApp Files můžete nasadit jako svazky NFSv3 nebo NFSv4.1. Oba protokoly jsou podporovány pro aplikační vrstvu SAP (ASCS/ERS, aplikační servery SAP).

Příprava infrastruktury

Azure Marketplace obsahuje image kvalifikované pro SAP s doplňkem Vysoká dostupnost, který můžete použít k nasazení nových virtuálních počítačů pomocí různých verzí Red Hatu.

Ruční nasazení virtuálních počítačů s Linuxem prostřednictvím webu Azure Portal

Tento dokument předpokládá, že jste už nasadili virtuální síť, podsíť a skupinu prostředků Azure.

Nasaďte virtuální počítače pro SERVERY SAP ASCS, ERS a Application. Zvolte vhodný obrázek RHEL, který je podporovaný pro systém SAP. Virtuální počítač můžete nasadit v libovolné z možností dostupnosti: škálovací sada virtuálních počítačů, zóna dostupnosti nebo skupina dostupnosti.

Konfigurace nástroje pro vyrovnávání zatížení Azure

Během konfigurace virtuálního počítače máte možnost vytvořit nebo vybrat ukončení nástroje pro vyrovnávání zatížení v části Sítě. Podle následujících kroků nakonfigurujte standardní nástroj pro vyrovnávání zatížení pro nastavení systému SAP ASCS a SAP ERS s vysokou dostupností.

Postupujte podle průvodce vytvořením nástroje pro vyrovnávání zatížení a nastavte standardní nástroj pro vyrovnávání zatížení pro systém SAP s vysokou dostupností pomocí webu Azure Portal. Při nastavování nástroje pro vyrovnávání zatížení zvažte následující body.

  1. Konfigurace front-endové IP adresy: Vytvořte dvě front-endové IP adresy , jednu pro ASCS a druhou pro službu ERS. Vyberte stejnou virtuální síť a podsíť jako virtuální počítače ASCS/ERS.
  2. Back-endový fond: Vytvořte back-endový fond a přidejte virtuální počítače ASCS a ERS.
  3. Příchozí pravidla: Vytvořte dvě pravidlo vyrovnávání zatížení, jedno pro ASCS a druhé pro ERS. Pro obě pravidla vyrovnávání zatížení postupujte stejně.
    • IP adresa front-endu: Vyberte ip adresu front-endu.
    • Back-endový fond: Vyberte back-endový fond.
    • Zkontrolujte porty s vysokou dostupností.
    • Protokol: TCP
    • Sonda stavu: Vytvořte sondu stavu s následujícími podrobnostmi (platí pro ASCS nebo ERS).
      • Protokol: TCP
      • Port: [například: 620<Instance-no.> pro ASCS, 621<Instance-no.> pro ERS]
      • Interval: 5
      • Prahová hodnota sondy: 2
    • Časový limit nečinnosti (minuty): 30
    • Zaškrtněte políčko Povolit plovoucí IP adresu.

Poznámka:

Číslo vlastnosti konfigurace sondy stavuOfProbes, jinak označované jako "Prahová hodnota není v pořádku" na portálu, se nerespektuje. Chcete-li tedy řídit počet úspěšných nebo neúspěšných po sobě jdoucích sond, nastavte vlastnost probeThreshold na hodnotu 2. V současné době není možné tuto vlastnost nastavit pomocí webu Azure Portal, takže použijte příkaz Azure CLI nebo PowerShell .

Důležité

Plovoucí IP adresa není podporovaná v konfiguraci sekundární IP adresy síťové karty ve scénářích vyrovnávání zatížení. Další informace najdete v tématu Omezení azure Load Balanceru. Pokud potřebujete více IP adres pro virtuální počítač, nasaďte druhou síťovou kartu.

Poznámka:

Pokud jsou virtuální počítače bez veřejných IP adres umístěny do back-endového fondu interního (bez veřejné IP adresy) standardního nástroje pro vyrovnávání zatížení, neexistuje žádné odchozí připojení k internetu, pokud se neprovádí další konfigurace umožňující směrování do veřejných koncových bodů. Další informace o tom, jak dosáhnout odchozího připojení, najdete v tématu Připojení k veřejnému koncovému bodu pro virtuální počítače pomocí Azure Standard Load Balanceru ve scénářích s vysokou dostupností SAP.

Důležité

Nepovolujte časové razítka PROTOKOLU TCP na virtuálních počítačích Azure umístěných za Azure Load Balancerem. Povolení časových razítek PROTOKOLU TCP může způsobit selhání sond stavu. Nastavte parametr net.ipv4.tcp_timestamps na hodnotu 0. Další informace najdete v tématu Sondy stavu Load Balanceru.

Zakázat mapování ID (pokud používáte NFSv4.1)

Pokyny v této části platí jenom v případě, že používáte svazky Azure NetApp Files s protokolem NFSv4.1. Proveďte konfiguraci na všech virtuálních počítačích, na kterých budou připojené svazky Azure NetApp Files NFSv4.1.

  1. Ověřte nastavení domény NFS. Ujistěte se, že je doména nakonfigurovaná jako výchozí doména Azure NetApp Files, tj defaultv4iddomain.com. a mapování je nastavené na nikoho.

    Důležité

    Nezapomeňte na virtuálním počítači nastavit doménu /etc/idmapd.conf NFS tak, aby odpovídala výchozí konfiguraci domény ve službě Azure NetApp Files: defaultv4iddomain.com Pokud došlo k neshodě mezi konfigurací domény v klientovi NFS (tj. virtuálním počítači) a serverem NFS (tj. konfigurací Azure NetApp), pak se oprávnění pro soubory na svazcích Azure NetApp připojených k virtuálním počítačům zobrazí jako nobody.

    sudo cat /etc/idmapd.conf

# Example
[General]
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

Následující předpona [A] platí pro PAS i AAS.

  1. [A] Ověřte nfs4_disable_idmapping. Měla by být nastavená na Y. Pokud chcete vytvořit adresářovou strukturu, ve které nfs4_disable_idmapping se nachází, spusťte příkaz mount. Adresář nebudete moct vytvořit ručně, /sys/modules protože přístup je vyhrazený pro jádro a ovladače.

    # Check nfs4_disable_idmapping 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping

# If you need to set nfs4_disable_idmapping to Y
mkdir /mnt/tmp
mount 192.168.24.5:/sapQAS
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

Nastavení (A)SCS

Dále připravíte a nainstalujete instance SAP ASCS a ERS.

Vytvoření clusteru Pacemaker

Postupujte podle kroků v části Nastavení Pacemakeru v Red Hat Enterprise Linuxu v Azure a vytvořte základní cluster Pacemaker pro tento server (A)SCS.

Příprava na instalaci SAP NetWeaveru

Následující položky mají předponu:

  • [A]: Platí pro všechny uzly.
  • [1]: Platí pouze pro uzel 1.
  • [2]: Platí pouze pro uzel 2.

  1. [A] Nastavte překlad názvů hostitelů.

    Můžete použít server DNS nebo upravit /etc/hosts soubor na všech uzlech. Tento příklad ukazuje, jak soubor používat /etc/hosts . V následujících příkazech nahraďte IP adresu a název hostitele:

    sudo vi /etc/hosts

    Vložte následující řádky do /etc/hosts. Změňte IP adresu a název hostitele tak, aby odpovídaly vašemu prostředí.

    # IP address of cluster node 1
192.168.14.5    anftstsapcl1
# IP address of cluster node 2
192.168.14.6     anftstsapcl2
# IP address of the load balancer frontend configuration for SAP Netweaver ASCS
192.168.14.9    anftstsapvh
# IP address of the load balancer frontend configuration for SAP Netweaver ERS
192.168.14.10    anftstsapers

  2. [1] Vytvořte adresáře SAP ve svazku Azure NetApp Files. Připojte svazek Azure NetApp Files dočasně na jeden z virtuálních počítačů a vytvořte adresáře SAP (cesty k souborům).

    # mount temporarily the volume
sudo mkdir -p /saptmp

# If using NFSv3
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 192.168.24.5:/sapQAS /saptmp

# If using NFSv4.1
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 192.168.24.5:/sapQAS /saptmp

# create the SAP directories
sudo cd /saptmp
sudo mkdir -p sapmntQAS
sudo mkdir -p usrsapQASascs
sudo mkdir -p usrsapQASers
sudo mkdir -p usrsapQASsys
sudo mkdir -p usrsapQASpas
sudo mkdir -p usrsapQASaas

# unmount the volume and delete the temporary directory
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

  3. [A] Vytvořte sdílené adresáře.

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/QAS/SYS
sudo mkdir -p /usr/sap/QAS/ASCS00
sudo mkdir -p /usr/sap/QAS/ERS01

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/QAS/SYS
sudo chattr +i /usr/sap/QAS/ASCS00
sudo chattr +i /usr/sap/QAS/ERS01

  4. [A] Nainstalujte klienta NFS a další požadavky.

    sudo yum -y install nfs-utils resource-agents resource-agents-sap

  5. [A] Zkontrolujte verzi souboru resource-agents-sap.

    Ujistěte se, že verze nainstalovaného resource-agents-sap balíčku je alespoň 3.9.5-124.el7.

    sudo yum info resource-agents-sap

# Loaded plugins: langpacks, product-id, search-disabled-repos
# Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
# Installed Packages
# Name        : resource-agents-sap
# Arch        : x86_64
# Version     : 3.9.5
# Release     : 124.el7
# Size        : 100 k
# Repo        : installed
# From repo   : rhel-sap-for-rhel-7-server-rpms
# Summary     : SAP cluster resource agents and connector script
# URL         : https://github.com/ClusterLabs/resource-agents
# License     : GPLv2+
# Description : The SAP resource agents and connector script interface with
#          : Pacemaker to allow SAP instances to be managed in a cluster
#          : environment.

  6. [A] Přidejte položky připojení.

    Pokud používáte NFSv3:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

    Pokud používáte NFSv4.1:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

    Poznámka:

    Při připojování svazků se ujistěte, že odpovídá verzi protokolu NFS svazků Azure NetApp Files. Pokud jsou svazky Azure NetApp Files vytvořené jako svazky NFSv3, použijte odpovídající konfiguraci NFSv3. Pokud jsou svazky Azure NetApp Files vytvořené jako svazky NFSv4.1, podle pokynů zakažte mapování ID a ujistěte se, že používáte odpovídající konfiguraci NFSv4.1. V tomto příkladu se svazky Azure NetApp Files vytvořily jako svazky NFSv3.

    Připojte nové sdílené složky.

    sudo mount -a

  7. [A] Nakonfigurujte soubor SWAP.

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by VM size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Restartujte agenta a aktivujte změnu.

    sudo service waagent restart

  8. [A] Proveďte konfiguraci operačního systému RHEL.

    Na základě verze RHEL proveďte konfiguraci uvedenou v SAP Note 2002167, 2772999 nebo 3108316.

Instalace SAP NetWeaver ASCS/ERS

  1. [1] Nakonfigurujte výchozí vlastnosti clusteru.

    pcs resource defaults resource-stickiness=1
pcs resource defaults migration-threshold=3

  2. [1] Vytvořte pro instanci ASCS virtuální prostředek IP adresy a sondu stavu.

    sudo pcs node standby anftstsapcl2

# If using NFSv3
sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
  directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
  --group g-QAS_ASCS

# If using NFSv4.1
sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
  directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe options='sec=sys,nfsvers=4.1' \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=105 \
  --group g-QAS_ASCS

sudo pcs resource create vip_QAS_ASCS IPaddr2 \
  ip=192.168.14.9 \
  --group g-QAS_ASCS

sudo pcs resource create nc_QAS_ASCS azure-lb port=62000 \
  --group g-QAS_ASCS

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Na kterém uzlu jsou prostředky spuštěné, není důležité.

    sudo pcs status

# Node anftstsapcl2: standby
# Online: [ anftstsapcl1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1

  3. [1] Nainstalujte SAP NetWeaver ASCS.

    Nainstalujte SAP NetWeaver ASCS jako kořen na první uzel pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endové konfigurace nástroje pro vyrovnávání zatížení pro SLUŽBU ASCS, například anftstsapvh, 192.168.14.9 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 00.

    Pomocí parametru sapinstSAPINST_REMOTE_ACCESS_USER můžete povolit uživateli, který není kořenem, připojit se k sapinst.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>

    Pokud se instalaci nepodaří vytvořit podsložku ve složce /usr/sap/QAS/ASCS00, zkuste nastavit vlastníka a skupinu složky ASCS00 a zkuste to znovu.

    sudo chown qasadm /usr/sap/QAS/ASCS00
sudo chgrp sapsys /usr/sap/QAS/ASCS00

  4. [1] Vytvořte virtuální prostředek IP adresy a sondu stavu pro instanci ERS.

    sudo pcs node unstandby anftstsapcl2
sudo pcs node standby anftstsapcl1

# If using NFSv3
sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
  directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-QAS_AERS

# If using NFSv4.1
sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
  directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe options='sec=sys,nfsvers=4.1' \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=105 \
 --group g-QAS_AERS

sudo pcs resource create vip_QAS_AERS IPaddr2 \
  ip=192.168.14.10 \
 --group g-QAS_AERS

sudo pcs resource create nc_QAS_AERS azure-lb port=62101 \
 --group g-QAS_AERS

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Na kterém uzlu jsou prostředky spuštěné, není důležité.

    sudo pcs status

# Node anftstsapcl1: standby
# Online: [ anftstsapcl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2<
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#  Resource Group: g-QAS_AERS
#      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2

  5. [2] Nainstalujte SAP NetWeaver ERS.

    Nainstalujte SAP NetWeaver ERS jako kořen na druhý uzel pomocí virtuálního názvu hostitele, který se mapuje na IP adresu front-endu nástroje pro vyrovnávání zatížení pro službu ERS, například anftstsapers, 192.168.14.10 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 01.

    Pomocí parametru sapinstSAPINST_REMOTE_ACCESS_USER můžete povolit uživateli, který není kořenem, připojit se k sapinst.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>

    Pokud se instalaci nepodaří vytvořit podsložku ve složce /usr/sap/QAS/ERS01, zkuste nastavit vlastníka a skupinu složky ERS01 a zkuste to znovu.

    sudo chown qaadm /usr/sap/QAS/ERS01
sudo chgrp sapsys /usr/sap/QAS/ERS01

  6. [1] Přizpůsobte profily instancí ASCS/SCS a ERS.

    • Profil ASCS/SCS

      sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

      V případě ENSA1 i ENSA2 se ujistěte, že keepalive jsou parametry operačního systému nastavené tak, jak je popsáno v 1410736 SAP Note.

    • Profil ERS

      sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

  7. [A] Nakonfigurujte udržování aktivního.

    Komunikace mezi aplikačním serverem SAP NetWeaver a ASCS/SCS se směruje přes nástroj pro vyrovnávání zatížení softwaru. Nástroj pro vyrovnávání zatížení po konfigurovatelném vypršení časového limitu odpojí neaktivní připojení. Pokud chcete této akci zabránit, nastavte parametr v profilu SAP NetWeaver ASCS/SCS, pokud používáte ENSA1, a změňte nastavení systému keepalive Linux na všech serverech SAP pro ensa1/ENSA2. Další informace najdete v 1410736 SAP Note.

    # Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300

  8. [A] Aktualizujte /usr/sap/sapservices soubor.

    Aby se zabránilo spuštění instancí sapinit spouštěcím skriptem, musí být všechny instance spravované pacemakerem okomentovány ze /usr/sap/sapservices souboru.

    sudo vi /usr/sap/sapservices

# Depending on whether the SAP Startup framework is integrated with systemd, you will observe one of the two entries on the ASCS node. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/QAS/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ASCS00/exe/sapstartsrv pf=/usr/sap/QAS/SYS/profile/QAS_ASCS00_anftstsapvh -D -u qasadm
# systemctl --no-ask-password start SAPQAS_00 # sapstartsrv pf=/usr/sap/QAS/SYS/profile/QAS_ASCS00_anftstsapvh

# Depending on whether the SAP Startup framework is integrated with systemd, you will observe one of the two entries on the ASCS node. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/QAS/ERS01/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ERS01/exe/sapstartsrv pf=/usr/sap/QAS/ERS01/profile/QAS_ERS01_anftstsapers -D -u qasadm
# systemctl --no-ask-password start SAPQAS_01 # sapstartsrv pf=/usr/sap/QAS/ERS01/profile/QAS_ERS01_anftstsapers

    Důležité

    Se systémem založeným na platformě SAP Startup Framework je teď možné instance SAP spravovat pomocí systému. Minimální požadovaná verze Red Hat Enterprise Linuxu (RHEL) je RHEL 8 pro SAP. Jak je popsáno v sap Note 3115048, nová instalace jádra SAP s integrovanou systémovou podporou ARCHITEKTURY SAP Startup Framework bude vždy mít za následek systémově řízenou instanci SAP. Po upgradu jádra SAP existující instalace SAP na jádro, které má systémovou podporu SAP Startup Framework, je však nutné provést některé ruční kroky popsané v SAP Note 3115048 převést stávající spouštěcí prostředí SAP na prostředí, které je řízeno systémem.

    Při využívání služeb Red Hat HA pro SAP (konfigurace clusteru) ke správě instancí aplikačních serverů SAP, jako jsou SAP ASCS a SAP ERS, budou potřeba další úpravy, které zajistí kompatibilitu mezi agentem prostředků SAPInstance a novou systémovou architekturou spouštění SAP. Jakmile se tedy instance aplikačního serveru SAP nainstalují nebo přepnou do systémového povoleného jádra SAP podle 3115048 SAP Note, kroky uvedené v článku Red Hat KBA 6884531 se musí úspěšně dokončit na všech uzlech clusteru.

  9. [1] Vytvořte prostředky clusteru SAP.

    V závislosti na tom, jestli používáte systém ENSA1 nebo ENSA2, vyberte příslušnou kartu pro definování prostředků. SAP zavedl podporu pro ENSA2, včetně replikace, v SAP NetWeaver 7.52. Počínaje jazyk ABAP platformou 1809 je ensa2 ve výchozím nastavení nainstalovaný. Pro podporu ENSA2. Viz SAP Note 2630416 pro podporu fronty serveru 2.

    Pokud používáte architekturu enqueue server 2 (ENSA2), nainstalujte agenta prostředků resource-agents-sap-4.1.1-12.el7.x86_64 nebo novější a definujte prostředky, jak je znázorněno zde:

    sudo pcs property set maintenance-mode=true

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=105 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

sudo pcs resource meta g-QAS_ASCS resource-stickiness=3000

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=105 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

sudo pcs constraint colocation add g-QAS_AERS with g-QAS_ASCS -5000
sudo pcs constraint location rsc_sap_QAS_ASCS00 rule score=2000 runs_ers_QAS eq 1
sudo pcs constraint order start g-QAS_ASCS then stop g-QAS_AERS kind=Optional symmetrical=false

sudo pcs node unstandby anftstsapcl1
sudo pcs property set maintenance-mode=false

    Pokud upgradujete ze starší verze a přecházíte na frontue serveru 2, přečtěte si téma SAP Note 2641322.

    Poznámka:

    Vyšší časové limity, které se navrhují při použití NFSv4.1, jsou nezbytné z důvodu pozastavení specifického pro protokol, což souvisí s prodloužením zapůjčení NFSv4.1. Další informace najdete v tématu O systému souborů NFS v osvědčených postupech NetApp. Časové limity v předchozí konfiguraci jsou pouze příklady a může být potřeba je přizpůsobit konkrétnímu nastavení SAP.

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Na kterém uzlu jsou prostředky spuštěné, není důležité.

    sudo pcs status

# Online: [ anftstsapcl1 anftstsapcl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
#  Resource Group: g-QAS_AERS
#      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
#      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1

  10. [1] Spuštěním následujícího kroku nakonfigurujte priority-fencing-delay (platí pouze pro pacemaker-2.0.4-6.el8 nebo vyšší).

    Poznámka:

    Pokud máte cluster se dvěma uzly, máte možnost nakonfigurovat vlastnost clusteru priority-fencing-delay . Tato vlastnost představuje větší zpoždění při dělení uzlu, který má vyšší celkovou prioritu zdroje, když dojde ke scénáři rozdělení mozku. Další informace najdete v tématu Může Pacemaker ohražovat uzel clusteru s nejmenšími spuštěnými prostředky?.

    Vlastnost priority-fencing-delay se vztahuje na pacemaker-2.0.4-6.el8 verze nebo vyšší. Pokud nastavujete priority-fencing-delay na existujícím clusteru, ujistěte se, že nastavení v zařízení pro ohraničení vymažete pcmk_delay_max .

    sudo pcs resource defaults update priority=1
sudo pcs resource update rsc_sap_QAS_ASCS00 meta priority=10

sudo pcs property set priority-fencing-delay=15s

  11. [A] Přidejte pravidla brány firewall pro ASCS a ERS na obou uzlech.

    # Probe Port of ASCS
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp
# Probe Port of ERS
sudo firewall-cmd --zone=public --add-port={62101,3201,3301,50113,50114,50116}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62101,3201,3301,50113,50114,50116}/tcp

Příprava aplikačního serveru SAP NetWeaver

Některé databáze vyžadují, aby instalace instance databáze běžela na aplikačním serveru. Připravte virtuální počítače aplikačního serveru, aby je v těchto případech mohly používat.

Následující kroky předpokládají, že nainstalujete aplikační server na jiný server než servery ASCS/SCS a HANA. Jinak některé kroky (například konfigurace překladu názvů hostitelů) nejsou potřeba.

Následující položky mají předponu:

  • [A]: Platí pro PAS i AAS.
  • [P]: Platí pouze pro PAS.
  • [S]: Platí pouze pro AAS.

  1. [A] Nastavte překlad názvů hostitelů.

    Můžete použít server DNS nebo upravit /etc/hosts soubor na všech uzlech. Tento příklad ukazuje, jak soubor používat /etc/hosts . V následujících příkazech nahraďte IP adresu a název hostitele:

    sudo vi /etc/hosts

    Vložte následující řádky do /etc/hosts. Změňte IP adresu a název hostitele tak, aby odpovídaly vašemu prostředí.

    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
192.168.14.9 anftstsapvh
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
192.168.14.10 anftstsapers
192.168.14.7 anftstsapa01
192.168.14.8 anftstsapa02

  2. [A] Vytvořte sapmnt adresář.

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans

  3. [A] Nainstalujte klienta NFS a další požadavky.

    sudo yum -y install nfs-utils uuidd

  4. [A] Přidejte položky připojení.

    Pokud používáte NFSv3:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

    Pokud používáte NFSv4.1:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

    Připojte nové sdílené složky.

    sudo mount -a

  5. [P] Vytvořte a připojte adresář PAS.

    Pokud používáte NFSv3:

    sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

# Mount
sudo mount -a

    Pokud používáte NFSv4.1:

    sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

# Mount
sudo mount -a

  6. [S] Vytvořte a připojte adresář AAS.

    Pokud používáte NFSv3:

    sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

# Mount
sudo mount -a

    Pokud používáte NFSv4.1:

    sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

# Mount
sudo mount -a

  7. [A] Nakonfigurujte soubor SWAP.

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by VM size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Restartujte agenta a aktivujte změnu.

    sudo service waagent restart

Instalace databáze

V tomto příkladu se SAP NetWeaver nainstaluje do SAP HANA. Pro tuto instalaci můžete použít každou podporovanou databázi. Další informace o instalaci SAP HANA v Azure najdete v tématu Vysoká dostupnost SAP HANA na virtuálních počítačích Azure v Red Hat Enterprise Linuxu. Seznam podporovaných databází najdete v 1928533 SAP Note.

  • Spusťte instalaci instance databáze SAP.

    Nainstalujte instanci databáze SAP NetWeaver jako kořen pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endové konfigurace nástroje pro vyrovnávání zatížení pro databázi.

    Pomocí parametru sapinstSAPINST_REMOTE_ACCESS_USER můžete povolit uživateli, který není kořenem, připojit se k sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Instalace aplikačního serveru SAP NetWeaver

Pokud chcete nainstalovat aplikační server SAP, postupujte podle těchto kroků.

  1. Připravte aplikační server.

    Při přípravě aplikačního serveru SAP NetWeaver postupujte podle kroků v předchozí části.

  2. Nainstalujte aplikační server SAP NetWeaver.

    Nainstalujte primární nebo další server aplikací SAP NetWeaver.

    Pomocí parametru sapinstSAPINST_REMOTE_ACCESS_USER můžete povolit uživateli, který není kořenem, připojit se k sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

  3. Aktualizujte zabezpečené úložiště SAP HANA.

    Aktualizujte zabezpečené úložiště SAP HANA tak, aby odkazovat na virtuální název instalace systémové replikace SAP HANA.

    Spuštěním následujícího příkazu zobrazte seznam položek jako <sapsid>adm.

    hdbuserstore List

    Všechny položky by měly být uvedené a měly by vypadat nějak takto:

    DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 192.168.14.4:30313
  USER: SAPABAP1
  DATABASE: QAS

    Výstup ukazuje, že IP adresa výchozí položky ukazuje na virtuální počítač, a ne na IP adresu nástroje pro vyrovnávání zatížení. Tuto položku musíte změnit tak, aby odkazovat na název virtuálního hostitele nástroje pro vyrovnávání zatížení. Ujistěte se, že používáte stejný port (30313 v předchozím výstupu) a název databáze (QAS v předchozím výstupu).

    su - qasadm
hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>

Otestování nastavení clusteru

Důkladně otestujte cluster Pacemaker. Další informace najdete v tématu Provádění typických testů převzetí služeb při selhání.

Další kroky