Megosztás a következőn keresztül:


Magas rendelkezésre állás Azure-beli virtuális gépeken lévő SAP NetWeaver esetében SUSE Linux Enterprise Server rendszeren SAP-alkalmazásokhoz

Ez a cikk bemutatja, hogyan helyezheti üzembe a virtuális gépeket, konfigurálhatja a virtuális gépeket, telepítheti a fürt keretrendszerét, és hogyan telepíthet magas rendelkezésre állású SAP NetWeaver vagy SAP ABAP platformalapú rendszert. A példakonfigurációkban az ASCS-példányszám 00, az ERS-példányszám 02 és az NW1 SAP-rendszerazonosító lesz használva.

Az SAP Applications 15-höz készült SLES új implementációihoz javasoljuk, hogy egyszerű csatlakoztatási konfigurációban helyezzen üzembe magas rendelkezésre állást az SAP ASCS/ERS számára. A jelen cikkben ismertetett, az SAP központi szolgáltatási címtárak fürtvezérelt fájlrendszerein alapuló, klasszikus Pacemaker-konfiguráció továbbra is támogatott.

Először olvassa el az alábbi SAP-jegyzeteket és -dokumentumokat

Áttekintés

A magas rendelkezésre állás eléréséhez az SAP NetWeavernek NFS-kiszolgálóra van szüksége. Az NFS-kiszolgáló egy külön fürtben van konfigurálva, és több SAP-rendszer is használhatja.

Az SAP NetWeaver magas rendelkezésre állásának áttekintése

Az NFS-kiszolgáló, az SAP NetWeaver ASCS, az SAP NetWeaver SCS, az SAP NetWeaver ERS és az SAP HANA-adatbázis virtuális állomásnevet és virtuális IP-címeket használ. Az Azure-ban a virtuális IP-cím használatához terheléselosztó szükséges. Javasoljuk a Standard terheléselosztó használatát. A bemutatott konfiguráció egy terheléselosztót jelenít meg a következőkkel:

  • Előtérbeli IP-cím 10.0.0.7 ASCS-hez
  • Előtérbeli IP-cím 10.0.0.8 ERS esetén
  • 62000-as mintavételi port ASCS-hez
  • Mintavételi port 62101 ERS-hez

Magas rendelkezésre állású NFS-kiszolgáló beállítása

Feljegyzés

Javasoljuk, hogy telepítse az Egyik Azure-beli, belső NFS-szolgáltatást: az NFS-t az Azure Filesban vagy az NFS ANF-köteteket a megosztott adatok magas rendelkezésre állású SAP-rendszerben való tárolásához. Vegye figyelembe, hogy az NFS-fürtök használatával megszüntetjük az SAP referenciaarchitektúráit.
Az SAP NW magas rendelkezésre állású, natív NFS-szolgáltatásokkal rendelkező SAP-konfigurációs útmutatói a következők:

Az SAP NetWeaver megosztott tárterületet igényel az átviteli és profilkönyvtárhoz. Olvassa el az NFS magas rendelkezésre állását az Azure-beli virtuális gépeken a SUSE Linux Enterprise Serveren arról, hogyan állíthat be NFS-kiszolgálót az SAP NetWeaverhez.

Infrastruktúra előkészítése

Az SAP-példány erőforrás-ügynöke az SAP-alkalmazásokhoz készült SUSE Linux Enterprise Server része. A SUSE Linux Enterprise Server for SAP Applications 12 vagy 15 rendszerképe elérhető az Azure Marketplace-en. A rendszerkép használatával új virtuális gépeket helyezhet üzembe.

Linux rendszerű virtuális gépek manuális üzembe helyezése az Azure Portalon

Ez a dokumentum feltételezi, hogy már üzembe helyezett egy erőforráscsoportot, az Azure Virtual Networket és az alhálózatot.

Virtuális gépek üzembe helyezése az SAP Applications SLES rendszerképével. Válassza ki az SAP-rendszerhez támogatott SLES-rendszerkép megfelelő verzióját. A virtuális gépet a rendelkezésre állási lehetőségek bármelyikében üzembe helyezheti – virtuálisgép-méretezési csoportban, rendelkezésre állási zónában vagy rendelkezésre állási csoportban.

Az Azure Load Balancer konfigurálása

A virtuális gép konfigurálása során lehetősége van a terheléselosztó hálózatkezelési szakaszának létrehozására vagy kilépésére. Kövesse az alábbi lépéseket egy szabványos terheléselosztó konfigurálásához az SAP ASCS és az SAP ERS magas rendelkezésre állású beállításához.

A terheléselosztó létrehozásának útmutatóját követve állítson be egy standard terheléselosztót egy magas rendelkezésre állású SAP-rendszerhez az Azure Portal használatával. A terheléselosztó beállítása során fontolja meg a következő pontokat.

  1. Előtérbeli IP-konfiguráció: Hozzon létre két előtérbeli IP-címet, egyet az ASCS-hez, egy másikat az ERS-hez. Válassza ki ugyanazt a virtuális hálózatot és alhálózatot, mint az ASCS/ERS virtuális gépek.
  2. Háttérkészlet: Hozzon létre háttérkészletet, és adjon hozzá ASCS- és ERS-virtuális gépeket.
  3. Bejövő szabályok: Hozzon létre két terheléselosztási szabályt, egyet az ASCS-hez, egyet az ERS-hez. Kövesse ugyanazokat a lépéseket mindkét terheléselosztási szabály esetében.
    • Előtérbeli IP-cím: Előtérbeli IP-cím kiválasztása
    • Háttérkészlet: Háttérkészlet kiválasztása
    • Ellenőrizze a "Magas rendelkezésre állású portok" jelölőnégyzetet
    • Protokoll: TCP
    • Állapotadat-mintavétel: Állapotadat-mintavétel létrehozása az alábbi részletekkel (az ASCS-re és az ERS-re egyaránt vonatkozik)
      • Protokoll: TCP
      • Port: [például: 620<Példányszám AZ ASCS-hez> , 621<Példányszám az ERS-hez> ]
      • Intervallum: 5
      • Mintavétel küszöbértéke: 2
    • Tétlen időtúllépés (perc): 30
    • Jelölje be a "Lebegő IP-cím engedélyezése" jelölőnégyzetet

Feljegyzés

Az állapotadat-mintavétel konfigurációs tulajdonsága, azOfProbes, más néven "Nem kifogástalan küszöbérték" a Portálon nem lesz tiszteletben tartva. A sikeres vagy sikertelen egymást követő mintavételek számának szabályozásához állítsa a "probeThreshold" tulajdonságot 2-re. Ezt a tulajdonságot jelenleg nem lehet beállítani az Azure Portalon, ezért használja az Azure CLI vagy a PowerShell parancsot.

Feljegyzés

Ha a nyilvános IP-címmel nem rendelkező virtuális gépek a standard Azure-terheléselosztó belső (nyilvános IP-cím nélküli) háttérkészletébe kerülnek, nem lesz kimenő internetkapcsolat, kivéve, ha további konfigurációt végeznek a nyilvános végpontokhoz való útválasztás engedélyezéséhez. A kimenő kapcsolatok elérésével kapcsolatos részletekért tekintse meg az Azure Standard Load Balancert használó virtuális gépek nyilvános végpontkapcsolatait az SAP magas rendelkezésre állású forgatókönyveiben.

Fontos

  • Ne engedélyezze az Azure Load Balancer mögött elhelyezett Azure-beli virtuális gépeken a TCP-időbélyegeket. A TCP-időbélyegek engedélyezése az állapotminták sikertelenségéhez vezet. Állítsa be a paramétert net.ipv4.tcp_timestamps a következőre 0: . További részletekért lásd a Load Balancer állapotmintáit.
  • Ha meg szeretné akadályozni, hogy a Saptune a manuálisan beállított net.ipv4.tcp_timestamps értéket 0 visszafelé 1módosítsa, frissítse a Saptune 3.1.1-es vagy újabb verzióját. További részletekért lásd: saptune 3.1.1 – Frissíteni kell?.

Az (A)SCS beállítása

Ezután előkészíti és telepíti az SAP ASCS- és ERS-példányokat.

Pacemaker-fürt létrehozása

Kövesse a Pacemaker beállítása az Azure-beli SUSE Linux Enterprise Serveren a Pacemaker alapszintű Pacemaker-fürt létrehozásához ehhez az (A)SCS-kiszolgálóhoz.

Telepítés

A következő elemek előtagja vagy [A] – az összes csomópontra érvényes, [1] – csak az 1. csomópontra vagy a [2] csomópontra alkalmazható – csak a 2. csomópontra vonatkozik.

  1. [A] A SUSE-összekötő telepítése

    sudo zypper install sap-suse-cluster-connector
    

    Feljegyzés

    Az sap-suse-cluster-connector csomag 3.1.1-es verziójával kijavítottuk a kötőjel gazdagépnevekben való használatával kapcsolatos ismert problémát. Győződjön meg arról, hogy az sap-suse-cluster-connector csomag legalább 3.1.1-es verzióját használja, ha kötőjellel ellátott fürtcsomópontokat használ a gazdagép nevében. Ellenkező esetben a fürt nem fog működni.

    Győződjön meg arról, hogy telepítette az SAP SUSE-fürtösszekötő új verzióját. A régit sap_suse_cluster_connector, az újat sap-suse-cluster-connector-nak nevezték.

    sudo zypper info sap-suse-cluster-connector
    
    Information for package sap-suse-cluster-connector:
    ---------------------------------------------------
    Repository     : SLE-12-SP3-SAP-Updates
    Name           : sap-suse-cluster-connector
    <b>Version        : 3.0.0-2.2</b>
    Arch           : noarch
    Vendor         : SUSE LLC <https://www.suse.com/>
    Support Level  : Level 3
    Installed Size : 41.6 KiB
    <b>Installed      : Yes</b>
    Status         : up-to-date
    Source package : sap-suse-cluster-connector-3.0.0-2.2.src
    Summary        : SUSE High Availability Setup for SAP Products
    
  2. [A] SAP-erőforrás-ügynökök frissítése

    Az erőforrás-ügynökök csomagjának javítása szükséges a cikkben ismertetett új konfiguráció használatához. Ellenőrizheti, hogy a javítás már telepítve van-e a következő paranccsal

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
    

    A kimenetnek hasonlónak kell lennie

    <parameter name="IS_ERS" unique="0" required="0">
    

    Ha a grep parancs nem találja a IS_ERS paramétert, telepítenie kell a SUSE letöltési oldalán felsorolt javítást.

    # example for patch for SLES 12 SP1
    sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1
    # example for patch for SLES 12 SP2
    sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1
    
  3. [A] Állomásnévfeloldás beállítása

    Használhat DNS-kiszolgálót, vagy módosíthatja az /etc/hosts elemet az összes csomóponton. Ez a példa a /etc/hosts fájl használatát mutatja be. Cserélje le az IP-címet és a gazdagépnevet a következő parancsokban.

    sudo vi /etc/hosts
    
    # Insert the following lines to /etc/hosts. Change the IP address and hostname to match your environment
    # IP address of the load balancer frontend configuration for NFS
    10.0.0.4 nw1-nfs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
    10.0.0.7 nw1-ascs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
    10.0.0.8 nw1-aers
    # IP address of the load balancer frontend configuration for database
    10.0.0.13 nw1-db
    

Felkészülés az SAP NetWeaver telepítésére

  1. [A] A megosztott könyvtárak létrehozása

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    sudo mkdir -p /usr/sap/NW1/SYS
    sudo mkdir -p /usr/sap/NW1/ASCS00
    sudo mkdir -p /usr/sap/NW1/ERS02
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    sudo chattr +i /usr/sap/NW1/SYS
    sudo chattr +i /usr/sap/NW1/ASCS00
    sudo chattr +i /usr/sap/NW1/ERS02
    
  2. [A] Autofs konfigurálása

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    +auto.master
    /- /etc/auto.direct
    

    Fájl létrehozása a

    sudo vi /etc/auto.direct
    
    # Add the following lines to the file, save and exit
    /sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
    /usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans
    /usr/sap/NW1/SYS -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sidsys
    

    Az új megosztások csatlakoztatásához indítsa újra az autofs-eket

    sudo systemctl enable autofs
    sudo service autofs restart
    
  3. [A] SWAP fájl konfigurálása

    Swap-fájl létrehozása az Azure Linux rendszerű virtuális gépek SWAP-fájljának létrehozása című dokumentumban meghatározottak szerint

    #!/bin/sh
    
    # Percent of space on the ephemeral disk to dedicate to swap. Here 30% is being used. Modify as appropriate.
    PCT=0.3
    
    # Location of swap file. Modify as appropriate based on location of ephemeral disk.
    LOCATION=/mnt
    
    if [ ! -f ${LOCATION}/swapfile ]
    then
    
        # Get size of the ephemeral disk and multiply it by the percent of space to allocate
        size=$(/bin/df -m --output=target,avail | /usr/bin/awk -v percent="$PCT" -v pattern=${LOCATION} '$0 ~ pattern {SIZE=int($2*percent);print SIZE}')
        echo "$size MB of space allocated to swap file"
    
         # Create an empty file first and set correct permissions
        /bin/dd if=/dev/zero of=${LOCATION}/swapfile bs=1M count=$size
        /bin/chmod 0600 ${LOCATION}/swapfile
    
        # Make the file available to use as swap
        /sbin/mkswap ${LOCATION}/swapfile
    fi
    
    # Enable swap
    /sbin/swapon ${LOCATION}/swapfile
    /sbin/swapon -a
    
    # Display current swap status
    /sbin/swapon -s
    

    A fájl végrehajthatóvá tétele.

    chmod +x /var/lib/cloud/scripts/per-boot/swap.sh
    

    Állítsa le és indítsa el a virtuális gépet. A virtuális gép leállítására és indítására csak a SWAP fájl létrehozása után először van szükség.

Az SAP NetWeaver ASCS/ERS telepítése

  1. [1] Hozzon létre egy virtuális IP-erőforrást és állapotmintát az ASCS-példányhoz

    Fontos

    A legutóbbi tesztelés olyan helyzeteket tárt fel, amikor a netcat nem válaszol a kérelmekre a hátralék miatt, és csak egy kapcsolat kezelésére vonatkozó korlátozása miatt. A netcat-erőforrás nem figyeli az Azure Load Balancer-kérelmeket, és a lebegő IP-cím elérhetetlenné válik.
    A meglévő Pacemaker-fürtök esetében azt javasoljuk, hogy a netcatet cserélje le a socatre. Jelenleg az azure-lb erőforrásügynök használatát javasoljuk, amely a csomagerőforrás-ügynökök része, és a következő csomagverzió-követelményekkel:

    • Az SLES 12 SP4/SP5 esetén a verziónak legalább resource-agents-4.3.018.a7fb5035-3.30.1 verziónak kell lennie.
    • Az SLES 15/15 SP1 esetén a verziónak legalább resource-agents-4.3.0184.6ee15eb2-4.13.1 verziónak kell lennie.

    Vegye figyelembe, hogy a módosítás rövid állásidőt igényel.
    Meglévő Pacemaker-fürtök esetében, ha a konfigurációt már módosították az Azure Load-Balancer Detection Hardeningben leírt socat használatára, nincs szükség arra, hogy azonnal átváltson az Azure-lb erőforrás-ügynökre.

    sudo crm node standby nw1-cl-1
    
    sudo crm configure primitive fs_NW1_ASCS Filesystem device='nw1-nfs:/NW1/ASCS' directory='/usr/sap/NW1/ASCS00' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
      params ip=10.0.0.7 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ASCS fs_NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
       meta resource-stickiness=3000
    

    Győződjön meg arról, hogy a fürt állapota rendben van, és az összes erőforrás el van indítva. Nem fontos, hogy melyik csomóponton futnak az erőforrások.

    sudo crm_mon -r
    
    # Node nw1-cl-1: standby
    # Online: [ nw1-cl-0 ]
    # 
    # Full list of resources:
    # 
    # stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
    
  2. [1] Az SAP NetWeaver ASCS telepítése

    Telepítse az SAP NetWeaver ASCS-t gyökérként az első csomóponton egy olyan virtuális gazdagépnév használatával, amely megfelel az ASCS terheléselosztó előtér-konfigurációjának IP-címére( például nw1-ascs, 10.0.0.7 és a terheléselosztó mintavételéhez használt példányszám, például 00).

    A sapinst paraméter SAPINST_REMOTE_ACCESS_USER használatával engedélyezheti, hogy egy nem gyökérfelhasználó csatlakozzon a sapinsthoz.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Ha a telepítés nem tud almappát létrehozni az /usr/sap/NW1/ASCS00 rendszerben, próbálja meg beállítani az ASCS00 mappa tulajdonosát és csoportját, és próbálkozzon újra.

    chown nw1adm /usr/sap/NW1/ASCS00
    chgrp sapsys /usr/sap/NW1/ASCS00
    
  3. [1] Hozzon létre egy virtuális IP-erőforrást és állapotmintát az ERS-példányhoz

    sudo crm node online nw1-cl-1
    sudo crm node standby nw1-cl-0
    
    sudo crm configure primitive fs_NW1_ERS Filesystem device='nw1-nfs:/NW1/ASCSERS' directory='/usr/sap/NW1/ERS02' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ERS IPaddr2 \
      params ip=10.0.0.8 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ERS azure-lb port=62102 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ERS fs_NW1_ERS nc_NW1_ERS vip_NW1_ERS
    

    Győződjön meg arról, hogy a fürt állapota rendben van, és az összes erőforrás el van indítva. Nem fontos, hogy melyik csomóponton futnak az erőforrások.

    sudo crm_mon -r
    
    # Node nw1-cl-0: standby
    # Online: [ nw1-cl-1 ]
    # 
    # Full list of resources:
    #
    # stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
    #  Resource Group: g-NW1_ERS
    #      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
    #      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
    #      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
    
  4. [2] Az SAP NetWeaver ERS telepítése

    Telepítse az SAP NetWeaver ERS-t gyökérként a második csomóponton egy olyan virtuális gazdagépnév használatával, amely megfelel az ERS terheléselosztó előtér-konfigurációjának IP-címére( például nw1-aers, 10.0.0.8 és a terheléselosztó mintavételéhez használt példányszám, például 02).

    A sapinst paraméter SAPINST_REMOTE_ACCESS_USER használatával engedélyezheti, hogy egy nem gyökérfelhasználó csatlakozzon a sapinsthoz.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Feljegyzés

    SWPM SP 20 PL 05 vagy újabb verziót használjon. Az alacsonyabb verziók nem megfelelően állítják be az engedélyeket, és a telepítés sikertelen lesz.

    Ha a telepítés nem tud almappát létrehozni az /usr/sap/NW1/ERS02 rendszerben, próbálja meg beállítani az ERS02 mappa tulajdonosát és csoportját, és próbálkozzon újra.

    chown nw1adm /usr/sap/NW1/ERS02
    chgrp sapsys /usr/sap/NW1/ERS02
    
  5. [1] Az ASCS/SCS és az ERS-példányprofilok módosítása

    • ASCS/SCS-profil

      sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs
      
      # Change the restart command to a start command
      #Restart_Program_01 = local $(_EN) pf=$(_PF)
      Start_Program_01 = local $(_EN) pf=$(_PF)
      
      # Add the following lines
      service/halib = $(DIR_CT_RUN)/saphascriptco.so
      service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
      
      # Add the keep alive parameter, if using ENSA1
      enque/encni/set_so_keepalive = true
      

      Az ENSA1 és az ENSA2 esetében is győződjön meg arról, hogy az operációsrendszer-paraméterek az keepalive SAP megjegyzésében 1410736 leírtak szerint vannak beállítva.

    • ERS-profil

      sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers
      
      # Change the restart command to a start command
      #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      
      # Add the following lines
      service/halib = $(DIR_CT_RUN)/saphascriptco.so
      service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
      
      # remove Autostart from ERS profile
      # Autostart = 1
      
  6. [A] A Keep Alive konfigurálása

    Az SAP NetWeaver alkalmazáskiszolgáló és az ASCS/SCS közötti kommunikáció egy szoftveres terheléselosztón keresztül történik. A terheléselosztó konfigurálható időtúllépés után leválasztja az inaktív kapcsolatokat. Ennek megakadályozásához be kell állítania egy paramétert az SAP NetWeaver ASCS/SCS profilban, ha ENSA1-t használ, és módosítania kell a Linux rendszerbeállításait keepalive az összes SAP-kiszolgálón az ENSA1/ENSA2 rendszeren. További információért olvassa el az SAP Note 1410736 .

    # Change the Linux system configuration
    sudo sysctl net.ipv4.tcp_keepalive_time=300
    
  7. [A] Az SAP-felhasználók konfigurálása a telepítés után

    # Add sidadm to the haclient group
    sudo usermod -aG haclient nw1adm
    
  8. [1] Az ASCS és az ERS SAP-szolgáltatások hozzáadása az sapservice fájlhoz

    Adja hozzá az ASCS szolgáltatásbejegyzést a második csomóponthoz, és másolja az ERS szolgáltatásbejegyzést az első csomópontra.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh nw1-cl-1 "cat >>/usr/sap/sapservices"
    sudo ssh nw1-cl-1 "cat /usr/sap/sapservices" | grep ERS02 | sudo tee -a /usr/sap/sapservices
    
  9. [A] Az ASCS és az ERS SAP-példány szolgáltatásainak letiltása systemd . Ez a lépés csak akkor alkalmazható, ha az SAP indítási keretrendszerét az SAP Megjegyzés 3115048

    Feljegyzés

    Ha SLES-fürtkonfigurációval kezeli az SAP-példányokat, például az SAP ASCS-t és az SAP ERS-t, további módosításokat kell végeznie a fürt natív rendszeralapú SAP start-keretrendszerrel való integrálásához. Ez biztosítja, hogy a karbantartási eljárások ne veszélyeztessék a fürt stabilitását. Az SAP indítási keretrendszerének telepítése vagy rendszeralapú beállításra váltása után az SAP Megjegyzés 3115048 szerint le kell tiltania az systemd ASCS- és ERS SAP-példányok szolgáltatásait.

    # Stop ASCS and ERS instances using <sid>adm
    sapcontrol -nr 00 -function Stop
    sapcontrol -nr 00 -function StopService
    
    sapcontrol -nr 01 -function Stop
    sapcontrol -nr 01 -function StopService
    
    # Execute below command on VM where you have performed ASCS instance installation (e.g. nw1-cl-0)
    sudo systemctl disable SAPNW1_00
    # Execute below command on VM where you have performed ERS instance installation (e.g. nw1-cl-1)
    sudo systemctl disable SAPNW1_01
    
  10. [1] Az SAP-fürt erőforrásainak létrehozása

    Attól függően, hogy ENSA1 vagy ENSA2 rendszert futtat, válassza a megfelelő lapot az erőforrások meghatározásához. Az SAP bevezette az ENSA2 támogatását, beleértve a replikációt is az SAP NetWeaver 7.52-ben. Az ABAP Platform 1809-től kezdve az ENSA2 alapértelmezés szerint telepítve van. Az ENSA2 támogatásáról az SAP Note 2630416 című témakörben olvashat.

    sudo crm configure property maintenance-mode="true"
    
    sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
      operations \$id=rsc_sap_NW1_ASCS00-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
      AUTOMATIC_RECOVER=false \
      meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
    
    sudo crm configure primitive rsc_sap_NW1_ERS02 SAPInstance \
      operations \$id=rsc_sap_NW1_ERS02-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" AUTOMATIC_RECOVER=false IS_ERS=true \
      meta priority=1000
    
    sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
    sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS02
    
    sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
    sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
    sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS02:stop symmetrical=false
    
    sudo crm_attribute --delete --name priority-fencing-delay
    
    sudo crm node online nw1-cl-0
    sudo crm configure property maintenance-mode="false"
    

Ha egy régebbi verzióról frissít, és a 2. kiszolgálóra vált, tekintse meg az SAP megjegyzését 2641019.

Győződjön meg arról, hogy a fürt állapota rendben van, és az összes erőforrás el van indítva. Nem fontos, hogy melyik csomóponton futnak az erőforrások.

sudo crm_mon -r
 
# Online: [ nw1-cl-0 nw1-cl-1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
#  Resource Group: g-NW1_ERS
#      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
#      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

SAP NetWeaver-alkalmazáskiszolgáló előkészítése

Egyes adatbázisok megkövetelik, hogy az adatbázispéldány telepítése egy alkalmazáskiszolgálón legyen végrehajtva. Előkészíti az alkalmazáskiszolgáló virtuális gépeinek használatát ezekben az esetekben.

A lépések feltételezik, hogy az alkalmazáskiszolgálót az ASCS/SCS és a HANA-kiszolgálóktól eltérő kiszolgálóra telepíti. Ellenkező esetben az alábbi lépések némelyikére (például a gazdagépnév feloldásának konfigurálására) nincs szükség.

  1. Operációs rendszer konfigurálása

    Csökkentse a piszkos gyorsítótár méretét. További információ: Alacsony írási teljesítmény nagy RAM-mal rendelkező SLES 11/12-kiszolgálókon.

    sudo vi /etc/sysctl.conf
    
    # Change/set the following settings
    vm.dirty_bytes = 629145600
    vm.dirty_background_bytes = 314572800
    
  2. Állomásnévfeloldás beállítása

    Használhat DNS-kiszolgálót, vagy módosíthatja az /etc/hosts elemet az összes csomóponton. Ez a példa a /etc/hosts fájl használatát mutatja be. Cserélje le az IP-címet és a gazdagépnevet a következő parancsokban

    sudo vi /etc/hosts
    

    Szúrja be a következő sorokat a /etc/hosts fájlba. Az IP-cím és a gazdagépnév módosítása a környezetnek megfelelően

    # IP address of the load balancer frontend configuration for NFS
    10.0.0.4 nw1-nfs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
    10.0.0.7 nw1-ascs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ERS
    10.0.0.8 nw1-aers
    # IP address of the load balancer frontend configuration for database
    10.0.0.13 nw1-db
    # IP address of all application servers
    10.0.0.20 nw1-di-0
    10.0.0.21 nw1-di-1
    
  3. Az sapmnt könyvtár létrehozása

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    
  4. Autofs konfigurálása

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    +auto.master
    /- /etc/auto.direct
    

    Új fájl létrehozása a használatával

    sudo vi /etc/auto.direct
    
    # Add the following lines to the file, save and exit
    /sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
    /usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans
    

    Az új megosztások csatlakoztatásához indítsa újra az autofs-eket

    sudo systemctl enable autofs
    sudo service autofs restart
    
  5. SWAP fájl konfigurálása

    sudo vi /etc/waagent.conf
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    Indítsa újra az ügynököt a módosítás aktiválásához

    sudo service waagent restart
    

Adatbázis telepítése

Ebben a példában az SAP NetWeaver telepítve van az SAP HANA-ra. Ehhez a telepítéshez minden támogatott adatbázist használhat. Az SAP HANA Azure-ban való telepítéséről további információt az SAP HANA azure-beli virtuális gépeken (VM-eken) való magas rendelkezésre állásával foglalkozó cikkben talál. A támogatott adatbázisok listáját az SAP Note 1928533 című témakörben találja.

  1. Az SAP-adatbázispéldány telepítésének futtatása

    Telepítse az SAP NetWeaver-adatbázispéldányt gyökérként egy virtuális gazdagépnévvel, amely megfelel az adatbázis terheléselosztó előtér-konfigurációjának IP-címére, például nw1-db és 10.0.0.13.

    A sapinst paraméter SAPINST_REMOTE_ACCESS_USER használatával engedélyezheti, hogy egy nem gyökérfelhasználó csatlakozzon a sapinsthoz.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

SAP NetWeaver alkalmazáskiszolgáló telepítése

Sap-alkalmazáskiszolgáló telepítéséhez kövesse az alábbi lépéseket.

  1. Alkalmazáskiszolgáló előkészítése

    Az alkalmazáskiszolgáló előkészítéséhez kövesse a fenti SAP NetWeaver alkalmazáskiszolgáló-előkészítés című fejezet lépéseit.

  2. AZ SAP NetWeaver alkalmazáskiszolgáló telepítése

    Telepítsen egy elsődleges vagy további SAP NetWeaver-alkalmazáskiszolgálót.

    A sapinst paraméter SAPINST_REMOTE_ACCESS_USER használatával engedélyezheti, hogy egy nem gyökérfelhasználó csatlakozzon a sapinsthoz.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    
  3. Az SAP HANA biztonságos tároló frissítése

    Frissítse az SAP HANA biztonságos tárolót, hogy az az SAP HANA rendszerreplikációs beállításának virtuális nevére mutasson.

    Futtassa a következő parancsot a bejegyzések listázásához

    hdbuserstore List
    

    Ennek az összes bejegyzést fel kell sorolnia, és a következőhöz hasonlónak kell lennie:

    DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
    KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY
    
    KEY DEFAULT
      ENV : 10.0.0.14:30313
      USER: SAPABAP1
      DATABASE: HN1
    

    A kimenet azt mutatja, hogy az alapértelmezett bejegyzés IP-címe a virtuális gépre mutat, nem pedig a terheléselosztó IP-címére. Ezt a bejegyzést úgy kell módosítani, hogy a terheléselosztó virtuális állomásnevére mutasson. Ügyeljen arra, hogy ugyanazt a portot (30313 a fenti kimenetben) és az adatbázis nevét (HN1 a fenti kimenetben) használja!

    su - nw1adm
    hdbuserstore SET DEFAULT nw1-db:30313@HN1 SAPABAP1 <password of ABAP schema>
    

A fürt beállításának tesztelése

Az alábbi tesztek a SUSE ajánlott eljárásainak útmutatóiban szereplő tesztelési esetek egy példányát képezik. Az Ön kényelme érdekében másolják őket. Mindig olvassa el az ajánlott eljárásokat ismertető útmutatókat, és végezze el az esetlegesen hozzáadott összes további tesztet.

  1. A HAGetFailoverConfig, a HACheckConfig és a HACheckFailoverConfig tesztelése

    Futtassa a következő parancsokat sapsid>admként <azon a csomóponton, amelyen az ASCS-példány jelenleg fut. Ha a parancsok sikertelenek a FELADAT: Nem elegendő a memória, előfordulhat, hogy a gazdagépnév kötőjelei okozzák. Ez egy ismert probléma, amelyet a SUSE kijavít az sap-suse-cluster-connector csomagban.

    nw1-cl-0:nw1adm 54> sapcontrol -nr 00 -function HAGetFailoverConfig
    
    # 15.08.2018 13:50:36
    # HAGetFailoverConfig
    # OK
    # HAActive: TRUE
    # HAProductVersion: Toolchain Module
    # HASAPInterfaceVersion: Toolchain Module (sap_suse_cluster_connector 3.0.1)
    # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
    # HAActiveNode:
    # HANodes: nw1-cl-0, nw1-cl-1
    
    nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -function HACheckConfig
    
    # 15.08.2018 14:00:04
    # HACheckConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP instance configuration, 2 ABAP instances detected
    # SUCCESS, SAP CONFIGURATION, Redundant Java instance configuration, 0 Java instances detected
    # SUCCESS, SAP CONFIGURATION, Enqueue separation, All Enqueue server separated from application server
    # SUCCESS, SAP CONFIGURATION, MessageServer separation, All MessageServer separated from application server
    # SUCCESS, SAP CONFIGURATION, ABAP instances on multiple hosts, ABAP instances on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP SPOOL service configuration, 2 ABAP instances with SPOOL service detected
    # SUCCESS, SAP STATE, Redundant ABAP SPOOL service state, 2 ABAP instances with active SPOOL service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP SPOOL service on multiple hosts, ABAP instances with active ABAP SPOOL service on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP BATCH service configuration, 2 ABAP instances with BATCH service detected
    # SUCCESS, SAP STATE, Redundant ABAP BATCH service state, 2 ABAP instances with active BATCH service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP BATCH service on multiple hosts, ABAP instances with active ABAP BATCH service on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP DIALOG service configuration, 2 ABAP instances with DIALOG service detected
    # SUCCESS, SAP STATE, Redundant ABAP DIALOG service state, 2 ABAP instances with active DIALOG service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP DIALOG service on multiple hosts, ABAP instances with active ABAP DIALOG service on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP UPDATE service configuration, 2 ABAP instances with UPDATE service detected
    # SUCCESS, SAP STATE, Redundant ABAP UPDATE service state, 2 ABAP instances with active UPDATE service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP UPDATE service on multiple hosts, ABAP instances with active ABAP UPDATE service on multiple hosts detected
    # SUCCESS, SAP STATE, SCS instance running, SCS instance status ok
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (nw1-ascs_NW1_00), SAPInstance includes is-ers patch
    # SUCCESS, SAP CONFIGURATION, Enqueue replication (nw1-ascs_NW1_00), Enqueue replication enabled
    # SUCCESS, SAP STATE, Enqueue replication state (nw1-ascs_NW1_00), Enqueue replication active
    
    nw1-cl-0:nw1adm 56> sapcontrol -nr 00 -function HACheckFailoverConfig
    
    # 15.08.2018 14:04:08
    # HACheckFailoverConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
    
  2. Az ASCS-példány manuális migrálása

    Erőforrás állapota a teszt megkezdése előtt:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    

    Futtassa a következő parancsokat gyökérként az ASCS-példány migrálásához.

    nw1-cl-0:~ # crm resource migrate rsc_sap_NW1_ASCS00 force
    # INFO: Move constraint created for rsc_sap_NW1_ASCS00
    
    nw1-cl-0:~ # crm resource unmigrate rsc_sap_NW1_ASCS00
    # INFO: Removed migration constraints for rsc_sap_NW1_ASCS00
    
    # Remove failed actions for the ERS that occurred as part of the migration
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Erőforrás állapota a teszt után:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  3. HAFailoverToNode tesztelése

    Erőforrás állapota a teszt megkezdése előtt:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    Futtassa a következő parancsokat sapsid>admként <az ASCS-példány migrálásához.

    nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -host nw1-ascs -user nw1adm <password> -function HAFailoverToNode ""
    
    # run as root
    # Remove failed actions for the ERS that occurred as part of the migration
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    # Remove migration constraints
    nw1-cl-0:~ # crm resource clear rsc_sap_NW1_ASCS00
    #INFO: Removed migration constraints for rsc_sap_NW1_ASCS00
    

    Erőforrás állapota a teszt után:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    
  4. Csomópont összeomlásának szimulálása

    Erőforrás állapota a teszt megkezdése előtt:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    

    Futtassa a következő parancsot gyökérként azon a csomóponton, amelyen az ASCS-példány fut

    nw1-cl-0:~ # echo b > /proc/sysrq-trigger
    

    Ha SBD-t használ, a Pacemakernek nem szabad automatikusan elindulnia a megölt csomóponton. A csomópont újrakezdése utáni állapotnak így kell kinéznie.

    Online: [ nw1-cl-1 ]
    OFFLINE: [ nw1-cl-0 ]
    
    Full list of resources:
    
    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    
    Failed Actions:
    * rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-1 'not running' (7): call=219, status=complete, exitreason='none',
        last-rc-change='Wed Aug 15 14:38:38 2018', queued=0ms, exec=0ms
    

    Az alábbi parancsokkal indítsa el a Pacemakert a megölt csomóponton, törölje az SBD-üzeneteket, és törölje a sikertelen erőforrásokat.

    # run as root
    # list the SBD device(s)
    nw1-cl-0:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
    # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"
    
    nw1-cl-0:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message nw1-cl-0 clear
    
    nw1-cl-0:~ # systemctl start pacemaker
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Erőforrás állapota a teszt után:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  5. Hálózati kommunikáció letiltása

    Erőforrás állapota a teszt megkezdése előtt:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    Tűzfalszabály végrehajtása az egyik csomópont kommunikációjának letiltásához.

    # Execute iptable rule on nw1-cl-0 (10.0.0.5) to block the incoming and outgoing traffic to nw1-cl-1 (10.0.0.6)
    iptables -A INPUT -s 10.0.0.6 -j DROP; iptables -A OUTPUT -d 10.0.0.6 -j DROP
    

    Ha a fürtcsomópontok nem tudnak kommunikálni egymással, fennáll az agyfelosztási forgatókönyv kockázata. Ilyen helyzetekben a fürtcsomópontok megpróbálják egyszerre elkeríteni egymást, ami kerítésversenyt eredményez.

    A kerítéseszközök konfigurálásakor ajánlott a tulajdonság konfigurálása pcmk_delay_max . Tehát az agy felosztása esetén a fürt véletlenszerű késleltetést vezet be az pcmk_delay_max értékig, az egyes csomópontok kerítési műveletéhez. A legrövidebb késleltetésű csomópont lesz kiválasztva a kerítéshez.

    Emellett az ENSA 2 konfigurációban az ASCS-erőforrást üzemeltető csomópont rangsorolása a másik csomóponton egy osztott agyforgatókönyv során ajánlott a fürt tulajdonságának konfigurálása priority-fencing-delay . A priority-fencing-delay tulajdonság engedélyezése lehetővé teszi, hogy a fürt további késleltetést vezessen be a kerítésműveletben, különösen az ASCS-erőforrást üzemeltető csomóponton, így az ASCS-csomópont megnyerheti a kerítésversenyt.

    Hajtsa végre az alábbi parancsot a tűzfalszabály törléséhez.

    # If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
    iptables -D INPUT -s 10.0.0.6 -j DROP; iptables -D OUTPUT -d 10.0.0.6 -j DROP
    
  6. Az ASCS-példány manuális újraindításának tesztelése

    Erőforrás állapota a teszt megkezdése előtt:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    Hozzon létre egy enqueue zárolást, például szerkessze a felhasználót a su01 tranzakcióban. Futtassa a következő parancsokat sapsid>admként <azon a csomóponton, amelyen az ASCS-példány fut. A parancsok leállítják az ASCS-példányt, és újra elindítják. Ha enqueue server 1 architektúrát használ, az enqueue-zárolás várhatóan elveszik ebben a tesztben. Ha enqueue server 2 architektúrát használ, az enqueue megmarad.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StopWait 600 2
    

    Az ASCS-példányt le kell tiltani a Pacemakerben

    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Stopped (disabled)
    

    Indítsa el újra az ASCS-példányt ugyanazon a csomóponton.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StartWait 600 2
    

    A su01 tranzakció végleges zárolását el kell veszíteni, és a háttérrendszert alaphelyzetbe kell állítani. Erőforrás állapota a teszt után:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  7. Üzenetkiszolgáló folyamatának leállítása

    Erőforrás állapota a teszt megkezdése előtt:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    Futtassa az alábbi parancsokat gyökérként az üzenetkiszolgáló folyamatának azonosításához és a törléshez.

    nw1-cl-1:~ # pgrep -f ms.sapNW1 | xargs kill -9
    

    Ha csak egyszer öli meg az üzenetkiszolgálót, az sapstart újraindítja. Ha elég gyakran öli meg, a Pacemaker végül áthelyezi az ASCS-példányt a másik csomópontra ENSA1 esetén. Futtassa a következő parancsokat gyökérként az ASCS- és ERS-példány erőforrásállapotának a tesztelés után történő törléséhez.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Erőforrás állapota a teszt után:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    
  8. A kiszolgálói folyamat leállítása

    Erőforrás állapota a teszt megkezdése előtt:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    

    Futtassa az alábbi parancsokat gyökérként azon a csomóponton, amelyen az ASCS-példány fut az enqueue-kiszolgáló leállításához.

    nw1-cl-0:~ # 
    #If using ENSA1
    pgrep -f en.sapNW1 | xargs kill -9
    #If using ENSA2
    pgrep -f enq.sapNW1 | xargs kill -9
    

    Az ASCS-példánynak azonnal át kell adnia a feladatátvételt a másik csomópontra az ENSA1 esetén. Az ERS-példánynak az ASCS-példány elindítása után is feladatátvételt kell végrehajtania. Futtassa a következő parancsokat gyökérként az ASCS- és ERS-példány erőforrásállapotának a tesztelés után történő törléséhez.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Erőforrás állapota a teszt után:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  9. Az enqueue replikációs kiszolgáló folyamatának leállítása

    Erőforrás állapota a teszt megkezdése előtt:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    Futtassa a következő parancsot gyökérként azon a csomóponton, amelyen az ERS-példány fut az enqueue replikációs kiszolgáló folyamatának leállításához.

    nw1-cl-0:~ # pgrep -f er.sapNW1 | xargs kill -9
    

    Ha csak egyszer futtatja a parancsot, az sapstart újraindítja a folyamatot. Ha elég gyakran futtatja, az sapstart nem indítja újra a folyamatot, és az erőforrás leállt állapotban lesz. Futtassa az alábbi parancsokat gyökérként az ERS-példány erőforrásállapotának a tesztelés utáni törléséhez.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Erőforrás állapota a teszt után:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  10. Kill enqueue sapstartsrv folyamat

    Erőforrás állapota a teszt megkezdése előtt:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    Futtassa az alábbi parancsokat gyökérként azon a csomóponton, amelyen az ASCS fut.

    nw1-cl-1:~ # pgrep -fl ASCS00.*sapstartsrv
    # 59545 sapstartsrv
    
    nw1-cl-1:~ # kill -9 59545
    

    Az sapstartsrv folyamatot mindig újra kell indítania a Pacemaker erőforrás-ügynökének. Erőforrás állapota a teszt után:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

Következő lépések