Vysoká dostupnost pro SAP NetWeaver na virtuálních počítačích Azure na SUSE Linux Enterprise Serveru s NFS ve službě Azure Files

Tento článek popisuje, jak nasadit a nakonfigurovat virtuální počítače, nainstalovat architekturu clusteru a nainstalovat systém HA SAP NetWeaver pomocí systému SOUBORŮ NFS ve službě Azure Files. Ukázkové konfigurace používají virtuální počítače, které běží na SUSE Linux Enterprise Serveru (SLES).

Pro nové implementace v SLES pro SAP Applications 15 doporučujeme nasadit vysokou dostupnost pro SAP ASCS/ERS v jednoduché konfiguraci připojení. Klasická konfigurace Pacemakeru založená na systémech souborů řízených clusterem pro adresáře centrálních služeb SAP, která je popsaná v tomto článku, je stále podporovaná.

Požadavky

  • Dokumentace ke službě Azure Files
  • SAP Note 1928533, který má:
    • Seznam velikostí virtuálních počítačů Azure podporovaných pro nasazení softwaru SAP
    • Důležité informace o kapacitě pro velikosti virtuálních počítačů Azure
    • Podporované kombinace softwaru SAP a operačního systému a databáze.
    • Požadovaná verze jádra SAP pro Windows a Linux v Microsoft Azure
  • SAP Note 2015553 uvádí požadavky pro nasazení softwaru SAP s podporou SAP v Azure.
  • SAP Note 2205917 doporučil nastavení operačního systému pro SUSE Linux Enterprise Server pro aplikace SAP.
  • SAP Note 2178632 obsahuje podrobné informace o všech metrikách monitorování hlášených pro SAP v Azure.
  • SAP Note 2191498 má požadovanou verzi agenta hostitele SAP pro Linux v Azure.
  • SAP Note 2243692 obsahuje informace o licencování SAP v Linuxu v Azure.
  • SAP Note 1984787 obsahuje obecné informace o SUSE Linux Enterprise Serveru 12.
  • SAP Note 2578899 obsahuje obecné informace o SUSE Linux Enterprise Serveru 15
  • SAP Note 1999351 obsahuje další informace o řešení potíží pro rozšíření rozšířeného monitorování Azure pro SAP.
  • Wikiweb komunity SAP obsahuje všechny požadované poznámky SAP pro Linux.
  • Plánování a implementace virtuálních počítačů Azure pro SAP v Linuxu
  • Nasazení virtuálních počítačů Azure pro SAP v Linuxu
  • Nasazení DBMS pro Azure Virtual Machines pro SAP v Linuxu
  • Průvodci osvědčenými postupy pro SUSE SAP HA Příručky obsahují všechny požadované informace k nastavení vysoké dostupnosti netweaveru a místní replikace systému SAP HANA. Tyto příručky použijte jako obecný směrný plán. Poskytují mnohem podrobnější informace.
  • Zpráva k vydání verze rozšíření SUSE s vysokou dostupností

Přehled

Pokud chcete nasadit aplikační vrstvu SAP NetWeaver, potřebujete sdílené adresáře jako /sapmnt/SID a /usr/sap/trans v prostředí. Kromě toho při nasazování systému HA SAP potřebujete chránit a vytvářet vysoce dostupné systémy souborů jako /sapmnt/SID a /usr/sap/SID/ASCS.

Teď můžete tyto systémy souborů umístit do systému souborů NFS ve službě Azure Files. NFS ve službě Azure Files je řešení úložiště vysoké dostupnosti. Toto řešení nabízí synchronní zónově redundantní úložiště (ZRS) a je vhodné pro instance SAP ASCS/ERS nasazené napříč Zóny dostupnosti. Stále potřebujete cluster Pacemaker k ochraně jednotlivých komponent selhání, jako jsou centrální služby SAP Netweaver (ASCS/SCS).

Ukázkové konfigurace a instalační příkazy používají následující čísla instancí:

Název instance Číslo instance
jazyk ABAP SAP Central Services (ASCS) 00
ERS 01
Primární aplikační server (PAS) 02
Další aplikační server (AAS) 03
Identifikátor systému SAP NW1

SAP NetWeaver High Availability with NFS on Azure Files

Tento diagram znázorňuje typickou architekturu SAP Netweaver HA. Systémy souborů sapmnt a saptrans se nasazují ve sdílených složkách NFS ve službě Azure Files. Centrální služby SAP jsou chráněné clusterem Pacemaker. Clusterované virtuální počítače jsou za nástrojem pro vyrovnávání zatížení Azure. Sdílené složky NFS jsou připojené prostřednictvím privátního koncového bodu.

Příprava infrastruktury

Agent prostředků pro instanci SAP je součástí SUSE Linux Enterprise Serveru pro aplikace SAP. Image pro SUSE Linux Enterprise Server pro SAP Applications 12 nebo 15 je k dispozici na Azure Marketplace. Image můžete použít k nasazení nových virtuálních počítačů.

Ruční nasazení virtuálních počítačů s Linuxem prostřednictvím webu Azure Portal

Tento dokument předpokládá, že jste už nasadili skupinu prostředků, virtuální síť Azure a podsíť.

Nasaďte virtuální počítače pomocí SLES pro image SAP Applications. Zvolte vhodnou verzi image SLES, která je podporovaná pro systém SAP. Virtuální počítač můžete nasadit v libovolné z možností dostupnosti – škálovací sada virtuálních počítačů, zóna dostupnosti nebo skupina dostupnosti.

Konfigurace nástroje pro vyrovnávání zatížení Azure

Během konfigurace virtuálního počítače máte možnost vytvořit nebo vybrat ukončení nástroje pro vyrovnávání zatížení v části Sítě. Podle následujících kroků nakonfigurujte standardní nástroj pro vyrovnávání zatížení pro nastavení systému SAP ASCS a SAP ERS s vysokou dostupností.

Postupujte podle průvodce vytvořením nástroje pro vyrovnávání zatížení a nastavte standardní nástroj pro vyrovnávání zatížení pro systém SAP s vysokou dostupností pomocí webu Azure Portal. Při nastavování nástroje pro vyrovnávání zatížení zvažte následující body.

  1. Konfigurace front-endové IP adresy: Vytvořte dvě front-endové IP adresy , jednu pro ASCS a druhou pro službu ERS. Vyberte stejnou virtuální síť a podsíť jako virtuální počítače ASCS/ERS.
  2. Back-endový fond: Vytvořte back-endový fond a přidejte virtuální počítače ASCS a ERS.
  3. Příchozí pravidla: Vytvořte dvě pravidlo vyrovnávání zatížení, jedno pro ASCS a druhé pro ERS. Pro obě pravidla vyrovnávání zatížení postupujte stejně.
    • IP adresa front-endu: Vyberte ip adresu front-endu.
    • Back-endový fond: Vyberte back-endový fond.
    • Zkontrolujte porty s vysokou dostupností.
    • Protokol: TCP
    • Sonda stavu: Vytvořte sondu stavu s následujícími podrobnostmi (platí pro ASCS nebo ERS).
      • Protokol: TCP
      • Port: [například: 620<Instance-no.> pro ASCS, 621<Instance-no.> pro ERS]
      • Interval: 5
      • Prahová hodnota sondy: 2
    • Časový limit nečinnosti (minuty): 30
    • Zaškrtněte políčko Povolit plovoucí IP adresu.

Poznámka:

Číslo vlastnosti konfigurace sondy stavuOfProbes, jinak označované jako "Prahová hodnota není v pořádku" na portálu, se nerespektuje. Chcete-li tedy řídit počet úspěšných nebo neúspěšných po sobě jdoucích sond, nastavte vlastnost probeThreshold na hodnotu 2. V současné době není možné tuto vlastnost nastavit pomocí webu Azure Portal, takže použijte příkaz Azure CLI nebo PowerShell .

Důležité

Plovoucí IP adresa není podporována v konfiguraci sekundární IP adresy síťové karty ve scénářích vyrovnávání zatížení. Podrobnosti najdete v tématu Omezení nástroje pro vyrovnávání zatížení Azure. Pokud potřebujete další IP adresu pro virtuální počítač, nasaďte druhou síťovou kartu.

Poznámka:

Pokud jsou virtuální počítače bez veřejných IP adres umístěny do back-endového fondu interního (bez veřejné IP adresy) služby Azure Load Balancer úrovně Standard, nebude k dispozici žádné odchozí připojení k internetu, pokud není provedena další konfigurace umožňující směrování do veřejných koncových bodů. Podrobnosti o tom, jak dosáhnout odchozího připojení, najdete v tématu Připojení k veřejnému koncovému bodu pro virtuální počítače pomocí Azure Standard Load Balanceru ve scénářích s vysokou dostupností SAP.

Důležité

  • Nepovolujte na virtuálních počítačích Azure umístěných za Azure Load Balancerem časové razítko TCP. Povolení časových razítek PROTOKOLU TCP způsobí selhání sond stavu. Nastavte parametr na net.ipv4.tcp_timestamps0. Podrobnosti najdete v sondách stavu Load Balanceru.
  • Pokud chcete zabránit tomu, aby saptune měnil hodnotu ručně nastavenou net.ipv4.tcp_timestamps zpět 0 na 1, měli byste aktualizovat verzi saptune na verzi 3.1.1 nebo vyšší. Další podrobnosti najdete v tématu saptune 3.1.1 – Musím aktualizovat?.

Nasazení účtu úložiště Azure Files a sdílených složek NFS

Systém souborů NFS ve službě Azure Files běží nad službou Azure Files Premium Storage. Před nastavením systému souborů NFS ve službě Azure Files si přečtěte, jak vytvořit sdílenou složku NFS.

V rámci oblasti Azure existují dvě možnosti redundance:

Zkontrolujte, jestli vybraná oblast Azure nabízí systém souborů NFS 4.1 ve službě Azure Files s příslušnou redundancí. Zkontrolujte dostupnost služby Azure Files podle oblasti Azure v části Premium Files Storage. Pokud váš scénář přináší výhody ZRS, ověřte, že ve vaší oblasti Azure jsou podporované sdílené složky Premium se ZRS.

Doporučujeme získat přístup k účtu Azure Storage prostřednictvím privátního koncového bodu Azure. Nezapomeňte nasadit koncový bod účtu úložiště Azure Files a virtuální počítače, kde potřebujete připojit sdílené složky NFS ve stejné virtuální síti Azure nebo partnerské virtuální sítě Azure.

  1. Nasaďte účet úložiště souborů s názvem sapafsnfs. V tomto příkladu používáme ZRS. Pokud tento proces neznáte, přečtěte si téma Vytvoření účtu úložiště pro web Azure Portal.
  2. Na kartě Základy použijte tato nastavení:
    1. Jako název účtu úložiště zadejte sapafsnfs.
    2. V případě výkonu vyberte Premium.
    3. Jako typ účtu Premium vyberte FileStorage.
    4. V části Replikace vyberte redundanci zón (ZRS).
  3. Vyberte Další.
  4. Na kartě Upřesnit zrušte výběr možnosti Vyžadovat zabezpečený přenos pro operace rozhraní REST API. Pokud tuto možnost nevybínáte, nemůžete ke svému virtuálnímu počítači připojit sdílenou složku NFS. Časový limit operace připojení vyprší.
  5. Vyberte Další.
  6. V části Sítě nakonfigurujte tato nastavení:
    1. V části Síťové připojení vyberte pro metodu Připojení ivity privátní koncový bod.
    2. V části Privátní koncový bod vyberte Přidat privátní koncový bod.
  7. V podokně Vytvořit privátní koncový bod vyberte své předplatné, skupinu prostředků a umístění. Do pole Název zadejte sapafsnfs_pe. V podnabídce úložiště vyberte soubor. V části Sítě vyberte virtuální síť a podsíť, které chcete použít. Znovu můžete použít virtuální síť, ve které jsou virtuální počítače SAP, nebo v partnerské virtuální síti. V části integrace Privátní DNS přijměte výchozí možnost Ano pro integraci s privátní zónou DNS. Nezapomeňte vybrat zónu Privátní DNS. Vyberte OK.
  8. Na kartě Sítě znovu vyberte Další.
  9. Na kartě Ochrana dat ponechte všechna výchozí nastavení.
  10. Vyberte Zkontrolovat a vytvořit a ověřte konfiguraci.
  11. Počkejte na dokončení ověření. Než budete pokračovat, opravte všechny problémy.
  12. Na kartě Revize a vytvoření vyberte Vytvořit.

Dále nasaďte sdílené složky NFS v účtu úložiště, který jste vytvořili. V tomto příkladu existují dvě sdílené složky sapnw1 NFS a saptrans.

  1. Přihlaste se k portálu Azure.

  2. Vyberte nebo vyhledejte účty úložiště.

  3. Na stránce Účty úložiště vyberte sapafsnfs.

  4. V nabídce prostředků pro sapafsnfs vyberte sdílené složky v části Úložiště dat.

  5. Na stránce Sdílené složky vyberte Sdílená složka.

    1. Jako název zadejte sapnw1, saptrans.
    2. Vyberte odpovídající velikost sdílené složky. Například 128 GB. Zvažte velikost dat uložených ve sdílené složce, vstupně-výstupních operacích za sekundu a požadavcích na propustnost. Další informace najdete v tématu Cíle sdílených složek Azure.
    3. Jako protokol vyberte systém souborů NFS .
    4. Vyberte Bez kořenové squashe. Jinak se při připojování sdílených složek na virtuálních počítačích nezobrazuje vlastník nebo skupina souborů.

    Důležité

    Výše uvedená velikost sdílené složky je jen příkladem. Nezapomeňte správně nastavit velikost sdílených složek. Velikost nejen na základě velikosti dat uložených ve sdílené složce, ale také na základě požadavků na vstupně-výstupní operace za sekundu a propustnost. Podrobnosti najdete v cílech sdílených složek Azure.

    Systémy souborů SAP, které není potřeba připojit přes systém souborů NFS, je možné nasadit také do diskového úložiště Azure. V tomto příkladu můžete nasadit a /usr/sap/NW1/D03 nasadit /usr/sap/NW1/D02 diskové úložiště Azure.

Důležité aspekty systému souborů NFS ve sdílených složkách Azure Files

Při plánování nasazení se systémem souborů NFS ve službě Azure Files zvažte následující důležité body:

  • Minimální velikost sdílené složky je 100 GiB. Platíte jenom za kapacitu zřízených sdílených složek.
  • Nastavte velikost sdílených složek NFS nejen na základě požadavků na kapacitu, ale také na vstupně-výstupní operace za sekundu a požadavky na propustnost. Podrobnosti najdete v cílech sdílených složek Azure.
  • Otestujte úlohu a ověřte velikost a ujistěte se, že splňuje vaše výkonnostní cíle. Informace o řešení potíží s výkonem ve službě Soubory Azure najdete v tématu Řešení potíží s výkonem sdílených složek Azure.
  • V případě systémů SAP J2EE se nepodporuje umístění /usr/sap/<SID>/J<nr> na systém souborů NFS ve službě Azure Files.
  • Pokud má váš systém SAP velké zatížení dávkových úloh, můžete mít miliony protokolů úloh. Pokud jsou protokoly dávkových úloh SAP uložené v systému souborů, věnujte zvláštní pozornost velikosti sapmnt sdílené složky. Od SAP_BASIS 7.52 se v databázi uloží výchozí chování protokolů dávkových úloh. Podrobnosti najdete v protokolu úloh v databázi.
  • Nasaďte samostatnou sapmnt sdílenou složku pro každý systém SAP.
  • Nepoužívejte sdílenou složku pro žádnou jinou sapmnt aktivitu, jako jsou rozhraní nebo saptrans.
  • Nepoužívejte sdílenou složku pro žádnou jinou saptrans aktivitu, jako jsou rozhraní nebo sapmnt.
  • Vyhněte se konsolidaci sdílených složek pro příliš mnoho systémů SAP v jednom účtu úložiště. Existují také cíle škálování výkonu účtu úložiště. Dávejte pozor, abyste nepřekročili limity pro účet úložiště.
  • Obecně platí, že nekonsolidujte sdílené složky pro více než 5 systémů SAP v jednom účtu úložiště. Toto vodítko pomáhá vyhnout se překročení limitů účtu úložiště a zjednodušuje analýzu výkonu.
  • Obecně se vyhněte kombinování sdílených složek, jako sapmnt jsou pro neprodukční a produkční systémy SAP ve stejném účtu úložiště.
  • Doporučujeme nasadit na SLES 15 SP2 nebo vyšší, abyste mohli využívat vylepšení klienta NFS.
  • Použijte privátní koncový bod. V nepravděpodobném případě selhání zónového selhání se relace NFS automaticky přesměrovávají do zóny, která je v pořádku. Sdílené složky NFS na virtuálních počítačích nemusíte znovu připojovat.
  • Pokud nasazujete virtuální počítače napříč Zóny dostupnosti, použijte účet úložiště s ZRS v oblastech Azure, které podporují ZRS.
  • Azure Files v současné době nepodporuje automatickou replikaci mezi oblastmi pro scénáře zotavení po havárii.

Nastavení (A)SCS

Dále připravíte a nainstalujete instance SAP ASCS a ERS.

Vytvoření clusteru Pacemaker

Postupujte podle kroků v nastavení Pacemakeru na SUSE Linux Enterprise Serveru v Azure a vytvořte základní cluster Pacemaker pro SAP (A)SCS.

Instalace

Následující položky mají předponu [A] – platí pro všechny uzly, [1] – platí pouze pro uzel 1 nebo [2] – platí pouze pro uzel 2.

  1. [A] Instalace nejnovější verze SUSE Připojení or

    sudo zypper install sap-suse-cluster-connector
    

    Poznámka:

    Známý problém s používáním pomlčky v názvech hostitelů je opravený ve verzi 3.1.1 balíčku sap-suse-cluster-connector. Ujistěte se, že používáte alespoň verzi 3.1.1 konektoru sap-suse-cluster-connector, pokud používáte uzly clusteru s pomlčkou v názvu hostitele. Jinak cluster nebude fungovat.

    Ujistěte se, že jste nainstalovali novou verzi konektoru clusteru SAP SUSE. Starý se nazývá sap_suse_cluster_connector a nový se nazývá sap-suse-cluster-connector.

  2. [A] Aktualizace agentů prostředků SAP

    K použití nové konfigurace popsané v tomto článku se vyžaduje oprava balíčku agentů prostředků. Pomocí následujícího příkazu můžete zkontrolovat, jestli je oprava už nainstalovaná.

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
    

    Výstup by měl být podobný jako

    <parameter name="IS_ERS" unique="0" required="0">;
    

    Pokud příkaz grep nenajde parametr IS_ERS, musíte nainstalovat opravu uvedenou na stránce pro stažení SUSE.

  3. [A] Nastavení překladu názvů hostitelů

    Můžete použít server DNS nebo upravit /etc/hosts na všech uzlech. Tento příklad ukazuje, jak používat soubor /etc/hosts. Nahraďte IP adresu a název hostitele v následujících příkazech.

    sudo vi /etc/hosts
    

    Do /etc/hosts vložte následující řádky. Změňte IP adresu a název hostitele tak, aby odpovídaly vašemu prostředí.

     # IP address of cluster node 1
     10.90.90.7    sap-cl1
     # IP address of cluster node 2
     10.90.90.8     sap-cl2
     # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
     10.90.90.10   sapascs
     # IP address of the load balancer frontend configuration for SAP Netweaver ERS
     10.90.90.9    sapers
    
  4. [1] Vytvořte adresáře SAP ve sdílené složce NFS.
    Připojte dočasně sdílenou složku NFS sapnw1 jeden z virtuálních počítačů a vytvořte adresáře SAP, které se použijí jako vnořené přípojné body.

    # mount temporarily the volume
    sudo mkdir -p /saptmp
    sudo mount -t nfs sapnfs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
    # create the SAP directories
    sudo cd /saptmp
    sudo mkdir -p sapmntNW1
    sudo mkdir -p usrsapNW1ascs
    sudo mkdir -p usrsapNW1ers
    sudo mkdir -p usrsapNW1sys
    # unmount the volume and delete the temporary directory
    cd ..
    sudo umount /saptmp
    sudo rmdir /saptmp
    

Příprava na instalaci SAP NetWeaveru

  1. [A] Vytvoření sdílených adresářů

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    sudo mkdir -p /usr/sap/NW1/SYS
    sudo mkdir -p /usr/sap/NW1/ASCS00
    sudo mkdir -p /usr/sap/NW1/ERS01
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    sudo chattr +i /usr/sap/NW1/SYS
    sudo chattr +i /usr/sap/NW1/ASCS00
    sudo chattr +i /usr/sap/NW1/ERS01
    
  2. [A] Připojte systémy souborů, které nebudou řízeny clusterem Pacemaker.

    vi /etc/fstab
    # Add the following lines to fstab, save and exit
    sapnfs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1sys/ /usr/sap/NW1/SYS  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    
    # Mount the file systems
    mount -a 
    
  3. [A] Konfigurace souboru SWAP

    sudo vi /etc/waagent.conf
    
    # Check if property ResourceDisk.Format is already set to y and if not, set it
    ResourceDisk.Format=y
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    Restartujte agenta a aktivujte změnu.

    sudo service waagent restart
    

Instalace SAP NetWeaver ASCS/ERS

  1. [1] Vytvoření prostředku virtuální IP adresy a sondy stavu pro instanci ASCS

    Důležité

    Doporučujeme použít agenta prostředků azure-lb, který je součástí agentů prostředků balíčku s následujícími požadavky na verzi balíčku:

    • Pro SLES 12 SP4/SP5 musí být verze alespoň resource-agents-4.3.018.a7fb5035-3.30.1.
    • Pro SLES 15 a vyšší musí být verze alespoň agenti prostředků-4.3.0184.6ee15eb2-4.13.1.
    sudo crm node standby sap-cl2
    sudo crm configure primitive fs_NW1_ASCS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1ascs' directory='/usr/sap/NW1/ASCS00' fstype='nfs' options='noresvport,vers=4,minorversion=1,sec=sys' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
      params ip=10.90.90.10 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ASCS fs_NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
      meta resource-stickiness=3000
    

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné.

    sudo crm_mon -r
    # Node sap-cl2: standby
    # Online: [ sap-cl1 ]
    #
    # Full list of resources:
    #
    # stonith-sbd     (stonith:external/sbd): Started sap-cl1
    # Resource Group: g-NW1_ASCS
    #  fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
    #  nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
    #  vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
    
    
  2. [1] Instalace SAP NetWeaver ASCS

    Nainstalujte SAP NetWeaver ASCS jako kořen na první uzel pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endové konfigurace nástroje pro vyrovnávání zatížení pro službu ASCS, například sapascs, 10.90.90.10 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 00.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete povolit, aby se uživatel, který není root, mohl připojit k sapinstu. K instalaci SAP můžete použít parametr SAPINST_USE_HOSTNAME pomocí názvu virtuálního hostitele.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
    

    Pokud se instalaci nepodaří vytvořit podsložku ve složce /usr/sap/NW1/ASCS00, zkuste nastavit vlastníka a skupinu složky ASCS00 a zkuste to znovu.

    chown nw1adm /usr/sap/NW1/ASCS00
    chgrp sapsys /usr/sap/NW1/ASCS00
    
  3. [1] Vytvoření prostředku virtuální IP adresy a sondy stavu pro instanci ERS

    sudo crm node online sap-cl2
    sudo crm node standby sap-cl1
    sudo crm configure primitive fs_NW1_ERS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1ers' directory='/usr/sap/NW1/ERS01' fstype='nfs' options='noresvport,vers=4,minorversion=1,sec=sys' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ERS IPaddr2 \
      params ip=10.90.90.9 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ERS azure-lb port=62101 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ERS fs_NW1_ERS nc_NW1_ERS vip_NW1_ERS
    

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné.

    sudo crm_mon -r
    
    # Node sap-cl1: standby
    # Online: [ sap-cl2 ]
    # 
    # Full list of resources:
    #
    # stonith-sbd     (stonith:external/sbd): Started sap-cl2
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl2
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
    #  Resource Group: g-NW1_ERS
    #      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started sap-cl2 
    #      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
    #      vip_NW1_ERS  (ocf::heartbeat:IPaddr2):     Started sap-cl2
    
  4. [2] Instalace SAP NetWeaver ERS

    Nainstalujte SAP NetWeaver ERS jako kořen na druhý uzel pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endové konfigurace nástroje pro vyrovnávání zatížení pro službu ERS, například sapery, 10.90.90.9 a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 01.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete povolit, aby se uživatel, který není root, mohl připojit k sapinstu. K instalaci SAP můžete použít parametr SAPINST_USE_HOSTNAME pomocí názvu virtuálního hostitele.

    <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Poznámka:

    Použijte SWPM SP 20 PL 05 nebo vyšší. Nižší verze nenastavují správně oprávnění a instalace selže.

    Pokud se instalaci nepodaří vytvořit podsložku v adresáři /usr/sap/NW1/ERS01, zkuste nastavit vlastníka a skupinu složky ERS01 a zkuste to znovu.

    chown nw1adm /usr/sap/NW1/ERS01
    chgrp sapsys /usr/sap/NW1/ERS01
    
  5. [1] Přizpůsobení profilů instancí ASCS/SCS a ERS

    • Profil ASCS/SCS
    sudo vi /sapmnt/NW1/profile/NW1_ASCS00_sapascs
    
    # Change the restart command to a start command
    #Restart_Program_01 = local $(_EN) pf=$(_PF)
    Start_Program_01 = local $(_EN) pf=$(_PF)
    
    # Add the following lines
    service/halib = $(DIR_CT_RUN)/saphascriptco.so
    service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
    
    # Add the keep alive parameter, if using ENSA1
    enque/encni/set_so_keepalive = true
    

    V případě ENSA1 i ENSA2 se ujistěte, že keepalive jsou parametry operačního systému nastavené tak, jak je popsáno v poznámce SAP 1410736.

    • Profil ERS
    sudo vi /sapmnt/NW1/profile/NW1_ERS01_sapers
    
    # Change the restart command to a start command
    #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
    Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
    
    # Add the following lines
    service/halib = $(DIR_CT_RUN)/saphascriptco.so
    service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
    
    # remove Autostart from ERS profile
    # Autostart = 1
    
  6. [A] Konfigurace funkce Keep Alive

    Komunikace mezi aplikačním serverem SAP NetWeaver a ASCS/SCS se směruje přes nástroj pro vyrovnávání zatížení softwaru. Nástroj pro vyrovnávání zatížení po konfigurovatelném vypršení časového limitu odpojí neaktivní připojení. Abyste tomu zabránili, musíte v profilu SAP NetWeaver ASCS/SCS nastavit parametr, pokud používáte ENSA1. Změňte nastavení systému keepalive Linux na všech serverech SAP pro oba ENSA1/ENSA2. Další informace najdete v 1410736 SAP Note.

    # Change the Linux system configuration
    sudo sysctl net.ipv4.tcp_keepalive_time=300
    
  7. [A] Konfigurace uživatelů SAP po instalaci

    # Add sidadm to the haclient group
    sudo usermod -aG haclient nw1adm
    
  8. [1] Přidejte do sapservice souboru služby ASCS a ERS SAP.

    Přidejte položku služby ASCS do druhého uzlu a zkopírujte položku služby ERS do prvního uzlu.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh sap-cl2 "cat >>/usr/sap/sapservices"
    sudo ssh sap-cl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
    
  9. [1] Vytvoření prostředků clusteru SAP

    V závislosti na tom, jestli používáte systém ENSA1 nebo ENSA2, vyberte příslušnou kartu pro definování prostředků. SAP zavedl podporu pro ENSA2, včetně replikace, v SAP NetWeaver 7.52. Počínaje jazyk ABAP platformou 1809 je ensa2 ve výchozím nastavení nainstalovaný. Informace o podpoře ENSA2 najdete v tématu SAP Note 2630416.

    sudo crm configure property maintenance-mode="true"
    
    sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
      operations \$id=rsc_sap_NW1_ASCS00-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
      AUTOMATIC_RECOVER=false \
      meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
    
    sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
      operations \$id=rsc_sap_NW1_ERS01-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" AUTOMATIC_RECOVER=false IS_ERS=true \
      meta priority=1000
    
    sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
    sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01
    
    sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
    sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
    sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false
    
    sudo crm_attribute --delete --name priority-fencing-delay
    
    sudo crm node online sap-cl1
    sudo crm configure property maintenance-mode="false"
    

Pokud upgradujete ze starší verze a přecházíte na frontue serveru 2, přečtěte si 2641019 SAP.

Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné.

sudo crm_mon -r
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_ERS
#      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started sap-cl2
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1

Příprava aplikačního serveru SAP NetWeaver

Některé databáze vyžadují, aby se instalace instance databáze spustila na aplikačním serveru. Připravte virtuální počítače aplikačního serveru, aby je v těchto případech mohly používat.

Následující postup předpokládá, že nainstalujete aplikační server na jiný server než servery ASCS/SCS a HANA. Jinak některé z následujících kroků (například konfigurace překladu názvů hostitelů) nejsou potřeba.

Následující položky mají předponu [A] – platí pro PAS i AAS, [P] – platí pouze pro PAS nebo [S] – platí pouze pro AAS.

  1. [A] Konfigurace operačního systému

    Zmenšete velikost zašpiněné mezipaměti. Další informace najdete v tématu Nízký výkon zápisu na serverech SLES 11/12 s velkou pamětí RAM.

    sudo vi /etc/sysctl.conf
    # Change/set the following settings
    vm.dirty_bytes = 629145600
    vm.dirty_background_bytes = 314572800
    
  2. [A] Nastavení překladu názvů hostitelů

    Můžete použít server DNS nebo upravit /etc/hosts na všech uzlech. Tento příklad ukazuje, jak používat soubor /etc/hosts. Nahraďte IP adresu a název hostitele v následujících příkazech.

    sudo vi /etc/hosts
    

    Do /etc/hosts vložte následující řádky. Změňte IP adresu a název hostitele tak, aby odpovídaly vašemu prostředí.

    10.90.90.7    sap-cl1
    10.90.90.8    sap-cl2
    # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
    10.90.90.10   sapascs
    # IP address of the load balancer frontend configuration for SAP Netweaver ERS
    10.90.90.9    sapers
    10.90.90.12   sapa01
    10.90.90.13   sapa02
    
  3. [A] Vytvoření adresáře sapmnt

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    
  4. [A] Připojení systémů souborů

    vi /etc/fstab
    # Add the following lines to fstab, save and exit
    sapnfs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
    
    # Mount the file systems
    mount -a 
    
  5. [A] Konfigurace souboru SWAP

    sudo vi /etc/waagent.conf
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    Restartujte agenta a aktivujte změnu.

    sudo service waagent restart
    

Instalace databáze

V tomto příkladu se SAP NetWeaver nainstaluje do SAP HANA. Pro tuto instalaci můžete použít každou podporovanou databázi. Další informace o instalaci SAP HANA v Azure najdete v tématu Vysoká dostupnost SAP HANA na virtuálních počítačích Azure. Seznam podporovaných databází najdete v 1928533 SAP Note.

Nainstalujte instanci databáze SAP NetWeaver jako kořen pomocí názvu virtuálního hostitele, který se mapuje na IP adresu front-endu nástroje pro vyrovnávání zatížení pro databázi.
Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete povolit, aby se uživatel, který není root, mohl připojit k sapinstu.

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Instalace aplikačního serveru SAP NetWeaver

Pokud chcete nainstalovat aplikační server SAP, postupujte podle těchto kroků.

  1. [A] Připravte aplikační server podle kroků v kapitole Příprava aplikačního serveru SAP NetWeaver výše a připravte aplikační server.

  2. [A] Nainstalujte aplikační server SAP NetWeaver.
    Nainstalujte primární nebo další server aplikací SAP NetWeaver.

    Pomocí parametru sapinst SAPINST_REMOTE_ACCESS_USER můžete povolit, aby se uživatel, který není root, mohl připojit k sapinstu.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
    
  3. [A] Aktualizace zabezpečeného úložiště SAP HANA

    Aktualizujte zabezpečené úložiště SAP HANA tak, aby odkazovat na virtuální název instalace systémové replikace SAP HANA.

    Spuštěním následujícího příkazu zobrazte seznam položek.

    hdbuserstore List
    

    Příkaz by měl vypsat všechny položky a měl by vypadat podobně jako

    DATA FILE       : /home/nw1adm/.hdb/sapa01/SSFS_HDB.DAT
    KEY FILE        : /home/nw1adm/.hdb/sapa01/SSFS_HDB.KEY
    
    KEY DEFAULT 
      ENV : 10.90.90.5:30313
      USER: SAPABAP1
      DATABASE: NW1
    

    V tomto příkladu IP adresa výchozího vstupního bodu odkazuje na virtuální počítač, nikoli nástroj pro vyrovnávání zatížení. Změňte položku tak, aby odkazovat na název virtuálního hostitele nástroje pro vyrovnávání zatížení. Ujistěte se, že používáte stejný název portu a databáze. Například 30313 a NW1 v ukázkovém výstupu.

    su - nw1adm
    hdbuserstore SET DEFAULT nw1db:30313@NW1 SAPABAP1 <password of ABAP schema>
    

Testovací nastavení clusteru

Důkladně otestujte cluster Pacemaker. Proveďte typické testy převzetí služeb při selhání.

Další kroky