Megosztás a következőn keresztül:


SAP HANA felméretezett rendszer magas rendelkezésre állása Red Hat Enterprise Linux rendszeren

Ez a cikk azt ismerteti, hogyan helyezhet üzembe magas rendelkezésre állású SAP HANA-rendszert kibővített konfigurációban. A konfiguráció a HANA-rendszerreplikálást (HSR) és a Pacemakert használja az Azure Red Hat Enterprise Linux rendszerű virtuális gépeken (VM-eken). A bemutatott architektúrában a megosztott fájlrendszerek NFS-hez vannak csatlakoztatva, és az Azure NetApp Files vagy az Azure Files NFS-megosztásai biztosítják.

A példakonfigurációkban és a telepítési parancsokban a HANA-példány és 03 a HANA rendszerazonosítója van HN1.

Előfeltételek

Néhány olvasó számára előnyös, ha számos SAP-jegyzettel és erőforrással konzultál, mielőtt továbbhaladna a cikkben szereplő témakörökkel:

Áttekintés

Ha a HANA magas rendelkezésre állását szeretné elérni a HANA-skálázási telepítések esetében, konfigurálhatja a HANA rendszerreplikációt, és egy Pacemaker-fürttel védheti a megoldást az automatikus feladatátvétel engedélyezéséhez. Ha egy aktív csomópont meghibásodik, a fürt a HANA-erőforrásokat a másik helyre iktatja át.

Az alábbi ábrán három HANA-csomópont található minden helyen, és egy többségi létrehozó csomópont, amely megakadályozza a "felosztási agy" forgatókönyvet. Az utasítások úgy módosíthatók, hogy több virtuális gépet is belefoglaljanak HANA DB-csomópontokként.

A bemutatott architektúrában a HANA megosztott fájlrendszerét /hana/shared az Azure NetApp Files vagy az Azure Files NFS-megosztása biztosítja. A HANA megosztott fájlrendszere az ugyanazon HANA-rendszer replikációs helyén található minden HANA-csomópontra csatlakoztatott NFS. /hana/data /hana/log A fájlrendszerek helyi fájlrendszerek, és nincsenek megosztva a HANA DB-csomópontok között. Az SAP HANA nem megosztott módban lesz telepítve.

Az ajánlott SAP HANA-tárolókonfigurációkért tekintse meg az SAP HANA Azure-beli virtuális gépek tárolási konfigurációit.

Fontos

Ha az összes HANA-fájlrendszert üzembe helyezi az Azure NetApp Filesban éles rendszereken, ahol a teljesítmény kulcsfontosságú, javasoljuk, hogy értékelje ki és fontolja meg az Azure NetApp Files alkalmazáskötet-csoportjának használatát az SAP HANA-hoz.

Az SAP HANA vertikális felskálázásának diagramja HSR- és Pacemaker-fürttel.

Az előző ábra három alhálózatot mutat be egy Azure-beli virtuális hálózaton belül, az SAP HANA hálózati javaslatait követve:

  • Ügyfélkommunikáció esetén: client 10.23.0.0/24
  • Belső HANA-csomópontok közötti kommunikáció esetén: inter 10.23.1.128/26
  • HANA-rendszerreplikációs szolgáltatás esetén: hsr 10.23.1.192/26

/hana/log Mivel /hana/data helyi lemezeken vannak üzembe helyezve, nem szükséges külön alhálózatot és külön virtuális hálózati kártyákat üzembe helyezni a tárolóval való kommunikációhoz.

Ha Az Azure NetApp Filest használja, az NFS-kötetek /hana/sharedegy külön alhálózaton vannak üzembe helyezve, delegálva az Azure NetApp Filesba: anf 10.23.1.0/26.

Az infrastruktúra beállítása

Az alábbi utasításokban feltételezzük, hogy már létrehozta az erőforráscsoportot, az Azure-beli virtuális hálózatot három Azure-hálózati alhálózattal: clientés inter hsr.

Linux rendszerű virtuális gépek üzembe helyezése az Azure Portalon

  1. Az Azure-beli virtuális gépek üzembe helyezése. Ehhez a konfigurációhoz telepítsen hét virtuális gépet:

    • Három virtuális gép, amely HANA DB-csomópontként szolgál az 1. HANA-replikációs helyhez: hana-s1-db1, hana-s1-db2 és hana-s1-db3.
    • Három virtuális gép, amely HANA DB-csomópontként szolgál a 2. HANA replikációs helyhez: hana-s2-db1, hana-s2-db2 és hana-s2-db3.
    • Egy kis virtuális gép, amely többségi gyártóként szolgál: hana-s-mm.

    Az SAP DB HANA-csomópontként üzembe helyezett virtuális gépeket az SAP a HANA-hoz hitelesíti az SAP HANA hardverkönyvtárában közzétett módon. A HANA DB-csomópontok üzembe helyezésekor mindenképpen válassza ki a gyorsított hálózatot.

    A többségi gyártó csomópontjához üzembe helyezhet egy kis virtuális gépet, mert ez a virtuális gép nem futtatja az SAP HANA-erőforrások egyikét sem. A többségi gyártó virtuális gépe a fürtkonfigurációban a fürtcsomópontok elérésére és páratlan számú fürtcsomópont elérésére használatos felosztásos forgatókönyvben. A többségi készítő virtuális gépnek ebben a példában csak egy virtuális hálózati adapterre van szüksége az client alhálózatban.

    Helyi felügyelt lemezek üzembe helyezése a következőhöz /hana/data : és /hana/log. Az SAP HANA Azure-beli virtuális gépek tárolókonfigurációinak /hana/data /hana/log minimálisan ajánlott tárolási konfigurációja és leírása.

    Helyezze üzembe az elsődleges hálózati adaptert a client virtuális hálózati alhálózat minden egyes virtuális gépéhez. Amikor a virtuális gép üzembe helyezése az Azure Portalon történik, a rendszer automatikusan létrehozza a hálózati adapter nevét. Ebben a cikkben az automatikusan létrehozott elsődleges hálózati adapterekre fogunk hivatkozni: hana-s1-db1-client, hana-s1-db2-client, hana-s1-db3-client stb. Ezek a hálózati adapterek az client Azure-beli virtuális hálózati alhálózathoz vannak csatolva.

    Fontos

    Győződjön meg arról, hogy a kiválasztott operációs rendszer SAP-minősítéssel rendelkezik az SAP HANA-hoz a használt virtuálisgép-típusokon. Az SAP HANA által minősített virtuálisgép-típusok és az ezekhez a típusok operációsrendszer-kiadásainak listáját az SAP HANA által minősített IaaS-platformokon találja. A felsorolt virtuálisgép-típus részleteinek részletezése az SAP HANA által támogatott operációs rendszerek ilyen típusú kiadásainak teljes listájának lekéréséhez.

  2. Hozzon létre hat hálózati adaptert, egyet minden HANA DB virtuális géphez a inter virtuális hálózati alhálózatban (ebben a példában hana-s1-db1-inter, hana-s1-db2-inter, hana-s1-db3-inter, hana-s2-db1-inter, hana-s2-db2-inter és hana-s2-db3-inter).

  3. Hozzon létre hat hálózati adaptert, egyet minden HANA DB virtuális géphez a virtuális hálózati alhálózatban (ebben a példában hana-s1-db1-hsr, hana-s1-db2-hsr, hana-s1-db3-hsr, hana-s2-db1-hsr, hana-s2-db2-hsr és hana-s2-db3-hsr). hsr

  4. Csatolja az újonnan létrehozott virtuális hálózati adaptereket a megfelelő virtuális gépekhez:

    1. Nyissa meg a virtuális gépet az Azure Portalon.
    2. A bal oldali panelen válassza a Virtuális gépek lehetőséget. Szűrjön a virtuális gép nevére (például hana-s1-db1), majd válassza ki a virtuális gépet.
    3. Az Áttekintés panelen válassza a Leállítás lehetőséget a virtuális gép felszabadításához.
    4. Válassza a Hálózatkezelés lehetőséget, majd csatolja a hálózati adaptert. A Hálózati adapter csatolása legördülő listában válassza ki a már létrehozott hálózati adaptereket az és hsr az inter alhálózatokhoz.
    5. Válassza a Mentés lehetőséget.
    6. Ismételje meg a b–e lépéseket a fennmaradó virtuális gépek esetében (a példában hana-s1-db2, hana-s1-db3, hana-s2-db1, hana-s2-db2 és hana-s2-db3)
    7. Egyelőre hagyja a virtuális gépeket leállított állapotban.
  5. Engedélyezze a gyorsított hálózatkezelést az alhálózatok és hsr az inter alhálózatok további hálózati adapterei számára az alábbi lépésekkel:

    1. Nyissa meg az Azure Cloud Shellt az Azure Portalon.

    2. Futtassa az alábbi parancsokat a gyorsított hálózatkezelés engedélyezéséhez azokhoz a további hálózati adapterekhez, amelyek az inter alhálózatokhoz hsr csatlakoznak.

      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db1-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db2-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db3-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db1-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db2-inter --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db3-inter --accelerated-networking true
      
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db1-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db2-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db3-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db1-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db2-hsr --accelerated-networking true
      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db3-hsr --accelerated-networking true
      
  6. Indítsa el a HANA DB virtuális gépeket.

Az Azure Load Balancer konfigurálása

A virtuális gép konfigurálása során lehetősége van a terheléselosztó hálózatkezelési szakaszának létrehozására vagy kilépésére. Kövesse az alábbi lépéseket a HANA-adatbázis magas rendelkezésre állású beállításához szükséges standard terheléselosztó beállításához.

Feljegyzés

  • HANA vertikális felskálázás esetén válassza ki az client alhálózat hálózati adapterét, amikor hozzáadja a virtuális gépeket a háttérkészlethez.
  • Az Azure CLI és a PowerShell teljes parancskészlete hozzáadja az elsődleges hálózati adapterrel rendelkező virtuális gépeket a háttérkészlethez.

Kövesse a Terheléselosztó létrehozása című témakörben leírt lépéseket egy standard terheléselosztó beállításához egy magas rendelkezésre állású SAP-rendszerhez az Azure Portal használatával. A terheléselosztó beállítása során vegye figyelembe a következő pontokat:

  1. Előtérbeli IP-konfiguráció: Előtérbeli IP-cím létrehozása. Válassza ki ugyanazt a virtuális hálózatot és alhálózatnevet, mint az adatbázis virtuális gépei.
  2. Háttérkészlet: Hozzon létre egy háttérkészletet, és vegyen fel adatbázis virtuális gépeket.
  3. Bejövő szabályok: Terheléselosztási szabály létrehozása. Kövesse ugyanazokat a lépéseket mindkét terheléselosztási szabály esetében.
    • Előtérbeli IP-cím: Válasszon egy előtérbeli IP-címet.
    • Háttérkészlet: Válasszon egy háttérkészletet.
    • Magas rendelkezésre állású portok: Válassza ezt a lehetőséget.
    • Protokoll: Válassza ki a TCP-t.
    • Állapotadat-mintavétel: Hozzon létre egy állapotmintát a következő részletekkel:
      • Protokoll: Válassza ki a TCP-t.
      • Port: Például 625<példányszám>.
      • Intervallum: Adja meg az 5 értéket.
      • Mintavétel küszöbértéke: Adja meg a 2 értéket.
    • Tétlen időtúllépés (perc):: Adja meg a 30-at.
    • Lebegő IP-cím engedélyezése: Válassza ezt a lehetőséget.

Feljegyzés

Az állapotadat-mintavétel konfigurációs tulajdonsága numberOfProbes( más néven nem megfelelő állapot küszöbértéke a portálon) nem lesz tiszteletben tartva. A sikeres vagy sikertelen egymást követő mintavételek számának szabályozásához állítsa a tulajdonságot probeThreshold a következőre 2: . Ezt a tulajdonságot jelenleg nem lehet beállítani az Azure Portal használatával, ezért használja az Azure CLI-t vagy a PowerShell-parancsot .

Feljegyzés

A standard terheléselosztó használatakor tisztában kell lennie a következő korlátozásokkal. Ha nyilvános IP-címek nélküli virtuális gépeket helyez el egy belső terheléselosztó háttérkészletében, nincs kimenő internetkapcsolat. A nyilvános végpontok közötti útválasztás engedélyezéséhez további konfigurációt kell végrehajtania. További információ: Nyilvános végpontkapcsolat az Azure Standard Load Balancert használó virtuális gépekhez az SAP magas rendelkezésre állású forgatókönyveiben.

Fontos

Ne engedélyezze a TCP-időbélyegeket az Azure Load Balancer mögött elhelyezett Azure-beli virtuális gépeken. A TCP-időbélyegek engedélyezése az állapotminták sikertelenségéhez vezet. Állítsa be a paramétert a következőre net.ipv4.tcp_timestamps 0: . Részletekért lásd a Load Balancer állapotmintáit és az SAP-megjegyzést 2382421.

NFS üzembe helyezése

Az Azure natív NFS-ének üzembe helyezésére /hana/sharedkét lehetőség áll rendelkezésre. Az NFS-kötetet üzembe helyezheti az Azure NetApp Filesban vagy az NFS-megosztásban az Azure Fileson. Az Azure-fájlok támogatják az NFSv4.1 protokollt, az NFS az Azure NetApp-fájlokon az NFSv4.1 és az NFSv3 protokollt is támogatja.

A következő szakaszok az NFS üzembe helyezésének lépéseit ismertetik – csak az egyik lehetőséget kell kiválasztania.

Tipp.

Úgy döntött, hogy NFS-megosztáson helyezi üzembe /hana/shared az Azure Files-on vagy az Azure NetApp Files NFS-kötetén.

Az Azure NetApp Files-infrastruktúra üzembe helyezése

Telepítse az Azure NetApp Files-köteteket a /hana/shared fájlrendszerhez. Minden HANA-rendszerreplikációs helyhez külön /hana/shared kötetre van szükség. További információ: Az Azure NetApp Files-infrastruktúra beállítása.

Ebben a példában a következő Azure NetApp Files-köteteket használja:

  • kötet HN1-shared-s1 (nfs://10.23.1.7/ HN1-shared-s1)
  • kötet HN1-shared-s2 (nfs://10.23.1.7/ HN1-shared-s2)

Az NFS üzembe helyezése az Azure Files-infrastruktúrában

Azure Files NFS-megosztások üzembe helyezése a /hana/shared fájlrendszerhez. Minden HANA-rendszerreplikációs helyhez külön /hana/shared Azure Files NFS-megosztásra lesz szüksége. További információ: NFS-megosztás létrehozása.

Ebben a példában a következő Azure Files NFS-megosztásokat használtuk:

  • hn1-shared-s1 megosztása (sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1)
  • hn1-shared-s2 megosztása (sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2)

Operációs rendszer konfigurálása és előkészítése

A következő szakaszokban szereplő utasítások az alábbi rövidítések egyikével vannak előtagban:

  • [A]: Minden csomópontra alkalmazható
  • [AH]: Minden HANA DB-csomópontra alkalmazható
  • [M]: A többségi készítő csomópontra alkalmazható
  • [AH1]: Az 1. helyen található összes HANA DB-csomópontra alkalmazható
  • [AH2]: A 2. HELYEN található összes HANA DB-csomópontra alkalmazható
  • [1]: Csak a HANA DB 1. csomópontja, 1. HELY
  • [2]: Csak a HANA DB 1. csomópontja, 2. HELY

Konfigurálja és előkészítse az operációs rendszert az alábbiak végrehajtásával:

  1. [A] A gazdafájlok karbantartása a virtuális gépeken. Az összes alhálózat bejegyzéseinek belefoglalása. Ehhez a példához /etc/hosts a következő bejegyzések lesznek hozzáadva.

    # Client subnet
    10.23.0.11 hana-s1-db1
    10.23.0.12 hana-s1-db1
    10.23.0.13 hana-s1-db2
    10.23.0.14 hana-s2-db1
    10.23.0.15 hana-s2-db2
    10.23.0.16 hana-s2-db3
    10.23.0.17 hana-s-mm
    # Internode subnet
    10.23.1.138 hana-s1-db1-inter
    10.23.1.139 hana-s1-db2-inter
    10.23.1.140 hana-s1-db3-inter
    10.23.1.141 hana-s2-db1-inter
    10.23.1.142 hana-s2-db2-inter
    10.23.1.143 hana-s2-db3-inter
    # HSR subnet
    10.23.1.202 hana-s1-db1-hsr
    10.23.1.203 hana-s1-db2-hsr
    10.23.1.204 hana-s1-db3-hsr
    10.23.1.205 hana-s2-db1-hsr
    10.23.1.206 hana-s2-db2-hsr
    10.23.1.207 hana-s2-db3-hsr
    
  2. [A] Konfigurációs fájl létrehozása /etc/sysctl.d/ms-az.conf létrehozása a Microsoft for Azure konfigurációs beállításaival.

    vi /etc/sysctl.d/ms-az.conf
    
    # Add the following entries in the configuration file
    
    net.ipv6.conf.all.disable_ipv6 = 1
    net.ipv4.tcp_max_syn_backlog = 16348
    net.ipv4.conf.all.rp_filter = 0
    sunrpc.tcp_slot_table_entries = 128
    vm.swappiness=10
    

    Tipp.

    Kerülje a konfigurációs fájlok beállítását sysctl és net.ipv4.ip_local_reserved_ports explicit módon történő beállításátnet.ipv4.ip_local_port_range, hogy az SAP-gazdaügynök felügyelhesse a porttartományokat. További részletekért lásd az SAP megjegyzését 2382421.

  3. [A] Telepítse az NFS-ügyfélcsomagot.

    yum install nfs-utils
    
  4. [AH] Red Hat a HANA konfigurációhoz.

    Konfigurálja az RHEL-t a Red Hat ügyfélportálon és a következő SAP-megjegyzésekben leírtak szerint:

A fájlrendszerek előkészítése

A következő szakaszok a fájlrendszerek előkészítésének lépéseit ismertetik. A /hana/shared" üzembe helyezése mellett döntött az Azure Files NFS-megosztásán vagy az Azure NetApp Files NFS-kötetén.

A megosztott fájlrendszerek csatlakoztatása (Azure NetApp Files NFS)

Ebben a példában a megosztott HANA-fájlrendszerek az Azure NetApp Fileson vannak üzembe helyezve, és az NFSv4.1-en keresztül vannak csatlakoztatva. Kövesse az ebben a szakaszban leírt lépéseket, csak akkor, ha NFS-t használ az Azure NetApp Filesban.

  1. [AH] Készítse elő az operációs rendszert az SAP HANA NFS-sel való futtatására a NetApp-rendszereken az SAP megjegyzés 3024346 – Linux kernelbeállítások a NetApp NFS-hez című cikkben leírtak szerint. A NetApp konfigurációs beállításaihoz hozzon létre egy konfigurációs fájlt /etc/sysctl.d/91-NetApp-HANA.conf .

    vi /etc/sysctl.d/91-NetApp-HANA.conf
    
    # Add the following entries in the configuration file
    net.core.rmem_max = 16777216
    net.core.wmem_max = 16777216
    net.ipv4.tcp_rmem = 4096 131072 16777216
    net.ipv4.tcp_wmem = 4096 16384 16777216
    net.core.netdev_max_backlog = 300000
    net.ipv4.tcp_slow_start_after_idle=0
    net.ipv4.tcp_no_metrics_save = 1
    net.ipv4.tcp_moderate_rcvbuf = 1
    net.ipv4.tcp_window_scaling = 1
    net.ipv4.tcp_sack = 1
    
  2. [AH] Módosítsa a sunrpc beállításait az SAP megjegyzés 3024346 – Linux kernelbeállítások a NetApp NFS-hez című témakörben leírtaknak megfelelően.

    vi /etc/modprobe.d/sunrpc.conf
    
    # Insert the following line
    options sunrpc tcp_max_slot_table_entries=128
    
  3. [AH] Hozzon létre csatlakoztatási pontokat a HANA-adatbáziskötetek számára.

    mkdir -p /hana/shared
    
  4. [AH] Ellenőrizze az NFS-tartománybeállítást. Győződjön meg arról, hogy a tartomány az alapértelmezett Azure NetApp Files-tartományként van konfigurálva: defaultv4iddomain.com. Győződjön meg arról, hogy a leképezés be van állítva nobody.
    (Erre a lépésre csak akkor van szükség, ha az Azure NetAppFiles NFS v4.1-et használja.)

    Fontos

    Győződjön meg arról, hogy az NFS-tartományt a virtuális gépen úgy állítja be /etc/idmapd.conf , hogy megfeleljen az Azure NetApp Files alapértelmezett tartománykonfigurációjának: defaultv4iddomain.com. Ha az NFS-ügyfél tartománykonfigurációja és az NFS-kiszolgáló tartománykonfigurációja nem egyezik, a virtuális gépekre csatlakoztatott Azure NetApp-köteteken lévő fájlok engedélyei nobodya következőképpen jelennek meg: .

    sudo cat /etc/idmapd.conf
    # Example
    [General]
    Domain = defaultv4iddomain.com
    [Mapping]
    Nobody-User = nobody
    Nobody-Group = nobody
    
  5. [AH] Ellenőrizze nfs4_disable_idmapping. A beállításnak Ya következőre kell lennie: . A könyvtárstruktúra nfs4_disable_idmapping létrehozásához futtassa a csatlakoztatási parancsot. Nem fogja tudni manuálisan létrehozni a könyvtárat a /sys/modules területen, mert a hozzáférés a kernel vagy az illesztőprogramok számára van fenntartva.
    Erre a lépésre csak akkor van szükség, ha az Azure NetAppFiles NFSv4.1-et használja.

    # Check nfs4_disable_idmapping 
    cat /sys/module/nfs/parameters/nfs4_disable_idmapping
    # If you need to set nfs4_disable_idmapping to Y
    mkdir /mnt/tmp
    mount 10.9.0.4:/HN1-shared /mnt/tmp
    umount  /mnt/tmp
    echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
    # Make the configuration permanent
    echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
    

    A paraméter módosításáról nfs4_disable_idmapping további információt a Red Hat ügyfélportálján talál.

  6. [AH1] Csatlakoztassa a megosztott Azure NetApp Files-köteteket a SITE1 HANA DB virtuális gépekhez.

    sudo mount -o rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys 10.23.1.7:/HN1-shared-s1 /hana/shared
    
  7. [AH2] Csatlakoztassa a megosztott Azure NetApp Files-köteteket a SITE2 HANA DB virtuális gépekhez.

    sudo mount -o rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys 10.23.1.7:/HN1-shared-s2 /hana/shared
    
  8. [AH] Ellenőrizze, hogy a megfelelő /hana/shared/ fájlrendszerek csatlakoztatva vannak-e az összes HANA DB virtuális géphez az NFS protokoll NFSv4-es verziójával.

    sudo nfsstat -m
    # Verify that flag vers is set to 4.1 
    # Example from SITE 1, hana-s1-db1
    /hana/shared from 10.23.1.7:/HN1-shared-s1
     Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.11,local_lock=none,addr=10.23.1.7
    # Example from SITE 2, hana-s2-db1
    /hana/shared from 10.23.1.7:/HN1-shared-s2
     Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.14,local_lock=none,addr=10.23.1.7
    

A megosztott fájlrendszerek csatlakoztatása (Azure Files NFS)

Ebben a példában a megosztott HANA-fájlrendszerek az Azure Files NFS-en vannak üzembe helyezve. Kövesse az ebben a szakaszban leírt lépéseket, csak akkor, ha NFS-t használ az Azure Fileson.

  1. [AH] Hozzon létre csatlakoztatási pontokat a HANA-adatbáziskötetek számára.

    mkdir -p /hana/shared
    
  2. [AH1] Csatlakoztassa a megosztott Azure NetApp Files-köteteket a SITE1 HANA DB virtuális gépekhez.

    sudo vi /etc/fstab
    # Add the following entry
    sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1 /hana/shared  nfs nfsvers=4.1,sec=sys  0  0
    # Mount all volumes
    sudo mount -a 
    
  3. [AH2] Csatlakoztassa a megosztott Azure NetApp Files-köteteket a SITE2 HANA DB virtuális gépekhez.

    sudo vi /etc/fstab
    # Add the following entries
    sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2 /hana/shared  nfs nfsvers=4.1,sec=sys  0  0
    # Mount the volume
    sudo mount -a 
    
  4. [AH] Ellenőrizze, hogy a megfelelő /hana/shared/ fájlrendszerek az NFSv4.1 NFS protokollverzióval rendelkező összes HANA DB virtuális gépre csatlakoztatva vannak-e.

    sudo nfsstat -m
    # Example from SITE 1, hana-s1-db1
    sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1
     Flags: rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.19,local_lock=none,addr=10.23.0.35
    # Example from SITE 2, hana-s2-db1
    sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2
     Flags: rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.22,local_lock=none,addr=10.23.0.35
    

Az adatok előkészítése és a helyi fájlrendszerek naplózása

A bemutatott konfigurációban fájlrendszereket /hana/data és /hana/log felügyelt lemezeket helyez üzembe, és ezeket a fájlrendszereket helyileg csatolja az egyes HANA DB virtuális gépekhez. Az alábbi lépéseket követve hozza létre a helyi adatokat és naplóköteteket az egyes HANA DB virtuális gépeken.

Állítsa be a lemezelrendezést a Logikai kötetkezelővel (LVM). Az alábbi példa feltételezi, hogy minden HANA virtuális géphez három adatlemez van csatlakoztatva, és hogy ezek a lemezek két kötet létrehozására szolgálnak.

  1. [AH] Az összes elérhető lemez listázása:

    ls /dev/disk/azure/scsi1/lun*
    

    Példa a kimenetre:

    /dev/disk/azure/scsi1/lun0  /dev/disk/azure/scsi1/lun1  /dev/disk/azure/scsi1/lun2 
    
  2. [AH] Hozzon létre fizikai köteteket az összes használni kívánt lemezhez:

    sudo pvcreate /dev/disk/azure/scsi1/lun0
    sudo pvcreate /dev/disk/azure/scsi1/lun1
    sudo pvcreate /dev/disk/azure/scsi1/lun2
    
  3. [AH] Hozzon létre egy kötetcsoportot az adatfájlokhoz. Használjon egy kötetcsoportot a naplófájlokhoz, egyet pedig az SAP HANA megosztott könyvtárához:

    sudo vgcreate vg_hana_data_HN1 /dev/disk/azure/scsi1/lun0 /dev/disk/azure/scsi1/lun1
    sudo vgcreate vg_hana_log_HN1 /dev/disk/azure/scsi1/lun2
    
  4. [AH] Hozza létre a logikai köteteket. Ha kapcsoló nélkül használjalvcreate, -i lineáris kötet jön létre. Javasoljuk, hogy hozzon létre egy csíkos kötetet a jobb I/O-teljesítmény érdekében. Igazítsa a csíkméreteket az SAP HANA virtuálisgép-tárolók konfigurációiban dokumentált értékekhez. Az -i argumentumnak a mögöttes fizikai kötetek számának kell lennie, az -I argumentum pedig a csíkméret. Ebben a cikkben két fizikai kötetet használunk az adatkötethez, így a -i kapcsoló argumentuma a következőre 2van állítva: . Az adatkötet csíkmérete.256 KiB A naplókötethez egy fizikai kötetet használ, így nem kell explicit -i vagy -I kapcsolókat használnia a naplókötet parancsaihoz.

    Fontos

    Használja a kapcsolót -i , és állítsa be a mögöttes fizikai kötet számára, ha minden adat- vagy naplókötethez több fizikai kötetet használ. A kapcsolóval -I megadhatja a csíkméretet csíkos kötet létrehozásakor. Tekintse meg az SAP HANA virtuálisgép-tárolókonfigurációit az ajánlott tárolási konfigurációkhoz, beleértve a csíkméreteket és a lemezek számát.

    sudo lvcreate -i 2 -I 256 -l 100%FREE -n hana_data vg_hana_data_HN1
    sudo lvcreate -l 100%FREE -n hana_log vg_hana_log_HN1
    sudo mkfs.xfs /dev/vg_hana_data_HN1/hana_data
    sudo mkfs.xfs /dev/vg_hana_log_HN1/hana_log
    
  5. [AH] Hozza létre a csatlakoztatási könyvtárakat, és másolja az összes logikai kötet UUID azonosítóját:

    sudo mkdir -p /hana/data/HN1
    sudo mkdir -p /hana/log/HN1
    # Write down the ID of /dev/vg_hana_data_HN1/hana_data and /dev/vg_hana_log_HN1/hana_log
    sudo blkid
    
  6. [AH] Hozzon létre fstab bejegyzéseket a logikai kötetekhez és a csatlakoztatáshoz:

    sudo vi /etc/fstab
    

    Szúrja be a következő sort a /etc/fstab fájlba:

    /dev/disk/by-uuid/UUID of /dev/mapper/vg_hana_data_HN1-hana_data /hana/data/HN1 xfs  defaults,nofail  0  2
    /dev/disk/by-uuid/UUID of /dev/mapper/vg_hana_log_HN1-hana_log /hana/log/HN1 xfs  defaults,nofail  0  2
    

    Csatlakoztassa az új köteteket:

    sudo mount -a
    

Telepítés

Ebben a példában az SAP HANA azure-beli virtuális gépek HSR-vel kibővített konfigurációban való üzembe helyezéséhez a HANA 2.0 SP4-et használja.

Felkészülés a HANA telepítésére

  1. [AH] A HANA telepítése előtt állítsa be a gyökérjelszót. A telepítés befejezése után letilthatja a gyökérjelszót. Futtassa a parancsot root passwd a jelszó beállításához.

  2. [1,2] Módosítsa az engedélyeket a következőn /hana/shared: .

    chmod 775 /hana/shared
    
  3. [1] Ellenőrizze, hogy be tud-e jelentkezni a hana-s1-db2 és a hana-s1-db3 biztonságos rendszerhéjon (SSH) keresztül anélkül, hogy a rendszer jelszót kér. Ha nem ez a helyzet, váltsa ki ssh a kulcsokat a kulcsalapú hitelesítésben dokumentált módon.

    ssh root@hana-s1-db2
    ssh root@hana-s1-db3
    
  4. [2] Ellenőrizze, hogy be tud-e jelentkezni a hana-s2-db2 és a hana-s2-db3 SSH-val anélkül, hogy a rendszer jelszót kér. Ha nem ez a helyzet, váltsa ki ssh a kulcsokat a kulcsalapú hitelesítésben dokumentált módon.

    ssh root@hana-s2-db2
    ssh root@hana-s2-db3
    
  5. [AH] Telepítsen további csomagokat, amelyek a HANA 2.0 SP4-hez szükségesek. További információ: SAP Note 2593824 for RHEL 7.

    # If using RHEL 7
    yum install libgcc_s1 libstdc++6 compat-sap-c++-7 libatomic1
    # If using RHEL 8
    yum install libatomic libtool-ltdl.x86_64
    
  6. [A] Ideiglenesen tiltsa le a tűzfalat, hogy az ne zavarja a HANA telepítését. A HANA telepítése után újra engedélyezheti.

    # Execute as root
    systemctl stop firewalld
    systemctl disable firewalld
    

HANA-telepítés az egyes helyek első csomópontján

  1. [1] Telepítse az SAP HANA-t az SAP HANA 2.0 telepítési és frissítési útmutatójának utasításait követve. Az alábbi utasítások az SAP HANA telepítését mutatják be az 1. hely első csomópontján.

    1. Indítsa el a programot root a hdblcm HANA telepítési szoftverkönyvtárából. Használja a paramétert internal_network , és adja meg az alhálózat címterét, amelyet a belső HANA-csomópontok közötti kommunikációhoz használnak.

      ./hdblcm --internal_network=10.23.1.128/26
      
    2. A parancssorba írja be a következő értékeket:

      • A Művelet kiválasztása mezőbe írja be az 1 értéket (a telepítéshez).
      • További telepítési összetevők esetén adja meg a 2. és a 3. értéket.
      • A telepítési útvonalhoz nyomja le az Enter billentyűt (alapértelmezés szerint a /hana/shared értékre).
      • Helyi gazdagépnév esetén az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • Ha gazdagépeket szeretne hozzáadni a rendszerhez?, írja be az n értéket.
      • Sap HANA rendszerazonosító esetén adja meg a HN1 értéket.
      • A(z) [00] példányszám esetén adja meg a 03 értéket.
      • A helyi gazdagép feldolgozócsoportja esetében [alapértelmezett], nyomja le az Enter billentyűt az alapértelmezett érték elfogadásához.
      • A Rendszerhasználat kiválasztása / Enter index [4] mezőben adja meg a 4 értéket (egyéni esetén).
      • Az adatkötetek helyének ([/hana/data/HN1]) beállításához nyomja le az Enter billentyűt az alapértelmezett érték elfogadásához.
      • A naplókötetek helye [/hana/log/HN1] esetén nyomja le az Enter billentyűt az alapértelmezett érték elfogadásához.
      • A maximális memóriafoglalás korlátozásához? [n], írja be az n értéket.
      • Hana-s1-db1 gazdagép tanúsítványgazdaneve [hana-s1-db1], az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • Sap Host Agent User (sapadm) jelszó esetén adja meg a jelszót.
      • Az SAP-gazdaügynök felhasználójának (sapadm) jelszavának megerősítéséhez adja meg a jelszót.
      • Rendszergazdai (hn1adm) jelszó esetén adja meg a jelszót.
      • A rendszergazdai home directory [/usr/sap/HN1/home] esetén nyomja le az Enter billentyűt az alapértelmezett beállítás elfogadásához.
      • A rendszeradminisztrátor bejelentkezési felületének [/bin/sh] beállításához nyomja le az Enter billentyűt az alapértelmezett beállítás elfogadásához.
      • A rendszergazdai felhasználói azonosító ([1001] esetén) az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • A felhasználói csoport (sapsys) [79] azonosítójának megadásához nyomja le az Enter billentyűt az alapértelmezett érték elfogadásához.
      • A rendszeradatbázis-felhasználó (rendszer) jelszavához adja meg a rendszer jelszavát.
      • A rendszeradatbázis-felhasználó (rendszer) jelszavának megerősítéséhez adja meg a rendszer jelszavát.
      • A rendszer újraindítása a gép újraindítása után? [n], írja be az n értéket.
      • A Do you want to continue (y/n), ellenőrizze az összegzést, és ha minden jól néz ki, írja be az y értéket.
  2. [2] Ismételje meg az előző lépést az SAP HANA telepítéséhez a 2. hely első csomópontján.

  3. [1,2] Ellenőrizze global.ini.

    Jelenítse meg a global.ini, és győződjön meg arról, hogy a belső SAP HANA-csomópontok közötti kommunikáció konfigurációja érvényben van. Ellenőrizze a szakaszt communication . Az alhálózat címterével inter kell rendelkeznie, és listeninterface a következőre kell állítania .internal: . Ellenőrizze a szakaszt internal_hostname_resolution . Rendelkeznie kell az alhálózathoz tartozó inter HANA virtuális gépek IP-címével.

      sudo cat /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
      # Example from SITE1 
      [communication]
      internal_network = 10.23.1.128/26
      listeninterface = .internal
      [internal_hostname_resolution]
      10.23.1.138 = hana-s1-db1
      10.23.1.139 = hana-s1-db2
      10.23.1.140 = hana-s1-db3
    
  4. [1,2] A global.ini előkészítése nem megosztott környezetben való telepítésre az SAP megjegyzésében 2080991 leírtak szerint.

     sudo vi /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
     [persistence]
     basepath_shared = no
    
  5. [1,2] Indítsa újra az SAP HANA-t a módosítások aktiválásához.

     sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StopSystem
     sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StartSystem
    
  6. [1,2] Ellenőrizze, hogy az ügyféloldali felület az alhálózat IP-címeit client használja-e a kommunikációhoz.

    # Execute as hn1adm
    /usr/sap/HN1/HDB03/exe/hdbsql -u SYSTEM -p "password" -i 03 -d SYSTEMDB 'select * from SYS.M_HOST_INFORMATION'|grep net_publicname
    # Expected result - example from SITE 2
    "hana-s2-db1","net_publicname","10.23.0.14"
    

    A konfiguráció ellenőrzéséről további információt az SAP megjegyzése 2183363 – Az SAP HANA belső hálózatának konfigurálása című témakörben talál.

  7. [AH] Módosítsa az adat- és naplókönyvtárak engedélyeit a HANA telepítési hibáinak elkerülése érdekében.

     sudo chmod o+w -R /hana/data /hana/log
    
  8. [1] Telepítse a másodlagos HANA-csomópontokat. Ebben a lépésben a példautasítások a SITE 1-hez tartoznak.

    1. Indítsa el a rezidens hdblcm programot .root

       cd /hana/shared/HN1/hdblcm
       ./hdblcm 
      
    2. A parancssorba írja be a következő értékeket:

      • A Művelet kiválasztása mezőbe írja be a 2 értéket (gazdagépek hozzáadása esetén).
      • Ha vesszővel elválasztott gazdagépneveket szeretne hozzáadni, írja be a hana-s1-db2, hana-s1-db3 nevet.
      • További telepítési összetevők esetén adja meg a 2. és a 3. értéket.
      • A legfelső szintű felhasználónév [gyökér] megadásához nyomja le az Enter billentyűt az alapértelmezett érték elfogadásához.
      • A "hana-s1-db2" gazdagép szerepköreinek kiválasztása [1], válassza az 1 (feldolgozó) lehetőséget.
      • A "hana-s1-db2" gazdagép feladatátvételi csoportjának megadása esetén az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • Ha a "hana-s1-db2" gazdagép tárolási partíciószámának megadásához [<<automatikus hozzárendelés>>], az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • A "hana-s1-db2" gazdagép feldolgozócsoportjának megadása esetén az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • A "hana-s1-db3" gazdagép szerepköreinek kiválasztása [1], válassza az 1 (feldolgozó) lehetőséget.
      • A "hana-s1-db3" gazdagép feladatátvételi csoportjának megadása esetén az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • Ha a "hana-s1-db3" gazdagép tárolási partíciószámának megadásához [<<automatikus hozzárendelés>>], az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • A "hana-s1-db3" gazdagép feldolgozócsoportjának megadása esetén [alapértelmezett], az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • Rendszergazdai (hn1adm) jelszó esetén adja meg a jelszót.
      • Az SAP-gazdaügynök felhasználójának (sapadm) jelszavához adja meg a jelszót.
      • Az SAP-gazdaügynök felhasználójának (sapadm) jelszavának megerősítéséhez adja meg a jelszót.
      • Hana-s1-db2 gazdagép tanúsítvány-állomásneve [hana-s1-db2], az Enter billentyűt lenyomva fogadja el az alapértelmezett értéket.
      • Hana-s1-db3 gazdagép tanúsítvány-állomásneve [hana-s1-db3], nyomja le az Enter billentyűt az alapértelmezett beállítás elfogadásához.
      • A Do you want to continue (y/n), ellenőrizze az összegzést, és ha minden jól néz ki, írja be az y értéket.
  9. [2] Ismételje meg az előző lépést a másodlagos SAP HANA-csomópontok 2. helyen való telepítéséhez.

AZ SAP HANA 2.0 rendszerreplikációs szolgáltatás konfigurálása

A következő lépésekkel állíthatja be a rendszerreplikálást:

  1. [1] Rendszerreplikációs konfigurálás az 1. HELYEN:

    Az adatbázisok biztonsági mentése hn1adm-ként:

    hdbsql -d SYSTEMDB -u SYSTEM -p "passwd" -i 03 "BACKUP DATA USING FILE ('initialbackupSYS')"
    hdbsql -d HN1 -u SYSTEM -p "passwd" -i 03 "BACKUP DATA USING FILE ('initialbackupHN1')"
    

    Másolja a rendszer PKI-fájljait a másodlagos helyre:

    scp /usr/sap/HN1/SYS/global/security/rsecssfs/data/SSFS_HN1.DAT hana-s2-db1:/usr/sap/HN1/SYS/global/security/rsecssfs/data/
    scp /usr/sap/HN1/SYS/global/security/rsecssfs/key/SSFS_HN1.KEY  hana-s2-db1:/usr/sap/HN1/SYS/global/security/rsecssfs/key/
    

    Hozza létre az elsődleges helyet:

    hdbnsutil -sr_enable --name=HANA_S1
    
  2. [2] Rendszerreplikációs konfigurálás a 2. helyen:

    Regisztrálja a második helyet a rendszerreplikálás elindításához. Futtassa a következő parancsot hanasid>adm néven<:

    sapcontrol -nr 03 -function StopWait 600 10
    hdbnsutil -sr_register --remoteHost=hana-s1-db1 --remoteInstance=03 --replicationMode=sync --name=HANA_S2
    sapcontrol -nr 03 -function StartSystem
    
  3. [1] Ellenőrizze a replikáció állapotát, és várja meg, amíg az összes adatbázis szinkronizálódik.

    sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"
    
    # | Database | Host          | Port  | Service Name | Volume ID | Site ID | Site Name | Secondary     | Secondary | Secondary | Secondary | Secondary     | Replication | Replication | Replication    |
    # |          |               |       |              |           |         |           | Host          | Port      | Site ID   | Site Name | Active Status | Mode        | Status      | Status Details |
    # | -------- | ------------- | ----- | ------------ | --------- | ------- | --------- | ------------- | --------- | --------- | --------- | ------------- | ----------- | ----------- | -------------- |
    # | HN1      | hana-s1-db3   | 30303 | indexserver  |         5 |       1 | HANA_S1   | hana-s2-db3   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
    # | SYSTEMDB | hana-s1-db1   | 30301 | nameserver   |         1 |       1 | HANA_S1   | hana-s2-db1   |     30301 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
    # | HN1      | hana-s1-db1   | 30307 | xsengine     |         2 |       1 | HANA_S1   | hana-s2-db1   |     30307 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
    # | HN1      | hana-s1-db1   | 30303 | indexserver  |         3 |       1 | HANA_S1   | hana-s2-db1   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
    # | HN1      | hana-s1-db2   | 30303 | indexserver  |         4 |       1 | HANA_S1   | hana-s2-db2   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
    #
    # status system replication site "2": ACTIVE
    # overall system replication status: ACTIVE
    #
    # Local System Replication State
    #
    # mode: PRIMARY
    # site id: 1
    # site name: HANA_S1
    
  4. [1,2] Módosítsa a HANA-konfigurációt úgy, hogy a HANA-rendszerreplikáció kommunikációja a HANA rendszerreplikációs virtuális hálózati adapterei ellenére legyen irányítva.

    1. Állítsa le a HANA-t mindkét helyen.

      sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StopSystem HDB
      
    2. Szerkessze global.ini a HANA-rendszerreplikációs gazdagépleképezés hozzáadásához. Használja az alhálózat IP-címeit hsr .

      sudo vi /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
      #Add the section
      [system_replication_hostname_resolution]
      10.23.1.202 = hana-s1-db1
      10.23.1.203 = hana-s1-db2
      10.23.1.204 = hana-s1-db3
      10.23.1.205 = hana-s2-db1
      10.23.1.206 = hana-s2-db2
      10.23.1.207 = hana-s2-db3
      
    3. Indítsa el a HANA-t mindkét helyen.

       sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StartSystem HDB
      

    További információ: Állomásnévfeloldás a rendszerreplikációs szolgáltatáshoz.

  5. [AH] Engedélyezze újra a tűzfalat, és nyissa meg a szükséges portokat.

    1. Engedélyezze újra a tűzfalat.

      # Execute as root
      systemctl start firewalld
      systemctl enable firewalld
      
    2. Nyissa meg a szükséges tűzfalportokat. Módosítania kell a HANA-példányszám portját.

      Fontos

      Hozzon létre tűzfalszabályokat a HANA-csomópontok közötti kommunikáció és az ügyfélforgalom engedélyezéséhez. A szükséges portok az összes SAP-termék TCP/IP-portján szerepelnek. Az alábbi parancsok csak egy példa. Ebben a forgatókönyvben a 03-at használja.

       # Execute as root
       sudo firewall-cmd --zone=public --add-port={30301,30303,30306,30307,30313,30315,30317,30340,30341,30342,1128,1129,40302,40301,40307,40303,40340,50313,50314,30310,30302}/tcp --permanent
       sudo firewall-cmd --zone=public --add-port={30301,30303,30306,30307,30313,30315,30317,30340,30341,30342,1128,1129,40302,40301,40307,40303,40340,50313,50314,30310,30302}/tcp
      

Pacemaker-fürt létrehozása

Alapszintű Pacemaker-fürt létrehozásához kövesse a Pacemaker beállítása Red Hat Enterprise Linuxon az Azure-ban című témakörben leírt lépéseket. Vegye fel az összes virtuális gépet, beleértve a fürt többségi készítőjét is.

Fontos

Ne állítsa be a 2 értéket quorum expected-votes . Ez nem kétcsomópontos fürt. Győződjön meg arról, hogy a fürttulajdonság concurrent-fencing engedélyezve van, hogy a csomópontkerítés deszerializálva legyen.

Fájlrendszer-erőforrások létrehozása

A folyamat következő részében fájlrendszer-erőforrásokat kell létrehoznia. Ennek módja az alábbi:

  1. [1,2] Állítsa le az SAP HANA-t mindkét replikációs helyen. Futtassa sid>adm-ként<.

    sapcontrol -nr 03 -function StopSystem
    
  2. [AH] Bontsa le a fájlrendszert /hana/shared, amely ideiglenesen az összes HANA DB virtuális gépen való telepítéshez lett csatlakoztatva. A leválasztása előtt le kell állítania a fájlrendszert használó folyamatokat és munkameneteket.

    umount /hana/shared 
    
  3. [1] Hozza létre a fájlrendszerfürt erőforrásait /hana/shared letiltott állapotban. Ezt azért használja --disabled , mert a csatlakoztatások engedélyezése előtt meg kell határoznia a helykorlátozásokat.
    A /hana/shared" üzembe helyezése mellett döntött az Azure Files NFS-megosztásán vagy az Azure NetApp Files NFS-kötetén.

    • Ebben a példában a "/hana/shared" fájlrendszer üzembe van helyezve az Azure NetApp Filesban, és az NFSv4.1-en keresztül van csatlakoztatva. Kövesse az ebben a szakaszban leírt lépéseket, csak akkor, ha NFS-t használ az Azure NetApp Filesban.

      # /hana/shared file system for site 1
      pcs resource create fs_hana_shared_s1 --disabled ocf:heartbeat:Filesystem device=10.23.1.7:/HN1-shared-s1  directory=/hana/shared \
      fstype=nfs options='defaults,rw,hard,timeo=600,rsize=262144,wsize=262144,proto=tcp,noatime,sec=sys,nfsvers=4.1,lock,_netdev' op monitor interval=20s on-fail=fence timeout=120s OCF_CHECK_LEVEL=20 \
      op start interval=0 timeout=120 op stop interval=0 timeout=120
      
      # /hana/shared file system for site 2
      pcs resource create fs_hana_shared_s2 --disabled ocf:heartbeat:Filesystem device=10.23.1.7:/HN1-shared-s1 directory=/hana/shared \
      fstype=nfs options='defaults,rw,hard,timeo=600,rsize=262144,wsize=262144,proto=tcp,noatime,sec=sys,nfsvers=4.1,lock,_netdev' op monitor interval=20s on-fail=fence timeout=120s OCF_CHECK_LEVEL=20 \
      op start interval=0 timeout=120 op stop interval=0 timeout=120
      
      # clone the /hana/shared file system resources for both site1 and site2
      pcs resource clone fs_hana_shared_s1 meta clone-node-max=1 interleave=true
      pcs resource clone fs_hana_shared_s2 meta clone-node-max=1 interleave=true
      
      

    A javasolt időtúllépési értékek lehetővé teszik a fürterőforrások számára, hogy ellenálljon a protokollspecifikus szüneteltetésnek az Azure NetApp Files NFSv4.1 bérletmegújításával kapcsolatban. További információ: NFS a NetApp ajánlott eljárásában.

    • Ebben a példában a "/hana/shared" fájlrendszer az Azure Files NFS-en van üzembe helyezve. Kövesse az ebben a szakaszban leírt lépéseket, csak akkor, ha NFS-t használ az Azure Fileson.

      # /hana/shared file system for site 1
      pcs resource create fs_hana_shared_s1 --disabled ocf:heartbeat:Filesystem device=sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1  directory=/hana/shared \
      fstype=nfs options='defaults,rw,hard,proto=tcp,noatime,nfsvers=4.1,lock' op monitor interval=20s on-fail=fence timeout=120s OCF_CHECK_LEVEL=20 \
      op start interval=0 timeout=120 op stop interval=0 timeout=120
      
      # /hana/shared file system for site 2
      pcs resource create fs_hana_shared_s2 --disabled ocf:heartbeat:Filesystem device=sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2 directory=/hana/shared \
      fstype=nfs options='defaults,rw,hard,proto=tcp,noatime,nfsvers=4.1,lock' op monitor interval=20s on-fail=fence timeout=120s OCF_CHECK_LEVEL=20 \
      op start interval=0 timeout=120 op stop interval=0 timeout=120
      
      # clone the /hana/shared file system resources for both site1 and site2
      pcs resource clone fs_hana_shared_s1 meta clone-node-max=1 interleave=true
      pcs resource clone fs_hana_shared_s2 meta clone-node-max=1 interleave=true
      

      Az OCF_CHECK_LEVEL=20 attribútum hozzá lesz adva a monitorozási művelethez, így a monitorozási műveletek olvasási/írási tesztet hajtanak végre a fájlrendszeren. Ezen attribútum nélkül a figyelőművelet csak a fájlrendszer csatlakoztatását ellenőrzi. Ez problémát okozhat, mert ha megszakad a kapcsolat, előfordulhat, hogy a fájlrendszer csatlakoztatva marad, annak ellenére, hogy nem érhető el.

      Az on-fail=fence attribútum a monitorozási művelethez is hozzáadódik. Ezzel a beállítással, ha a figyelőművelet meghiúsul egy csomóponton, a csomópont azonnal elkerül. E lehetőség nélkül az alapértelmezett viselkedés az, hogy leállítja a sikertelen erőforrástól függő összes erőforrást, majd újraindítja a sikertelen erőforrást, majd elindítja a sikertelen erőforrástól függő összes erőforrást. Ez a viselkedés nem csak hosszú időt vehet igénybe, amikor egy SAP HANA-erőforrás a sikertelen erőforrástól függ, hanem teljesen meghiúsulhat is. Az SAP HANA-erőforrás nem állítható le sikeresen, ha a HANA bináris fájljait tartalmazó NFS-megosztás elérhetetlen.

      Előfordulhat, hogy a fenti konfigurációk időtúllépéseit az adott SAP-beállításhoz kell igazítani.

  4. [1] A csomópontattribútumok konfigurálása és ellenőrzése. Az 1. replikációs hely összes SAP HANA DB-csomópontja hozzárendelt attribútumot S1kap, a 2. replikációs hely összes SAP HANA DB-csomópontja pedig attribútumot S2kap.

    # HANA replication site 1
    pcs node attribute hana-s1-db1 NFS_SID_SITE=S1
    pcs node attribute hana-s1-db2 NFS_SID_SITE=S1
    pcs node attribute hana-s1-db3 NFS_SID_SITE=S1
    # HANA replication site 2
    pcs node attribute hana-s2-db1 NFS_SID_SITE=S2
    pcs node attribute hana-s2-db2 NFS_SID_SITE=S2
    pcs node attribute hana-s2-db3 NFS_SID_SITE=S2
    # To verify the attribute assignment to nodes execute
    pcs node attribute
    
  5. [1] Konfigurálja azokat a korlátozásokat, amelyek meghatározzák az NFS-fájlrendszerek csatlakoztatásának helyét, és engedélyezze a fájlrendszer erőforrásait.

    # Configure the constraints
    pcs constraint location fs_hana_shared_s1-clone rule resource-discovery=never score=-INFINITY NFS_SID_SITE ne S1
    pcs constraint location fs_hana_shared_s2-clone rule resource-discovery=never score=-INFINITY NFS_SID_SITE ne S2
    # Enable the file system resources
    pcs resource enable fs_hana_shared_s1
    pcs resource enable fs_hana_shared_s2
    

    A fájlrendszer erőforrásainak engedélyezésekor a fürt csatlakoztatja a /hana/shared fájlrendszereket.

  6. [AH] Ellenőrizze, hogy az Azure NetApp Files-kötetek csatlakoztatva /hana/sharedvannak-e az összes HANA DB virtuális géphez mindkét helyen.

    • Például az Azure NetApp Files használata esetén:

      sudo nfsstat -m
      # Verify that flag vers is set to 4.1 
      # Example from SITE 1, hana-s1-db1
      /hana/shared from 10.23.1.7:/HN1-shared-s1
       Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.11,local_lock=none,addr=10.23.1.7
      # Example from SITE 2, hana-s2-db1
      /hana/shared from 10.23.1.7:/HN1-shared-s2
       Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.14,local_lock=none,addr=10.23.1.7
      
    • Például az Azure Files NFS használata esetén:

      sudo nfsstat -m
      # Example from SITE 1, hana-s1-db1
      sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1
       Flags: rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.19,local_lock=none,addr=10.23.0.35
      # Example from SITE 2, hana-s2-db1
      sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2
       Flags: rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.22,local_lock=none,addr=10.23.0.35
      
  7. [1] Konfigurálja és klónozza az attribútumerőforrásokat, és konfigurálja a korlátozásokat az alábbiak szerint:

    # Configure the attribute resources
    pcs resource create hana_nfs_s1_active ocf:pacemaker:attribute active_value=true inactive_value=false name=hana_nfs_s1_active
    pcs resource create hana_nfs_s2_active ocf:pacemaker:attribute active_value=true inactive_value=false name=hana_nfs_s2_active
    # Clone the attribute resources
    pcs resource clone hana_nfs_s1_active meta clone-node-max=1 interleave=true
    pcs resource clone hana_nfs_s2_active meta clone-node-max=1 interleave=true
    # Configure the constraints, which will set the attribute values
    pcs constraint order fs_hana_shared_s1-clone then hana_nfs_s1_active-clone
    pcs constraint order fs_hana_shared_s2-clone then hana_nfs_s2_active-clone
    

    Tipp.

    Ha a konfiguráció nem /hana/sharedfájlrendszereket tartalmaz, és ezek a fájlrendszerek NFS-hez vannak csatlakoztatva, akkor adja meg a sequential=false lehetőséget. Ez a beállítás biztosítja, hogy a fájlrendszerek között ne legyenek rendezési függőségek. Az NFS-hez csatlakoztatott fájlrendszereknek a megfelelő attribútumerőforrás előtt kell kezdődniük, de nem kell egymáshoz képest semmilyen sorrendben elindulniuk. További információ: Hogyan SAP HANA kibővített HSR konfigurálása Pacemaker-fürtön, ha a HANA fájlrendszerek NFS-megosztások.

  8. [1] Helyezze a Pacemakert karbantartási módban a HANA-fürterőforrások létrehozásának előkészítésére.

    pcs property set maintenance-mode=true
    

SAP HANA-fürterőforrások létrehozása

Most már készen áll a fürterőforrások létrehozására:

  1. [A] Telepítse a HANA kibővített erőforrás-ügynököt az összes fürtcsomópontra, beleértve a többségi gyártót is.

    yum install -y resource-agents-sap-hana-scaleout 
    

    Feljegyzés

    Az operációs rendszer kiadásához minimálisan támogatott csomagverziót resource-agents-sap-hana-scaleout az RHEL HA-fürtök támogatási szabályzatai – AZ SAP HANA fürtben történő kezelése című témakörben talál.

  2. [1,2] Telepítse a HANA rendszerreplikációs horogot egy HANA DB-csomópontra minden rendszerreplikációs helyen. Az SAP HANA-nak továbbra is leállnia kell.

    1. Készítse elő a horgot.root

      mkdir -p /hana/shared/myHooks
      cp /usr/share/SAPHanaSR-ScaleOut/SAPHanaSR.py /hana/shared/myHooks
      chown -R hn1adm:sapsys /hana/shared/myHooks
      
    2. Módosítsa a következőt: global.ini.

      # add to global.ini
      [ha_dr_provider_SAPHanaSR]
      provider = SAPHanaSR
      path = /hana/shared/myHooks
      execution_order = 1
      
      [trace]
      ha_dr_saphanasr = info
      
  3. [AH] A fürtnek a fürtcsomóponton kell konfigurálni az sid>adm-et<. Ebben a példában ezt egy új fájl létrehozásával érheti el. Futtassa a parancsokat a következőként root: .

    sudo visudo -f /etc/sudoers.d/20-saphana
    # Insert the following lines and then save
    Cmnd_Alias SOK = /usr/sbin/crm_attribute -n hana_hn1_glob_srHook -v SOK -t crm_config -s SAPHanaSR
    Cmnd_Alias SFAIL = /usr/sbin/crm_attribute -n hana_hn1_glob_srHook -v SFAIL -t crm_config -s SAPHanaSR
    hn1adm ALL=(ALL) NOPASSWD: SOK, SFAIL
    Defaults!SOK, SFAIL !requiretty
    
  4. [1,2] Indítsa el az SAP HANA-t mindkét replikációs helyen. Futtassa sid>adm-ként<.

    sapcontrol -nr 03 -function StartSystem 
    
  5. [1] Ellenőrizze a horog telepítését. Futtassa sid>admként <az aktív HANA rendszerreplikációs helyen.

    cdtrace
     awk '/ha_dr_SAPHanaSR.*crm_attribute/ \
     { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_*
    
     # Example entries
     # 2020-07-21 22:04:32.364379 ha_dr_SAPHanaSR SFAIL
     # 2020-07-21 22:04:46.905661 ha_dr_SAPHanaSR SFAIL
     # 2020-07-21 22:04:52.092016 ha_dr_SAPHanaSR SFAIL
     # 2020-07-21 22:04:52.782774 ha_dr_SAPHanaSR SFAIL
     # 2020-07-21 22:04:53.117492 ha_dr_SAPHanaSR SFAIL
     # 2020-07-21 22:06:35.599324 ha_dr_SAPHanaSR SOK
    
  6. [1] Hozza létre a HANA-fürt erőforrásait. Futtassa a következő parancsokat a következőként root:

    1. Győződjön meg arról, hogy a fürt már karbantartási módban van.

    2. Ezután hozza létre a HANA-topológia erőforrást.
      RhEL 7.x-fürt létrehozásakor használja a következő parancsokat:

      pcs resource create SAPHanaTopology_HN1_HDB03 SAPHanaTopologyScaleOut \
       SID=HN1 InstanceNumber=03 \
       op start timeout=600 op stop timeout=300 op monitor interval=10 timeout=600
      
      pcs resource clone SAPHanaTopology_HN1_HDB03 meta clone-node-max=1 interleave=true
      

      Ha RHEL >= 8.x fürtöt hoz létre, használja a következő parancsokat:

      pcs resource create SAPHanaTopology_HN1_HDB03 SAPHanaTopology \
       SID=HN1 InstanceNumber=03 meta clone-node-max=1 interleave=true \
       op methods interval=0s timeout=5 \
       op start timeout=600 op stop timeout=300 op monitor interval=10 timeout=600
      
      pcs resource clone SAPHanaTopology_HN1_HDB03 meta clone-node-max=1 interleave=true
      
    3. Hozza létre a HANA-példány erőforrását.

      Feljegyzés

      Ez a cikk a Microsoft által már nem használt kifejezésre mutató hivatkozásokat tartalmaz. Ha a kifejezés el lesz távolítva a szoftverből, a cikkből is eltávolítjuk.

      RhEL 7.x-fürt létrehozásakor használja a következő parancsokat:

      pcs resource create SAPHana_HN1_HDB03 SAPHanaController \
       SID=HN1 InstanceNumber=03 PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=false \
       op start interval=0 timeout=3600 op stop interval=0 timeout=3600 op promote interval=0 timeout=3600 \
       op monitor interval=60 role="Master" timeout=700 op monitor interval=61 role="Slave" timeout=700
      
      pcs resource master msl_SAPHana_HN1_HDB03 SAPHana_HN1_HDB03 \
       meta master-max="1" clone-node-max=1 interleave=true
      

      Ha RHEL >= 8.x fürtöt hoz létre, használja a következő parancsokat:

      pcs resource create SAPHana_HN1_HDB03 SAPHanaController \
       SID=HN1 InstanceNumber=03 PREFER_SITE_TAKEOVER=true DUPLICATE_PRIMARY_TIMEOUT=7200 AUTOMATED_REGISTER=false \
       op demote interval=0s timeout=320 op methods interval=0s timeout=5 \
       op start interval=0 timeout=3600 op stop interval=0 timeout=3600 op promote interval=0 timeout=3600 \
       op monitor interval=60 role="Master" timeout=700 op monitor interval=61 role="Slave" timeout=700
      
      pcs resource promotable SAPHana_HN1_HDB03 \
       meta master-max="1" clone-node-max=1 interleave=true
      

      Fontos

      Célszerű a feladatátvételi tesztek végrehajtása közben beállítani AUTOMATED_REGISTER false, hogy a sikertelen elsődleges példányok automatikusan másodlagosként regisztráljanak. A tesztelés után ajánlott eljárásként állítsa a AUTOMATED_REGISTER következőre true, hogy az átvétel után a rendszerreplikálás automatikusan folytatódjon.

    4. Hozza létre a virtuális IP-címet és a társított erőforrásokat.

      pcs resource create vip_HN1_03 ocf:heartbeat:IPaddr2 ip=10.23.0.18 op monitor interval="10s" timeout="20s"
      sudo pcs resource create nc_HN1_03 azure-lb port=62503
      sudo pcs resource group add g_ip_HN1_03 nc_HN1_03 vip_HN1_03
      
    5. Hozza létre a fürtkorlátozásokat.

      RhEL 7.x-fürt létrehozásakor használja a következő parancsokat:

      #Start HANA topology, before the HANA instance
      pcs constraint order SAPHanaTopology_HN1_HDB03-clone then msl_SAPHana_HN1_HDB03
      
      pcs constraint colocation add g_ip_HN1_03 with master msl_SAPHana_HN1_HDB03 4000
      #HANA resources are only allowed to run on a node, if the node's NFS file systems are mounted. The constraint also avoids the majority maker node
      pcs constraint location SAPHanaTopology_HN1_HDB03-clone rule resource-discovery=never score=-INFINITY hana_nfs_s1_active ne true and hana_nfs_s2_active ne true
      

      Ha RHEL >= 8.x fürtöt hoz létre, használja a következő parancsokat:

      #Start HANA topology, before the HANA instance
      pcs constraint order SAPHanaTopology_HN1_HDB03-clone then SAPHana_HN1_HDB03-clone
      
      pcs constraint colocation add g_ip_HN1_03 with master SAPHana_HN1_HDB03-clone 4000
      #HANA resources are only allowed to run on a node, if the node's NFS file systems are mounted. The constraint also avoids the majority maker node
      pcs constraint location SAPHanaTopology_HN1_HDB03-clone rule resource-discovery=never score=-INFINITY hana_nfs_s1_active ne true and hana_nfs_s2_active ne true
      
  7. [1] Helyezze a fürtöt a karbantartási módból. Győződjön meg arról, hogy a fürt állapota , okés hogy az összes erőforrás el van indítva.

    sudo pcs property set maintenance-mode=false
    #If there are failed cluster resources, you may need to run the next command
    pcs resource cleanup
    

    Feljegyzés

    Az előző konfigurációban szereplő időtúllépések csak példák, és előfordulhat, hogy az adott HANA-beállításhoz kell igazítani. Előfordulhat például, hogy növelnie kell a kezdési időtúllépést, ha az SAP HANA-adatbázis elindítása hosszabb időt vesz igénybe.

HANA aktív/olvasásra kompatibilis rendszerreplikációs szolgáltatás konfigurálása

Az SAP HANA 2.0 SPS 01-től kezdődően az SAP aktív/olvasásbarát beállításokat tesz lehetővé az SAP HANA rendszerreplikálásához. Ezzel a képességgel aktívan használhatja az SAP HANA rendszerreplikációs másodlagos rendszereit az olvasásigényes számítási feladatokhoz. Egy fürt ilyen beállításának támogatásához szüksége van egy második virtuális IP-címre, amely lehetővé teszi az ügyfelek számára, hogy hozzáférjenek a másodlagos olvasási képességű SAP HANA-adatbázishoz. Annak érdekében, hogy a másodlagos replikációs hely továbbra is elérhető legyen az átvétel után, a fürtnek át kell helyeznie a virtuális IP-címet az SAP HANA-erőforrás másodlagosával.

Ez a szakasz a red hatos magas rendelkezésre állású fürtben, egy második virtuális IP-címmel rendelkező, ilyen típusú rendszerreplikálás kezeléséhez szükséges további lépéseket ismerteti.

Mielőtt továbbhaladna, győződjön meg arról, hogy teljes mértékben konfigurált egy Magas rendelkezésre állású Red Hat-fürtöt, amely egy SAP HANA-adatbázist kezel a cikk korábbi részében leírtak szerint.

AZ SAP HANA magas rendelkezésre állásának vertikális felskálázása írásvédett másodlagos szolgáltatással

További beállítás az Azure Load Balancerben az aktív/olvasási kompatibilis beállításhoz

A második virtuális IP-cím kiépítésének folytatásához győződjön meg arról, hogy konfigurálta az Azure Load Balancert az Azure Load Balancer konfigurálása című cikkben leírtak szerint.

A standard terheléselosztó esetében kövesse az alábbi további lépéseket ugyanazon a terheléselosztón, amelyet a korábbi szakaszban hozott létre.

  1. Hozzon létre egy második előtérbeli IP-készletet:

    1. Nyissa meg a terheléselosztót, válassza az előtérbeli IP-készletet, és válassza a Hozzáadás lehetőséget.
    2. Adja meg a második előtérbeli IP-készlet nevét (például hana-secondaryIP).
    3. Állítsa a hozzárendelést statikusra, és adja meg az IP-címet (például 10.23.0.19).
    4. Kattintson az OK gombra.
    5. Az új előtérbeli IP-készlet létrehozása után jegyezze fel a készlet IP-címét.
  2. Ezután hozzon létre egy állapotmintát:

    1. Nyissa meg a terheléselosztót, válassza ki az állapotmintákat, és válassza a Hozzáadás lehetőséget.
    2. Adja meg az új állapotadat-mintavétel nevét (például hana-secondaryhp).
    3. Válassza ki a TCP protokollt és a 62603-as portot. Az Intervallum érték legyen 5, a nem megfelelő küszöbérték pedig 2.
    4. Kattintson az OK gombra.
  3. Ezután hozza létre a terheléselosztási szabályokat:

    1. Nyissa meg a terheléselosztót, válassza ki a terheléselosztási szabályokat, és válassza a Hozzáadás lehetőséget.
    2. Adja meg az új terheléselosztó szabály nevét (például hana-secondarylb).
    3. Válassza ki az előtérbeli IP-címet, a háttérkészletet és a korábban létrehozott állapotmintát (például hana-secondaryIP, hana-backend és hana-secondaryhp).
    4. Válassza a HA-portok lehetőséget.
    5. Győződjön meg arról, hogy engedélyezi a lebegő IP-címet.
    6. Kattintson az OK gombra.

HANA aktív/olvasásra kompatibilis rendszerreplikációs szolgáltatás konfigurálása

A HANA-rendszerreplikálás konfigurálásához szükséges lépéseket az SAP HANA 2.0 rendszerreplikációs szakasz ismerteti. Ha írásvédett másodlagos forgatókönyvet helyez üzembe, miközben a második csomóponton konfigurálja a rendszerreplikálást, futtassa a következő parancsot hanasidadm-ként:

sapcontrol -nr 03 -function StopWait 600 10 

hdbnsutil -sr_register --remoteHost=hana-s1-db1 --remoteInstance=03 --replicationMode=sync --name=HANA_S2 --operationMode=logreplay_readaccess 

Másodlagos virtuális IP-címerőforrás hozzáadása aktív/olvasási jogosultságú beállításhoz

A második virtuális IP-címet és a további korlátozásokat az alábbi parancsokkal konfigurálhatja. Ha a másodlagos példány le van állítva, a másodlagos virtuális IP-cím az elsődlegesre fog váltani.

pcs property set maintenance-mode=true

pcs resource create secvip_HN1_03 ocf:heartbeat:IPaddr2 ip="10.23.0.19"
pcs resource create secnc_HN1_03 ocf:heartbeat:azure-lb port=62603
pcs resource group add g_secip_HN1_03 secnc_HN1_03 secvip_HN1_03

# RHEL 8.x: 
pcs constraint location g_ip_HN1_03 rule score=500 role=master hana_hn1_roles eq "master1:master:worker:master" and hana_hn1_clone_state eq PROMOTED
pcs constraint location g_secip_HN1_03 rule score=50  hana_hn1_roles eq 'master1:master:worker:master'
pcs constraint order promote  SAPHana_HN1_HDB03-clone then start g_ip_HN1_03
pcs constraint order start g_ip_HN1_03 then start g_secip_HN1_03
pcs constraint colocation add g_secip_HN1_03 with Slave SAPHana_HN1_HDB03-clone 5

# RHEL 7.x:
pcs constraint location g_ip_HN1_03 rule score=500 role=master hana_hn1_roles eq "master1:master:worker:master" and hana_hn1_clone_state eq PROMOTED
pcs constraint location g_secip_HN1_03 rule score=50  hana_hn1_roles eq 'master1:master:worker:master'
pcs constraint order promote  msl_SAPHana_HN1_HDB03 then start g_ip_HN1_03
pcs constraint order start g_ip_HN1_03 then start g_secip_HN1_03
pcs constraint colocation add g_secip_HN1_03 with Slave msl_SAPHana_HN1_HDB03 5

pcs property set maintenance-mode=false

Győződjön meg arról, hogy a fürt állapota , okés hogy az összes erőforrás el van indítva. A második virtuális IP-cím az SAP HANA másodlagos erőforrással együtt fut a másodlagos helyen.

# Example output from crm_mon
#Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#
#Active resources:
#
#rsc_st_azure    (stonith:fence_azure_arm):      Started hana-s-mm
#Clone Set: fs_hana_shared_s1-clone [fs_hana_shared_s1]
#    Started: [ hana--s1-db1 hana-s1-db2 hana-s1-db3 ]
#Clone Set: fs_hana_shared_s2-clone [fs_hana_shared_s2]
#    Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#Clone Set: hana_nfs_s1_active-clone [hana_nfs_s1_active]
#    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
#Clone Set: hana_nfs_s2_active-clone [hana_nfs_s2_active]
#    Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#Clone Set: SAPHanaTopology_HN1_HDB03-clone [SAPHanaTopology_HN1_HDB03]
#    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#Master/Slave Set: msl_SAPHana_HN1_HDB03 [SAPHana_HN1_HDB03]
#    Masters: [ hana-s1-db1 ]
#    Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#Resource Group: g_ip_HN1_03
#    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hana-s1-db1
#    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hana-s1-db1
#Resource Group: g_secip_HN1_03
#    secnc_HN1_03       (ocf::heartbeat:azure-lb):      Started hana-s2-db1
#    secvip_HN1_03      (ocf::heartbeat:IPaddr2):       Started hana-s2-db1

A következő szakaszban megtalálhatja a futtatandó feladatátvételi tesztek tipikus készletét.

Ha olvasási képességgel rendelkező másodlagos HANA-fürtöt tesztel, vegye figyelembe a második virtuális IP-cím következő viselkedését:

  • Amikor a fürterőforrás SAPHana_HN1_HDB03 a másodlagos helyre (S2) kerül, a második virtuális IP-cím a másik helyre, a hana-s1-db1 helyre kerül. Ha konfiguráltaAUTOMATED_REGISTER="false", és a HANA-rendszer replikációja nincs automatikusan regisztrálva, akkor a második virtuális IP-cím a hana-s2-db1 rendszeren fog futni.

  • A kiszolgáló összeomlásának tesztelésekor a második virtuális IP-erőforrások (secvip_HN1_03) és az Azure Load Balancer porterőforrása (secnc_HN1_03) az elsődleges kiszolgálón futnak az elsődleges virtuális IP-erőforrások mellett. Amíg a másodlagos kiszolgáló le van állítva, az írásvédett HANA-adatbázishoz csatlakoztatott alkalmazások az elsődleges HANA-adatbázishoz fognak csatlakozni. Ez várt működés. Lehetővé teszi az írásvédett HANA-adatbázishoz csatlakoztatott alkalmazások működését, miközben egy másodlagos kiszolgáló nem érhető el.

  • A feladatátvétel és a tartalék feladatátvétel során megszakadhatnak azok a meglévő kapcsolatok, amelyek a második virtuális IP-címet használják a HANA-adatbázishoz való csatlakozáshoz.

AZ SAP HANA feladatátvételének tesztelése

  1. A teszt megkezdése előtt ellenőrizze a fürt és az SAP HANA rendszer replikációs állapotát.

    1. Ellenőrizze, hogy nincsenek-e sikertelen fürtműveletek.

      #Verify that there are no failed cluster actions
      pcs status
      # Example
      #Stack: corosync
      #Current DC: hana-s-mm (version 1.1.19-8.el7_6.5-c3c624ea3d) - partition with quorum
      #Last updated: Thu Sep 24 06:00:20 2020
      #Last change: Thu Sep 24 05:59:17 2020 by root via crm_attribute on hana-s1-db1
      #
      #7 nodes configured
      #45 resources configured
      #
      #Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #
      #Active resources:
      #
      #rsc_st_azure    (stonith:fence_azure_arm):      Started hana-s-mm
      #Clone Set: fs_hana_shared_s1-clone [fs_hana_shared_s1]
      #    Started: [ hana--s1-db1 hana-s1-db2 hana-s1-db3 ]
      #Clone Set: fs_hana_shared_s2-clone [fs_hana_shared_s2]
      #    Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #Clone Set: hana_nfs_s1_active-clone [hana_nfs_s1_active]
      #    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
      #Clone Set: hana_nfs_s2_active-clone [hana_nfs_s2_active]
      #    Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #Clone Set: SAPHanaTopology_HN1_HDB03-clone [SAPHanaTopology_HN1_HDB03]
      #    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #Master/Slave Set: msl_SAPHana_HN1_HDB03 [SAPHana_HN1_HDB03]
      #    Masters: [ hana-s1-db1 ]
      #    Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
      #Resource Group: g_ip_HN1_03
      #    nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hana-s1-db1
      #    vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hana-s1-db1
      
    2. Ellenőrizze, hogy az SAP HANA-rendszer replikációja szinkronban van-e.

      # Verify HANA HSR is in sync
      sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"
      #| Database | Host        | Port  | Service Name | Volume ID | Site ID | Site Name | Secondary     | Secondary| Secondary | Secondary | Secondary     | Replication | Replication | Replication    |
      #|          |             |       |              |           |         |           | Host          | Port     | Site ID   | Site Name | Active Status | Mode        | Status      | Status Details |
      #| -------- | ----------- | ----- | ------------ | --------- | ------- | --------- | ------------- | -------- | --------- | --------- | ------------- | ----------- | ----------- | -------------- |
      #| HN1      | hana-s1-db3 | 30303 | indexserver  |         5 |       2 | HANA_S1   | hana-s2-db3 |     30303  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
      #| HN1      | hana-s1-db2 | 30303 | indexserver  |         4 |       2 | HANA_S1   | hana-s2-db2 |     30303  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |  
      #| SYSTEMDB | hana-s1-db1 | 30301 | nameserver   |         1 |       2 | HANA_S1   | hana-s2-db1 |     30301  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
      #| HN1      | hana-s1-db1 | 30307 | xsengine     |         2 |       2 | HANA_S1   | hana-s2-db1 |     30307  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
      #| HN1      | hana-s1-db1 | 30303 | indexserver  |         3 |       2 | HANA_S1   | hana-s2-db1 |     30303  |         1 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
      
      #status system replication site "1": ACTIVE
      #overall system replication status: ACTIVE
      
      #Local System Replication State
      #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
      
      #mode: PRIMARY
      #site id: 1
      #site name: HANA_S1
      
  2. Ellenőrizze a fürt konfigurációját egy hibaforgatókönyv esetében, ha egy csomópont elveszíti a hozzáférést az NFS-megosztáshoz (/hana/shared).

    Az SAP HANA-erőforrásügynökök a bináris fájloktól függenek, amelyeken /hana/sharedtárolták a feladatátvétel során végzett műveleteket. A fájlrendszer /hana/shared az NFS-en keresztül van csatlakoztatva a bemutatott konfigurációban. Egy elvégezhető teszt egy ideiglenes tűzfalszabály létrehozása, amely letiltja az /hana/shared NFS-hez csatlakoztatott fájlrendszerhez való hozzáférést az egyik elsődleges hely virtuális gépén. Ez a megközelítés ellenőrzi, hogy a fürt feladatátvételt fog-e végrehajtani, ha az aktív rendszerreplikációs helyen elveszik a hozzáférés /hana/shared .

    Várt eredmény: Ha letiltja az /hana/shared NFS-hez csatlakoztatott fájlrendszerhez való hozzáférést az egyik elsődleges hely virtuális gépén, a fájlrendszeren olvasási/írási műveletet végrehajtó figyelési művelet meghiúsul, mivel nem fér hozzá a fájlrendszerhez, és elindítja a HANA-erőforrás feladatátvételét. Ugyanez az eredmény akkor várható, ha a HANA-csomópont elveszíti az NFS-megosztáshoz való hozzáférést.

    A fürterőforrások állapotát a futtatással crm_mon vagy pcs statusa . Erőforrás állapota a teszt megkezdése előtt:

    # Output of crm_mon
    #7 nodes configured
    #45 resources configured
    
    #Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    #
    #Active resources:
    
    #rsc_st_azure    (stonith:fence_azure_arm):      Started hana-s-mm
    # Clone Set: fs_hana_shared_s1-clone [fs_hana_shared_s1]
    #    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
    # Clone Set: fs_hana_shared_s2-clone [fs_hana_shared_s2]
    #     Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Clone Set: hana_nfs_s1_active-clone [hana_nfs_s1_active]
    #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
    # Clone Set: hana_nfs_s2_active-clone [hana_nfs_s2_active]
    #     Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Clone Set: SAPHanaTopology_HN1_HDB03-clone [SAPHanaTopology_HN1_HDB03]
    #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Master/Slave Set: msl_SAPHana_HN1_HDB03 [SAPHana_HN1_HDB03]
    #     Masters: [ hana-s1-db1 ]
    #     Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Resource Group: g_ip_HN1_03
    #     nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hana-s1-db1
    #     vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hana-s1-db1
    

    Hiba szimulálása a következőhöz /hana/shared:

    • Ha NFS-t használ az ANF-en, először erősítse meg az /hana/shared ANF-kötet IP-címét az elsődleges helyen. Ezt a futtatással df -kh|grep /hana/sharedteheti meg.
    • Ha NFS-t használ az Azure Fileson, először határozza meg a tárfiók privát végpontjának IP-címét.

    Ezután állítson be egy ideiglenes tűzfalszabályt az NFS fájlrendszer IP-címéhez /hana/shared való hozzáférés letiltásához az alábbi parancs végrehajtásával az egyik elsődleges HANA-rendszerreplikációs hely virtuális gépén.

    Ebben a példában a parancs a hana-s1-db1 anf köteten /hana/sharedlett végrehajtva.

    iptables -A INPUT -s 10.23.1.7 -j DROP; iptables -A OUTPUT -d 10.23.1.7 -j DROP
    

    A hana virtuális gépnek, amely nem fér hozzá /hana/shared , a fürt konfigurációjától függően újra kell indítania vagy le kell állítania. A fürterőforrások át lesznek migrálva a másik HANA-rendszerreplikációs helyre.

    Ha a fürt nem indult el az újraindított virtuális gépen, indítsa el a fürtöt a következő futtatásával:

    # Start the cluster 
    pcs cluster start
    

    A fürt indításakor a rendszer automatikusan csatlakoztatja a fájlrendszert /hana/shared . Ha beállítja AUTOMATED_REGISTER="false", konfigurálnia kell az SAP HANA rendszerreplikációs szolgáltatását a másodlagos helyen. Ebben az esetben futtathatja ezeket a parancsokat az SAP HANA másodlagosként való újrakonfigurálásához.

    # Execute on the secondary 
    su - hn1adm
    # Make sure HANA is not running on the secondary site. If it is started, stop HANA
    sapcontrol -nr 03 -function StopWait 600 10
    # Register the HANA secondary site
    hdbnsutil -sr_register --name=HANA_S1 --remoteHost=hana-s2-db1 --remoteInstance=03 --replicationMode=sync
    # Switch back to root and clean up failed resources
    pcs resource cleanup SAPHana_HN1_HDB03
    

    Az erőforrások állapota a teszt után:

    # Output of crm_mon
    #7 nodes configured
    #45 resources configured
    
    #Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    
    #Active resources:
    
    #rsc_st_azure    (stonith:fence_azure_arm):      Started hana-s-mm
    # Clone Set: fs_hana_shared_s1-clone [fs_hana_shared_s1]
    #    Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
    # Clone Set: fs_hana_shared_s2-clone [fs_hana_shared_s2]
    #     Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Clone Set: hana_nfs_s1_active-clone [hana_nfs_s1_active]
    #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 ]
    # Clone Set: hana_nfs_s2_active-clone [hana_nfs_s2_active]
    #     Started: [ hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Clone Set: SAPHanaTopology_HN1_HDB03-clone [SAPHanaTopology_HN1_HDB03]
    #     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
    # Master/Slave Set: msl_SAPHana_HN1_HDB03 [SAPHana_HN1_HDB03]
    #     Masters: [ hana-s2-db1 ]
    #     Slaves: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db2 hana-s2-db3 ]
    # Resource Group: g_ip_HN1_03
    #     nc_HN1_03  (ocf::heartbeat:azure-lb):      Started hana-s2-db1
    #     vip_HN1_03 (ocf::heartbeat:IPaddr2):       Started hana-s2-db1
    

Érdemes alaposan tesztelni az SAP HANA-fürtkonfigurációt az SAP HANA-ban dokumentált tesztek rhEL-en futó Azure-beli virtuális gépeken való végrehajtásával.

Következő lépések