SAP uygulamaları için SUSE Linux Enterprise Server üzerinde Azure VM'lerindeki SAP NetWeaver’ın yüksek kullanılabilirliği

Bu makalede sanal makineleri dağıtma, sanal makineleri yapılandırma, küme çerçevesini yükleme ve yüksek oranda kullanılabilir SAP NetWeaver veya SAP ABAP platform tabanlı bir sistem yükleme işlemleri açıklanır. Örnek yapılandırmalarda ASCS örnek numarası 00, ERS örnek numarası 02 ve SAP Sistem Kimliği NW1 kullanılır.

SAP Applications 15 için SLES'deki yeni uygulamalar için basit bağlama yapılandırmasında SAP ASCS/ERS için yüksek kullanılabilirlik dağıtmanızı öneririz. BU makalede açıklanan SAP merkezi hizmet dizinleri için küme denetimli dosya sistemlerini temel alan klasik Pacemaker yapılandırması hala desteklenmektedir.

Önce aşağıdaki SAP Notlarını ve kağıtlarını okuyun

Genel bakış

Yüksek kullanılabilirlik elde etmek için SAP NetWeaver bir NFS sunucusu gerektirir. NFS sunucusu ayrı bir kümede yapılandırılır ve birden çok SAP sistemi tarafından kullanılabilir.

SAP NetWeaver High Availability overview

NFS sunucusu, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS ve SAP HANA veritabanı sanal ana bilgisayar adı ve sanal IP adresleri kullanır. Azure'da sanal IP adresi kullanmak için yük dengeleyici gerekir. Standart yük dengeleyici kullanmanızı öneririz. Sunulan yapılandırmada aşağıdakilerle bir yük dengeleyici gösterilir:

  • ASCS için ön uç IP adresi 10.0.0.7
  • ERS için ön uç IP adresi 10.0.0.8
  • ASCS için yoklama bağlantı noktası 62000
  • ERS için yoklama bağlantı noktası 62101

Yüksek oranda kullanılabilir bir NFS sunucusu ayarlama

Not

Paylaşılan verileri yüksek oranda kullanılabilir bir SAP sisteminde depolamak için Azure birinci taraf NFS hizmetlerinden birini dağıtmanızı öneririz: Azure Dosyalar üzerinde NFS veya NFS ANF birimleri. NFS kümelerini kullanarak SAP başvuru mimarilerini vurgulamadığımıza dikkat edin.
Yerel NFS hizmetleriyle SAP NW yüksek oranda kullanılabilir SAP sistemi için SAP yapılandırma kılavuzları şunlardır:

SAP NetWeaver, aktarım ve profil dizini için paylaşılan depolama gerektirir. SAP NetWeaver için NFS sunucusu ayarlama hakkında SUSE Linux Enterprise Server'da Azure VM'lerinde NFS için yüksek kullanılabilirlik makalesini okuyun.

Altyapıyı hazırlama

SAP Örneği için kaynak aracısı, SAP Uygulamaları için SUSE Linux Enterprise Server'a dahildir. SAP Applications 12 veya 15 için SUSE Linux Enterprise Server görüntüsü Azure Market'de kullanılabilir. Görüntüyü kullanarak yeni VM'ler dağıtabilirsiniz.

Azure portalı aracılığıyla Linux VM'lerini el ile dağıtma

Bu belgede zaten bir kaynak grubu, Azure Sanal Ağ ve alt ağ dağıttığınız varsayılır.

SAP Uygulamaları için SLES görüntüsüyle sanal makineleri dağıtma. SAP sistemi için desteklenen uygun bir SLES görüntüsü sürümü seçin. Sanal makine ölçek kümesi, kullanılabilirlik alanı veya kullanılabilirlik kümesi gibi kullanılabilirlik seçeneklerinden herhangi birinde VM dağıtabilirsiniz.

Azure yük dengeleyiciyi yapılandırma

VM yapılandırması sırasında ağ bölümünde yük dengeleyiciden çıkma seçeneğiniz vardır. SAP ASCS ve SAP ERS'nin yüksek kullanılabilirlik kurulumu için standart bir yük dengeleyici yapılandırmak için aşağıdaki adımları izleyin.

Azure portalını kullanarak yüksek kullanılabilirlik sap sistemi için standart bir yük dengeleyici ayarlamak için yük dengeleyici oluşturma kılavuzunu izleyin. Yük dengeleyici kurulumu sırasında aşağıdaki noktaları göz önünde bulundurun.

  1. Ön Uç IP Yapılandırması: Biri ASCS, diğeri ERS için olan iki ön uç IP'sini oluşturun. ASCS/ERS sanal makinelerinizle aynı sanal ağı ve alt ağı seçin.
  2. Arka Uç Havuzu: Arka uç havuzu oluşturun ve ASCS ve ERS VM'leri ekleyin.
  3. Gelen kuralları: Biri ASCS, diğeri ERS için olan iki yük dengeleme kuralı oluşturun. Her iki yük dengeleme kuralı için de aynı adımları izleyin.
    • Ön uç IP adresi: Ön uç IP'lerini seçin
    • Arka uç havuzu: Arka uç havuzunu seçin
    • "Yüksek kullanılabilirlik bağlantı noktaları" seçeneğini denetleyin
    • Protokol: TCP
    • Durum Yoklaması: Aşağıdaki ayrıntılarla sistem durumu araştırması oluşturun (hem ASCS hem de ERS için geçerlidir)
      • Protokol: TCP
      • Bağlantı noktası: [örneğin: ASCS için 620<Örnek-no,> ERS için 621<Örnek-no]>
      • Aralık: 5
      • Yoklama Eşiği: 2
    • Boşta kalma zaman aşımı (dakika): 30
    • "Kayan IP'yi Etkinleştir" seçeneğini işaretleyin

Not

Portalda "İyi durumda olmayan eşik" olarak bilinen durum yoklaması yapılandırma özelliği numarasıOfProbes'a uyulmaz. Bu nedenle başarılı veya başarısız ardışık yoklama sayısını denetlemek için "probeThreshold" özelliğini 2 olarak ayarlayın. Şu anda Azure portalını kullanarak bu özelliği ayarlamak mümkün olmadığından Azure CLI veya PowerShell komutunu kullanın.

Önemli

Kayan IP, yük dengeleme senaryolarında NIC ikincil IP yapılandırmasında desteklenmez. Ayrıntılar için bkz. Azure Load balancer Sınırlamaları. VM için ek IP adresine ihtiyacınız varsa ikinci bir NIC dağıtın.

Not

Genel IP adresleri olmayan VM'ler iç (genel IP adresi yok) Standart Azure yük dengeleyicinin arka uç havuzuna yerleştirildiğinde, genel uç noktalarına yönlendirmeye izin vermek için ek yapılandırma yapılmadığı sürece giden İnternet bağlantısı olmaz. Giden bağlantı elde etme hakkında ayrıntılı bilgi için bkz. SAP yüksek kullanılabilirlik senaryolarında Azure Standart Load Balancer kullanarak Sanal Makineler için genel uç nokta bağlantısı.

Önemli

  • Azure Load Balancer'ın arkasına yerleştirilen Azure VM'lerinde TCP zaman damgalarını etkinleştirmeyin. TCP zaman damgalarının etkinleştirilmesi sistem durumu yoklamalarının başarısız olmasına neden olur. parametresini net.ipv4.tcp_timestamps olarak 0ayarlayın. Ayrıntılar için bkz . Load Balancer sistem durumu yoklamaları.
  • saptune'un el ile ayarlanan net.ipv4.tcp_timestamps değerini geri ile 0 değiştirmesini önlemek için 1saptune sürümünü 3.1.1 veya üzeri bir sürüme güncelleştirmeniz gerekir. Daha fazla ayrıntı için bkz . saptune 3.1.1 – Güncelleştirmem Gerekiyor mu?.

(A)SCS'i ayarlama

Ardından SAP ASCS ve ERS örneklerini hazırlayıp yükleyeceksiniz.

Pacemaker kümesi oluşturma

Bu (A)SCS sunucusu için temel bir Pacemaker kümesi oluşturmak için Azure'da SUSE Linux Enterprise Server'da Pacemaker'ı ayarlama makalesindeki adımları izleyin.

Yükleme

Aşağıdaki öğelere [A] - tüm düğümler için geçerlidir, [1] - yalnızca düğüm 1 için geçerlidir veya [2] - yalnızca düğüm 2 için geçerlidir.

  1. [A] SUSE Bağlan or yükleme

    sudo zypper install sap-suse-cluster-connector
    

    Not

    Ana bilgisayar adlarında tire kullanmayla ilgili bilinen sorun sap-suse-cluster-connector paketinin 3.1.1 sürümüyle düzeltildi. Konak adında tireli küme düğümleri kullanıyorsanız sap-suse-cluster-connector paketinin en az 3.1.1 sürümünü kullandığınızdan emin olun. Aksi takdirde kümeniz çalışmaz.

    SAP SUSE küme bağlayıcısının yeni sürümünü yüklediğinizden emin olun. Eskisine sap_suse_cluster_connector, yenisine sap-suse-cluster-connector adı verilir.

    sudo zypper info sap-suse-cluster-connector
    
    Information for package sap-suse-cluster-connector:
    ---------------------------------------------------
    Repository     : SLE-12-SP3-SAP-Updates
    Name           : sap-suse-cluster-connector
    <b>Version        : 3.0.0-2.2</b>
    Arch           : noarch
    Vendor         : SUSE LLC <https://www.suse.com/>
    Support Level  : Level 3
    Installed Size : 41.6 KiB
    <b>Installed      : Yes</b>
    Status         : up-to-date
    Source package : sap-suse-cluster-connector-3.0.0-2.2.src
    Summary        : SUSE High Availability Setup for SAP Products
    
  2. [A] SAP kaynak aracılarını güncelleştirme

    Bu makalede açıklanan yeni yapılandırmayı kullanmak için kaynak aracıları paketi için bir düzeltme eki gereklidir. Aşağıdaki komutla düzeltme ekinin zaten yüklü olup olmadığını kontrol edebilirsiniz

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
    

    Çıkış şuna benzer olmalıdır:

    <parameter name="IS_ERS" unique="0" required="0">
    

    grep komutu IS_ERS parametresini bulamazsa SUSE indirme sayfasında listelenen düzeltme ekini yüklemeniz gerekir.

    # example for patch for SLES 12 SP1
    sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1
    # example for patch for SLES 12 SP2
    sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1
    
  3. [A] Konak adı çözümlemesi ayarlama

    Bir DNS sunucusu kullanabilir veya tüm düğümlerde /etc/hosts dosyasını değiştirebilirsiniz. Bu örnekte /etc/hosts dosyasının nasıl kullanılacağı gösterilmektedir. Aşağıdaki komutlarda IP adresini ve ana bilgisayar adını değiştirin.

    sudo vi /etc/hosts
    
    # Insert the following lines to /etc/hosts. Change the IP address and hostname to match your environment
    # IP address of the load balancer frontend configuration for NFS
    10.0.0.4 nw1-nfs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
    10.0.0.7 nw1-ascs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
    10.0.0.8 nw1-aers
    # IP address of the load balancer frontend configuration for database
    10.0.0.13 nw1-db
    

SAP NetWeaver yüklemesi için hazırlanma

  1. [A] Paylaşılan dizinleri oluşturma

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    sudo mkdir -p /usr/sap/NW1/SYS
    sudo mkdir -p /usr/sap/NW1/ASCS00
    sudo mkdir -p /usr/sap/NW1/ERS02
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    sudo chattr +i /usr/sap/NW1/SYS
    sudo chattr +i /usr/sap/NW1/ASCS00
    sudo chattr +i /usr/sap/NW1/ERS02
    
  2. [A] Otomatik dosyaları yapılandırma

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    +auto.master
    /- /etc/auto.direct
    

    ile dosya oluşturma

    sudo vi /etc/auto.direct
    
    # Add the following lines to the file, save and exit
    /sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
    /usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans
    /usr/sap/NW1/SYS -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sidsys
    

    Yeni paylaşımları bağlamak için autofs'yi yeniden başlatın

    sudo systemctl enable autofs
    sudo service autofs restart
    
  3. [A] SWAP dosyasını yapılandırma

    Azure Linux VM için SWAP dosyası oluşturma bölümünde tanımlandığı gibi takas dosyası oluşturma

    #!/bin/sh
    
    # Percent of space on the ephemeral disk to dedicate to swap. Here 30% is being used. Modify as appropriate.
    PCT=0.3
    
    # Location of swap file. Modify as appropriate based on location of ephemeral disk.
    LOCATION=/mnt
    
    if [ ! -f ${LOCATION}/swapfile ]
    then
    
        # Get size of the ephemeral disk and multiply it by the percent of space to allocate
        size=$(/bin/df -m --output=target,avail | /usr/bin/awk -v percent="$PCT" -v pattern=${LOCATION} '$0 ~ pattern {SIZE=int($2*percent);print SIZE}')
        echo "$size MB of space allocated to swap file"
    
         # Create an empty file first and set correct permissions
        /bin/dd if=/dev/zero of=${LOCATION}/swapfile bs=1M count=$size
        /bin/chmod 0600 ${LOCATION}/swapfile
    
        # Make the file available to use as swap
        /sbin/mkswap ${LOCATION}/swapfile
    fi
    
    # Enable swap
    /sbin/swapon ${LOCATION}/swapfile
    /sbin/swapon -a
    
    # Display current swap status
    /sbin/swapon -s
    

    Dosyayı yürütülebilir yapın.

    chmod +x /var/lib/cloud/scripts/per-boot/swap.sh
    

    VM'yi durdurun ve başlatın. VM'nin durdurulması ve başlatılması yalnızca SWAP dosyasını oluşturduktan sonra ilk kez gereklidir.

SAP NetWeaver ASCS/ERS Yükleme

  1. [1] ASCS örneği için sanal IP kaynağı ve sistem durumu araştırması oluşturma

    Önemli

    Son testlerde netcat'in yalnızca bir bağlantıyı işleme sınırlaması ve kapsam nedeniyle isteklere yanıt vermeyi durdurduğu durumlar ortaya çıktı. Netcat kaynağı Azure Load balancer isteklerini dinlemeyi durdurur ve kayan IP kullanılamaz duruma gelir.
    Mevcut Pacemaker kümeleri için geçmişte netcat'i socat ile değiştirmenizi öneririz. Şu anda paket kaynak aracılarının parçası olan azure-lb kaynak aracısını aşağıdaki paket sürümü gereksinimleriyle kullanmanızı öneririz:

    • SLES 12 SP4/SP5 için, sürüm en az resource-agents-4.3.018.a7fb5035-3.30.1 olmalıdır.
    • SLES 15/15 SP1 için, sürüm en az resource-agents-4.3.0184.6ee15eb2-4.13.1 olmalıdır.

    Değişikliğin kısa bir kapalı kalma süresi gerektirdiğini unutmayın.
    Mevcut Pacemaker kümelerinde yapılandırma, Azure Load-Balancer Algılama Sağlamlaştırma'da açıklandığı gibi socat kullanacak şekilde zaten değiştirildiyse, hemen azure-lb kaynak aracısına geçiş yapmanız gerekmez.

    sudo crm node standby nw1-cl-1
    
    sudo crm configure primitive fs_NW1_ASCS Filesystem device='nw1-nfs:/NW1/ASCS' directory='/usr/sap/NW1/ASCS00' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
      params ip=10.0.0.7 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ASCS fs_NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
       meta resource-stickiness=3000
    

    Küme durumunun iyi olduğundan ve tüm kaynakların başlatıldığından emin olun. Kaynakların hangi düğümde çalıştığı önemli değildir.

    sudo crm_mon -r
    
    # Node nw1-cl-1: standby
    # Online: [ nw1-cl-0 ]
    # 
    # Full list of resources:
    # 
    # stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
    
  2. [1] SAP NetWeaver ASCS'yi yükleme

    ASCS için yük dengeleyici ön uç yapılandırmasının IP adresine eşlenen bir sanal konak adı kullanarak ilk düğüme kök olarak SAP NetWeaver ASCS yükleyin; örneğin nw1-ascs, 10.0.0.7 ve yük dengeleyicinin yoklaması için kullandığınız örnek numarası, örneğin 00.

    Kök olmayan bir kullanıcının sapinst'e bağlanmasına izin vermek için sapinst parametresi SAPINST_REMOTE_ACCESS_USER kullanabilirsiniz.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Yükleme /usr/sap/NW1/ASCS 00 içinde bir alt klasör oluşturamıyorsa ASCS00 klasörünün sahibini ve grubunu ayarlamayı deneyin ve yeniden deneyin.

    chown nw1adm /usr/sap/NW1/ASCS00
    chgrp sapsys /usr/sap/NW1/ASCS00
    
  3. [1] ERS örneği için sanal IP kaynağı ve sistem durumu araştırması oluşturma

    sudo crm node online nw1-cl-1
    sudo crm node standby nw1-cl-0
    
    sudo crm configure primitive fs_NW1_ERS Filesystem device='nw1-nfs:/NW1/ASCSERS' directory='/usr/sap/NW1/ERS02' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ERS IPaddr2 \
      params ip=10.0.0.8 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ERS azure-lb port=62102 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ERS fs_NW1_ERS nc_NW1_ERS vip_NW1_ERS
    

    Küme durumunun iyi olduğundan ve tüm kaynakların başlatıldığından emin olun. Kaynakların hangi düğümde çalıştığı önemli değildir.

    sudo crm_mon -r
    
    # Node nw1-cl-0: standby
    # Online: [ nw1-cl-1 ]
    # 
    # Full list of resources:
    #
    # stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
    #  Resource Group: g-NW1_ERS
    #      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
    #      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
    #      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
    
  4. [2] SAP NetWeaver ERS yükleme

    SAP NetWeaver ERS'yi, ERS için yük dengeleyici ön uç yapılandırmasının IP adresiyle eşlenen bir sanal konak adı (örneğin , nw1-aers, 10.0.0.8 ve yük dengeleyicinin yoklaması için kullandığınız örnek numarası, örneğin 02) kullanarak ikinci düğüme kök olarak yükleyin.

    Kök olmayan bir kullanıcının sapinst'e bağlanmasına izin vermek için sapinst parametresi SAPINST_REMOTE_ACCESS_USER kullanabilirsiniz.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Not

    SWPM SP 20 PL 05 veya üzerini kullanın. Alt sürümler izinleri doğru ayarlamaz ve yükleme başarısız olur.

    Yükleme /usr/sap/NW1/ERS02'de bir alt klasör oluşturamıyorsa, ERS02 klasörünün sahibini ve grubunu ayarlamayı deneyin ve yeniden deneyin.

    chown nw1adm /usr/sap/NW1/ERS02
    chgrp sapsys /usr/sap/NW1/ERS02
    
  5. [1] ASCS/SCS ve ERS örnek profillerini uyarlama

    • ASCS/SCS profili

      sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs
      
      # Change the restart command to a start command
      #Restart_Program_01 = local $(_EN) pf=$(_PF)
      Start_Program_01 = local $(_EN) pf=$(_PF)
      
      # Add the following lines
      service/halib = $(DIR_CT_RUN)/saphascriptco.so
      service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
      
      # Add the keep alive parameter, if using ENSA1
      enque/encni/set_so_keepalive = true
      

      Hem ENSA1 hem de ENSA2 için işletim sistemi parametrelerinin keepalive SAP not 1410736 açıklandığı gibi ayarlandığından emin olun.

    • ERS profili

      sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers
      
      # Change the restart command to a start command
      #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      
      # Add the following lines
      service/halib = $(DIR_CT_RUN)/saphascriptco.so
      service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
      
      # remove Autostart from ERS profile
      # Autostart = 1
      
  6. [A] Canlı Tut'un yapılandırılması

    SAP NetWeaver uygulama sunucusu ile ASCS/SCS arasındaki iletişim bir yazılım yük dengeleyici aracılığıyla yönlendirilir. Yük dengeleyici, yapılandırılabilir bir zaman aşımından sonra etkin olmayan bağlantıların bağlantısını keser. Bunu önlemek için, ENSA1 kullanıyorsanız SAP NetWeaver ASCS/SCS profilinde bir parametre ayarlamanız ve her iki ENSA1/ENSA2 için tüm SAP sunucularındaki Linux sistem keepalive ayarlarını değiştirmeniz gerekir. Daha fazla bilgi için SAP Not 1410736 makalesini okuyun.

    # Change the Linux system configuration
    sudo sysctl net.ipv4.tcp_keepalive_time=300
    
  7. [A] Yüklemeden sonra SAP kullanıcılarını yapılandırma

    # Add sidadm to the haclient group
    sudo usermod -aG haclient nw1adm
    
  8. [1] ASCS ve ERS SAP hizmetlerini sapservice dosyasına ekleyin

    ASCS hizmet girişini ikinci düğüme ekleyin ve ERS hizmet girdisini ilk düğüme kopyalayın.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh nw1-cl-1 "cat >>/usr/sap/sapservices"
    sudo ssh nw1-cl-1 "cat /usr/sap/sapservices" | grep ERS02 | sudo tee -a /usr/sap/sapservices
    
  9. [1] SAP kümesi kaynaklarını oluşturma

    BIR ENSA1 veya ENSA2 sistemi çalıştırıp çalıştırmadığınıza bağlı olarak, kaynakları tanımlamak için ilgili sekmeyi seçin. SAP, SAP NetWeaver 7.52'de çoğaltma dahil olmak üzere ENSA2 için destek kullanıma sunulmuştur. ABAP Platform 1809'dan itibaren ENSA2 varsayılan olarak yüklenir. ENSA2 desteği için bkz. SAP Not 2630416.

    sudo crm configure property maintenance-mode="true"
    
    sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
      operations \$id=rsc_sap_NW1_ASCS00-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
      AUTOMATIC_RECOVER=false \
      meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
    
    sudo crm configure primitive rsc_sap_NW1_ERS02 SAPInstance \
      operations \$id=rsc_sap_NW1_ERS02-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" AUTOMATIC_RECOVER=false IS_ERS=true \
      meta priority=1000
    
    sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
    sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS02
    
    sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
    sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
    sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS02:stop symmetrical=false
    
    sudo crm_attribute --delete --name priority-fencing-delay
    
    sudo crm node online nw1-cl-0
    sudo crm configure property maintenance-mode="false"
    

Eski bir sürümden yükseltme yapıyor ve sunucu 2'yi sıralamaya geçiyorsanız bkz. SAP notu 2641019.

Küme durumunun iyi olduğundan ve tüm kaynakların başlatıldığından emin olun. Kaynakların hangi düğümde çalıştığı önemli değildir.

sudo crm_mon -r
 
# Online: [ nw1-cl-0 nw1-cl-1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
#  Resource Group: g-NW1_ERS
#      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
#      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

SAP NetWeaver uygulama sunucusu hazırlığı

Bazı veritabanları, veritabanı örneği yüklemesinin bir uygulama sunucusunda yürütülmesini gerektirir. Uygulama sunucusu sanal makinelerini bu durumlarda kullanabilmek için hazırlayın.

Adımlarda uygulama sunucusunu ASCS/SCS ve HANA sunucularından farklı bir sunucuya yüklediğiniz varsayılır. Aksi takdirde aşağıdaki adımlardan bazıları (ana bilgisayar adı çözümlemesini yapılandırma gibi) gerekli değildir.

  1. İşletim sistemini yapılandırma

    Kirli önbelleğin boyutunu küçültün. Daha fazla bilgi için bkz . Büyük RAM'e sahip SLES 11/12 sunucularında düşük yazma performansı.

    sudo vi /etc/sysctl.conf
    
    # Change/set the following settings
    vm.dirty_bytes = 629145600
    vm.dirty_background_bytes = 314572800
    
  2. Ana bilgisayar adı çözümlemesi ayarlama

    Bir DNS sunucusu kullanabilir veya tüm düğümlerde /etc/hosts dosyasını değiştirebilirsiniz. Bu örnekte /etc/hosts dosyasının nasıl kullanılacağı gösterilmektedir. Aşağıdaki komutlarda IP adresini ve ana bilgisayar adını değiştirin

    sudo vi /etc/hosts
    

    /etc/hosts öğesine aşağıdaki satırları ekleyin. IP adresini ve ana bilgisayar adını ortamınızla eşleşecek şekilde değiştirme

    # IP address of the load balancer frontend configuration for NFS
    10.0.0.4 nw1-nfs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
    10.0.0.7 nw1-ascs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ERS
    10.0.0.8 nw1-aers
    # IP address of the load balancer frontend configuration for database
    10.0.0.13 nw1-db
    # IP address of all application servers
    10.0.0.20 nw1-di-0
    10.0.0.21 nw1-di-1
    
  3. sapmnt dizinini oluşturma

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    
  4. Otomatik dosyaları yapılandırma

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    +auto.master
    /- /etc/auto.direct
    

    ile yeni dosya oluşturma

    sudo vi /etc/auto.direct
    
    # Add the following lines to the file, save and exit
    /sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
    /usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans
    

    Yeni paylaşımları bağlamak için autofs'yi yeniden başlatın

    sudo systemctl enable autofs
    sudo service autofs restart
    
  5. SWAP dosyasını yapılandırma

    sudo vi /etc/waagent.conf
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    Değişikliği etkinleştirmek için Aracıyı yeniden başlatın

    sudo service waagent restart
    

Veritabanını yükleme

Bu örnekte SAP HANA'ya SAP NetWeaver yüklenmiştir. Bu yükleme için desteklenen tüm veritabanlarını kullanabilirsiniz. SAP HANA'yı Azure'a yükleme hakkında daha fazla bilgi için bkz. Azure Sanal Makineler'de SAP HANA'nın Yüksek Kullanılabilirliği (VM). Desteklenen veritabanlarının listesi için bkz . SAP Not 1928533.

  1. SAP veritabanı örneği yüklemesini çalıştırma

    SAP NetWeaver veritabanı örneğini kök olarak yüklemek için veritabanının yük dengeleyici ön uç yapılandırmasının IP adresine eşlenen bir sanal konak adı (örneğin, nw1-db ve 10.0.0.13).

    Kök olmayan bir kullanıcının sapinst'e bağlanmasına izin vermek için sapinst parametresi SAPINST_REMOTE_ACCESS_USER kullanabilirsiniz.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

SAP NetWeaver uygulama sunucusu yüklemesi

SAP uygulama sunucusu yüklemek için bu adımları izleyin.

  1. Uygulama sunucusunu hazırlama

    Uygulama sunucusunu hazırlamak için yukarıdaki SAP NetWeaver uygulama sunucusu hazırlığı bölümünde yer alan adımları izleyin.

  2. SAP NetWeaver uygulama sunucusunu yükleme

    Birincil veya ek bir SAP NetWeaver uygulamaları sunucusu yükleyin.

    Kök olmayan bir kullanıcının sapinst'e bağlanmasına izin vermek için sapinst parametresi SAPINST_REMOTE_ACCESS_USER kullanabilirsiniz.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    
  3. SAP HANA güvenli depolarını güncelleştirme

    SAP HANA güvenli depoyu, SAP HANA Sistem Çoğaltma kurulumunun sanal adına işaret eden şekilde güncelleştirin.

    Girdileri listelemek için aşağıdaki komutu çalıştırın

    hdbuserstore List
    

    Bu, tüm girdileri listelemeli ve şuna benzer görünmelidir:

    DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
    KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY
    
    KEY DEFAULT
      ENV : 10.0.0.14:30313
      USER: SAPABAP1
      DATABASE: HN1
    

    Çıktı, varsayılan girdinin IP adresinin yük dengeleyicinin IP adresine değil sanal makineyi işaret ettiğini gösterir. Bu girişin yük dengeleyicinin sanal konak adına işaret etmesi için değiştirilmesi gerekir. Aynı bağlantı noktasını (yukarıdaki çıkışta 30313 ) ve veritabanı adını (yukarıdaki çıktıda HN1 ) kullandığınızdan emin olun!

    su - nw1adm
    hdbuserstore SET DEFAULT nw1-db:30313@HN1 SAPABAP1 <password of ABAP schema>
    

Küme kurulumunu test edin

Aşağıdaki testler, SUSE'nin en iyi yöntemler kılavuzlarındaki test çalışmalarının bir kopyasıdır. Kolaylık sağlamak için kopyalanırlar. Ayrıca her zaman en iyi yöntemler kılavuzlarını okuyun ve eklenmiş olabilecek tüm ek testleri gerçekleştirin.

  1. HAGetFailoverConfig, HACheckConfig ve HACheckFailoverConfig'i test edin

    ASCS örneğinin çalışmakta olduğu düğümde sapsid>adm olarak <aşağıdaki komutları çalıştırın. Komutlar FAIL: Yetersiz bellek ile başarısız olursa, bunun nedeni ana bilgisayar adınızdaki tireler olabilir. Bu bilinen bir sorundur ve sap-suse-cluster-connector paketinde SUSE tarafından düzeltilecektir.

    nw1-cl-0:nw1adm 54> sapcontrol -nr 00 -function HAGetFailoverConfig
    
    # 15.08.2018 13:50:36
    # HAGetFailoverConfig
    # OK
    # HAActive: TRUE
    # HAProductVersion: Toolchain Module
    # HASAPInterfaceVersion: Toolchain Module (sap_suse_cluster_connector 3.0.1)
    # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
    # HAActiveNode:
    # HANodes: nw1-cl-0, nw1-cl-1
    
    nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -function HACheckConfig
    
    # 15.08.2018 14:00:04
    # HACheckConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP instance configuration, 2 ABAP instances detected
    # SUCCESS, SAP CONFIGURATION, Redundant Java instance configuration, 0 Java instances detected
    # SUCCESS, SAP CONFIGURATION, Enqueue separation, All Enqueue server separated from application server
    # SUCCESS, SAP CONFIGURATION, MessageServer separation, All MessageServer separated from application server
    # SUCCESS, SAP CONFIGURATION, ABAP instances on multiple hosts, ABAP instances on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP SPOOL service configuration, 2 ABAP instances with SPOOL service detected
    # SUCCESS, SAP STATE, Redundant ABAP SPOOL service state, 2 ABAP instances with active SPOOL service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP SPOOL service on multiple hosts, ABAP instances with active ABAP SPOOL service on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP BATCH service configuration, 2 ABAP instances with BATCH service detected
    # SUCCESS, SAP STATE, Redundant ABAP BATCH service state, 2 ABAP instances with active BATCH service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP BATCH service on multiple hosts, ABAP instances with active ABAP BATCH service on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP DIALOG service configuration, 2 ABAP instances with DIALOG service detected
    # SUCCESS, SAP STATE, Redundant ABAP DIALOG service state, 2 ABAP instances with active DIALOG service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP DIALOG service on multiple hosts, ABAP instances with active ABAP DIALOG service on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP UPDATE service configuration, 2 ABAP instances with UPDATE service detected
    # SUCCESS, SAP STATE, Redundant ABAP UPDATE service state, 2 ABAP instances with active UPDATE service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP UPDATE service on multiple hosts, ABAP instances with active ABAP UPDATE service on multiple hosts detected
    # SUCCESS, SAP STATE, SCS instance running, SCS instance status ok
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (nw1-ascs_NW1_00), SAPInstance includes is-ers patch
    # SUCCESS, SAP CONFIGURATION, Enqueue replication (nw1-ascs_NW1_00), Enqueue replication enabled
    # SUCCESS, SAP STATE, Enqueue replication state (nw1-ascs_NW1_00), Enqueue replication active
    
    nw1-cl-0:nw1adm 56> sapcontrol -nr 00 -function HACheckFailoverConfig
    
    # 15.08.2018 14:04:08
    # HACheckFailoverConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
    
  2. ASCS örneğini el ile geçirme

    Teste başlamadan önce kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    

    ASCS örneğini geçirmek için aşağıdaki komutları kök olarak çalıştırın.

    nw1-cl-0:~ # crm resource migrate rsc_sap_NW1_ASCS00 force
    # INFO: Move constraint created for rsc_sap_NW1_ASCS00
    
    nw1-cl-0:~ # crm resource unmigrate rsc_sap_NW1_ASCS00
    # INFO: Removed migration constraints for rsc_sap_NW1_ASCS00
    
    # Remove failed actions for the ERS that occurred as part of the migration
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Test sonrasındaki kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  3. HAFailoverToNode Testi

    Teste başlamadan önce kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    ASCS örneğini geçirmek için sapsid>adm olarak <aşağıdaki komutları çalıştırın.

    nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -host nw1-ascs -user nw1adm <password> -function HAFailoverToNode ""
    
    # run as root
    # Remove failed actions for the ERS that occurred as part of the migration
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    # Remove migration constraints
    nw1-cl-0:~ # crm resource clear rsc_sap_NW1_ASCS00
    #INFO: Removed migration constraints for rsc_sap_NW1_ASCS00
    

    Test sonrasındaki kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    
  4. Düğüm kilitlenmesi simülasyonu

    Teste başlamadan önce kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    

    ASCS örneğinin çalıştığı düğümde kök olarak aşağıdaki komutu çalıştırın

    nw1-cl-0:~ # echo b > /proc/sysrq-trigger
    

    SBD kullanıyorsanız Pacemaker, öldürülen düğümde otomatik olarak başlatılmamalıdır. Düğüm yeniden başlatıldıktan sonra durum şöyle görünmelidir.

    Online: [ nw1-cl-1 ]
    OFFLINE: [ nw1-cl-0 ]
    
    Full list of resources:
    
    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    
    Failed Actions:
    * rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-1 'not running' (7): call=219, status=complete, exitreason='none',
        last-rc-change='Wed Aug 15 14:38:38 2018', queued=0ms, exec=0ms
    

    Pacemaker'ı öldürülmüş düğümde başlatmak, SBD iletilerini temizlemek ve başarısız kaynakları temizlemek için aşağıdaki komutları kullanın.

    # run as root
    # list the SBD device(s)
    nw1-cl-0:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
    # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"
    
    nw1-cl-0:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message nw1-cl-0 clear
    
    nw1-cl-0:~ # systemctl start pacemaker
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Test sonrasındaki kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  5. Ağ iletişimini engelleme

    Teste başlamadan önce kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    Düğümlerden birinde iletişimi engellemek için güvenlik duvarı kuralı yürütür.

    # Execute iptable rule on nw1-cl-0 (10.0.0.5) to block the incoming and outgoing traffic to nw1-cl-1 (10.0.0.6)
    iptables -A INPUT -s 10.0.0.6 -j DROP; iptables -A OUTPUT -d 10.0.0.6 -j DROP
    

    Küme düğümleri birbiriyle iletişim kuramıyorsa, bölünmüş beyin senaryosu riski vardır. Böyle durumlarda küme düğümleri birbirlerini aynı anda çitle çevrilip çit yarışına neden olur.

    Bir eskrim cihazı yapılandırılırken özelliğin yapılandırılması pcmk_delay_max önerilir. Bu nedenle, bölünmüş beyin senaryosu durumunda küme, her düğümdeki eskrim eylemine pcmk_delay_max değere kadar rastgele bir gecikmeye neden olur. Eskrim için en kısa gecikme süresine sahip düğüm seçilir.

    Ayrıca, BÖLÜNMÜŞ beyin senaryosu sırasında ASCS kaynağını barındıran düğümü diğer düğüme göre önceliklendirmek için ENSA 2 yapılandırmasında kümede özelliğin yapılandırılması priority-fencing-delay önerilir. Priority-fencing-delay özelliğinin etkinleştirilmesi, kümenin ASCS kaynağını barındıran düğümde özel olarak eskrim eyleminde ek bir gecikmeye neden olmasını sağlayarak ASCS düğümünü çit yarışını kazanmasını sağlar.

    Güvenlik duvarı kuralını silmek için aşağıdaki komutu yürütebilirsiniz.

    # If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
    iptables -D INPUT -s 10.0.0.6 -j DROP; iptables -D OUTPUT -d 10.0.0.6 -j DROP
    
  6. ASCS örneğinin el ile yeniden başlatılmasını test edin

    Teste başlamadan önce kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    Örneğin su01 işlemindeki bir kullanıcıyı düzenleme yoluyla bir sıralama kilidi oluşturun. ASCS örneğinin çalıştığı düğümde sapsid>adm olarak <aşağıdaki komutları çalıştırın. Komutlar ASCS örneğini durdurur ve yeniden başlatır. Enqueue server 1 mimarisi kullanılıyorsa, bu testte sıralama kilidinin kaybolması beklenir. Enqueue server 2 mimarisi kullanılıyorsa, sıra korunur.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StopWait 600 2
    

    ASCS örneği artık Pacemaker'da devre dışı bırakılmalıdır

    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Stopped (disabled)
    

    AYNı düğümde ASCS örneğini yeniden başlatın.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StartWait 600 2
    

    Su01 işleminin enqueue kilidi kaybedilmeli ve arka uç sıfırlanmış olmalıdır. Test sonrasındaki kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  7. İleti sunucusu işlemini sonlandır

    Teste başlamadan önce kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    İleti sunucusunun işlemini tanımlamak ve sonlandırmak için aşağıdaki komutları kök olarak çalıştırın.

    nw1-cl-1:~ # pgrep -f ms.sapNW1 | xargs kill -9
    

    İleti sunucusunu yalnızca bir kez öldürürseniz, sapstart tarafından yeniden başlatılır. Bunu yeterince sık öldürürseniz Pacemaker, ENSA1 olması durumunda ASCS örneğini diğer düğüme taşır. Test sonrasında ASCS ve ERS örneğinin kaynak durumunu temizlemek için aşağıdaki komutları kök olarak çalıştırın.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Test sonrasındaki kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    
  8. Sunucu sıralama işlemini sonlandır

    Teste başlamadan önce kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    

    Aşağıdaki komutları ASCS örneğinin çalıştırıldığı düğümde kök olarak çalıştırarak sıra sunucusunu kapatın.

    nw1-cl-0:~ # 
    #If using ENSA1
    pgrep -f en.sapNW1 | xargs kill -9
    #If using ENSA2
    pgrep -f enq.sapNW1 | xargs kill -9
    

    ENSA1 söz konusu olduğunda ASCS örneği hemen diğer düğüme yük devretme yapmalıdır. ASCS örneği başlatıldıktan sonra ERS örneğinin de yük devretmesi gerekir. Test sonrasında ASCS ve ERS örneğinin kaynak durumunu temizlemek için aşağıdaki komutları kök olarak çalıştırın.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Test sonrasındaki kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  9. Enqueue çoğaltma sunucusu işlemini sonlandır

    Teste başlamadan önce kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    Aşağıdaki komutu, ERS örneğinin çalıştığı düğümde kök olarak çalıştırarak sıralama çoğaltma sunucusu işlemini sonlandırın.

    nw1-cl-0:~ # pgrep -f er.sapNW1 | xargs kill -9
    

    Komutu yalnızca bir kez çalıştırırsanız sapstart işlemi yeniden başlatır. Bu işlemi yeterince sık çalıştırırsanız sapstart işlemi yeniden başlatmaz ve kaynak durdurulmuş durumda olur. Test sonrasında ERS örneğinin kaynak durumunu temizlemek için aşağıdaki komutları kök olarak çalıştırın.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    Test sonrasındaki kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  10. Enqueue sapstartsrv işlemini sonlandır

    Teste başlamadan önce kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    ASCS'nin çalıştığı düğümde kök olarak aşağıdaki komutları çalıştırın.

    nw1-cl-1:~ # pgrep -fl ASCS00.*sapstartsrv
    # 59545 sapstartsrv
    
    nw1-cl-1:~ # kill -9 59545
    

    Sapstartsrv işlemi her zaman Pacemaker kaynak aracısı tarafından yeniden başlatılmalıdır. Test sonrasındaki kaynak durumu:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

Sonraki adımlar