Ketersediaan tinggi untuk SAP NetWeaver pada Azure VM di SUSE Linux Enterprise Server dengan Azure NetApp Files untuk aplikasi SAP

Artikel ini menjelaskan cara menyebarkan komputer virtual, mengonfigurasi komputer virtual, memasang kerangka kerja kluster, dan memasang sistem SAP NetWeaver 7.50 dengan ketersediaan tinggi, menggunakan Azure NetApp Files. Dalam contoh konfigurasi, perintah penginstalan dll. Instans ASCS adalah nomor 00, instans ERS adalah nomor 01, instans Aplikasi Utama (PAS) adalah 02 dan instans Aplikasi (AAS) adalah 03. SAP System ID QAS digunakan.

Artikel ini menjelaskan cara mencapai ketersediaan tinggi untuk aplikasi SAP NetWeaver dengan Azure NetApp Files. Lapisan database tidak dibahas secara detail dalam artikel ini.

Baca makalah dan Catatan SAP berikut terlebih dahulu:

Gambaran Umum

Ketersediaan tinggi (HA) untuk layanan pusat SAP Netweaver memerlukan penyimpanan bersama. Untuk mencapainya di SUSE Linux sejauh ini perlu untuk membangun kluster NFS yang sangat tersedia terpisah.

Sekarang dimungkinkan untuk mencapai Ketersediaan Tinggi SAP Netweaver dengan menggunakan penyimpanan bersama, yang disebarkan pada Azure NetApp Files. Mengunakan Azure NetApp Files untuk penyimpanan bersama akan menghilangkan kebutuhan untuk klaster NFS tambahan. Pacemaker masih diperlukan untuk Ketersediaan Tinggi dari layanan pusat SAP Netweaver(ASCS/SCS).

Gambaran umum Ketersediaan Tinggi SAP NetWeaver

Database SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS, dan SAP Hana menggunakan nama host virtual dan alamat IP virtual. Pada Azure, penyeimbang muatan diperlukan untuk menggunakan alamat IP virtual. Kami menyarankan menggunakan penyeimbang beban standar. Konfigurasi yang disajikan menunjukkan penyeimbang beban dengan:

  • Alamat IP frontend 10.1.1.20 untuk ASCS
  • Alamat IP frontend 10.1.1.21 untuk ERS
  • Menyelidiki port 62000 untuk ASCS
  • Menyelidiki port 62101 untuk ERS

Menyiapkan infrastruktur Azure NetApp Files

SAP NetWeaver memerlukan penyimpanan bersama untuk transportasi dan direktori profil. Sebelum Anda melanjutkan penyiapan untuk infrastruktur Azure NetApp Files, biasakan diri Anda dengan dokumentasi Azure NetApp Files. Periksa apakah wilayah Azure yang Anda pilih menawarkan Azure NetApp Files. Tautan berikut menampilkan ketersediaan Azure NetApp Files menurut wilayah Azure: Ketersediaan Azure NetApp Files menurut Wilayah Azure.

Azure NetApp Files tersedia di beberapa wilayah Azure.

Menyebarkan sumber daya Azure NetApp Files

Langkah-langkah tersebut mengasumsikan bahwa Anda telah menyebarkan Azure Virtual Network. Sumber daya dan komputer virtual Azure NetApp Files, saat sumber daya Azure NetApp Files akan dipasang harus disebarkan dalam Azure Virtual Network yang sama atau di Azure Virtual Network yang di-peering.

  1. Buat akun NetApp di wilayah Azure yang dipilih, mengikuti petunjuk untuk membuat Akun NetApp.

  2. Siapkan kumpulan kapasitas Azure NetApp Files, mengikuti petunjuk tentang cara menyiapkan kumpulan kapasitas Azure NetApp Files.
    Arsitektur SAP Netweaver yang disajikan dalam artikel ini menggunakan kumpulan kapasitas Azure NetApp Files tunggal, SKU Premium. Kami merekomendasikan SKU Premium Azure NetApp Files untuk beban kerja aplikasi SAP Netweaver di Azure.

  3. Delegasikan subnet ke Azure NetApp Files, seperti yang dijelaskan dalam petunjuk Mendelegasikan subnet ke Azure NetApp Files.

  4. Sebarkan volume Azure NetApp Files, mengikuti petunjuk untuk membuat volume NFS untuk Azure NetApp Files. Sebarkan volume di subnet Azure NetApp Files yang ditentukan. Alamat IP volume Azure NetApp ditetapkan secara otomatis. Perlu diingat bahwa sumber daya Azure NetApp Files dan VM Azure harus berada di jaringan virtual Azure yang sama atau di jaringan virtual Azure yang di-peer. Dalam contoh ini kita menggunakan dua volume Azure NetApp Files: sapQAS dan trans. Jalur file yang dipasang ke titik kait yang sesuai adalah /usrsapqas/sapmntQAS, /usrsapqas/usrsapQASsys, dll.

    1. volume sapQAS (nfs://10.1.0.4/usrsapqas/sapmntQAS)
    2. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASascs)
    3. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASsys)
    4. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASers)
    5. volume trans (nfs://10.1.0.4/trans)
    6. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASpas)
    7. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASaas)

Dalam contoh ini, kami menggunakan Azure NetApp Files untuk semua sistem file SAP Netweaver guna menunjukkan bagaimana Azure NetApp Files dapat digunakan. Sistem file SAP yang tidak perlu dipasang melalui NFS juga dapat disebarkan sebagai penyimpanan disk Azure. Dalam contoh ini a-e harus ada di Azure NetApp Files dan f-g (yaitu, /usr/sap/QAS/D02, /usr/sap/QAS/D03) dapat disebarkan sebagai penyimpanan disk Azure.

Pertimbangan penting

Saat mempertimbangkan Azure NetApp Files untuk SAP Netweaver pada arsitektur Ketersediaan Tinggi SUSE, perhatikan pertimbangan penting berikut:

  • Kumpulan kapasitas minimumnya adalah 4 TiB. Ukuran kumpulan kapasitas dapat ditingkatkan dalam inkremental 1 TiB.
  • Volume minimumnya adalah 100 GiB
  • Azure NetApp Files dan semua komputer virtual, tempat volume Azure NetApp Files akan dipasang, harus berada di Azure Virtual Network yang sama atau di jaringan virtual yang di-peering di wilayah yang sama. Akses Azure NetApp Files melalui peering VNET di wilayah yang sama sekarang didukung. Akses Azure NetApp melalui peering global belum didukung.
  • Jaringan virtual yang dipilih harus memiliki subnet, yang didelegasikan ke Azure NetApp Files.
  • Karakteristik throughput dan performa volume Azure NetApp Files adalah fungsi dari kuota volume dan tingkat layanan, seperti yang didokumentasikan dalam Tingkat layanan untuk Azure NetApp Files. Saat mengukur volume SAP Azure NetApp, pastikan throughput yang dihasilkan memenuhi persyaratan aplikasi.
  • Azure NetApp Files menawarkan kebijakan ekspor: Anda dapat mengontrol klien yang diizinkan, jenis akses (Baca&Tulis, Hanya Baca, dll.).
  • Fitur Azure NetApp Files belum mengenali zona. Saat ini fitur Azure NetApp Files tidak disebarkan di semua Zona ketersediaan di wilayah Azure. Waspadai potensi implikasi latensi di beberapa wilayah Azure.
  • Volume Azure NetApp Files dapat disebarkan sebagai volume NFSv3 atau NFSv4.1. Kedua protokol didukung untuk lapisan aplikasi SAP (ASCS/ERS, server aplikasi SAP).

Sebarkan Linux VM secara manual melalui portal Azure

Pertama, Anda perlu membuat volume Azure NetApp Files. Sebarkan VM. Setelah itu, Anda membuat penyeimbang muatan dan menggunakan komputer virtual pada kumpulan backend.

  1. Buat Grup Sumber Daya
  2. Buat Virtual Network
  3. Buat ketersediaan yang ditetapkan untuk ASCS
    Set domain pembaruan maksimal
  4. Buat komputer virtual 1
    Gunakan setidaknya SLES4SAP 12 SP3, dalam contoh ini gambar SLES4SAP 12 SP3 digunakan
    Pilih Set Ketersediaan yang sebelumnya dibuat untuk ASCS
  5. Buat Komputer Virtual 2
    Gunakan setidaknya SLES4SAP 12 SP3, dalam contoh ini gambar SLES4SAP 12 SP3 digunakan
    Pilih Set Ketersediaan yang sebelumnya dibuat untuk ASCS
  6. Buat Set Ketersediaan untuk instans aplikasi SAP (PAS, AAS)
    Set domain pembaruan maksimal
  7. Buat Komputer Virtual 3
    Gunakan setidaknya SLES4SAP 12 SP3, dalam contoh ini gambar SLES4SAP 12 SP3 digunakan
    Pilih Set Ketersediaan yang sebelumnya dibuat untuk ASCS
  8. Buat Komputer Virtual 4
    Gunakan setidaknya SLES4SAP 12 SP3, dalam contoh ini gambar SLES4SAP 12 SP3 digunakan
    Pilih Set Ketersediaan yang sebelumnya dibuat untuk ASCS

Nonaktifkan pemetaan ID (jika menggunakan NFSv4.1)

Petunjuk di bagian ini hanya berlaku, jika menggunakan volume Azure NetApp Files dengan protokol NFSv4.1. Lakukan konfigurasi di semua komputer virtual, tempat volume Azure NetApp Files NFSv4.1 akan dipasang.

  1. Verifikasi pengaturan domain NFS. Pastikan bahwa domain dikonfigurasi sebagai domain Azure NetApp Files default, yaitu defaultv4iddomain.com dan pemetaan disetel ke nobody.

    Penting

    Pastikan untuk menyetel domain NFS di /etc/idmapd.conf pada VM agar sesuai dengan konfigurasi domain default di Azure NetApp Files: defaultv4iddomain.com . Jika ada ketidakcocokan antara konfigurasi domain pada klien NFS (yaitu VM) dan server NFS, yaitu konfigurasi Azure NetApp, maka izin untuk file pada volume Azure NetApp yang dipasang pada VM akan ditampilkan sebagai nobody.

    
     sudo cat /etc/idmapd.conf
     # Example
     [General]
     Verbosity = 0
     Pipefs-Directory = /var/lib/nfs/rpc_pipefs
     Domain = defaultv4iddomain.com
     [Mapping]
     Nobody-User = nobody
     Nobody-Group = nobody
     
  2. [A] Verifikasi nfs4_disable_idmapping. Pengaturan harus diatur ke Y. Untuk membuat struktur direktori tempat nfs4_disable_idmapping berada, jalankan perintah pemasangan. Anda tidak akan dapat membuat direktori secara manual di bawah /sys/modules, karena akses dicadangkan untuk kernel/driver.

    
     # Check nfs4_disable_idmapping 
     cat /sys/module/nfs/parameters/nfs4_disable_idmapping
     # If you need to set nfs4_disable_idmapping to Y
     mkdir /mnt/tmp
     mount 10.1.0.4:/sapmnt/qas /mnt/tmp
     umount  /mnt/tmp
     echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
     # Make the configuration permanent
     echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
     

Menyiapkan (A)SCS

Dalam contoh ini, sumber daya disebarkan secara manual melalui portal Microsoft Azure.

Terapkan Azure Load Balancer secara manual melalui portal Microsoft Azure

Pertama, Anda perlu membuat volume Azure NetApp Files. Sebarkan VM. Setelah itu, Anda membuat load balancer dan menggunakan komputer virtual di kumpulan backend.

  1. Buat load balancer (internal, standar):
    1. Buat alamat IP frontend
      1. Alamat IP 10.1.1.20 untuk ASCS
        1. Buka penyeimbang muatan, pilih kumpulan IP frontend, lalu pilih Tambahkan
        2. Masukkan nama kumpulan IP frontend baru (misalnya frontend.QAS.ASCS)
        3. Set Penugasan ke Statik dan masukkan alamat IP (misalnya 10.1.1.20)
        4. Klik OK
      2. Alamat IP 10.1.1.21 untuk ASCS ERS
        • Ulangi langkah-langkah di atas di “a” untuk membuat alamat IP untuk ERS (misalnya 10.1.1.21 dan frontend.QAS.ERS)
    2. Buat kumpulan backend
      1. Buka load balancer, pilih kumpulan backend, lalu klik Tambahkan
      2. Masukkan nama kumpulan backend baru (misalnya backend.QAS)
      3. Klik Tambahkan komputer virtual.
      4. Pilih Komputer virtual
      5. Pilih komputer virtual kluster (A)SCS dan alamat IPnya.
      6. Klik Tambahkan
    3. Membuat pemeriksaan kesehatan
      1. Port 62000 untuk ASCS
        1. Buka load balancer, pilih pemeriksaan kesehatan, lalu klik Tambahkan
        2. Masukkan nama pemeriksaan kesehatan yang baru (misalnya, health.QAS.ASCS)
        3. Pilih TCP sebagai protokol, port 62000, pertahankan Interval 5 dan ambang Tidak Sehat 2
        4. Klik OK
      2. Port 62101 untuk ASCS ERS
        • Ulangi langkah-langkah di atas di “c” untuk membuat pemeriksaan kesehatan untuk ERS (misalnya 62101 dan health.QAS.ERS)
    4. Aturan penyeimbangan beban
      1. Buat kumpulan backend untuk ASCS
        1. Buka penyeimbang muatan, pilih aturan penyeimbang beban dan klik Tambahkan
        2. Masukkan nama aturan load balancer baru (misalnya, lb.QAS.ASCS)
        3. Pilih alamat IP frontend untuk ASCS, kumpulan backend, dan pemeriksaan kesehatan yang Anda buat sebelumnya (misalnya frontend.QAS.ASCS, backend.QAS dan health.QAS.ASCS)
        4. Pilih Port Ketersediaan Tinggi
        5. Pastikan untuk mengaktifkan Floating IP
        6. Klik OK
        • Ulangi langkah-langkah di atas untuk membuat aturan penyeimbangan beban untuk ERS (misalnya lb.QAS.ERS)
  2. Atau, hanya jika skenario Anda memerlukan penyeimbang beban dasar (internal), ikuti langkah-langkah konfigurasi berikut untuk membuat penyeimbang beban dasar:
    1. Buat alamat IP frontend

      1. Alamat IP 10.1.1.20 untuk ASCS
        1. Buka penyeimbang muatan, pilih kumpulan IP frontend, lalu pilih Tambahkan
        2. Masukkan nama kumpulan IP frontend baru (misalnya frontend.QAS.ASCS)
        3. Set Penugasan ke Statik dan masukkan alamat IP (misalnya 10.1.1.20)
        4. Klik OK
      2. Alamat IP 10.1.1.21 untuk ASCS ERS
        • Ulangi langkah-langkah di atas di “a” untuk membuat alamat IP untuk ERS (misalnya 10.1.1.21 dan frontend.QAS.ERS)
    2. Buat kumpulan backend

      1. Buka load balancer, pilih kumpulan backend, lalu klik Tambahkan
      2. Masukkan nama kumpulan backend baru (misalnya backend.QAS)
      3. Klik Tambahkan komputer virtual.
      4. Pilih Set Ketersediaan yang sebelumnya Anda buat untuk ASCS
      5. Pilih komputer virtual kluster (A)SCS
      6. Klik OK
    3. Membuat pemeriksaan kesehatan

      1. Port 62000 untuk ASCS
        1. Buka load balancer, pilih pemeriksaan kesehatan, lalu klik Tambahkan
        2. Masukkan nama pemeriksaan kesehatan yang baru (misalnya, health.QAS.ASCS)
        3. Pilih TCP sebagai protokol, port 62000, pertahankan Interval 5 dan ambang Tidak Sehat 2
        4. Klik OK
      2. Port 62101 untuk ASCS ERS
        • Ulangi langkah-langkah di atas di “c” untuk membuat pemeriksaan kesehatan untuk ERS (misalnya 62101 dan health.QAS.ERS)
    4. Aturan penyeimbangan beban

      1. 3200 TCP untuk ASCS
        1. Buka penyeimbang muatan, pilih aturan penyeimbang beban dan klik Tambahkan
        2. Masukkan nama aturan load balancer baru (misalnya, lb.QAS.ASCS.3200)
        3. Pilih alamat IP frontend untuk ASCS, kumpulan backend, dan pemeriksaan kesehatan yang Anda buat sebelumnya (misalnya, frontend.QAS.ASCS)
        4. Pertahankan protokol TCP, masukkan port 3200
        5. Tambahkan batas waktu diam menjadi 30 menit
        6. Pastikan untuk mengaktifkan Floating IP
        7. Klik OK
      2. Port tambahan untuk ASCS
        • Ulangi langkah-langkah di atas di “d” untuk port 3600, 3900, 8100, 50013, 50014, 50016 dan TCP untuk ASCS
      3. Port tambahan untuk ASCS ERS
        • Ulangi langkah-langkah di atas di "d" untuk port 3201, 3301, 50113, 50114, 50116 dan TCP untuk ASCS ERS

      Penting

      Floating IP tidak didukung pada konfigurasi IP sekunder NIC dalam skenario penyeimbangan beban. Untuk detailnya, lihat Azure Load balancer Batasan. Jika Anda memerlukan alamat IP tambahan untuk VM, sebarkan NIC kedua.

      Catatan

      Ketika VM tanpa alamat IP publik ditempatkan di kumpulan backend internal (tanpa alamat IP publik) Azure Load Balancer Standar, tidak akan ada konektivitas internet keluar kecuali dilakukan konfigurasi tambahan untuk memungkinkan perutean ke titik akhir publik. Untuk detail tentang cara mencapai konektivitas keluar lihat Publik titik akhir konektivitas untuk Virtual Machines menggunakan Azure Standard Load Balancer dalam SAP ketersediaan tinggi skenario.

      Penting

      Jangan aktifkan tanda waktu TCP pada komputer virtual Azure yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP akan menyebabkan pemeriksaan kesehatan gagal. Set parameter net.ipv4.tcp_timestamps ke 0. Untuk detailnya, lihat Pemeriksaan kesehatan Load Balancer.

Buat kluster Pacemaker

Ikuti langkah-langkah dalam Menyiapkan Pacemaker di SUSE Linux Enterprise Server di Azure untuk membuat kluster Pacemaker dasar untuk server (A)SCS ini.

Penginstalan

Item berikut diawali dengan [A] - berlaku untuk semua simpul, [1] - hanya berlaku untuk simpul 1 atau [2] - hanya berlaku untuk simpul 2.

  1. [A] Pasang konektor SUSE

    sudo zypper install sap-suse-cluster-connector
    

    Catatan

    Masalah yang diketahui dengan menggunakan tanda hubung dalam nama host ditetapkan denganversi 3.1.1 dari paket sap-suse-cluster-connector. Pastikan Anda menggunakan setidaknya versi 3.1.1 dari paket sap-suse-cluster-connector, jika menggunakan simpul kluster dengan tanda hubung dalam nama host. Jika tidak, kluster Anda tidak akan berfungsi.

    Pastikan Anda memasang versi baru konektor kluster SAP SUSE. Yang lama disebut sap_suse_cluster_connector dan yang baru disebut sap-suse-cluster-connector.

    sudo zypper info sap-suse-cluster-connector
    
     # Information for package sap-suse-cluster-connector:
     # ---------------------------------------------------
     # Repository     : SLE-12-SP3-SAP-Updates
     # Name           : sap-suse-cluster-connector
     # Version        : 3.1.0-8.1
     # Arch           : noarch
     # Vendor         : SUSE LLC <https://www.suse.com/>
     # Support Level  : Level 3
     # Installed Size : 45.6 KiB
     # Installed      : Yes
     # Status         : up-to-date
     # Source package : sap-suse-cluster-connector-3.1.0-8.1.src
     # Summary        : SUSE High Availability Setup for SAP Products
    
  2. [A] Perbarui agen sumber daya SAP

    Patch untuk paket agen sumber daya diperlukan untuk menggunakan konfigurasi baru, sebagaimana dijelaskan dalam artikel ini. Anda dapat memeriksa, apakah patch sudah dipasang dengan perintah berikut

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
    

    Output harus sama dengan

    <parameter name="IS_ERS" unique="0" required="0">
    

    Jika perintah grep tidak menemukan parameter IS_ERS, Anda perlu memasang patch yang tercantum di halaman unduhan SUSE

    # example for patch for SLES 12 SP1
    sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1
    # example for patch for SLES 12 SP2
    sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1
    
  3. [A] Penyiapan resolusi nama host

    Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua simpul. Contoh ini menunjukkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut

    sudo vi /etc/hosts
    

    Sisipkan baris berikut ke /etc/hosts. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda

    
    # IP address of cluster node 1
    10.1.1.18    anftstsapcl1
    # IP address of cluster node 2
    10.1.1.6     anftstsapcl2
    # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
    10.1.1.20    anftstsapvh
    # IP address of the load balancer frontend configuration for SAP Netweaver ERS
    10.1.1.21    anftstsapers
    
  4. [1] Buat direktori SAP dalam volume Azure NetApp Files.
    Pasang sementara volume Azure NetApp Files pada salah satu VM dan buat direktori SAP (jalur file).

     # mount temporarily the volume
     sudo mkdir -p /saptmp
     # If using NFSv3
     sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=3,tcp 10.1.0.4:/sapQAS /saptmp
     # If using NFSv4.1
     sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys,tcp 10.1.0.4:/sapQAS /saptmp
     # create the SAP directories
     sudo cd /saptmp
     sudo mkdir -p sapmntQAS
     sudo mkdir -p usrsapQASascs
     sudo mkdir -p usrsapQASers
     sudo mkdir -p usrsapQASsys
     sudo mkdir -p usrsapQASpas
     sudo mkdir -p usrsapQASaas
     # unmount the volume and delete the temporary directory
     sudo cd ..
     sudo umount /saptmp
     sudo rmdir /saptmp
    

Persiapkan Penginstalan SAP NetWeaver

  1. [A] Buat direktori bersama

    sudo mkdir -p /sapmnt/QAS
    sudo mkdir -p /usr/sap/trans
    sudo mkdir -p /usr/sap/QAS/SYS
    sudo mkdir -p /usr/sap/QAS/ASCS00
    sudo mkdir -p /usr/sap/QAS/ERS01
    
    sudo chattr +i /sapmnt/QAS
    sudo chattr +i /usr/sap/trans
    sudo chattr +i /usr/sap/QAS/SYS
    sudo chattr +i /usr/sap/QAS/ASCS00
    sudo chattr +i /usr/sap/QAS/ERS01
    
  2. [A] Konfigurasi autofs

    
    sudo vi /etc/auto.master
    # Add the following line to the file, save and exit
    /- /etc/auto.direct
    

    Jika menggunakan NFSv3, buat file dengan:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
    /usr/sap/QAS/SYS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASsys
    

    Jika menggunakan NFSv4.1, buat file dengan:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
    /usr/sap/QAS/SYS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASsys
    

    Catatan

    Pastikan untuk mencocokkan versi protokol NFS dari volume Azure NetApp Files, saat memasang volume. Jika volume Azure NetApp Files dibuat sebagai volume NFSv3, gunakan konfigurasi NFSv3 terkait. Jika volume Azure NetApp Files dibuat sebagai volume NFSv4.1, ikuti petunjuk untuk menonaktifkan pemetaan ID dan pastikan untuk menggunakan konfigurasi NFSv4.1 yang sesuai. Dalam contoh ini volume Azure NetApp Files dibuat sebagai volume NFSv3.

    Mulai ulang autofsuntuk memasang yang baru

    
       sudo systemctl enable autofs
       sudo service autofs restart
      
  3. [A] Konfigurasikan file SWAP

    sudo vi /etc/waagent.conf
    
    # Check if property ResourceDisk.Format is already set to y and if not, set it
    ResourceDisk.Format=y
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    Mulai ulang Agen untuk mengaktifkan perubahan

    sudo service waagent restart
    

Memasang SAP NetWeaver ASCS/ERS

  1. [1] Buat sumber daya IP virtual dan pemeriksaan kesehatan untuk instans ASCS

    Penting

    Pengujian terbaru mengungkapkan situasi di mana netcat berhenti merespons permintaan karena backlog dan keterbatasannya dalam menangani satu koneksi saja. Sumber daya netcat berhenti mendengarkan permintaan Azure Load Balancer dan IP floating menjadi tidak tersedia.
    Untuk kluster Pacemaker yang ada, kami pernah menyarankan untuk mengganti netcat dengan socat. Saat ini kami menyarankan untuk menggunakan agen sumber daya azure-lb yang merupakan bagian dari agen sumber daya paket dengan persyaratan versi paket berikut:

    • Untuk SLES 12 SP4/SP5, versi setidaknya harus resource-agents-4.3.018.a7fb5035-3.30.1.
    • Untuk SLES 15/15 SP1, versi setidaknya harus resource-agents-4.3.0184.6ee15eb2-4.13.1.

    Perhatikan bahwa perubahan akan memerlukan waktu henti singkat.
    Untuk kluster Pacemaker yang ada, jika konfigurasi sudah diubah untuk menggunakan socat seperti yang dijelaskan di Azure Load-Balancer Deteksi Pengerasan, tidak ada persyaratan untuk segera beralih ke agen sumber daya azure-lb.

    sudo crm node standby anftstsapcl2
    # If using NFSv3
    sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    # If using NFSv4.1
    sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' options='sec=sys,vers=4.1' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=105s
    
    sudo crm configure primitive vip_QAS_ASCS IPaddr2 \
      params ip=10.1.1.20 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_QAS_ASCS azure-lb port=62000
    
    sudo crm configure group g-QAS_ASCS fs_QAS_ASCS nc_QAS_ASCS vip_QAS_ASCS \
       meta resource-stickiness=3000
    

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak masalah di simpul mana sumber daya berjalan.

    sudo crm_mon -r
    
    # Node anftstsapcl2: standby
    # Online: [ anftstsapcl1 ]
    # 
    # Full list of resources:
    #
    # Resource Group: g-QAS_ASCS
    #     fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
    #     nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
    #     vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
    # stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
    
  2. [1] Pasang SAP NetWeaver ASCS

    Pasang SAP NetWeaver ASCS sebagai akar pada node pertama menggunakan nama host virtual yang memetakan ke alamat IP dari konfigurasi frontend load balancer untuk ASCS, misalnya anftstsapvh, 10.1.1.20 dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer, misalnya 00.

    Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Jika penginstalan gagal membuat subfolder di /usr/sap/QAS/ASCS00, coba atur pemilik dan grup folder ASCS00 lalu coba lagi.

    
    chown qasadm /usr/sap/QAS/ASCS00
    chgrp sapsys /usr/sap/QAS/ASCS00
    
  3. [1] Buat sumber daya IP virtual dan pemeriksaan kesehatan untuk instans ERS

    
    sudo crm node online anftstsapcl2
    sudo crm node standby anftstsapcl1
    # If using NFSv3
    sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    # If using NFSv4.1
    sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' options='sec=sys,vers=4.1' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=105s
    
    sudo crm configure primitive vip_QAS_ERS IPaddr2 \
      params ip=10.1.1.21 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_QAS_ERS azure-lb port=62101
    
    sudo crm configure group g-QAS_ERS fs_QAS_ERS nc_QAS_ERS vip_QAS_ERS
    

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak masalah di simpul mana sumber daya berjalan.

    sudo crm_mon -r
    
    # Node anftstsapcl1: standby
    # Online: [ anftstsapcl2 ]
    # 
    # Full list of resources:
    #
    # stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
    #  Resource Group: g-QAS_ASCS
    #      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
    #      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
    #      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
    #  Resource Group: g-QAS_ERS
    #      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
    #      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
    #      vip_QAS_ERS  (ocf::heartbeat:IPaddr2):     Started anftstsapcl2
    
  4. [2] Pasang SAP NetWeaver ERS

    Pasang SAP NetWeaver ERS sebagai akar pada node pertama menggunakan nama host virtual yang memetakan ke alamat IP dari konfigurasi frontend load balancer untuk ERS, misalnya anftstsapers, 10.1.1.21 dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer, misalnya 01.

    Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    Catatan

    Gunakan SWPM SP 20 PL 05 atau lebih tinggi. Versi yang lebih rendah tidak mengatur izin dengan benar dan penginstalan akan gagal.

    Jika penginstalan gagal membuat subfolder di /usr/sap/QAS/ERS01, coba atur pemilik dan grup folder ERS01 lalu coba lagi.

    
    chown qasadm /usr/sap/QAS/ERS01
    chgrp sapsys /usr/sap/QAS/ERS01
    
  5. [1] Sesuaikan profil instans ASCS/SCS dan ERS

    • Profil ASCS/SCS
    
    sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh
    
    # Change the restart command to a start command
    #Restart_Program_01 = local $(_EN) pf=$(_PF)
    Start_Program_01 = local $(_EN) pf=$(_PF)
    
    # Add the following lines
    service/halib = $(DIR_CT_RUN)/saphascriptco.so
    service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
    
    # Add the keep alive parameter, if using ENSA1
    enque/encni/set_so_keepalive = true
    

    Untuk ENSA1 dan ENSA2, pastikan keepalive OS parameter diatur seperti yang dijelaskan dalam catatan SAP 1410736.

    • Profil ERS
    
    sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers
    
    # Change the restart command to a start command
    #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
    Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
    
    # Add the following lines
    service/halib = $(DIR_CT_RUN)/saphascriptco.so
    service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
    
    # remove Autostart from ERS profile
    # Autostart = 1
    
  6. [A] Konfigurasikan Tetap Aktif

    Komunikasi antara server aplikasi SAP NetWeaver dan ASCS / SCS dirutekan melalui load balancer perangkat lunak. Penyeimbang beban memutuskan koneksi tidak aktif setelah waktu habis yang dapat dikonfigurasi. Untuk mencegah hal ini, Anda perlu mengatur parameter di profil SAP NetWeaver ASCS/SCS, jika menggunakan ENSA1, dan mengubah pengaturan sistem Linux keepalive di semua server SAP untuk ENSA1/ENSA2. Baca Catatan SAP 1410736 untuk informasi lebih lanjut.

    
    # Change the Linux system configuration
    sudo sysctl net.ipv4.tcp_keepalive_time=300
    
  7. [A] Konfigurasikan pengguna SAP setelah penginstalan

    
    # Add sidadm to the haclient group
    sudo usermod -aG haclient qasadm
    
  8. [1] Tambahkan layanan ASCS dan ERS SAP ke file sapservice

    Tambahkan entri layanan ASCS ke simpul kedua dan salin entri layanan ERS ke simpul pertama.

    
    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh anftstsapcl2 "cat >>/usr/sap/sapservices"
    sudo ssh anftstsapcl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
    
  9. [1] Buat sumber daya kluster SAP

Jika menggunakan arsitektur server antrean 1 (ENSA1), tentukan sumber daya sebagai berikut:

sudo crm configure property maintenance-mode="true"
   # If using NFSv3
   sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

   # If using NFSv4.1
   sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=105 migration-threshold=1 priority=10

   # If using NFSv3   
   sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000

   # If using NFSv4.1
   sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000

   sudo crm configure modgroup g-QAS_ASCS add rsc_sap_QAS_ASCS00
   sudo crm configure modgroup g-QAS_ERS add rsc_sap_QAS_ERS01
   
   sudo crm configure colocation col_sap_QAS_no_both -5000: g-QAS_ERS g-QAS_ASCS
   sudo crm configure location loc_sap_QAS_failover_to_ers rsc_sap_QAS_ASCS00 rule 2000: runs_ers_QAS eq 1
   sudo crm configure order ord_sap_QAS_first_start_ascs Optional: rsc_sap_QAS_ASCS00:start rsc_sap_QAS_ERS01:stop symmetrical=false
   
   sudo crm node online anftstsapcl1
   sudo crm configure property maintenance-mode="false"
   

SAP memperkenalkan dukungan untuk enqueue server 2, termasuk replikasi, pada SAP NW 7.52. Dimulai dengan ABAP Platform 1809, antrian server 2 dipasang secara default. Lihat SAP note 2630416 untuk dukungan enqueue server 2. Jika menggunakan arsitektur antrian server 2 (ENSA2), tentukan sumber daya sebagai berikut:

sudo crm configure property maintenance-mode="true"
   
   # If using NFSv3
   sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000
   
   # If using NFSv4.1
   sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000
   
   # If using NFSv3
   sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true
   
   # If using NFSv4.1
   sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true
   
   sudo crm configure modgroup g-QAS_ASCS add rsc_sap_QAS_ASCS00
   sudo crm configure modgroup g-QAS_ERS add rsc_sap_QAS_ERS01
   
   sudo crm configure colocation col_sap_QAS_no_both -5000: g-QAS_ERS g-QAS_ASCS
   sudo crm configure order ord_sap_QAS_first_start_ascs Optional: rsc_sap_QAS_ASCS00:start rsc_sap_QAS_ERS01:stop symmetrical=false
   
   sudo crm node online anftstsapcl1
   sudo crm configure property maintenance-mode="false"
   

Jika Anda memutakhirkan dari versi yang lebih lama dan beralih ke enqueue server 2, lihat SAP note 2641019.

Catatan

Batas waktu yang lebih tinggi, yang disarankan saat menggunakan NFSv4.1 diperlukan karena jeda khusus protokol, terkait dengan perpanjangan sewa NFSv4.1. Untuk informasi selengkapnya, lihat NFS dalam Praktik terbaik NetApp.
Batas waktu di konfigurasi atas mungkin perlu disesuaikan dengan penyiapan SAP tertentu.

Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak masalah di simpul mana sumber daya berjalan.

sudo crm_mon -r
   # Full list of resources:
   #
   # stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
   #  Resource Group: g-QAS_ASCS
   #      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
   #      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
   #      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
   #      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
   #  Resource Group: g-QAS_ERS
   #      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
   #      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
   #      vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
   #      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
   

Persiapan server aplikasi SAP NetWeaver

Beberapa database mengharuskan penginstalan instans database dijalankan pada server aplikasi. Siapkan komputer virtual server aplikasi agar dapat digunakan dalam kasus ini.

Langkah-langkah di bawah ini mengasumsikan bahwa Anda memasang server aplikasi di server yang berbeda dari server ASCS/SCS dan HANA. Jika tidak, beberapa langkah di bawah ini (seperti mengonfigurasi resolusi nama host) tidak diperlukan.

Item berikut diawali dengan [A] - berlaku untuk PAS dan AAS, [P] - hanya berlaku untuk PAS atau [S] - hanya berlaku untuk AAS.

  1. [A] Konfigurasikan sistem operasi

    Kurangi ukuran cache kotor. Untuk informasi selengkapnya, lihat Performa tulis rendah di server SLES 11/12 dengan RAM besar.

    
    sudo vi /etc/sysctl.conf
    # Change/set the following settings
    vm.dirty_bytes = 629145600
    vm.dirty_background_bytes = 314572800
    
  2. [A] Penyiapan resolusi nama host

    Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua simpul. Contoh ini menunjukkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut

    sudo vi /etc/hosts
    

    Sisipkan baris berikut ke /etc/hosts. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda

    
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
    10.1.1.20 anftstsapvh
    # IP address of the load balancer frontend configuration for SAP NetWeaver ERS
    10.1.1.21 anftstsapers
    # IP address of all application servers
    10.1.1.15 anftstsapa01
    10.1.1.16 anftstsapa02
    
  3. [A] Buat direktori sapmnt

    
    sudo mkdir -p /sapmnt/QAS
    sudo mkdir -p /usr/sap/trans
    
    sudo chattr +i /sapmnt/QAS
    sudo chattr +i /usr/sap/trans
    
  4. [P] Buat direktori PAS

    
    sudo mkdir -p /usr/sap/QAS/D02
    sudo chattr +i /usr/sap/QAS/D02
    
  5. [S] Buat direktori AAS

    
    sudo mkdir -p /usr/sap/QAS/D03
    sudo chattr +i /usr/sap/QAS/D03
    
  6. [P] Konfigurasikan autofs pada PAS

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    /- /etc/auto.direct
    

    Jika menggunakan NFSv3, buat file dengan:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
    /usr/sap/QAS/D02 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASpas
    

    Jika menggunakan NFSv4.1, buat file dengan:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
    /usr/sap/QAS/D02 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASpas
    

    Mulai ulang autofsuntuk memasang yang baru

    
    sudo systemctl enable autofs
    sudo service autofs restart
    
  7. [P] Konfigurasikan autofs pada PAS

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    /- /etc/auto.direct
    

    Jika menggunakan NFSv3, buat file dengan:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
    /usr/sap/QAS/D03 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASaas
    

    Jika menggunakan NFSv4.1, buat file dengan:

    
    sudo vi /etc/auto.direct
    # Add the following lines to the file, save and exit
    /sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
    /usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
    /usr/sap/QAS/D03 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASaas
    

    Mulai ulang autofsuntuk memasang yang baru

    
    sudo systemctl enable autofs
    sudo service autofs restart
    
  8. [A] Konfigurasikan file SWAP

    
    sudo vi /etc/waagent.conf
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    Hidupkan ulang Agen untuk mengaktifkan perubahan

    sudo service waagent restart
    

Memasang database

Dalam contoh ini, SAP NetWeaver dipasang pada SAP Hana. Anda dapat menggunakan setiap database yang didukung untuk penginstalan ini. Untuk informasi selengkapnya tentang cara memasang SAP Hana di Azure, lihat Ketersediaan Tinggi SAP Hana di Azure Virtual Machines (VM). Untuk daftar database yang didukung, lihat Catatan SAP 1928533.

  • Jalankan pemasangan instans database SAP

    Pasang instans database SAP NetWeaver sebagai akar menggunakan nama host virtual yang memetakan ke alamat IP dari konfigurasi frontend load balancer untuk database.

    Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk mengizinkan pengguna non-akar agar terhubung ke sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
    

Pemasangan server aplikasi SAP NetWeaver

Ikuti langkah-langkah ini untuk memasang server aplikasi SAP.

  1. [A] Siapkan server aplikasi Ikuti langkah-langkah dalam bab SAP NetWeaver persiapan server aplikasi di atas untuk menyiapkan server aplikasi.

  2. [A] Pasang server aplikasi SAP NetWeaver Pasang server aplikasi SAP NetWeaver utama atau tambahan.

    Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
    
  3. [A] Perbarui toko aman SAP HANA

    Perbarui penyimpanan aman SAP Hana agar menunjuk ke nama virtual penyiapan SAP Hana System Replication.

    Jalankan perintah berikut ini untuk mencantumkan entri

    
    hdbuserstore List
    

    Perintah ini harus mencantumkan semua entri dan harus terlihat mirip dengan

    
    DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
    KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY
    
    KEY DEFAULT
      ENV : 10.1.1.5:30313
      USER: SAPABAP1
      DATABASE: QAS
    

    Output menunjukkan bahwa alamat IP entri default menunjuk ke komputer virtual dan bukan ke alamat IP load balancer. Entri ini perlu diubah agar menunjuk ke nama host virtual load balancer. Pastikan untuk menggunakan port yang sama (30313 dalam output di atas) dan nama database (QAS dalam output di atas)!

    
    su - qasadm
    hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>
    

Uji penyiapan kluster

Pengujian berikut adalah salinan kasus pengujian dalam panduan praktik terbaik SUSE. Mereka disalin untuk kenyamanan Anda. Baca selalu panduan praktik terbaik dan lakukan semua uji tambahan yang mungkin telah ditambahkan.

  1. Uji HAGetFailoverConfig, HACheckConfig dan HACheckFailoverConfig

    Jalankan perintah berikut sebagai <sapsid>adm pada node tempat instans ASCS sedang berjalan. Jika perintah gagal dengan FAIL: Memori tidak mencukupi, itu mungkin disebabkan oleh tanda hubung di nama host Anda. Ini adalah masalah yang diketahui dan akan ditetapkan oleh SUSE dalam sap-suse-cluster-connector package.

    
    anftstsapcl1:qasadm 52> sapcontrol -nr 00 -function HAGetFailoverConfig
    07.03.2019 20:08:59
    HAGetFailoverConfig
    OK
    HAActive: TRUE
    HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP3
    HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP3 (sap_suse_cluster_connector 3.1.0)
    HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
    HAActiveNode: anftstsapcl1
    HANodes: anftstsapcl1, anftstsapcl2
    
    anftstsapcl1:qasadm 54> sapcontrol -nr 00 -function HACheckConfig
    07.03.2019 23:28:29
    HACheckConfig
    OK
    state, category, description, comment
    SUCCESS, SAP CONFIGURATION, Redundant ABAP instance configuration, 2 ABAP instances detected
    SUCCESS, SAP CONFIGURATION, Redundant Java instance configuration, 0 Java instances detected
    SUCCESS, SAP CONFIGURATION, Enqueue separation, All Enqueue server separated from application server
    SUCCESS, SAP CONFIGURATION, MessageServer separation, All MessageServer separated from application server
    SUCCESS, SAP CONFIGURATION, ABAP instances on multiple hosts, ABAP instances on multiple hosts detected
    SUCCESS, SAP CONFIGURATION, Redundant ABAP SPOOL service configuration, 2 ABAP instances with SPOOL service detected
    SUCCESS, SAP STATE, Redundant ABAP SPOOL service state, 2 ABAP instances with active SPOOL service detected
    SUCCESS, SAP STATE, ABAP instances with ABAP SPOOL service on multiple hosts, ABAP instances with active ABAP SPOOL service on multiple hosts detected
    SUCCESS, SAP CONFIGURATION, Redundant ABAP BATCH service configuration, 2 ABAP instances with BATCH service detected
    SUCCESS, SAP STATE, Redundant ABAP BATCH service state, 2 ABAP instances with active BATCH service detected
    SUCCESS, SAP STATE, ABAP instances with ABAP BATCH service on multiple hosts, ABAP instances with active ABAP BATCH service on multiple hosts detected
    SUCCESS, SAP CONFIGURATION, Redundant ABAP DIALOG service configuration, 2 ABAP instances with DIALOG service detected
    SUCCESS, SAP STATE, Redundant ABAP DIALOG service state, 2 ABAP instances with active DIALOG service detected
    SUCCESS, SAP STATE, ABAP instances with ABAP DIALOG service on multiple hosts, ABAP instances with active ABAP DIALOG service on multiple hosts detected
    SUCCESS, SAP CONFIGURATION, Redundant ABAP UPDATE service configuration, 2 ABAP instances with UPDATE service detected
    SUCCESS, SAP STATE, Redundant ABAP UPDATE service state, 2 ABAP instances with active UPDATE service detected
    SUCCESS, SAP STATE, ABAP instances with ABAP UPDATE service on multiple hosts, ABAP instances with active ABAP UPDATE service on multiple hosts detected
    SUCCESS, SAP STATE, SCS instance running, SCS instance status ok
    SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (anftstsapvh_QAS_00), SAPInstance includes is-ers patch
    SUCCESS, SAP CONFIGURATION, Enqueue replication (anftstsapvh_QAS_00), Enqueue replication enabled
    SUCCESS, SAP STATE, Enqueue replication state (anftstsapvh_QAS_00), Enqueue replication active
    
    anftstsapcl1:qasadm 55> sapcontrol -nr 00 -function HACheckFailoverConfig
    07.03.2019 23:30:48
    HACheckFailoverConfig
    OK
    state, category, description, comment
    SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
    
  2. Migrasikan instans ASCS secara manual

    Status sumber daya sebelum memulai pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rscsap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Starting anftstsapcl1
    

    Jalankan perintah berikut sebagai akar untuk memigrasikan instans ASCS.

    
    anftstsapcl1:~ # crm resource migrate rsc_sap_QAS_ASCS00 force
    INFO: Move constraint created for rsc_sap_QAS_ASCS00
    
    anftstsapcl1:~ # crm resource unmigrate rsc_sap_QAS_ASCS00
    INFO: Removed migration constraints for rsc_sap_QAS_ASCS00
    
    # Remove failed actions for the ERS that occurred as part of the migration
    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Status sumber daya setelah pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    
  3. Uji HAFailoverToNode

    Status sumber daya sebelum memulai pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    

    Jalankan perintah berikut sebagai <sapsid>adm untuk memigrasikan instans ASCS.

    
    anftstsapcl1:qasadm 53> sapcontrol -nr 00 -host anftstsapvh -user qasadm <password> -function HAFailoverToNode ""
    
    # run as root
    # Remove failed actions for the ERS that occurred as part of the migration
    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ERS01
    # Remove migration constraints
    anftstsapcl1:~ # crm resource clear rsc_sap_QAS_ASCS00
    #INFO: Removed migration constraints for rsc_sap_QAS_ASCS00
    

    Status sumber daya setelah pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
  4. Simulasikan simpul crash

    Status sumber daya sebelum memulai pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Jalankan perintah berikut sebagai root pada simpul, di mana setidaknya satu instans ASCS sedang berjalan

    anftstsapcl2:~ # echo b > /proc/sysrq-trigger
    

    Jika Anda menggunakan SBD, Pacemaker tidak boleh secara otomatis mulai pada simpul yang terbunuh. Status setelah simpul dimulai lagi harus terlihat seperti ini.

    Online:
    Online: [ anftstsapcl1 ]
    OFFLINE: [ anftstsapcl2 ]
    
    Full list of resources:
    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
    Failed Actions:
    * rsc_sap_QAS_ERS01_monitor_11000 on anftstsapcl1 'not running' (7): call=166, status=complete, exitreason='',
     last-rc-change='Fri Mar  8 18:26:10 2019', queued=0ms, exec=0ms
    

    Gunakan perintah berikut untuk memulai Pacemaker pada simpul yang terbunuh, bersihkan pesan SBD dan bersihkan sumber daya yang gagal.

    
    # run as root
    # list the SBD device(s)
    anftstsapcl2:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
    # SBD_DEVICE="/dev/disk/by-id/scsi-36001405b730e31e7d5a4516a2a697dcf;/dev/disk/by-id/scsi-36001405f69d7ed91ef54461a442c676e;/dev/disk/by-id/scsi-360014058e5f335f2567488882f3a2c3a"
    
    anftstsapcl2:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e11 -d /dev/disk/by-id/scsi-36001405f69d7ed91ef54461a442c676e -d /dev/disk/by-id/scsi-360014058e5f335f2567488882f3a2c3a message anftstsapcl2 clear
    
    anftstsapcl2:~ # systemctl start pacemaker
    anftstsapcl2:~ # crm resource cleanup rsc_sap_QAS_ASCS00
    anftstsapcl2:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Status sumber daya setelah pengujian:

    
    Full list of resources:
    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    
  5. Uji hidupkan ulang instans ASCS secara manual

    Status sumber daya sebelum memulai pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Buat kunci antrian dengan, misalnya edit pengguna dalam transaksi su01. Jalankan perintah berikut sebagai <sapsid>adm pada node tempat instans ASCS sedang berjalan. Perintah akan menghentikan instans ASCS dan memulainya lagi. Jika menggunakan arsitektur antrian server 1, kunci antrian diperkirakan akan hilang dalam pengujian ini. Jika menggunakan arsitektur antrian server 2, antrian akan dipertahankan.

    anftstsapcl2:qasadm 51> sapcontrol -nr 00 -function StopWait 600 2
    

    Instans ASCS sekarang harus dinonaktifkan di Pacemaker

      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Stopped (disabled)
    

    Hidupkan instans ASCS lagi pada simpul yang sama.

    anftstsapcl2:qasadm 52> sapcontrol -nr 00 -function StartWait 600 2
    

    Kunci enqueue transaksi su01 harus hilang, jika menggunakan enqueue server replikasi 1 arsitektur dan back-end harus telah diatur ulang. Status sumber daya setelah pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
  6. Menghentikan proses server pesan

    Status sumber daya sebelum memulai pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Jalankan perintah berikut sebagai akar untuk mengidentifikasi proses server pesan dan menghentikannya.

    anftstsapcl2:~ # pgrep ms.sapQAS | xargs kill -9
    

    Jika Anda menghentikan server pesan hanya sekali, server pesan akan dimulai ulang oleh sapstart. Jika Anda cukup sering menghentikannya, Pacemaker akhirnya akan memindahkan instans ASCS ke simpul lain. Jalankan perintah berikut sebagai akar untuk membersihkan status sumber daya instans ASCS dan ERS setelah pengujian.

    
    anftstsapcl2:~ # crm resource cleanup rsc_sap_QAS_ASCS00
    anftstsapcl2:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Status sumber daya setelah pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    
  7. Menghentikan proses server antrean

    Status sumber daya sebelum memulai pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    

    Jalankan perintah berikut sebagai akar pada simpul ketika terdapat instans ASCS yang sedang berjalan untuk menghentikan server antrean.

    
    #If using ENSA1
    anftstsapcl1:~ # pgrep en.sapQAS | xargs kill -9
    #If using ENSA2
    anftstsapcl1:~ # pgrep -f enq.sapQAS | xargs kill -9
    

    Instance ASCS harus segera dialihkan ke simpul lain, untuk kasus ENSA1. Instans ERS juga harus di-failover setelah instans ASCS dimulai. Jalankan perintah berikut sebagai akar untuk membersihkan status sumber daya instans ASCS dan ERS setelah pengujian.

    
    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ASCS00
    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Status sumber daya setelah pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
  8. Menghentikan proses server replikasi antrean

    Status sumber daya sebelum memulai pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Jalankan perintah berikut sebagai akar pada simpul ketika terdapat instans ERS yang sedang berjalan untuk menghentikan proses server replikasi antrean.

    anftstsapcl1:~ # pgrep er.sapQAS | xargs kill -9
    

    Jika Anda menjalankan perintah hanya sekali, sapstart akan menghidupkan ulang prosesnya. Jika Anda menjalankannya cukup sering, sapstart tidak akan menghidupkan ulang proses dan sumber daya akan berada dalam keadaan berhenti. Jalankan perintah berikut sebagai akar untuk membersihkan status sumber daya instans ERS setelah pengujian.

    anftstsapcl1:~ # crm resource cleanup rsc_sap_QAS_ERS01
    

    Status sumber daya setelah pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    
  9. Menghentikan proses sapstartsrv antrean

    Status sumber daya sebelum memulai pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

    Jalankan perintah berikut sebagai akar pada simpul, di mana setidaknya satu instans ASCS sedang berjalan.

    
    anftstsapcl2:~ # pgrep -fl ASCS00.*sapstartsrv
    #67625 sapstartsrv
    
    anftstsapcl2:~ # kill -9 67625
    

    Proses sapstartsrv harus selalu dimulai ulang oleh agen sumber daya Pacemaker. Status sumber daya setelah pengujian:

    
     Resource Group: g-QAS_ASCS
         fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
         nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
         vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
         rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
    stonith-sbd     (stonith:external/sbd): Started anftstsapcl1
     Resource Group: g-QAS_ERS
         fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl1
         nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl1
         vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
         rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
    

Langkah berikutnya