Ketersediaan tinggi untuk SAP NetWeaver pada Azure VM di SUSE Linux Enterprise Server dengan Azure NetApp Files untuk aplikasi SAP

  • Artikel

Artikel ini menjelaskan cara mengonfigurasi ketersediaan tinggi untuk aplikasi SAP NetWeaver dengan Azure NetApp Files.

Untuk implementasi baru pada SLES untuk Aplikasi SAP 15, sebaiknya sebarkan ketersediaan tinggi untuk SAP ASCS/ERS dalam konfigurasi pemasangan sederhana. Konfigurasi Pacemaker klasik, berdasarkan sistem file yang dikontrol kluster untuk direktori layanan pusat SAP, yang dijelaskan dalam artikel ini masih didukung.

Dalam contoh konfigurasi, perintah penginstalan dll. Instans ASCS adalah nomor 00, instans ERS adalah nomor 01, instans Aplikasi Utama (PAS) adalah 02 dan instans Aplikasi (AAS) adalah 03. SAP System ID QAS digunakan. Lapisan database tidak dibahas secara detail dalam artikel ini.

Baca makalah dan Catatan SAP berikut terlebih dahulu:

Gambaran Umum

Ketersediaan tinggi (HA) untuk SAP Netweaver central services memerlukan penyimpanan bersama. Untuk mencapainya di SUSE Linux sejauh ini perlu untuk membangun kluster NFS yang sangat tersedia terpisah.

Sekarang dimungkinkan untuk mencapai SAP Netweaver HA dengan menggunakan penyimpanan bersama, yang disebarkan di Azure NetApp Files. Mengunakan Azure NetApp Files untuk penyimpanan bersama akan menghilangkan kebutuhan untuk klaster NFS tambahan. Pacemaker masih diperlukan untuk Ketersediaan Tinggi dari layanan pusat SAP Netweaver(ASCS/SCS).

SAP NetWeaver High Availability overview

Database SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS, dan SAP Hana menggunakan nama host virtual dan alamat IP virtual. Pada Azure, penyeimbang muatan diperlukan untuk menggunakan alamat IP virtual. Kami sarankan untuk menggunakan Load balancer standar. Konfigurasi yang disajikan menunjukkan penyeimbang beban dengan:

  • Alamat IP frontend 10.1.1.20 untuk ASCS
  • Alamat IP frontend 10.1.1.21 untuk ERS
  • Menyelidiki port 62000 untuk ASCS
  • Menyelidiki port 62101 untuk ERS

Menyiapkan infrastruktur Azure NetApp Files

SAP NetWeaver memerlukan penyimpanan berbagi untuk transportasi dan direktori profil. Sebelum Anda melanjutkan penyiapan untuk infrastruktur Azure NetApp Files, biasakan diri Anda dengan dokumentasi Azure NetApp Files. Periksa apakah wilayah Azure yang Anda pilih menawarkan Azure NetApp Files. Tautan berikut menampilkan ketersediaan Azure NetApp Files menurut wilayah Azure: Ketersediaan Azure NetApp Files menurut Wilayah Azure.

Azure NetApp Files tersedia di beberapa wilayah Azure.

Sebarkan sumber daya Azure NetApp Files

Langkah-langkah tersebut mengasumsikan bahwa Anda telah menyebarkan Azure Virtual Network. Sumber daya dan komputer virtual Azure NetApp Files, saat sumber daya Azure NetApp Files akan dipasang harus disebarkan dalam Azure Virtual Network yang sama atau di Azure Virtual Network yang di-peering.

  1. Buat akun NetApp di wilayah Azure yang dipilih, mengikuti petunjuk untuk membuat Akun NetApp.
  2. Siapkan kumpulan kapasitas Azure NetApp Files, mengikuti petunjuk tentang cara menyiapkan kumpulan kapasitas Azure NetApp Files.
    Arsitektur SAP Netweaver yang disajikan dalam artikel ini menggunakan kumpulan kapasitas Azure NetApp Files tunggal, SKU Premium. Kami merekomendasikan SKU Premium Azure NetApp Files untuk beban kerja aplikasi SAP Netweaver di Azure.
  3. Delegasikan subnet ke Azure NetApp Files, seperti yang dijelaskan dalam petunjuk Mendelegasikan subnet ke Azure NetApp Files.
  4. Sebarkan volume Azure NetApp Files, mengikuti petunjuk untuk membuat volume NFS untuk Azure NetApp Files. Sebarkan volume di subnet Azure NetApp Files yang ditunjuk. Alamat IP volume Azure NetApp ditetapkan secara otomatis. Perlu diingat bahwa sumber daya Azure NetApp Files dan komputer virtual Azure harus berada di Azure Virtual Network yang sama atau di Azure Virtual Network yang di-peering. Dalam contoh ini kita menggunakan dua volume Azure NetApp Files: sapQAS dan trans. Jalur file yang dipasang ke titik kait yang sesuai adalah /usrsapqas/sapmntQAS, /usrsapqas/usrsapQASsys, dll.
    1. volume sapQAS (nfs://10.1.0.4/usrsapqas/sapmntQAS)
    2. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASascs)
    3. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASsys)
    4. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASers)
    5. volume trans (nfs://10.1.0.4/trans)
    6. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASpas)
    7. volume sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASaas)

Dalam contoh ini, kami menggunakan Azure NetApp Files untuk semua sistem file SAP Netweaver guna menunjukkan bagaimana File Azure NetApp dapat digunakan. Sistem file SAP yang tidak perlu dipasang melalui NFS juga dapat disebarkan sebagai penyimpanan disk Azure. Dalam contoh ini a-e harus ada di Azure NetApp Files dan f-g (yaitu, /usr/sap/QAS/D02, /usr/sap/QAS/D03) dapat digunakan sebagai penyimpanan disk Azure.

Pertimbangan penting

Saat mempertimbangkan Azure NetApp Files untuk SAP Netweaver pada arsitektur Ketersediaan Tinggi SUSE, perhatikan pertimbangan penting berikut:

  • Kapasitas minimum kumpulan adalah 4 TiB. Ukuran kumpulan kapasitas dapat ditingkatkan dalam kenaikan 1-TiB.
  • Volume minimumnya adalah 100 GiB
  • Azure NetApp Files dan semua komputer virtual, tempat volume Azure NetApp Files akan dipasang, harus berada di Azure Virtual Network yang sama atau di jaringan virtual yang di-peering di wilayah yang sama. Akses Azure NetApp Files melalui peering VNET di wilayah yang sama sekarang didukung. Akses Azure NetApp melalui peering global belum didukung.
  • Jaringan virtual yang dipilih harus memiliki subnet, yang didelegasikan ke Azure NetApp Files.
  • Karakteristik throughput dan performa volume Azure NetApp Files adalah fungsi dari kuota volume dan tingkat layanan, seperti yang didokumentasikan dalam Tingkat layanan untuk Azure NetApp Files. Saat mengukur volume SAP Azure NetApp, pastikan throughput yang dihasilkan memenuhi persyaratan aplikasi.
  • Azure NetApp Files menawarkan kebijakan ekspor: Anda dapat mengontrol klien yang diizinkan, jenis akses (Baca&Tulis, Baca Saja, dan sebagainya).
  • Fitur Azure NetApp Files belum mengenali zona. Saat ini fitur Azure NetApp Files tidak digunakan di semua zona Ketersediaan di wilayah Azure. Waspadai potensi implikasi latensi di beberapa wilayah Azure.
  • Volume Azure NetApp Files dapat disebarkan sebagai volume NFSv3 atau NFSv4.1. Kedua protokol didukung untuk lapisan aplikasi SAP (ASCS/ERS, server aplikasi SAP).

Siapkan infrastruktur

Agen sumber daya untuk Instans SAP disertakan dalam SUSE Linux Enterprise Server untuk Aplikasi SAP. Gambar untuk SUSE Linux Enterprise Server untuk Aplikasi SAP 12 atau 15 tersedia di Marketplace Azure. Anda dapat menggunakan gambar untuk menyebarkan VM baru.

Sebarkan Linux VM secara manual melalui portal Azure

Dokumen ini mengasumsikan bahwa Anda telah menyebarkan grup sumber daya, Azure Virtual Network, dan subnet.

Sebarkan komputer virtual dengan SLES untuk gambar Aplikasi SAP. Pilih versi gambar SLES yang sesuai yang didukung untuk sistem SAP. Anda dapat menyebarkan VM di salah satu opsi ketersediaan - set skala komputer virtual, zona ketersediaan, atau set ketersediaan.

Mengonfigurasi load balancer Azure

Selama konfigurasi VM, Anda memiliki opsi untuk membuat atau memilih keluar dari load balancer di bagian jaringan. Ikuti langkah-langkah di bawah ini untuk mengonfigurasi load balancer standar untuk penyiapan ketersediaan tinggi SAP ASCS dan SAP ERS.

Ikuti panduan buat load balancer untuk menyiapkan load balancer standar untuk sistem SAP ketersediaan tinggi menggunakan portal Azure. Selama penyiapan load balancer, pertimbangkan poin berikut.

  1. Konfigurasi IP Frontend: Buat dua IP frontend, satu untuk ASCS dan satu lagi untuk ERS. Pilih jaringan virtual dan subnet yang sama dengan komputer virtual ASCS/ERS Anda.
  2. Kumpulan Backend: Buat kumpulan backend dan tambahkan ASCS dan ERS VM.
  3. Aturan masuk: Buat dua aturan penyeimbangan beban, satu untuk ASCS dan satu lagi untuk ERS. Ikuti langkah yang sama untuk kedua aturan penyeimbangan beban.
    • Alamat IP frontend: Pilih IP frontend
    • Kumpulan backend: Pilih kumpulan backend
    • Periksa "Port ketersediaan tinggi"
    • Protocol: TCP
    • Pemeriksaan Kesehatan: Buat pemeriksaan kesehatan dengan detail di bawah ini (berlaku untuk ASCS atau ERS)
      • Protocol: TCP
      • Port: [misalnya: 620<Instance-no.> untuk ASCS, 621<Instance-no.> untuk ERS]
      • Interval: 5
      • Ambang Probe: 2
    • Batas waktu diam (menit): 30
    • Periksa "Aktifkan IP Mengambang"

Catatan

Nomor properti konfigurasi pemeriksaan kesehatanOfProbes, atau dikenal sebagai "Ambang tidak sehat" di Portal, tidak dihormati. Jadi untuk mengontrol jumlah pemeriksaan berturut-turut yang berhasil atau gagal, atur properti "probeThreshold" ke 2. Saat ini tidak dimungkinkan untuk mengatur properti ini menggunakan portal Azure, jadi gunakan perintah Azure CLI atau PowerShell.

Penting

Floating IP tidak didukung pada konfigurasi IP sekunder NIC dalam skenario load-balancing. Untuk detailnya, lihat Azure Load balancer Batasan. Jika Anda memerlukan alamat IP tambahan untuk VM, sebarkan NIC kedua.

Catatan

Ketika VM tanpa alamat IP publik ditempatkan di kumpulan backend internal (tanpa alamat IP publik) penyeimbang beban Azure Standar, tidak akan ada konektivitas internet keluar, kecuali ada konfigurasi tambahan untuk memungkinkan perutean ke titik akhir publik. Untuk detail tentang cara mencapai konektivitas keluar lihat Publik titik akhir konektivitas untuk Virtual Machines menggunakan Azure Standard Load Balancer dalam SAP ketersediaan tinggi skenario.

Penting

  • Jangan aktifkan stempel waktu TCP pada Azure VM yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP akan menyebabkan pemeriksaan kesehatan gagal. Set net.ipv4.tcp_timestamps parameter ke 0. Untuk detailnya, lihat Pemeriksaan kesehatan Load Balancer.
  • Untuk mencegah saptune mengubah nilai yang diatur net.ipv4.tcp_timestamps secara manual dari 0 kembali ke 1, Anda harus memperbarui versi saptune ke 3.1.1 atau yang lebih tinggi. Untuk detail selengkapnya, lihat saptune 3.1.1 – Apakah Saya Perlu Memperbarui?.

Nonaktifkan pemetaan ID (jika menggunakan NFSv4.1)

Petunjuk di bagian ini hanya berlaku, jika menggunakan volume Azure NetApp Files dengan protokol NFSv4.1. Lakukan konfigurasi di semua komputer virtual, tempat volume Azure NetApp Files NFSv4.1 akan dipasang.

  1. Verifikasi pengaturan domain NFS. Pastikan bahwa domain dikonfigurasi sebagai domain Azure NetApp Files default, defaultv4iddomain.com dan pemetaan diatur ke tidak ada.

    Penting

    Pastikan untuk menyetel domain NFS di /etc/idmapd.conf pada VM agar sesuai dengan konfigurasi domain default di Azure NetApp Files: defaultv4iddomain.com. Jika ada ketidakcocokan antara konfigurasi domain pada klien NFS (yaitu VM) dan server NFS, yaitu konfigurasi Azure NetApp, maka izin untuk file pada volume Azure NetApp yang dipasang pada VM akan ditampilkan sebagai nobody.

    sudo cat /etc/idmapd.conf

# Example
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

  2. [A] Verifikasi nfs4_disable_idmapping. Pengaturan harus diatur ke Y. Untuk membuat struktur direktori tempat nfs4_disable_idmapping berada, jalankan perintah pemasangan. Anda tidak akan dapat membuat direktori secara manual di bawah /sys/modules, karena akses dicadangkan untuk kernel/driver.

    # Check nfs4_disable_idmapping 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping

# If you need to set nfs4_disable_idmapping to Y
mkdir /mnt/tmp
mount 10.1.0.4:/sapmnt/qas /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

Siapkan (A)SCS

Selanjutnya, Anda akan menyiapkan dan menginstal instans SAP ASCS dan ERS.

Buat kluster Pacemaker

Ikuti langkah-langkah dalam Menyiapkan Pacemaker di SUSE Linux Enterprise Server di Azure untuk membuat kluster Pacemaker dasar untuk server (A)SCS ini.

Penginstalan

Item berikut diawali dengan [A] - berlaku untuk semua simpul, [1] - hanya berlaku untuk simpul 1 atau [2] - hanya berlaku untuk simpul 2.

  1. [A] Pasang konektor SUSE

    sudo zypper install sap-suse-cluster-connector

    Catatan

    Masalah yang diketahui dengan menggunakan tanda hubung dalam nama host ditetapkan denganversi 3.1.1 dari paket sap-suse-cluster-connector. Pastikan Anda menggunakan setidaknya versi 3.1.1 dari paket sap-suse-cluster-connector, jika menggunakan simpul kluster dengan tanda hubung dalam nama host. Jika tidak, kluster Anda tidak akan berfungsi.

    Pastikan Anda memasang versi baru konektor kluster SAP SUSE. Yang lama disebut sap_suse_cluster_connector dan yang baru disebut sap-suse-cluster-connector.

    sudo zypper info sap-suse-cluster-connector

# Information for package sap-suse-cluster-connector:
# ---------------------------------------------------
# Repository     : SLE-12-SP3-SAP-Updates
# Name           : sap-suse-cluster-connector
# Version        : 3.1.0-8.1
# Arch           : noarch
# Vendor         : SUSE LLC <https://www.suse.com/>
# Support Level  : Level 3
# Installed Size : 45.6 KiB
# Installed      : Yes
# Status         : up-to-date
# Source package : sap-suse-cluster-connector-3.1.0-8.1.src
# Summary        : SUSE High Availability Setup for SAP Products

  2. [A] Perbarui agen sumber daya SAP

    Patch untuk paket agen sumber daya diperlukan untuk menggunakan konfigurasi baru yang dijelaskan dalam artikel ini. Anda dapat memeriksa, apakah patch sudah dipasang dengan perintah berikut

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance

    Output harus sama dengan

    <parameter name="IS_ERS" unique="0" required="0">

    Jika perintah grep tidak menemukan parameter IS_ERS, Anda perlu memasang patch yang tercantum di halaman unduhan SUSE

    # example for patch for SLES 12 SP1
sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1

# example for patch for SLES 12 SP2
sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1

  3. [A] Mengatur resolusi nama host

    Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua simpul. Contoh ini menunjukkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut

    sudo vi /etc/hosts

    Sisipkan baris berikut ke /etc/hosts. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda

    # IP address of cluster node 1
10.1.1.18    anftstsapcl1
# IP address of cluster node 2
10.1.1.6     anftstsapcl2
# IP address of the load balancer frontend configuration for SAP Netweaver ASCS
10.1.1.20    anftstsapvh
# IP address of the load balancer frontend configuration for SAP Netweaver ERS
10.1.1.21    anftstsapers

  4. [1] Buat direktori SAP dalam volume Azure NetApp Files.

    Pasang sementara volume Azure NetApp Files pada salah satu komputer virtual dan buat direktori SAP (jalur file).

    # mount temporarily the volume
sudo mkdir -p /saptmp
# If using NFSv3
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.1.0.4:/sapQAS /saptmp
# If using NFSv4.1
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.1.0.4:/sapQAS /saptmp
# create the SAP directories
sudo cd /saptmp
sudo mkdir -p sapmntQAS
sudo mkdir -p usrsapQASascs
sudo mkdir -p usrsapQASers
sudo mkdir -p usrsapQASsys
sudo mkdir -p usrsapQASpas
sudo mkdir -p usrsapQASaas
# unmount the volume and delete the temporary directory
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

Persiapkan Penginstalan SAP NetWeaver

  1. [A]Buat direktori bersama

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/QAS/SYS
sudo mkdir -p /usr/sap/QAS/ASCS00
sudo mkdir -p /usr/sap/QAS/ERS01

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/QAS/SYS
sudo chattr +i /usr/sap/QAS/ASCS00
sudo chattr +i /usr/sap/QAS/ERS01

  2. [A] Konfigurasi autofs

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

    Jika menggunakan NFSv3, buat file dengan:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/SYS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASsys

    Jika menggunakan NFSv4.1, buat file dengan:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/SYS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASsys

    Catatan

    Pastikan untuk mencocokkan versi protokol NFS dari volume Azure NetApp Files, saat memasang volume. Jika volume Azure NetApp Files dibuat sebagai volume NFSv3, gunakan konfigurasi NFSv3 terkait. Jika volume Azure NetApp Files dibuat sebagai volume NFSv4.1, ikuti petunjuk untuk menonaktifkan pemetaan ID dan pastikan untuk menggunakan konfigurasi NFSv4.1 yang sesuai. Dalam contoh ini volume Azure NetApp Files dibuat sebagai volume NFSv3.

    Mulai ulang autofsuntuk memasang yang baru

    sudo systemctl enable autofs
sudo service autofs restart

  3. [A] Konfigurasikan file SWAP

    sudo vi /etc/waagent.conf

# Check if property ResourceDisk.Format is already set to y and if not, set it
ResourceDisk.Format=y

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Mulai ulang Agen untuk mengaktifkan perubahan

    sudo service waagent restart

Memasang SAP NetWeaver ASCS/ERS

  1. [1] Buat sumber daya IP virtual dan pemeriksaan kesehatan untuk instans ASCS

    Penting

    Pengujian terbaru mengungkapkan situasi di mana netcat berhenti merespons permintaan karena backlog dan keterbatasannya dalam menangani satu koneksi saja. Sumber daya netcat berhenti mendengarkan permintaan Azure Load Balancer dan IP floating menjadi tidak tersedia.
    Untuk kluster Pacemaker yang ada, kami pernah menyarankan untuk mengganti netcat dengan socat. Saat ini kami menyarankan untuk menggunakan agen sumber daya azure-lb yang merupakan bagian dari agen sumber daya paket dengan persyaratan versi paket berikut:

    • Untuk SLES 12 SP4/SP5, versi setidaknya harus resource-agents-4.3.018.a7fb5035-3.30.1.
    • Untuk SLES 15/15 SP1, versi harus setidaknya agen sumber daya-4.3.0184.6ee15eb2-4.13.1.

    Perhatikan bahwa perubahan akan memerlukan waktu henti singkat.
    Untuk kluster Pacemaker yang ada, jika konfigurasi sudah diubah untuk menggunakan socat seperti yang dijelaskan di Azure Load-Balancer Deteksi Pengerasan, tidak ada persyaratan untuk segera beralih ke agen sumber daya azure-lb.

    sudo crm node standby anftstsapcl2

# If using NFSv3
sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

# If using NFSv4.1
sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' options='sec=sys,nfsvers=4.1' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=105s

sudo crm configure primitive vip_QAS_ASCS IPaddr2 \
  params ip=10.1.1.20 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_QAS_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-QAS_ASCS fs_QAS_ASCS nc_QAS_ASCS vip_QAS_ASCS \
   meta resource-stickiness=3000

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting di node mana sumber daya berjalan.

    sudo crm_mon -r

# Node anftstsapcl2: standby
# Online: [ anftstsapcl1 ]
# 
# Full list of resources:
#
# Resource Group: g-QAS_ASCS
#     fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#     nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#     vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2

  2. [1] Pasang SAP NetWeaver ASCS

    Pasang SAP NetWeaver ASCS sebagai akar pada node pertama menggunakan nama host virtual yang memetakan ke alamat IP dari konfigurasi frontend load balancer untuk ASCS, misalnya anftstsapvh, 10.1.1.20 dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer, misalnya 00.

    Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Jika penginstalan gagal membuat subfolder di /usr/sap/QAS/ASCS00, coba atur pemilik dan grup folder ASCS00 lalu coba lagi.

    chown qasadm /usr/sap/QAS/ASCS00
chgrp sapsys /usr/sap/QAS/ASCS00

  3. [1] Buat sumber daya IP virtual dan pemeriksaan kesehatan untuk instans ERS.

    sudo crm node online anftstsapcl2
sudo crm node standby anftstsapcl1

# If using NFSv3
sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

# If using NFSv4.1
sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' options='sec=sys,nfsvers=4.1' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=105s

sudo crm configure primitive vip_QAS_ERS IPaddr2 \
  params ip=10.1.1.21 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_QAS_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-QAS_ERS fs_QAS_ERS nc_QAS_ERS vip_QAS_ERS

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting di node mana sumber daya berjalan.

    sudo crm_mon -r

# Node anftstsapcl1: standby
# Online: [ anftstsapcl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#  Resource Group: g-QAS_ERS
#      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ERS  (ocf::heartbeat:IPaddr2):     Started anftstsapcl2

  4. [2] Pasang SAP NetWeaver ERS

    Pasang SAP NetWeaver ERS sebagai akar pada node pertama menggunakan nama host virtual yang memetakan ke alamat IP dari konfigurasi frontend load balancer untuk ERS, misalnya anftstsapers, 10.1.1.21 dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer, misalnya 01.

    Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Catatan

    Gunakan SWPM SP 20 PL 05 atau lebih tinggi. Versi yang lebih rendah tidak mengatur izin dengan benar dan penginstalan akan gagal.

    Jika penginstalan gagal membuat subfolder di /usr/sap/QAS/ERS01, coba atur pemilik dan grup folder ERS01 lalu coba lagi.

    chown qasadm /usr/sap/QAS/ERS01
chgrp sapsys /usr/sap/QAS/ERS01

  5. [1] Sesuaikan profil instans ASCS/SCS dan ERS

    • Profil ASCS/SCS

      sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

      Untuk ENSA1 dan ENSA2, pastikan keepalive OS parameter diatur seperti yang dijelaskan dalam catatan SAP 1410736.

    • Profil ERS

      sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

  6. [A] Konfigurasikan Tetap Aktif

    Komunikasi antara server aplikasi SAP NetWeaver dan ASCS / SCS dirutekan melalui penyeimbang beban perangkat lunak. Penyeimbang beban memutuskan koneksi tidak aktif setelah waktu habis yang dapat dikonfigurasi. Untuk mencegah hal ini, Anda perlu mengatur parameter di profil SAP NetWeaver ASCS/SCS, jika menggunakan ENSA1, dan mengubah pengaturan sistem Linux keepalive di semua server SAP untuk ENSA1/ENSA2. Baca Catatan SAP 1410736 untuk informasi selengkapnya.

    # Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300

  7. [A]Konfigurasikan pengguna SAP setelah penginstalan

    # Add sidadm to the haclient group
sudo usermod -aG haclient qasadm

  8. [1] Tambahkan layanan ASCS dan ERS SAP ke file sapservice

    Tambahkan entri layanan ASCS ke simpul kedua dan salin entri layanan ERS ke simpul pertama.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh anftstsapcl2 "cat >>/usr/sap/sapservices"
sudo ssh anftstsapcl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices

  9. [1] Membuat sumber daya kluster SAP.

    Bergantung pada apakah Anda menjalankan sistem ENSA1 atau ENSA2, pilih tab masing-masing untuk menentukan sumber daya. SAP memperkenalkan dukungan untuk ENSA2, termasuk replikasi, di SAP NetWeaver 7.52. Dimulai dengan ABAP Platform 1809, ENSA2 dipasang secara default. Untuk dukungan ENSA2, lihat Catatan SAP 2630416.

    sudo crm configure property maintenance-mode="true"

# If using NFSv3
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
    operations \$id=rsc_sap_QAS_ASCS00-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 failure-timeout=105 migration-threshold=1 priority=10

# If using NFSv3   
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=60 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
    operations \$id=rsc_sap_QAS_ERS01-operations \
    op monitor interval=11 timeout=105 on-fail=restart \
    params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
    meta priority=1000

sudo crm configure modgroup g-QAS_ASCS add rsc_sap_QAS_ASCS00
sudo crm configure modgroup g-QAS_ERS add rsc_sap_QAS_ERS01

sudo crm configure colocation col_sap_QAS_no_both -5000: g-QAS_ERS g-QAS_ASCS
sudo crm configure location loc_sap_QAS_failover_to_ers rsc_sap_QAS_ASCS00 rule 2000: runs_ers_QAS eq 1
sudo crm configure order ord_sap_QAS_first_start_ascs Optional: rsc_sap_QAS_ASCS00:start rsc_sap_QAS_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online anftstsapcl1
sudo crm configure property maintenance-mode="false"

Jika Anda memutakhirkan dari versi yang lebih lama serta beralih ke antrian server 2, lihat Catatan SAP 2641019.

Catatan

Batas waktu yang lebih tinggi, yang disarankan saat menggunakan NFSv4.1 diperlukan karena jeda khusus protokol, terkait dengan perpanjangan sewa NFSv4.1. Untuk informasi selengkapnya, lihat NFS di Praktik terbaik NetApp.

Batas waktu di konfigurasi atas mungkin perlu disesuaikan dengan penyiapan SAP tertentu.

Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting di node mana sumber daya berjalan.

sudo crm_mon -r
  
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
#      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
#  Resource Group: g-QAS_ERS
#      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2

Persiapan server aplikasi SAP NetWeaver

Beberapa database mengharuskan penginstalan instans database dijalankan pada server aplikasi. Siapkan komputer virtual server aplikasi agar dapat digunakan dalam kasus ini.

Langkah-langkah di bawah ini mengasumsikan bahwa Anda memasang server aplikasi di server yang berbeda dari server ASCS/SCS dan HANA. Jika tidak, beberapa langkah di bawah ini (seperti mengonfigurasi resolusi nama host) tidak diperlukan.

Item berikut diawali dengan [A] - berlaku untuk PAS dan AAS, [P] - hanya berlaku untuk PAS atau [S] - hanya berlaku untuk AAS.

  1. [A] Konfigurasikan sistem operasi

    Kurangi ukuran cache kotor. Untuk informasi selengkapnya, lihat Performa tulis rendah di server SLES 11/12 dengan RAM besar.

    sudo vi /etc/sysctl.conf

# Change/set the following settings
vm.dirty_bytes = 629145600
vm.dirty_background_bytes = 314572800

  2. [A] Mengatur resolusi nama host

    Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua simpul. Contoh ini menunjukkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut

    sudo vi /etc/hosts

    Sisipkan baris berikut ke /etc/hosts. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda

    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
10.1.1.20 anftstsapvh
# IP address of the load balancer frontend configuration for SAP NetWeaver ERS
10.1.1.21 anftstsapers
# IP address of all application servers
10.1.1.15 anftstsapa01
10.1.1.16 anftstsapa02

  3. [A] Buat direktori sapmnt

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans

  4. [P] Buat direktori PAS

    sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

  5. [S] Buat direktori AAS

    sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

  6. [P] Konfigurasikan autofs pada PAS

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

    Jika menggunakan NFSv3, buat file dengan:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/D02 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASpas

    Jika menggunakan NFSv4.1, buat file dengan:

    sudo vi /etc/auto.direct
# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/D02 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASpas

    Mulai ulang autofsuntuk memasang yang baru

    sudo systemctl enable autofs
sudo service autofs restart

  7. [P] Konfigurasikan autofs pada PAS

    sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

    Jika menggunakan NFSv3, buat file dengan:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/D03 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASaas

    Jika menggunakan NFSv4.1, buat file dengan:

    sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/D03 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASaas

    Mulai ulang autofsuntuk memasang yang baru

    sudo systemctl enable autofs
sudo service autofs restart

  8. [A] Konfigurasikan file SWAP

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Mulai ulang Agen untuk mengaktifkan perubahan

    sudo service waagent restart

Memasang database

Dalam contoh ini, SAP NetWeaver dipasang pada SAP Hana. Anda dapat menggunakan setiap database yang didukung untuk penginstalan ini. Untuk informasi selengkapnya tentang cara memasang SAP Hana di Azure, lihat Ketersediaan Tinggi SAP Hana di Azure Virtual Machines (VM). Untuk daftar database yang didukung, lihat Catatan SAP 1928533.

  • Jalankan pemasangan instans database SAP

    Pasang instans database SAP NetWeaver sebagai akar menggunakan nama host virtual yang memetakan ke alamat IP dari konfigurasi frontend load balancer untuk database.

    Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Pemasangan server aplikasi SAP NetWeaver

Ikuti langkah-langkah ini untuk memasang server aplikasi SAP.

  1. [A] Siapkan server aplikasi Ikuti langkah-langkah dalam bab SAP NetWeaver persiapan server aplikasi di atas untuk menyiapkan server aplikasi.

  2. [A] Pasang server aplikasi SAP NetWeaver Pasang server aplikasi SAP NetWeaver utama atau tambahan.

    Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

  3. [A] Perbarui toko aman SAP HANA

    Perbarui penyimpanan aman SAP Hana agar menunjuk ke nama virtual penyiapan SAP Hana System Replication.

    Jalankan perintah berikut ini untuk mencantumkan entri

    hdbuserstore List

    Perintah ini harus mencantumkan semua entri dan harus terlihat mirip dengan

    DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.1.1.5:30313
  USER: SAPABAP1
  DATABASE: QAS

    Output menunjukkan bahwa alamat IP entri default menunjuk ke komputer virtual dan bukan ke alamat IP penyeimbang muatan. Entri ini perlu diubah agar menunjuk ke nama host virtual penyeimbang beban. Pastikan untuk menggunakan port yang sama (30313 dalam output di atas) dan nama database (QAS dalam output di atas)!

    su - qasadm

hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>

Menguji penyiapan kluster

Uji kluster Pacemaker Anda secara menyeluruh. Jalankan pengujian failover umum.

Langkah berikutnya