RHEL üzerinde SAP ASCS/SCS yüksek kullanılabilirlik VM'leri ile SAP iletişim kutusu örnekleri dağıtma

Makale
03/01/2024

Bu makalede, Red Hat Enterprise Linux (RHEL) üzerinde çalışan aynı ABAP SAP Central Services (ASCS)/SAP Central Services (SCS) yüksek kullanılabilirlik kümesine Birincil Uygulama Sunucusu (PAS) ve Ek Uygulama Sunucusu (AAS) iletişim kutusu örneklerinin nasıl yükleneceği ve yapılandırıldığı açıklanmaktadır.

Başvurular

Pacemaker'da Tek Başına Enqueue Server 2 (ENSA2) ile SAP S/4HANA ASCS/ERS'yi Yapılandırma
SAP NetWeaver ASCS/ERS ENSA1'i RHEL 7.5+ ve RHEL 8'de Tek Başına Kaynaklarla Yapılandırma
SAP Not 1928533, şunlara sahiptir:
- SAP yazılımının dağıtımı için desteklenen Azure sanal makine (VM) boyutlarının listesi.
- Azure VM boyutları için önemli kapasite bilgileri.
- Desteklenen SAP yazılımı ve işletim sistemi (OS) ve veritabanı birleşimleri.
- Azure'da Windows ve Linux için gerekli SAP çekirdek sürümü.
SAP Not 2015553 , Azure'da SAP tarafından desteklenen SAP yazılım dağıtımları için önkoşulları listeler.
SAP Not 2002167 , Red Hat Enterprise Linux 7.x için önerilen işletim sistemi ayarlarını listeler.
SAP Not 2772999 , Red Hat Enterprise Linux 8.x için önerilen işletim sistemi ayarlarını listeler.
SAP Note 2009879 , Red Hat Enterprise Linux için SAP HANA yönergelerine sahiptir.
SAP Not 2178632 , Azure'da SAP için bildirilen tüm izleme ölçümleri hakkında ayrıntılı bilgiler içerir.
SAP Not 2191498 , Azure'da Linux için gerekli SAP Konak Aracısı sürümüne sahiptir.
SAP Not 2243692 , Azure'da Linux üzerinde SAP lisanslama hakkında bilgi içerir.
SAP Not 1999351 , SAP için Azure Gelişmiş İzleme Uzantısı için daha fazla sorun giderme bilgisi içerir.
SAP Community Wiki,Linux için tüm gerekli SAP Notlarına sahiptir.
Linux üzerinde SAP için Azure Sanal Makineler planlama ve uygulama
Linux üzerinde SAP için Azure Sanal Makineler dağıtımı
Linux üzerinde SAP için Azure Sanal Makineler DBMS dağıtımı
Pacemaker kümesinde SAP Netweaver
Genel RHEL belgeleri:
Azure'a özgü RHEL belgeleri:
- RHEL Yüksek Kullanılabilirlik Kümeleri için Destek İlkeleri - Küme Üyeleri olarak Microsoft Azure Sanal Makineler
- Microsoft Azure'da Red Hat Enterprise Linux 7.4 (ve üzeri) Yüksek Kullanılabilirlik Kümesi Yükleme ve Yapılandırma

Genel bakış

Bu makalede, yüksek kullanılabilirlik kurulumunda SAP ASCS/SCS ve Enqueue Çoğaltma Sunucusu (ERS) örnekleriyle PAS ve AAS iletişim kutusu örneklerini dağıttığınız maliyet iyileştirme senaryosu açıklanmaktadır. Tek bir SAP sisteminin VM sayısını en aza indirmek için PAS ve AAS'yi SAP ASCS/SCS ve SAP ERS'nin çalıştığı ana bilgisayara yüklemek istiyorsunuz. SAP ASCS/SCS yüksek kullanılabilirlik kümesi kurulumunda yapılandırıldığında PAS ve AAS'nin de küme tarafından yönetilmesini istiyorsunuz. Yapılandırma temelde zaten yapılandırılmış bir SAP ASCS/SCS kümesi kurulumuna bir ektir. Bu kurulumda, PAS ve AAS bir sanal konak adına yüklenir ve örnek dizini küme tarafından yönetilir.

Bu kurulum için PAS ve AAS için yüksek oranda kullanılabilir bir örnek dizini (/usr/sap/<SID>/D<nr>) gerekir. Örnek dizin dosya sistemini ASCS ve ERS örnek yapılandırması için kullandığınız yüksek kullanılabilir depolama alanına yerleştirebilirsiniz. Sunulan mimaride, kurulum için yüksek oranda kullanılabilir bir örnek dizini için Azure Dosyalar veya Azure NetApp Files üzerinde NFS gösterilir.

Dağıtımı açıklamak için bu makalede gösterilen örnekte aşağıdaki sistem bilgileri kullanılır:

Örnek adı	Örnek numarası	Sanal konak adı	Sanal IP (Yoklama bağlantı noktası)
ABAP SAP Central Services (ASCS)	00	sapascs	10.90.90.10 (62000)
Çoğaltma Sunucusunu (ERS) Sıralama	01	sapers	10.90.90.9 (62001)
Birincil Uygulama Sunucusu (PAS)	02	sappas	10.90.90.30 (62002)
Ek Uygulama Sunucusu (AAS)	03	sapers	10.90.90.31 (62003)
SAP sistem tanımlayıcısı	NW1	---	---

Not

Ölçeği genişletmek istiyorsanız ayrı VM'lere daha fazla SAP uygulama örneği yükleyin.

Diagram that shows the architecture of dialog instance installation with an SAP ASCS/SCS cluster.

Maliyet iyileştirme çözümü için önemli noktalar

SAP ASCS/SCS kümesi kurulumuyla yalnızca iki iletişim kutusu örneği (PAS ve bir AAS) dağıtılabilir.
SAP sisteminizin ölçeğini daha fazla uygulama sunucusuyla (sapa03 ve sapa04 gibi) genişletmek istiyorsanız, bunları ayrı VM'lere yükleyebilirsiniz. PAS ve AAS sanal konak adlarına yüklenirken, ayrı VM'lerde fiziksel veya sanal konak adı kullanarak daha fazla uygulama sunucusu yükleyebilirsiniz. Sanal makineye sanal konak adı atama hakkında daha fazla bilgi edinmek için Azure'da Linux ile SAP Sanal Konak Adlarını Kullanma bloguna bakın.
SAP ASCS/SCS kümesi kurulumuyla PAS ve AAS dağıtımında ASCS, ERS, PAS ve AAS örnek sayıları farklı olmalıdır.
VM SKU'larınızı boyutlandırma yönergelerine göre uygun şekilde boyutlandırmayı göz önünde bulundurun. Kümedeki başka bir VM kullanılamadığında birden çok SAP örneğinin (ASCS, ERS, PAS ve AAS) tek bir VM üzerinde çalışabileceği küme davranışını dikkate almalıdır.
SAP ASCS/SCS kümesi kurulumuyla çalışan iletişim kutusu örnekleri (PAS ve AAS) sanal ana bilgisayar adı kullanılarak yüklenmelidir.
PAS ve AAS örneklerini dağıtmak için SAP ASCS/SCS kümesi kurulumunun aynı depolama çözümünü de kullanmanız gerekir. Örneğin, Azure Dosyalar üzerinde NFS kullanarak bir SAP ASCS/SCS kümesi yapılandırdıysanız, PAS ve AAS dağıtmak için aynı depolama çözümü kullanılmalıdır.
PAS ve AAS örnek dizini /usr/sap/<SID>/D<nr> bir NFS dosya sistemine bağlanmalıdır ve küme tarafından kaynak olarak yönetilir.

Not

SAP J2EE sistemleri için NFS'nin Azure Dosyalar üzerine yerleştirilmemesi /usr/sap/<SID>/J<nr> desteklenmez.
Ayrı VM'lere daha fazla uygulama sunucusu yüklemek için NFS paylaşımlarını veya örnek dizini dosya sistemi için yerel yönetilen diski kullanabilirsiniz. SAP J2EE sistemi için daha fazla uygulama sunucusu yüklüyorsanız Azure Dosyalar /usr/sap/<SID>/J<nr> üzerindeki NFS desteklenmez.
Geleneksel SAP ASCS/SCS yüksek kullanılabilirlik yapılandırmasında, sap ASCS ve ERS küme düğümleri üzerinde herhangi bir etki olduğunda ayrı VM'lerde çalışan uygulama sunucusu örnekleri etkilenmez. Ancak maliyet iyileştirme yapılandırmasıyla, kümedeki düğümlerden biri üzerinde bir etki olduğunda PAS veya AAS örneği yeniden başlatılır.
Aynı noktalar bu kurulum için de geçerli olduğundan bkz. Azure Dosyalar ve Azure NetApp Files ile ilgili önemli noktalar hakkında NFS.

Önkoşullar

Bu makalede açıklanan yapılandırma, zaten yapılandırılmış SAP ASCS/SCS küme kurulumunuza bir ektir. Bu yapılandırmada, PAS ve AAS bir sanal konak adına yüklenir ve örnek dizini küme tarafından yönetilir. Depolama alanınıza bağlı olarak, kümedeki SAP ASCS ve SAP ERS örneği için kaynağı yapılandırmak SAPInstance üzere aşağıdaki makalelerde açıklanan adımları kullanın.

Azure Dosyalar üzerinde NFS: Azure VM'leri rhel üzerinde SAP NW için yüksek kullanılabilirlik ve Azure Dosyalar üzerinde NFS
Azure NetApp Files: Azure NetApp Files ile RHEL üzerinde SAP NW için Azure VM'leri yüksek kullanılabilirlik

Yazılım Sağlama Yöneticisi'ni (SWPM) kullanarak ASCS, ERS ve Veritabanı örneğini yükledikten sonra PAS ve AAS örneklerini yüklemek için sonraki adımları izleyin.

PAS ve AAS için Azure Load Balancer'ı yapılandırma

Bu makalede, Azure Load Balancer'ı yapılandırma bölümünde açıklandığı gibi SAP ASCS/SCS kümesi kurulumu için yük dengeleyiciyi zaten yapılandırdığınız varsayılır. Aynı Azure Load Balancer örneğinde PAS ve AAS için daha fazla ön uç IP'leri ve yük dengeleme kuralları oluşturmak için bu adımları izleyin.

SAP ASCS/SCS kümesi kurulumu için oluşturulan iç yük dengeleyiciyi açın.
Ön uç IP Yapılandırması: Biri PAS, diğeri AAS için olmak üzere iki ön uç IP oluşturun (örneğin, 10.90.90.30 ve 10.90.90.31).
Arka Uç Havuzu: PAS ve AAS'yi aynı arka uç havuzuna dağıttığımız için bu havuz aynı kalır.
Gelen kuralları: Biri PAS, diğeri AAS için olmak üzere iki yük dengeleme kuralı oluşturun. Her iki yük dengeleme kuralı için de aynı adımları izleyin.
Ön uç IP adresi: Ön uç IP'sini seçin.
1. Arka uç havuzu: Arka uç havuzunu seçin.
2. Yüksek kullanılabilirlik bağlantı noktaları: Bu seçeneği belirleyin.
3. Protokol: TCP'yi seçin.
4. Durum Yoklaması: Aşağıdaki ayrıntıları içeren bir sistem durumu yoklaması oluşturun (pas ve AAS için geçerlidir):
  1. Protokol: TCP'yi seçin.
  2. Bağlantı noktası: Örneğin, PAS için 620<Örnek-no ve>AAS için 620<Örnek-no.>
  3. Aralık: 5 girin.
  4. Yoklama Eşiği: 2 girin.
5. Boşta kalma zaman aşımı (dakika): 30 girin.
6. Kayan IP'yi etkinleştir: Bu seçeneği belirleyin.

Azure portalında iyi durumda olmayan eşik olarak bilinen sistem durumu yoklaması yapılandırma özelliğine numberOfProbesuyulmaz. Başarılı veya başarısız ardışık yoklama sayısını denetlemek için özelliğini probeThreshold olarak 2ayarlayın. Şu anda Azure portalını kullanarak bu özelliği ayarlamak mümkün değildir. Azure CLI veya PowerShell komutunu kullanın.

Önemli

Kayan IP, yük dengeleme senaryolarında NIC ikincil IP yapılandırmasında desteklenmez. Daha fazla bilgi için bkz . Azure Load Balancer sınırlamaları. VM'ler için daha fazla IP adresine ihtiyacınız varsa ikinci bir NIC dağıtın.

Genel IP adresleri olmayan VM'ler bir iç (genel IP adresi yok) Standart Azure Load Balancer örneğinin arka uç havuzuna yerleştirildiğinde, genel uç noktalara yönlendirmeye izin vermek için daha fazla yapılandırma yapılmadığı sürece giden İnternet bağlantısı olmaz. Giden bağlantı elde etme adımları için bkz. SAP yüksek kullanılabilirlik senaryolarında Azure Standart Load Balancer kullanarak sanal makineler için genel uç nokta bağlantısı.

Önemli

Azure Load Balancer'ın arkasına yerleştirilen Azure VM'lerinde TCP zaman damgalarını etkinleştirmeyin. TCP zaman damgalarının etkinleştirilmesi sistem durumu yoklamalarının başarısız olmasına neden olur. parametresini net.ipv4.tcp_timestamps olarak 0ayarlayın. Daha fazla bilgi için bkz . Load Balancer sistem durumu yoklamaları.

SUNUCULARı PAS ve AAS yüklemesi için hazırlama

Bu belgedeki adımlar aşağıdaki ön eklerle işaretlendiğinde şu anlama gelir:

[A]: Tüm düğümler için geçerlidir.
[1]: Yalnızca düğüm 1 için geçerlidir.
[2]: Yalnızca düğüm 2 için geçerlidir.

[A] Konak adı çözümlemesi ayarlayın.

BIR DNS sunucusu kullanabilir veya tüm düğümlerde değişiklik yapabilirsiniz /etc/hosts . Bu örnekte dosyanın nasıl kullanılacağı gösterilmektedir /etc/hosts . Aşağıdaki komutlarda IP adresini ve ana bilgisayar adını değiştirin:

sudo vi /etc/hosts

# IP address of cluster node 1
10.90.90.7    sap-cl1
# IP address of cluster node 2
10.90.90.8     sap-cl2
# IP address of the load balancer frontend configuration for SAP Netweaver ASCS
10.90.90.10   sapascs
# IP address of the load balancer frontend configuration for SAP Netweaver ERS
10.90.90.9    sapers
# IP address of the load balancer frontend configuration for SAP Netweaver PAS
10.90.90.30   sappas
# IP address of the load balancer frontend configuration for SAP Netweaver AAS
10.90.90.31   sapaas

[1] NFS paylaşımında SAP dizinlerini oluşturun. NFS paylaşımı sapnw1'i vm'lerden birine geçici olarak bağlayın ve iç içe bağlama noktaları olarak kullanılacak SAP dizinlerini oluşturun.

Azure Dosyalar üzerinde NFS kullanıyorsanız:

# mount temporarily the volume
sudo mkdir -p /saptmp
sudo mount -t nfs sapnfs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys

# create the SAP directories
sudo cd /saptmp
sudo mkdir -p usrsapNW1D02
sudo mkdir -p usrsapNW1D03

# unmount the volume and delete the temporary directory
cd ..
sudo umount /saptmp
sudo rmdir /saptmp

Azure NetApp Files kullanıyorsanız:

# mount temporarily the volume
sudo mkdir -p /saptmp

# If using NFSv3
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=3,tcp 10.90.91.5:/sapnw1 /saptmp
# If using NFSv4.1
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,vers=4.1,sec=sys,tcp 10.90.91.5:/sapnw1 /saptmp

# create the SAP directories
sudo cd /saptmp
sudo mkdir -p usrsapNW1D02
sudo mkdir -p usrsapNW1D03

# unmount the volume and delete the temporary directory
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Paylaşılan dizinleri oluşturun.

sudo mkdir -p /usr/sap/NW1/D02
sudo mkdir -p /usr/sap/NW1/D03

sudo chattr +i /usr/sap/NW1/D02
sudo chattr +i /usr/sap/NW1/D03

[A] Değiştirme alanını yapılandırın. Merkezi hizmetlerle bir iletişim kutusu örneği yüklediğinizde, daha fazla takas alanı yapılandırmanız gerekir.

sudo vi /etc/waagent.conf

# Check if property ResourceDisk.Format is already set to y and if not, set it
ResourceDisk.Format=y

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
#ResourceDisk.SwapSizeMB=2000
ResourceDisk.SwapSizeMB=10480

Değişikliği etkinleştirmek için aracıyı yeniden başlatın.

sudo service waagent restart

[A] PAS ve AAS için güvenlik duvarı kuralları ekleyin.

# Probe and gateway port for PAS and AAS
sudo firewall-cmd --zone=public --add-port={62002,62003,3302,3303}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62002,62003,3303,3303}/tcp

SAP Netweaver PAS örneği yükleme

[1] Kümenin durumunu denetleyin. Pas kaynağını yükleme için yapılandırmadan önce ASCS ve ERS kaynaklarının yapılandırıldığından ve başlatıldığından emin olun.

sudo pcs status

# Online: [ sap-cl1 sap-cl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl2
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl2

[1] PAS örneği için dosya sistemi, sanal IP ve sistem durumu yoklaması kaynakları oluşturun.

sudo pcs node standby sap-cl2
sudo pcs resource create vip_NW1_PAS IPaddr2 ip=10.90.90.30 --group g-NW1_PAS
sudo pcs resource create nc_NW1_PAS azure-lb port=62002 --group g-NW1_PAS

# If using NFS on Azure files
sudo pcs resource create fs_NW1_PAS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1D02' \
  directory='/usr/sap/NW1/D02' fstype='nfs' force_unmount=safe options='noresvport,vers=4,minorversion=1,sec=sys' \
  op start interval=0 timeout=60 \
  op stop interval=0 timeout=120 \
  op monitor interval=200 timeout=40 \
  --group g-NW1_PAS

# If using NFsv3 on Azure NetApp Files
sudo pcs resource create fs_NW1_PAS Filesystem device='10.90.91.5:/sapnw1/usrsapNW1D02' \
  directory='/usr/sap/NW1/D02' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 \
  op stop interval=0 timeout=120 \ 
  op monitor interval=200 timeout=40 \
  --group g-NW1_PAS

# If using NFSv4.1 on Azure NetApp Files
sudo pcs resource create fs_NW1_PAS Filesystem device='10.90.91.5:/sapnw1/usrsapNW1D02' \
  directory='/usr/sap/NW1/D02' fstype='nfs' force_unmount=safe options='sec=sys,vers=4.1' \
  op start interval=0 timeout=60 \
  op stop interval=0 timeout=120 \
  op monitor interval=200 timeout=105 \
  --group g-NW1_PAS

Küme durumunun iyi olduğundan ve tüm kaynakların başlatıldığından emin olun. Kaynakların hangi düğümde çalıştığı önemli değildir.

sudo pcs status

# Node List:
#   Node sap-cl2: standby
#   Online: [ sap-cl1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_PAS:
#      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Started sap-cl1
#      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Started sap-cl1
#      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Started sap-cl1

[1] Dosya sistemi bağlandıktan sonra klasörün sahipliğini /usr/sap/SID/D02 değiştirin.
```
sudo chown nw1adm:sapsys /usr/sap/NW1/D02
```
[1] SAP Netweaver PAS'ı yükleyin.

PAS için yük dengeleyici ön uç yapılandırmasının IP adresine eşlenen bir sanal ana bilgisayar adı kullanarak SAP NetWeaver PAS'yi ilk düğüme kök olarak yükleyin. Örneğin sappas, 10.90.90.30 ve yük dengeleyicinin yoklaması için kullandığınız örnek numarasını (örneğin 02) kullanın.

Kök olmayan bir kullanıcının sapinst'e bağlanmasına izin vermek için sapinst parametresini SAPINST_REMOTE_ACCESS_USER kullanabilirsiniz.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<pas_virtual_hostname>
```

Dosyayı güncelleştirin /usr/sap/sapservices .

Örneklerin sapinit başlangıç betiği tarafından başlatılmasını önlemek için Pacemaker tarafından yönetilen tüm örneklerin /usr/sap/sapservices dosyadan açıklama satırı yapılması gerekir.

sudo vi /usr/sap/sapservices

# On the node where PAS is installed, comment out the following lines. 
# LD_LIBRARY_PATH=/usr/sap/NW1/D02/exe:$LD_LIBRARY_PATH;export LD_LIBRARY_PATH;/usr/sap/NW1/D02/exe/sapstartsrv pf=/usr/sap/NW1/SYS/profile/NW1_D02_sappas -D -u nw1adm

[1] PAS kümesi kaynağını oluşturun.

# If using NFS on Azure Files or NFSv3 on Azure NetApp Files
pcs resource create rsc_sap_NW1_PAS02 SAPInstance InstanceName="NW1_D02_sappas" \
 START_PROFILE=/sapmnt/NW1/profile/NW1_D02_sappas \
 op monitor interval=20 timeout=60 \
 --group g-NW1_PAS

# If using NFSv4.1 on Azure NetApp Files
pcs resource create rsc_sap_NW1_PAS02 SAPInstance InstanceName="NW1_D02_sappas" \
 START_PROFILE=/sapmnt/NW1/profile/NW1_D02_sappas \
 op monitor interval=20 timeout=105 \
 --group g-NW1_PAS

Kümenin durumunu denetleyin.

sudo pcs status

# Node List:
#   Node sap-cl2: standby
#   Online: [ sap-cl1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_PAS:
#      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Started sap-cl1
#      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Started sap-cl1
#      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Started sap-cl1
#      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Started sap-cl1

PAS kaynak grubunu yalnızca ASCS örneği başlatıldıktan sonra başlatmak için bir kısıtlama yapılandırın.
```
sudo pcs constraint order g-NW1_ASCS then g-NW1_PAS kind=Optional symmetrical=false
```

SAP Netweaver AAS örneği yükleme

[2] Kümenin durumunu denetleyin. Bir AAS kaynağını yükleme için yapılandırmadan önce ASCS, ERS ve PAS kaynaklarının başlatıldığından emin olun.

sudo pcs status

# Node List:
#   Node sap-cl2: standby
#   Online: [ sap-cl1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_PAS:
#      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Started sap-cl1
#      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Started sap-cl1
#      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Started sap-cl1
#      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Started sap-cl1

[2] AAS örneği için dosya sistemi, sanal IP ve sistem durumu yoklaması kaynakları oluşturun.

sudo pcs node unstandby sap-cl2
# Disable PAS resource as it will fail on sap-cl2 due to missing environment variables like hdbuserstore. 
sudo pcs resource disable g-NW1_PAS
sudo pcs node standby sap-cl1
# Execute below command to cleanup resource, if required
pcs resource cleanup rsc_sap_NW1_ERS01

sudo pcs resource create vip_NW1_AAS IPaddr2 ip=10.90.90.31 --group g-NW1_AAS
sudo pcs resource create nc_NW1_AAS azure-lb port=62003 --group g-NW1_AAS

# If using NFS on Azure files
sudo pcs resource create fs_NW1_AAS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1D03' \
  directory='/usr/sap/NW1/D03' fstype='nfs' force_unmount=safe options='noresvport,vers=4,minorversion=1,sec=sys' \
  op start interval=0 timeout=60 \
  op stop interval=0 timeout=120 \
  op monitor interval=200 timeout=40 \
  --group g-NW1_AAS

# If using NFsv3 on Azure NetApp Files
sudo pcs resource create fs_NW1_AAS Filesystem device='10.90.91.5:/sapnw1/usrsapNW1D03' \
  directory='/usr/sap/NW1/D03' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 \
  op stop interval=0 timeout=120 \ 
  op monitor interval=200 timeout=40 \
  --group g-NW1_AAS

# If using NFSv4.1 on Azure NetApp Files
sudo pcs resource create fs_NW1_AAS Filesystem device='10.90.91.5:/sapnw1/usrsapNW1D03' \
  directory='/usr/sap/NW1/D03' fstype='nfs' force_unmount=safe options='sec=sys,vers=4.1' \
  op start interval=0 timeout=60 \
  op stop interval=0 timeout=120 \
  op monitor interval=200 timeout=105 \
  --group g-NW1_AAS

Küme durumunun iyi olduğundan ve tüm kaynakların başlatıldığından emin olun. Kaynakların hangi düğümde çalıştığı önemli değildir. g-NW1_PAS kaynak grubu durdurulduğu için, tüm PAS kaynakları (devre dışı) durumunda durdurulur.

sudo pcs status

# Node List:
#   Node sap-cl1: standby
#   Online: [ sap-cl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl2
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl2
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl2
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl2
#  Resource Group: g-NW1_PAS:
#      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Stopped (disabled)
#      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Stopped (disabled)
#      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Stopped (disabled)
#      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Stopped (disabled)
#  Resource Group: g-NW1_AAS:
#      vip_NW1_AAS       (ocf::heartbeat:IPaddr2):        Started sap-cl2
#      nc_NW1_AAS        (ocf::heartbeat:azure-lb):       Started sap-cl2
#      fs_NW1_AAS        (ocf::heartbeat:Filesystem):     Started sap-cl2

[2] Dosya sistemi bağlandıktan sonra klasörün sahipliğini /usr/sap/SID/D03 değiştirin.
```
sudo chown nw1adm:sapsys /usr/sap/NW1/D03
```
[2] SAP Netweaver AAS yükleyin.

PAS için yük dengeleyici ön uç yapılandırmasının IP adresine eşlenen bir sanal ana bilgisayar adı kullanarak ikinci düğümde kök olarak bir SAP NetWeaver AAS yükleyin. Örneğin sapaas, 10.90.90.31 ve yük dengeleyicinin yoklaması için kullandığınız örnek numarasını (örneğin, 03) kullanın.

Kök olmayan bir kullanıcının sapinst'e bağlanmasına izin vermek için sapinst parametresini SAPINST_REMOTE_ACCESS_USER kullanabilirsiniz.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<aas_virtual_hostname>
```

Dosyayı güncelleştirin /usr/sap/sapservices .

sudo vi /usr/sap/sapservices

# On the node where AAS is installed, comment out the following lines. 
#LD_LIBRARY_PATH=/usr/sap/NW1/D03/exe:$LD_LIBRARY_PATH;export LD_LIBRARY_PATH;/usr/sap/NW1/D03/exe/sapstartsrv pf=/usr/sap/NW1/SYS/profile/NW1_D03_sapaas -D -u nw1adm

[2] AAS küme kaynağı oluşturun.

# If using NFS on Azure Files or NFSv3 on Azure NetApp Files
pcs resource create rsc_sap_NW1_AAS03 SAPInstance InstanceName="NW1_D03_sapaas" \
 START_PROFILE=/sapmnt/NW1/profile/NW1_D03_sapaas \
 op monitor interval=120 timeout=60 \
 --group g-NW1_AAS

# If using NFSv4.1 on Azure NetApp Files
pcs resource create rsc_sap_NW1_AAS03 SAPInstance InstanceName="NW1_D03_sapaas" \
 START_PROFILE=/sapmnt/NW1/profile/NW1_D03_sapaas \
 op monitor interval=120 timeout=105 \
 --group g-NW1_AAS

Kümenin durumunu denetleyin.

sudo pcs status

# Node List:
#   Node sap-cl1: standby
#   Online: [ sap-cl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl2
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl2
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl2
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl2
#  Resource Group: g-NW1_PAS:
#      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Stopped (disabled)
#      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Stopped (disabled)
#      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Stopped (disabled)
#      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Stopped (disabled)
#  Resource Group: g-NW1_AAS:
#      vip_NW1_AAS       (ocf::heartbeat:IPaddr2):        Started sap-cl2
#      nc_NW1_AAS        (ocf::heartbeat:azure-lb):       Started sap-cl2
#      fs_NW1_AAS        (ocf::heartbeat:Filesystem):     Started sap-cl2
#      rsc_sap_NW1_AAS03 (ocf::heartbeat:SAPInstance):    Started sap-cl2

AAS kaynak grubunu yalnızca ASCS örneği başlatıldıktan sonra başlatmak için bir kısıtlama yapılandırın.
```
sudo pcs constraint order g-NW1_ASCS then g-NW1_AAS kind=Optional symmetrical=false
```

PAS ve AAS örnekleri için yapılandırma sonrası

[1] PAS ve AAS'nin herhangi bir küme düğümünde (sap-cl1 veya sap-cl2) çalışması için, her iki küme düğümündeki içeriğinin $HOME/.hdb<sid>adm kopyalanması gerekir.

# Check current content of /home/nw1adm/.hdb on sap-cl1
sap-cl1:nw1adm > ls -ltr $HOME/.hdb
drwx------. 2 nw1adm sapsys 66 Aug  8 19:11 sappas
drwx------. 2 nw1adm sapsys 84 Aug  8 19:12 sap-cl1
# Check current content of /home/nw1adm/.hdb on sap-cl2
sap-cl2:nw1adm > ls -ltr $HOME/.hdb
total 0
drwx------. 2 nw1adm sapsys 64 Aug  8 20:25 sap-cl2
drwx------. 2 nw1adm sapsys 66 Aug  8 20:26 sapaas

# As PAS and AAS is installed using virtual hostname, you need to copy virtual hostname directory in /home/nw1adm/.hdb
# Copy sappas directory from sap-cl1 to sap-cl2
sap-cl1:nw1adm > scp -r sappas nw1adm@sap-cl2:/home/nw1adm/.hdb
# Copy sapaas directory from sap-cl2 to sap-cl1. Execute the command from the same sap-cl1 host. 
sap-cl1:nw1adm > scp -r nw1adm@sap-cl2:/home/nw1adm/.hdb/sapaas .

[1] PAS ve AAS örneklerinin her iki düğüm de her çalıştığında aynı düğümlerde çalışmadığından emin olmak için aşağıdaki komutla negatif bir birlikte bulundurma kısıtlaması ekleyin:
```
sudo pcs constraint colocation add g-NW1_AAS with g-NW1_PAS score=-1000
sudo pcs node unstandby sap-cl1
sudo pcs resource enable g-NW1_PAS
```
-1000 puanı, yalnızca bir düğüm varsa her iki örneğin de diğer düğümde çalışmaya devam etmesini sağlar. Böyle bir durumda AAS örneğini aşağıda tutmak istiyorsanız, bu koşulu zorunlu tutmak için kullanabilirsiniz score=-INFINITY .

Kümenin durumunu denetleyin.

sudo pcs status

# Node List:
#   Online: [ sap-cl1 sap-cl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl2
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl2
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_PAS:
#      vip_NW1_PAS       (ocf::heartbeat:IPaddr2):        Started sap-cl1
#      nc_NW1_PAS        (ocf::heartbeat:azure-lb):       Started sap-cl1
#      fs_NW1_PAS        (ocf::heartbeat:Filesystem):     Started sap-cl1
#      rsc_sap_NW1_PAS02 (ocf::heartbeat:SAPInstance):    Started sap-cl1
#  Resource Group: g-NW1_AAS:
#      vip_NW1_AAS       (ocf::heartbeat:IPaddr2):        Started sap-cl2
#      nc_NW1_AAS        (ocf::heartbeat:azure-lb):       Started sap-cl2
#      fs_NW1_AAS        (ocf::heartbeat:Filesystem):     Started sap-cl2
#      rsc_sap_NW1_AAS03 (ocf::heartbeat:SAPInstance):    Started sap-cl2

Küme kurulumunu test edin

Tipik yük devretme testlerini çalıştırarak Pacemaker kümenizi kapsamlı bir şekilde test edin.

RHEL üzerinde SAP ASCS/SCS yüksek kullanılabilirlik VM'leri ile SAP iletişim kutusu örnekleri dağıtma

Başvurular

Genel bakış

Maliyet iyileştirme çözümü için önemli noktalar

Önkoşullar

PAS ve AAS için Azure Load Balancer'ı yapılandırma

SUNUCULARı PAS ve AAS yüklemesi için hazırlama

SAP Netweaver PAS örneği yükleme

SAP Netweaver AAS örneği yükleme

PAS ve AAS örnekleri için yapılandırma sonrası

Küme kurulumunu test edin

Ek kaynaklar