SUSE Linux Enterprise Server üzerinde HSR ile SAP HANA ölçek genişletme sistemi için yüksek kullanılabilirlik

  • Makale

Bu makalede, Azure SUSE Linux Enterprise Server sanal makinelerinde (VM) HANA sistem çoğaltması (HSR) ve Pacemaker ile ölçek genişletme yapılandırmasında yüksek oranda kullanılabilir bir SAP HANA sisteminin nasıl dağıtılacağı açıklanmaktadır. Sunulan mimarideki paylaşılan dosya sistemleri NFS'ye bağlanır ve Azure Dosyalar üzerinde Azure NetApp Files veya NFS paylaşımı tarafından sağlanır.

Örnek yapılandırmalarda, yükleme komutlarında vb. HANA örneği 03 ve HANA sistem kimliği HN1'dir.

Başlamadan önce aşağıdaki SAP notlarına ve belgelerine bakın:

Genel bakış

HANA ölçek genişletme yüklemelerinde HANA yüksek kullanılabilirliği elde etmek için bir yöntem, HANA sistem çoğaltmasını yapılandırmak ve çözümü Pacemaker kümesiyle otomatik yük devretmeye izin verecek şekilde korumaktır. Etkin bir düğüm başarısız olduğunda, küme HANA kaynaklarını diğer siteye devreder.
Sunulan yapılandırmada her sitede üç HANA düğümü ve bölünmüş beyin senaryolarını önlemek için çoğunluk oluşturucu düğümü gösterilmektedir. Yönergeler, HANA DB düğümleri olarak daha fazla VM içerecek şekilde uyarlanabilir.

Sunulan mimarideki HANA paylaşılan dosya sistemi/hana/shared, Azure Dosyalar üzerinde Azure NetApp Files veya NFS paylaşımı tarafından sağlanabilir. HANA paylaşılan dosya sistemi, aynı HANA sistem çoğaltma sitesindeki her HANA düğümüne bağlı NFS'dir. Dosya sistemleri /hana/data ve /hana/log yerel dosya sistemleridir ve HANA DB düğümleri arasında paylaşılmaz. SAP HANA, paylaşılmayan modda yüklenir.

Önerilen SAP HANA depolama yapılandırmaları için bkz . SAP HANA Azure VM'leri depolama yapılandırmaları.

Önemli

Performansın önemli olduğu üretim sistemleri için Azure NetApp Files'da tüm HANA dosya sistemlerini dağıtıyorsanız SAP HANA için Azure NetApp Files uygulama birimi grubunu değerlendirmenizi ve kullanmayı göz önünde bulundurmanızı öneririz.

Uyarı

/hana/data Azure Dosyalar üzerinde NFS'de ve /hana/log dağıtımı desteklenmez.

SAP HANA scale-out with HSR and Pacemaker cluster on SLES

Önceki diyagramda, SAP HANA ağ önerilerine uyularak bir Azure sanal ağı içinde üç alt ağ temsil edilir:

  • istemci iletişimi için - client 10.23.0.0/24
  • iç HANA düğümler arası iletişim için - inter 10.23.1.128/26
  • HANA sistem çoğaltması için - hsr 10.23.1.192/26

/hana/data/hana/log Ve yerel disklere dağıtıldığından, depolama ile iletişim için ayrı alt ağ ve ayrı sanal ağ kartları dağıtmak gerekmez.

Azure NetApp Files kullanıyorsanız, için /hana/sharedNFS birimleri ayrı bir alt ağda dağıtılır ve Azure NetApp Files: anf 10.23.1.0/26'ya devredilir.

Altyapıyı hazırlama

Aşağıdaki yönergelerde, kaynak grubunu, üç Azure ağ alt ağına sahip Azure sanal ağını oluşturduğunuzu varsayarız: client, inter ve hsr.

Azure portalı aracılığıyla Linux sanal makinelerini dağıtma

  1. Azure VM'lerini dağıtma.

    Bu belgede sunulan yapılandırma için yedi sanal makine dağıtın:

    • HANA çoğaltma sitesi 1 için HANA DB düğümü olarak hizmet vermek üzere üç sanal makine: hana-s1-db1, hana-s1-db2 ve hana-s1-db3
    • HANA çoğaltma sitesi 2 için HANA DB düğümleri olarak hizmet vermek üzere üç sanal makine: hana-s2-db1, hana-s2-db2 ve hana-s2-db3
    • çoğunluk oluşturucu olarak hizmet veren küçük bir sanal makine: hana-s-mm

    SAP DB HANA düğümleri olarak dağıtılan VM'ler, SAP HANA Donanım dizininde yayımlandığı şekilde HANA için SAP tarafından onaylanmalıdır. HANA DB düğümlerini dağıtırken Hızlandırılmış Ağ'ın seçili olduğundan emin olun.

    Çoğunluk oluşturucu düğümü için, bu VM SAP HANA kaynaklarının hiçbirini çalıştırmadığından küçük bir VM dağıtabilirsiniz. Çoğunluk oluşturucu SANAL makinesi, bölünmüş beyin senaryosunda tek sayıda küme düğümü elde etmek için küme yapılandırmasında kullanılır. Çoğunluk oluşturucu VM'sinin bu örnekte alt ağda yalnızca bir sanal ağ arabirimine client ihtiyacı vardır.

    ve /hana/logiçin /hana/data yerel yönetilen diskleri dağıtın. ve /hana/log için /hana/data önerilen en düşük depolama yapılandırması SAP HANA Azure VM'leri depolama yapılandırmaları bölümünde açıklanmıştır.

    Sanal ağ alt ağındaki her VM için birincil ağ arabirimini dağıtın client .
    VM Azure portalı aracılığıyla dağıtıldığında, ağ arabirimi adı otomatik olarak oluşturulur. Bu basitlik yönergelerinde, Azure sanal ağ alt ağına hana-s1-db1-client, hana-s1-db2-client, hana-s1-db3-client vb. olarak eklenen client otomatik olarak oluşturulan birincil ağ arabirimlerine başvuracağız.

    Önemli

    • Seçtiğiniz işletim sisteminin kullandığınız belirli VM türlerinde SAP HANA için SAP sertifikalı olduğundan emin olun. BU türlerde SAP HANA sertifikalı VM türlerinin ve işletim sistemi sürümlerinin listesi için SAP HANA sertifikalı IaaS platformları sitesine gidin. Bu tür için SAP HANA tarafından desteklenen işletim sistemi sürümlerinin tam listesini almak için listelenen VM türünün ayrıntılarına tıklayın.
    • Azure Dosyalar'de NFS'de dağıtmayı /hana/shared seçerseniz, SLES 15 SP2 ve üzeri sürümlerine dağıtmanızı öneririz.

  2. Sanal ağ alt ağında inter her HANA DB sanal makinesi için birer tane olan altı ağ arabirimi oluşturun (bu örnekte hana-s1-db1-inter, hana-s1-db2-inter, hana-s1-db3-inter, hana-s2-db1-inter, hana-s2-db2-inter ve hana-s2-db3-inter).

  3. Sanal ağ alt ağında hsr (bu örnekte hana-s1-db1-hsr, hana-s1-db2-hsr, hana-s1-db3-hsr, hana-s2-db1-hsr, hana-s2-db2-hsr ve hana-s2-db3-hsr) her HANA DB sanal makinesi için birer tane olan altı ağ arabirimi oluşturun.

  4. Yeni oluşturulan sanal ağ arabirimlerini ilgili sanal makinelere ekleyin:

    1. Azure portalında sanal makineye gidin.
    2. Sol bölmede Sanal Makineler'ı seçin. Sanal makine adına (örneğin, hana-s1-db1) filtreleyin ve ardından sanal makineyi seçin.
    3. Genel Bakış bölmesinde Durdur'u seçerek sanal makineyi serbest bırakın.
    4. Ağ'ı seçin ve ardından ağ arabirimini ekleyin. Ağ arabirimi ekle açılan listesinde ve hsr alt ağları için inter önceden oluşturulmuş ağ arabirimlerini seçin.
    5. Kaydet'i seçin.
    6. Kalan sanal makineler için b ile e arasındaki adımları yineleyin (örneğimizde hana-s1-db2, hana-s1-db3, hana-s2-db1, hana-s2-db2 ve hana-s2-db3).
    7. Sanal makineleri şimdilik durdurulmuş durumda bırakın. Ardından, yeni eklenen tüm ağ arabirimleri için hızlandırılmış ağ oluşturmayı etkinleştireceğiz.

  5. Aşağıdaki adımları uygulayarak ve hsr alt ağlarına yönelik ek ağ arabirimleri için inter hızlandırılmış ağ oluşturmayı etkinleştirin:

    1. Azure portalında Azure Cloud Shell'i açın.

    2. ve hsr alt ağlarına bağlı inter ek ağ arabirimleri için hızlandırılmış ağ oluşturmayı etkinleştirmek için aşağıdaki komutları yürütebilirsiniz.

      az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db1-inter --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db2-inter --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db3-inter --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db1-inter --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db2-inter --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db3-inter --accelerated-networking true

az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db1-hsr --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db2-hsr --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s1-db3-hsr --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db1-hsr --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db2-hsr --accelerated-networking true
az network nic update --id /subscriptions/your subscription/resourceGroups/your resource group/providers/Microsoft.Network/networkInterfaces/hana-s2-db3-hsr --accelerated-networking true

  6. HANA DB sanal makinelerini başlatma

Azure yük dengeleyiciyi yapılandırma

VM yapılandırması sırasında ağ bölümünde yük dengeleyiciden çıkma seçeneğiniz vardır. HANA veritabanının yüksek kullanılabilirlik kurulumu için standart yük dengeleyiciyi ayarlamak için aşağıdaki adımları izleyin.

Not

  • HANA ölçeği genişletme için arka uç havuzuna client sanal makineleri eklerken alt ağ için NIC'yi seçin.
  • Azure CLI ve PowerShell'deki tam komut kümesi, arka uç havuzuna birincil NIC'ye sahip VM'leri ekler.

Azure portalını kullanarak yüksek kullanılabilirlikli bir SAP sistemi için standart yük dengeleyici ayarlamak için Yük dengeleyici oluşturma makalesindeki adımları izleyin. Yük dengeleyicinin kurulumu sırasında aşağıdaki noktaları göz önünde bulundurun:

  1. Ön uç IP Yapılandırması: Ön uç IP'si oluşturun. Veritabanı sanal makinelerinizle aynı sanal ağı ve alt ağ adını seçin.
  2. Arka Uç Havuzu: Arka uç havuzu oluşturun ve veritabanı VM'leri ekleyin.
  3. Gelen kuralları: Yük dengeleme kuralı oluşturun. Her iki yük dengeleme kuralı için de aynı adımları izleyin.
    • Ön uç IP adresi: Ön uç IP'lerini seçin.
    • Arka uç havuzu: Bir arka uç havuzu seçin.
    • Yüksek kullanılabilirlik bağlantı noktaları: Bu seçeneği belirleyin.
    • Protokol: TCP'yi seçin.
    • Sistem Durumu Yoklaması: Aşağıdaki ayrıntıları içeren bir sistem durumu yoklaması oluşturun:
      • Protokol: TCP'yi seçin.
      • Bağlantı noktası: Örneğin, 625<örnek-no.>.
      • Aralık: 5 girin.
      • Yoklama Eşiği: 2 girin.
    • Boşta kalma zaman aşımı (dakika): 30 girin.
    • Kayan IP'yi etkinleştir: Bu seçeneği belirleyin.

Not

Portalda iyi durumda olmayan eşik olarak bilinen durum yoklaması yapılandırma özelliğine numberOfProbesuyulmaz. Başarılı veya başarısız ardışık yoklama sayısını denetlemek için özelliğini probeThreshold olarak 2ayarlayın. Şu anda Azure portalını kullanarak bu özelliği ayarlamak mümkün değildir, bu nedenle Azure CLI veya PowerShell komutunu kullanın.

Önemli

Kayan IP, yük dengeleme senaryolarında NIC ikincil IP yapılandırmasında desteklenmez. Ayrıntılar için bkz. Azure Load balancer Sınırlamaları. VM için ek IP adresine ihtiyacınız varsa ikinci bir NIC dağıtın.

Not

Genel IP adresleri olmayan VM'ler iç (genel IP adresi yok) Standart Azure yük dengeleyicinin arka uç havuzuna yerleştirildiğinde, genel uç noktalarına yönlendirmeye izin vermek için ek yapılandırma yapılmadığı sürece giden İnternet bağlantısı olmaz. Giden bağlantı elde etme hakkında ayrıntılı bilgi için bkz. SAP yüksek kullanılabilirlik senaryolarında Azure Standart Load Balancer kullanarak Sanal Makineler için genel uç nokta bağlantısı.

Önemli

  • Azure Load Balancer'ın arkasına yerleştirilen Azure VM'lerinde TCP zaman damgalarını etkinleştirmeyin. TCP zaman damgalarının etkinleştirilmesi sistem durumu yoklamalarının başarısız olmasına neden olur. parametresini net.ipv4.tcp_timestamps olarak 0ayarlayın. Ayrıntılar için bkz . Load Balancer sistem durumu yoklamaları ve SAP not 2382421.
  • saptune'un el ile ayarlanan net.ipv4.tcp_timestamps değeri olarak 0 değiştirmesini önlemek için 1saptune sürümünü 3.1.1 veya üzeri bir sürüme güncelleştirin. Daha fazla ayrıntı için bkz . saptune 3.1.1 – Güncelleştirmem Gerekiyor mu?.

NFS dağıtma

için Azure yerel NFS'yi dağıtmak için /hana/sharediki seçenek vardır. NFS birimini Azure NetApp Files'a veya NFS paylaşımına Azure Dosyalar dağıtabilirsiniz. Azure dosyaları NFSv4.1 protokollerini desteklerken, Azure NetApp dosyalarında NFS hem NFSv4.1 hem de NFSv3'ü destekler.

Sonraki bölümlerde NFS dağıtma adımları açıklanmaktadır. Seçeneklerden yalnızca birini seçmeniz gerekir.

İpucu

Azure NetApp Files'da Azure Dosyalar veya NFS biriminde NFS paylaşımında dağıtmayı /hana/shared seçtiniz.

Azure NetApp Files altyapısını dağıtma

Dosya sistemi için ANF birimleri dağıtın /hana/shared . Her HANA sistem çoğaltma sitesi için ayrı /hana/shared bir birim gerekir. Daha fazla bilgi için bkz . Azure NetApp Files altyapısını ayarlama.

Bu örnekte aşağıdaki Azure NetApp Files birimleri kullanılmıştır:

  • birim HN1-shared-s1 (nfs://10.23.1.7/ HN1-shared-s1)
  • volume HN1-shared-s2 (nfs://10.23.1.7/ HN1-shared-s2)

NFS'yi Azure Dosyalar altyapısında dağıtma

Dosya sistemi için Azure Dosyalar NFS paylaşımlarını dağıtın/hana/shared. Her HANA sistem çoğaltma sitesi için ayrı /hana/shared bir Azure Dosyalar NFS paylaşımı gerekir. Daha fazla bilgi için bkz . NFS paylaşımı oluşturma.

Bu örnekte, aşağıdaki Azure Dosyalar NFS paylaşımları kullanılmıştır:

  • share hn1-shared-s1 (sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1)
  • share hn1-shared-s2 (sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2)

İşletim sistemi yapılandırması ve hazırlığı

Sonraki bölümlerdeki yönergeler aşağıdaki kısaltmalardan biriyle ön eklenmiştir:

  • [A]: Çoğunluk oluşturucu da dahil olmak üzere tüm düğümler için geçerlidir
  • [AH]: Tüm HANA DB düğümleri için geçerlidir
  • [M]: Yalnızca çoğunluk oluşturucu düğümü için geçerlidir
  • [AH1]: SITE 1'de tüm HANA DB düğümleri için geçerlidir
  • [AH2]: SITE 2'de tüm HANA DB düğümleri için geçerlidir
  • [1]: Yalnızca HANA DB düğüm 1, SİTE 1 için geçerlidir
  • [2]: Yalnızca HANA DB düğüm 1, SİTE 2 için geçerlidir

Aşağıdaki adımları uygulayarak işletim sisteminizi yapılandırın ve hazırlayın:

  1. [A] Sanal makinelerde konak dosyalarını koruyun. Tüm alt ağlar için girdileri ekleyin. Bu örnek için aşağıdaki girdiler eklendi /etc/hosts .

    # Client subnet
10.23.0.19      hana-s1-db1
10.23.0.20      hana-s1-db2
10.23.0.21      hana-s1-db3
10.23.0.22      hana-s2-db1
10.23.0.23      hana-s2-db2
10.23.0.24      hana-s2-db3
10.23.0.25      hana-s-mm    

# Internode subnet
10.23.1.132     hana-s1-db1-inter
10.23.1.133     hana-s1-db2-inter
10.23.1.134     hana-s1-db3-inter
10.23.1.135     hana-s2-db1-inter
10.23.1.136     hana-s2-db2-inter
10.23.1.137     hana-s2-db3-inter

# HSR subnet
10.23.1.196     hana-s1-db1-hsr
10.23.1.197     hana-s1-db2-hsr
10.23.1.198     hana-s1-db3-hsr
10.23.1.199     hana-s2-db1-hsr
10.23.1.200     hana-s2-db2-hsr
10.23.1.201     hana-s2-db3-hsr

  2. [A] Azure yapılandırma ayarları için Microsoft ile /etc/sysctl.d/ms-az.conf yapılandırma dosyası oluşturun.

    vi /etc/sysctl.d/ms-az.conf

# Add the following entries in the configuration file
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv4.tcp_max_syn_backlog = 16348
net.ipv4.conf.all.rp_filter = 0
sunrpc.tcp_slot_table_entries = 128
vm.swappiness=10

    İpucu

    SAP Konak Aracısı'nın bağlantı noktası aralıklarını yönetmesine izin vermek için sysctl yapılandırma dosyalarında açıkça net.ipv4.ip_local_port_range ve net.ipv4.ip_local_reserved_ports ayarlamaktan kaçının. Daha fazla bilgi için bkz. SAP not 2382421.

  3. [A] SUSE, SAP HANA için özel kaynak aracıları sunar ve SAP HANA ölçeğini artırma için varsayılan olarak aracılar yüklenir. Yüklüyse, ölçeği artırma paketlerini kaldırın ve SAP HANA ölçeği genişletme senaryosu için paketleri yükleyin. Adımın, çoğunluk oluşturucu da dahil olmak üzere tüm küme VM'lerinde gerçekleştirilmesi gerekir.

    Not

    SAPHanaSR-ScaleOut sürüm 0.181 veya üzeri yüklü olmalıdır.

    # Uninstall scale-up packages and patterns
sudo zypper remove patterns-sap-hana
sudo zypper remove SAPHanaSR SAPHanaSR-doc yast2-sap-ha

# Install the scale-out packages and patterns
sudo zypper in SAPHanaSR-ScaleOut SAPHanaSR-ScaleOut-doc 
sudo zypper in -t pattern ha_sles

  4. [AH] VM'leri hazırlama - SAP Uygulamaları için SUSE Linux Enterprise Server 2205917 SAP not başına önerilen ayarları uygulayın.

Dosya sistemlerini hazırlama

SAP paylaşılan dizinlerini Azure NetApp Files'da Azure Dosyalar veya NFS biriminde NFS paylaşımına dağıtmayı seçtiniz.

Paylaşılan dosya sistemlerini bağlama (Azure NetApp Files NFS)

Bu örnekte, paylaşılan HANA dosya sistemleri Azure NetApp Files'a dağıtılır ve NFSv4.1 üzerinden bağlanır. Yalnızca Azure NetApp Files üzerinde NFS kullanıyorsanız bu bölümdeki adımları izleyin.

  1. [AH] SAP not 3024346 - NetApp NFS için Linux Çekirdeği Ayarlar'nde açıklandığı gibi, işletim sistemini NFS ile NetApp Systems üzerinde SAP HANA çalıştırmak için hazırlayın. NetApp yapılandırma ayarları için /etc/sysctl.d/91-NetApp-HANA.conf yapılandırma dosyası oluşturun.

    vi /etc/sysctl.d/91-NetApp-HANA.conf

# Add the following entries in the configuration file
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 131072 16777216
net.ipv4.tcp_wmem = 4096 16384 16777216
net.core.netdev_max_backlog = 300000
net.ipv4.tcp_slow_start_after_idle=0
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_moderate_rcvbuf = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_sack = 1

  2. [AH] NetApp NFS için SAP not 3024346 - Linux Çekirdeği Ayarlar'nde önerilen sunrpc ayarlarını yapın.

    vi /etc/modprobe.d/sunrpc.conf

# Insert the following line
options sunrpc tcp_max_slot_table_entries=128

  3. [AH] HANA veritabanı birimleri için bağlama noktaları oluşturun.

    mkdir -p /hana/shared

  4. [AH] NFS etki alanı ayarını doğrulayın. Etki alanının varsayılan Azure NetApp Files etki alanı defaultv4iddomain.com olarak yapılandırıldığından ve eşlemenin hiç kimse olarak ayarlandığından emin olun.
    Bu adım yalnızca Azure NetAppFiles NFSv4.1 kullanılıyorsa gereklidir.

    Önemli

    VM'de içindeki NFS etki alanını Azure NetApp Files'daki /etc/idmapd.conf varsayılan etki alanı yapılandırmasıyla eşleşecek şekilde ayarladığınızdan emin olun: defaultv4iddomain.com. NFS istemcisinde (vm) etki alanı yapılandırması ile NFS sunucusu arasında bir uyuşmazlık varsa( örneğin, Azure NetApp yapılandırması), VM'lere bağlanan Azure NetApp birimlerindeki dosyaların izinleri olarak nobodygörüntülenir.

    sudo cat /etc/idmapd.conf
# Example
[General]
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

  5. [AH] öğesini doğrulayın nfs4_disable_idmapping. Y olarak ayarlanmalıdır. Bulunduğu nfs4_disable_idmapping dizin yapısını oluşturmak için bağlama komutunu yürütün. Erişim çekirdek /sürücüler için ayrıldığından dizini /sys/modules altında el ile oluşturamazsınız.
    Bu adım yalnızca Azure NetAppFiles NFSv4.1 kullanılıyorsa gereklidir.

    # Check nfs4_disable_idmapping 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping
# If you need to set nfs4_disable_idmapping to Y
mkdir /mnt/tmp
mount 10.23.1.7:/HN1-share-s1 /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

  6. [AH1] Paylaşılan Azure NetApp Files birimlerini SITE1 HANA DB VM'lerine bağlayın.

    sudo vi /etc/fstab
# Add the following entry
10.23.1.7:/HN1-shared-s1 /hana/shared nfs rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0
# Mount all volumes
sudo mount -a

  7. [AH2] Paylaşılan Azure NetApp Files birimlerini SITE2 HANA DB VM'lerine bağlayın.

    sudo vi /etc/fstab
# Add the following entry
10.23.1.7:/HN1-shared-s2 /hana/shared nfs rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0
# Mount the volume
sudo mount -a

  8. [AH] İlgili /hana/shared/ dosya sistemlerinin NFS protokol sürümü NFSv4.1 olan tüm HANA DB VM'lerine bağlandığını doğrulayın.

    sudo nfsstat -m
# Verify that flag vers is set to 4.1 
# Example from SITE 1, hana-s1-db1
/hana/shared from 10.23.1.7:/HN1-shared-s1
 Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.19,local_lock=none,addr=10.23.1.7
# Example from SITE 2, hana-s2-db1
/hana/shared from 10.23.1.7:/HN1-shared-s2
 Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.22,local_lock=none,addr=10.23.1.7

Paylaşılan dosya sistemlerini bağlama (Azure Dosyalar NFS)

Bu örnekte, paylaşılan HANA dosya sistemleri Azure Dosyalar üzerinde NFS'de dağıtılır. Bu bölümdeki adımları izleyin; yalnızca Azure Dosyalar üzerinde NFS kullanıyorsanız.

  1. [AH] HANA veritabanı birimleri için bağlama noktaları oluşturun.

    mkdir -p /hana/shared

  2. [AH1] Paylaşılan Azure NetApp Files birimlerini SITE1 HANA DB VM'lerine bağlayın.

    sudo vi /etc/fstab
# Add the following entry
sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1 /hana/shared  nfs nfsvers=4.1,sec=sys  0  0
# Mount all volumes
sudo mount -a

  3. [AH2] Paylaşılan Azure NetApp Files birimlerini SITE2 HANA DB VM'lerine bağlayın.

    sudo vi /etc/fstab
# Add the following entries
sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2 /hana/shared  nfs nfsvers=4.1,sec=sys  0  0
# Mount the volume
sudo mount -a

  4. [AH] İlgili /hana/shared/ dosya sistemlerinin NFS protokol sürümü NFSv4.1 olan tüm HANA DB VM'lerine bağlandığını doğrulayın.

    sudo nfsstat -m
# Example from SITE 1, hana-s1-db1
sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s1
 Flags: rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.19,local_lock=none,addr=10.23.0.35
# Example from SITE 2, hana-s2-db1
sapnfsafs.file.core.windows.net:/sapnfsafs/hn1-shared-s2
 Flags: rw,relatime,vers=4.1,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.23.0.22,local_lock=none,addr=10.23.0.35

Verileri hazırlama ve yerel dosya sistemlerini günlüğe kaydetme

Sunulan yapılandırmada, dosya sistemleri /hana/data ve /hana/log yönetilen diske dağıtılır ve her HANA DB VM'sine yerel olarak bağlanır. Her HANA DB sanal makinesinde yerel verileri ve günlük birimlerini oluşturma adımlarını yürütmeniz gerekir.

Mantıksal Birim Yöneticisi (LVM) ile disk düzenini ayarlayın. Aşağıdaki örnekte, her HANA sanal makinesinin iki birim oluşturmak için kullanılan üç veri diski eklendiği varsayılır.

  1. [AH] Kullanılabilir tüm diskleri listeleyin:

    ls /dev/disk/azure/scsi1/lun*

    Örnek çıkış:

    /dev/disk/azure/scsi1/lun0  /dev/disk/azure/scsi1/lun1  /dev/disk/azure/scsi1/lun2

  2. [AH] Kullanmak istediğiniz tüm diskler için fiziksel birimler oluşturun:

    sudo pvcreate /dev/disk/azure/scsi1/lun0
sudo pvcreate /dev/disk/azure/scsi1/lun1
sudo pvcreate /dev/disk/azure/scsi1/lun2

  3. [AH] Veri dosyaları için bir birim grubu oluşturun. Günlük dosyaları için bir birim grubu ve SAP HANA'nın paylaşılan dizini için bir birim grubu kullanın:\

    sudo vgcreate vg_hana_data_HN1 /dev/disk/azure/scsi1/lun0 /dev/disk/azure/scsi1/lun1
sudo vgcreate vg_hana_log_HN1 /dev/disk/azure/scsi1/lun2

  4. [AH] Mantıksal birimleri oluşturun.

    Anahtar olmadan -i kullandığınızda lvcreate doğrusal bir birim oluşturulur. Daha iyi G/Ç performansı için şeritli birim oluşturmanızı ve şerit boyutlarını SAP HANA VM depolama yapılandırmalarında belgelenen değerlerle hizalamanızı öneririz. -i Bağımsız değişken, temel alınan fiziksel birimlerin sayısı, -I bağımsız değişken ise şerit boyutu olmalıdır. Bu belgede, veri birimi için iki fiziksel birim kullanıldığından -i anahtar bağımsız değişkeni 2 olarak ayarlanmıştır. Veri hacmi için şerit boyutu 256 KiB'dir. Günlük birimi için bir fiziksel birim kullanıldığından, günlük birimi komutları için açıkça hayır -i veya -I anahtarları kullanılır.

    Önemli

    -i Her veri veya günlük birimi için birden fazla fiziksel birim kullandığınızda anahtarı kullanın ve temel alınan fiziksel birimin sayısına ayarlayın. -I Şeritli birim oluştururken şerit boyutunu belirtmek için anahtarı kullanın.
    Şerit boyutları ve disk sayısı da dahil olmak üzere önerilen depolama yapılandırmaları için bkz . SAP HANA VM depolama yapılandırmaları.

    sudo lvcreate -i 2 -I 256 -l 100%FREE -n hana_data vg_hana_data_HN1
sudo lvcreate -l 100%FREE -n hana_log vg_hana_log_HN1
sudo mkfs.xfs /dev/vg_hana_data_HN1/hana_data
sudo mkfs.xfs /dev/vg_hana_log_HN1/hana_log

  5. [AH] Bağlama dizinlerini oluşturun ve tüm mantıksal birimlerin UUID değerini kopyalayın:

    sudo mkdir -p /hana/data/HN1
sudo mkdir -p /hana/log/HN1
# Write down the ID of /dev/vg_hana_data_HN1/hana_data and /dev/vg_hana_log_HN1/hana_log
sudo blkid

  6. [AH] Mantıksal birimler ve bağlama için girdiler oluşturun fstab :

    sudo vi /etc/fstab

    Dosyaya aşağıdaki satırı /etc/fstab ekleyin:

    /dev/disk/by-uuid/UUID of /dev/mapper/vg_hana_data_HN1-hana_data /hana/data/HN1 xfs  defaults,nofail  0  2
/dev/disk/by-uuid/UUID of /dev/mapper/vg_hana_log_HN1-hana_log /hana/log/HN1 xfs  defaults,nofail  0  2

    Yeni birimleri bağlayın:

    sudo mount -a

Pacemaker kümesi oluşturma

Bu HANA sunucusu için temel bir Pacemaker kümesi oluşturmak için Azure'da SUSE Linux Enterprise Server'da Pacemaker'ı ayarlama makalesindeki adımları izleyin. Kümedeki çoğunluk oluşturucu da dahil olmak üzere tüm sanal makineleri dahil edin.

Önemli

Bu iki düğüm kümesi olmadığından 2 olarak ayarlamayın quorum expected-votes .
Küme özelliğinin concurrent-fencing etkinleştirildiğinden emin olun; böylece düğüm eskrim seri durumdan çıkarılır.

Yükleme

Azure VM'lerinde HSR ile genişleme yapılandırmasında SAP HANA'yı dağıtmak için bu örnekte HANA 2.0 SP5'i kullandık.

HANA yüklemesi için hazırlanma

  1. [AH] HANA yüklemeden önce kök parolayı ayarlayın. Yükleme tamamlandıktan sonra kök parolayı devre dışı bırakabilirsiniz. Komutu olarak root yürüt .. passwd.

  2. [1,2] İzinleri değiştir /hana/shared

    chmod 775 /hana/shared

  3. [1] Parola istenmeden hana-s1-db2 ve hana-s1-db3 sitelerindeki HANA DB VM'lerinde SSH aracılığıyla oturum açabildiğinizi doğrulayın. Böyle bir durum söz konusu değilse, Ortak Anahtar aracılığıyla SSH Erişimini Etkinleştirme bölümünde açıklandığı gibi ssh anahtarlarını değiştirme.

    ssh root@hana-s1-db2
ssh root@hana-s1-db3

  4. [2] Parola istenmeden hana-s2-db2 ve hana-s2-db3 sitelerindeki HANA DB VM'lerinde SSH aracılığıyla oturum açabildiğinizi doğrulayın.
    Böyle bir durum söz konusu değilse, ssh anahtarlarını değiştirme.

    ssh root@hana-s2-db2
ssh root@hana-s2-db3

  5. [AH] HANA 2.0 SP4 ve üzeri için gereken ek paketleri yükleyin. Daha fazla bilgi için bkz. SLES sürümünüz için SAP Not 2593824 .

    # In this example, using SLES12 SP5
sudo zypper install libgcc_s1 libstdc++6 libatomic1

Her sitedeki ilk düğümde HANA yüklemesi

  1. [1] SAP HANA 2.0 Yükleme ve Güncelleştirme kılavuzundaki yönergeleri izleyerek SAP HANA'yı yükleyin. Aşağıdaki yönergelerde, SİTE 1'deki ilk düğümde SAP HANA yüklemesini gösteririz.

    a. HDblcm programını HANA yükleme yazılımı dizininden olduğu gibi root başlatın. parametresini internal_network kullanın ve iç HANA düğümler arası iletişim için kullanılan alt ağ için adres alanını geçirin.

    ./hdblcm --internal_network=10.23.1.128/26

    b. İstemde aşağıdaki değerleri girin:

    • Eylem seçin için: 1 girin (yükleme için)
    • Yükleme için ek bileşenler için: 2, 3 girin
    • Yükleme yolu için: Enter tuşuna basın (varsayılan olarak /hana/shared olarak kullanılır)
    • Yerel Ana Bilgisayar Adı için: Varsayılanı kabul etmek için Enter tuşuna basın
    • Sisteme konak eklemek istiyor musunuz?: n girin
    • SAP HANA Sistem Kimliği için: HN1 girin
    • Örnek numarası [00]: 03 girin
    • Yerel Konak Çalışan Grubu [varsayılan] için: Varsayılanı kabul etmek için Enter tuşuna basın
    • Sistem Kullanımını Seçin / Dizin girin [4]: 4 girin (özel için)
    • [/hana/data/HN1] Veri Birimlerinin Konumu için: Varsayılanı kabul etmek için Enter tuşuna basın
    • [/hana/log/HN1] Günlük Birimlerinin Konumu için: Varsayılanı kabul etmek için Enter tuşuna basın
    • En fazla bellek ayırmayı kısıtla? [n]: n girin
    • Hana-s1-db1 [hana-s1-db1] konağı için Sertifika Ana Bilgisayar Adı için: Varsayılanı kabul etmek için Enter tuşuna basın
    • SAP Konak Aracısı Kullanıcısı (sapadm) Parolası için: parolayı girin
    • SAP Konak Aracısı Kullanıcı (sapadm) Parolasını Onayla için: parolayı girin
    • Sistem Yönetici istrator (hn1adm) Parolası için: parolayı girin
    • Sistem Yönetici istrator Giriş Dizini [/usr/sap/HN1/home] için: Varsayılanı kabul etmek için Enter tuşuna basın
    • Sistem Yönetici istrator Oturum Açma Kabuğu [/bin/sh] için: Varsayılanı kabul etmek için Enter tuşuna basın
    • Sistem Yönetici istrator Kullanıcı Kimliği [1001] için: Varsayılanı kabul etmek için Enter tuşuna basın
    • Kullanıcı Grubunun Enter Kimliği (sapsys) [79] için: Varsayılanı kabul etmek için Enter tuşuna basın
    • Sistem Veritabanı Kullanıcısı (sistem) Parolası için: Sistemin parolasını girin
    • Sistem Veritabanı Kullanıcı (sistem) Parolasını Onayla için: Sistemin parolasını girin
    • Makine yeniden başlatıldıktan sonra sistemi yeniden başlatma için? [n]: n girin
    • Devam etmek istiyor musunuz (y/n): özeti doğrulayın ve her şey iyi görünüyorsa y girin

  2. [2] SAP HANA'yı SITE 2'de ilk düğüme yüklemek için önceki adımı yineleyin.

  3. [1,2] global.ini doğrula

    global.ini görüntüleyin ve dahili SAP HANA düğümler arası iletişim yapılandırmasının yerinde olduğundan emin olun. İletişim bölümünü doğrulayın. Alt ağın adres alanına inter sahip olmalı ve listeninterface olarak .internalayarlanmalıdır. internal_hostname_resolution bölümünü doğrulayın. Alt ağa ait HANA sanal makinelerinin IP adreslerine inter sahip olmalıdır.

      sudo cat /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
  # Example from SITE1 
  [communication]
  internal_network = 10.23.1.128/26
  listeninterface = .internal
  [internal_hostname_resolution]
  10.23.1.132 = hana-s1-db1
  10.23.1.133 = hana-s1-db2
  10.23.1.134 = hana-s1-db3

  4. [1,2] SAP not 2080991 açıklandığı gibi, paylaşılan olmayan ortamda yüklemeye hazırlanınglobal.ini.

     sudo vi /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
 [persistence]
 basepath_shared = no

  5. [1,2] Değişiklikleri etkinleştirmek için SAP HANA'yı yeniden başlatın.

     sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StopSystem
 sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StartSystem

  6. [1,2] İstemci arabiriminin iletişim için alt ağdaki IP adreslerini client kullanacağını doğrulayın.

    # Execute as hn1adm
/usr/sap/HN1/HDB03/exe/hdbsql -u SYSTEM -p "password" -i 03 -d SYSTEMDB 'select * from SYS.M_HOST_INFORMATION'|grep net_publicname
# Expected result - example from SITE 2
"hana-s2-db1","net_publicname","10.23.0.22"

    Yapılandırmayı doğrulama hakkında bilgi için bkz. SAP Not 2183363 - SAP HANA iç ağının yapılandırması.

  7. [AH] HANA yükleme hatasını önlemek için veri ve günlük dizinlerindeki izinleri değiştirin.

     sudo chmod o+w -R /hana/data /hana/log

  8. [1] İkincil HANA düğümlerini yükleyin. Bu adımdaki örnek yönergeler SİTE 1 içindir.

    a. Yerleşik hdblcm programını olarak rootbaşlatın.

     cd /hana/shared/HN1/hdblcm
 ./hdblcm

    b. İstemde aşağıdaki değerleri girin:

    • Eylem seçin için: 2 girin (konak eklemek için)
    • Eklenecek virgülle ayrılmış konak adlarını girin: hana-s1-db2, hana-s1-db3
    • Yükleme için ek bileşenler için: 2, 3 girin
    • Kök Kullanıcı Adını Girin [root]: varsayılanı kabul etmek için Enter tuşuna basın
    • 'hana-s1-db2' konağı için rolleri seçme için [1]: 1 (çalışan için)
    • 'hana-s1-db2' konağı için Ana Bilgisayar Yük Devretme Grubunu Girin [varsayılan]: varsayılanı kabul etmek için Enter tuşuna basın
    • 'hana-s1-db2' konağı için Depolama Bölüm Numarası Girin [<<otomatik>> olarak atayın]: Varsayılanı kabul etmek için Enter tuşuna basın
    • 'hana-s1-db2' konağı için Çalışan Grubunu Girin [varsayılan]: varsayılanı kabul etmek için Enter tuşuna basın
    • 'hana-s1-db3' konağı için rolleri seçme için [1]: 1 (çalışan için)
    • 'hana-s1-db3' konağı için Ana Bilgisayar Yük Devretme Grubunu Girin [varsayılan]: Varsayılanı kabul etmek için Enter tuşuna basın
    • 'hana-s1-db3' konağı için Depolama Bölüm Numarası Girin [<<otomatik>> olarak atayın]: Varsayılanı kabul etmek için Enter tuşuna basın
    • 'hana-s1-db3' konağı için Çalışan Grubunu Girin [varsayılan]: Varsayılanı kabul etmek için Enter tuşuna basın
    • Sistem Yönetici istrator (hn1adm) Parolası için: parolayı girin
    • SAP Konak Aracısı Kullanıcısı (sapadm) Parolasını Girin: parolayı girin
    • SAP Konak Aracısı Kullanıcı (sapadm) Parolasını Onayla için: parolayı girin
    • Hana-s1-db2 [hana-s1-db2] konağı için Sertifika Ana Bilgisayar Adı için: Varsayılanı kabul etmek için Enter tuşuna basın
    • Hana-s1-db3 Konağı için Sertifika Ana Bilgisayar Adı için [hana-s1-db3]: Varsayılanı kabul etmek için Enter tuşuna basın
    • Devam etmek istiyor musunuz (y/n): özeti doğrulayın ve her şey iyi görünüyorsa y girin

  9. [2] site 2'ye ikincil SAP HANA düğümlerini yüklemek için önceki adımı yineleyin.

SAP HANA 2.0 Sistem Çoğaltmasını Yapılandırma

  1. [1] SITE 1'de Sistem Çoğaltmayı Yapılandırma:

    Veritabanlarını hn1adm olarak yedekleyin:

    hdbsql -d SYSTEMDB -u SYSTEM -p "passwd" -i 03 "BACKUP DATA USING FILE ('initialbackupSYS')"
hdbsql -d HN1 -u SYSTEM -p "passwd" -i 03 "BACKUP DATA USING FILE ('initialbackupHN1')"

    Sistem PKI dosyalarını ikincil siteye kopyalayın:

    scp /usr/sap/HN1/SYS/global/security/rsecssfs/data/SSFS_HN1.DAT hana-s2-db1:/usr/sap/HN1/SYS/global/security/rsecssfs/data/
scp /usr/sap/HN1/SYS/global/security/rsecssfs/key/SSFS_HN1.KEY  hana-s2-db1:/usr/sap/HN1/SYS/global/security/rsecssfs/key/

    Birincil siteyi oluşturun:

    hdbnsutil -sr_enable --name=HANA_S1

  2. [2] SITE 2'de Sistem Çoğaltmayı Yapılandırma:

    Sistem çoğaltmasını başlatmak için ikinci siteyi kaydedin. Aşağıdaki komutu hanasid>adm olarak <çalıştırın:

    sapcontrol -nr 03 -function StopWait 600 10
hdbnsutil -sr_register --remoteHost=hana-s1-db1 --remoteInstance=03 --replicationMode=sync --name=HANA_S2
sapcontrol -nr 03 -function StartSystem

  3. [1] Çoğaltma durumunu denetleme

    Çoğaltma durumunu denetleyin ve tüm veritabanları eşitlenene kadar bekleyin.

    sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"

# | Database | Host          | Port  | Service Name | Volume ID | Site ID | Site Name | Secondary     | Secondary | Secondary | Secondary | Secondary     | Replication | Replication | Replication    |
# |          |               |       |              |           |         |           | Host          | Port      | Site ID   | Site Name | Active Status | Mode        | Status      | Status Details |
# | -------- | ------------- | ----- | ------------ | --------- | ------- | --------- | ------------- | --------- | --------- | --------- | ------------- | ----------- | ----------- | -------------- |
# | HN1      | hana-s1-db3   | 30303 | indexserver  |         5 |       1 | HANA_S1   | hana-s2-db3   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
# | SYSTEMDB | hana-s1-db1   | 30301 | nameserver   |         1 |       1 | HANA_S1   | hana-s2-db1   |     30301 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
# | HN1      | hana-s1-db1   | 30307 | xsengine     |         2 |       1 | HANA_S1   | hana-s2-db1   |     30307 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
# | HN1      | hana-s1-db1   | 30303 | indexserver  |         3 |       1 | HANA_S1   | hana-s2-db1   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
# | HN1      | hana-s1-db2   | 30303 | indexserver  |         4 |       1 | HANA_S1   | hana-s2-db2   |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
#
# status system replication site "2": ACTIVE
# overall system replication status: ACTIVE
#
# Local System Replication State
#
# mode: PRIMARY
# site id: 1
# site name: HANA_S1

  4. [1,2] HANA sistem çoğaltma iletişiminin HANA sistem çoğaltma sanal ağ arabirimleri aracılığıyla yönlendirilmesi için HANA yapılandırmasını değiştirin.

    • Her iki site için de HANA'yı durdurma

      sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StopSystem HDB

    • GLOBAL.INI düzenleyerek HANA sistem çoğaltması için ana bilgisayar eşlemesini ekleyin: alt ağdan hsr IP adreslerini kullanın.

      sudo vi /usr/sap/HN1/SYS/global/hdb/custom/config/global.ini
#Add the section
[system_replication_hostname_resolution]
10.23.1.196 = hana-s1-db1
10.23.1.197 = hana-s1-db2
10.23.1.198 = hana-s1-db3
10.23.1.199 = hana-s2-db1
10.23.1.200 = hana-s2-db2
10.23.1.201 = hana-s2-db3

    • Her iki site için de HANA'yı başlatma

      sudo -u hn1adm /usr/sap/hostctrl/exe/sapcontrol -nr 03 -function StartSystem HDB

    Daha fazla bilgi için bkz . Sistem Çoğaltma için Ana Bilgisayar Adı çözümlemesi.

Dosya sistemi kaynakları oluşturma

NFS'ye bağlı dosya sistemine erişirken bir sorun olması durumunda hataları izleyecek ve raporlayacak sahte bir dosya sistemi /hana/sharedküme kaynağı oluşturun. Bu, erişimde /hana/sharedbir sorun olması durumunda kümenin yük devretmeyi tetiklemesini sağlar. Daha fazla bilgi için bkz. HANA sistem çoğaltması için SUSE HA kümesinde başarısız NFS paylaşımını işleme

  1. [1] HANA küme kaynaklarının oluşturulmasına hazırlık olarak pacemaker'ı bakım moduna yerleştirin.

    crm configure property maintenance-mode=true

  2. [1,2] Özel dosya sistemi izleme kaynağında kullanılacak NFS bağlı dosya sisteminde /hana/shared dizinini oluşturun. Dizinlerin her iki site üzerinde de oluşturulması gerekir.

    mkdir -p /hana/shared/HN1/check

  3. [AH] Özel dosya sistemi izleme kaynağını bağlamak için kullanılacak dizini oluşturun. Dizinin tüm HANA küme düğümlerinde oluşturulması gerekir.

    mkdir -p /hana/check

  4. [1] Dosya sistemi kümesi kaynaklarını oluşturun.

    crm configure primitive fs_HN1_HDB03_fscheck Filesystem \
  params device="/hana/shared/HN1/check" \
  directory="/hana/check" fstype=nfs4 \
  options="bind,defaults,rw,hard,proto=tcp,noatime,nfsvers=4.1,lock" \
  op monitor interval=120 timeout=120 on-fail=fence \
  op_params OCF_CHECK_LEVEL=20 \
  op start interval=0 timeout=120 op stop interval=0 timeout=120

crm configure clone cln_fs_HN1_HDB03_fscheck fs_HN1_HDB03_fscheck \
  meta clone-node-max=1 interleave=true

crm configure location loc_cln_fs_HN1_HDB03_fscheck_not_on_mm \
  cln_fs_HN1_HDB03_fscheck -inf: hana-s-mm

    OCF_CHECK_LEVEL=20 özniteliği izleyici işlemine eklenir, böylece izleme işlemleri dosya sisteminde bir okuma/yazma testi gerçekleştirir. Bu öznitelik olmadan, izleme işlemi yalnızca dosya sisteminin bağlandığını doğrular. Bağlantı kaybolduğunda dosya sistemi erişilemez olmasına rağmen bağlı kalabileceği için bu sorun olabilir.

    on-fail=fence özniteliği de izleyici işlemine eklenir. Bu seçenekle, izleme işlemi bir düğümde başarısız olursa, bu düğüm hemen çevrelenir.

HANA HA kancalarını uygulama SAPHanaSrMultiTarget ve susChkSrv

Bu önemli adım, kümeyle tümleştirmeyi ve bir küme yük devretmesi mümkün olduğunda algılamayı iyileştirmektir. SAPHanaSrMultiTarget Python kancasını yapılandırmak kesinlikle önerilir. HANA 2.0 SP5 ve üzeri için hem SAPHanaSrMultiTarget hem de susChkSrv kancalarının uygulanması önerilir.

Not

SAPHanaSrMultiTarget HA sağlayıcısı, HANA ölçeği genişletme için SAPHanaSR'nin yerini alır. SAPHanaSR, bu belgenin önceki sürümünde açıklanmıştır.
Yeni HANA HA kancasıyla yapılan değişiklikler hakkında SUSE blog gönderisine bakın.

SAPHanaSrMultiTarget kancası için sağlanan adımlar yeni bir yükleme içindir. Var olan bir ortamı SAPHanaSR'den SAPHanaSrMultiTarget sağlayıcısına yükseltmek için birkaç değişiklik yapılması gerekir ve bu belgede ANLATILMADI . Mevcut ortam olağanüstü durum kurtarma için üçüncü site kullanmıyorsa ve HANA çok hedefli sistem çoğaltması kullanılmıyorsa SAPHanaSR HA sağlayıcısı kullanımda kalabilir.

SusChkSrv, ana SAPHanaSrMultiTarget HA sağlayıcısının işlevselliğini genişletir. HANA işlemi hdbindexserver'ın kilitlenmesi durumunda hareket eder. Tek bir işlem kilitleniyorsa HANA genellikle işlemi yeniden başlatmayı dener. Dizin sunucusu işleminin yeniden başlatılması uzun sürebilir ve bu süre boyunca HANA veritabanı yanıt vermiyor olabilir. susChkSrv uygulandığında, hdbindexserver işleminin aynı düğümde yeniden başlatılmasını beklemek yerine anında ve yapılandırılabilir bir eylem yürütülür. HANA ölçeği genişletmede susChkSrv, her HANA VM için bağımsız olarak hareket eder. Yapılandırılan eylem, HANA'yı öldürür veya etkilenen VM'yi çevreler ve bu da yapılandırılan zaman aşımı döneminde yük devretmeyi tetikler.

Her iki HANA HA kancasının da çalıştırılması için SUSE SLES 15 SP1 veya üzeri gereklidir. Aşağıdaki tabloda diğer bağımlılıklar gösterilmektedir.

SAP HANA HA kancası HANA sürümü gerekiyor SAPHanaSR-ScaleOut gerekli
SAPHanaSrMultiTarget HANA 2.0 SPS4 veya üzeri 0,180 veya üzeri
susChkSrv HANA 2.0 SPS5 veya üzeri 0.184.1 veya üzeri

Her iki kancayı da uygulama adımları:

  1. [1,2] Her iki sistem çoğaltma sitesinde de HANA'yı durdurun. Sid>adm olarak <yürüt:

    sapcontrol -nr 03 -function StopSystem

  2. [1,2] Her küme sitesinde ayarlayın global.ini . susChkSrv kancası için önkoşullar karşılanmazsa bloğun tamamı [ha_dr_provider_suschksrv] yapılandırılmamalıdır.
    susChkSrv davranışını parametre action_on_lost ile ayarlayabilirsiniz. Geçerli değerler şunlardır: [ ignore | stop | kill | fence ].

    # add to global.ini on both sites. Do not copy global.ini between sites.
[ha_dr_provider_saphanasrmultitarget]
provider = SAPHanaSrMultiTarget
path = /usr/share/SAPHanaSR-ScaleOut
execution_order = 1

[ha_dr_provider_suschksrv]
provider = susChkSrv
path = /usr/share/SAPHanaSR-ScaleOut
execution_order = 3
action_on_lost = kill

[trace]
ha_dr_saphanasrmultitarget = info

    SUSE tarafından teslim edilen HA kancalarının varsayılan konumu /usr/share/SAPHanaSR-ScaleOut'tır. Standart konumun kullanılması, python kanca kodunun işletim sistemi veya paket güncelleştirmeleri aracılığıyla otomatik olarak güncelleştirilip bir sonraki yeniden başlatmada HANA tarafından kullanılmasına neden olur. /hana/shared/myHooks gibi isteğe bağlı bir kendi yoluyla, işletim sistemi güncelleştirmelerini kullanılan kanca sürümünden ayrıştırabilirsiniz.

  3. [AH] Küme, sid>adm için <küme düğümlerinde sudoers yapılandırması gerektirir. Bu örnekte, yeni bir dosya oluşturularak elde edilir. Hn1 değerlerini doğru küçük harf SID ile uyarlamak için root komutları yürütür.

    cat << EOF > /etc/sudoers.d/20-saphana
# SAPHanaSR-ScaleOut needs for HA/DR hook scripts
so1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_hn1_site_srHook_*
so1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_hn1_gsh *
so1adm ALL=(ALL) NOPASSWD: /usr/sbin/SAPHanaSR-hookHelper --sid=hn1 *
EOF

  4. [1,2] Her iki çoğaltma sitesinde de SAP HANA'yı başlatın. Sid>adm olarak <yürütün.

    sapcontrol -nr 03 -function StartSystem

  5. [A] Kanca yüklemesinin tüm küme düğümlerinde etkin olduğunu doğrulayın. Sid>adm olarak <yürütün.

    cdtrace
grep HADR.*load.*SAPHanaSrMultiTarget nameserver_*.trc | tail -3
# Example output
# nameserver_hana-s1-db1.31001.000.trc:[14162]{-1}[-1/-1] 2023-01-26 12:53:55.728027 i ha_dr_provider   HADRProviderManager.cpp(00083) : loading HA/DR Provider 'SAPHanaSrMultiTarget' from /usr/share/SAPHanaSR-ScaleOut/
grep SAPHanaSr.*init nameserver_*.trc | tail -3
# Example output
# nameserver_hana-s1-db1.31001.000.trc:[17636]{-1}[-1/-1] 2023-01-26 16:30:19.256705 i ha_dr_SAPHanaSrM SAPHanaSrMultiTarget.py(00080) : SAPHanaSrMultiTarget.init() CALLING CRM: <sudo /usr/sbin/crm_attribute -n hana_hn1_gsh -v 2.2  -l reboot> rc=0
# nameserver_hana-s1-db1.31001.000.trc:[17636]{-1}[-1/-1] 2023-01-26 16:30:19.256739 i ha_dr_SAPHanaSrM SAPHanaSrMultiTarget.py(00081) : SAPHanaSrMultiTarget.init() Running srHookGeneration 2.2, see attribute hana_hn1_gsh too

    susChkSrv kanca yüklemesini doğrulayın. Sid>adm olarak <yürütün.

    cdtrace
egrep '(LOST:|STOP:|START:|DOWN:|init|load|fail)' nameserver_suschksrv.trc
# Example output
# 2023-01-19 08:23:10.581529  [1674116590-10005] susChkSrv.init() version 0.7.7, parameter info: action_on_lost=fence stop_timeout=20 kill_signal=9
# 2023-01-19 08:23:31.553566  [1674116611-14022] START: indexserver event looks like graceful tenant start
# 2023-01-19 08:23:52.834813  [1674116632-15235] START: indexserver event looks like graceful tenant start (indexserver started)

SAP HANA küme kaynakları oluşturma

  1. [1] HANA küme kaynaklarını oluşturun. Aşağıdaki komutları olarak rootyürütebilirsiniz.

    1. Kümenin zaten bakım modunda olduğundan emin olun.

    2. Ardından HANA Topolojisi kaynağını oluşturun.

      sudo crm configure primitive rsc_SAPHanaTopology_HN1_HDB03 ocf:suse:SAPHanaTopology \
  op monitor interval="10" timeout="600" \
  op start interval="0" timeout="600" \
  op stop interval="0" timeout="300" \
  params SID="HN1" InstanceNumber="03"

sudo crm configure clone cln_SAPHanaTopology_HN1_HDB03 rsc_SAPHanaTopology_HN1_HDB03 \
 meta clone-node-max="1" target-role="Started" interleave="true"

    3. Ardından HANA örnek kaynağını oluşturun.

      Not

      Bu makale, Microsoft'un artık kullanmadığını ifade eden başvurular içerir. Bu terimler yazılımdan kaldırıldığında, bunları bu makaleden kaldıracağız.

      sudo crm configure primitive rsc_SAPHana_HN1_HDB03 ocf:suse:SAPHanaController \
  op start interval="0" timeout="3600" \
  op stop interval="0" timeout="3600" \
  op promote interval="0" timeout="3600" \
  op monitor interval="60" role="Master" timeout="700" \
  op monitor interval="61" role="Slave" timeout="700" \
  params SID="HN1" InstanceNumber="03" PREFER_SITE_TAKEOVER="true" \
  DUPLICATE_PRIMARY_TIMEOUT="7200" AUTOMATED_REGISTER="false"

sudo crm configure ms msl_SAPHana_HN1_HDB03 rsc_SAPHana_HN1_HDB03 \
  meta clone-node-max="1" master-max="1" interleave="true"

      Önemli

      Başarısız birincil örneğin otomatik olarak ikincil olarak kaydedilmesini önlemek için kapsamlı yük devretme testleri gerçekleştirirken AUTOMATED_REGISTER yalnızca hayır olarak ayarlamanızı öneririz. Yük devretme testleri başarıyla tamamlandıktan sonra, devralma sonrasında sistem çoğaltmasının otomatik olarak devam edebilmesi için AUTOMATED_REGISTER evet olarak ayarlayın.

    4. Sanal IP ve ilişkili kaynaklar oluşturun.

      sudo crm configure primitive rsc_ip_HN1_HDB03 ocf:heartbeat:IPaddr2 \
  op monitor interval="10s" timeout="20s" \
  params ip="10.23.0.27"

sudo crm configure primitive rsc_nc_HN1_HDB03 azure-lb port=62503 \
  op monitor timeout=20s interval=10 \
  meta resource-stickiness=0

sudo crm configure group g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 rsc_nc_HN1_HDB03

    5. Küme kısıtlamalarını oluşturma

      # Colocate the IP with HANA master
sudo crm configure colocation col_saphana_ip_HN1_HDB03 4000: g_ip_HN1_HDB03:Started \
  msl_SAPHana_HN1_HDB03:Master  

# Start HANA Topology before HANA  instance
sudo crm configure order ord_SAPHana_HN1_HDB03 Optional: cln_SAPHanaTopology_HN1_HDB03 \
  msl_SAPHana_HN1_HDB03

# HANA resources don't run on the majority maker node
sudo crm configure location loc_SAPHanaCon_not_on_majority_maker msl_SAPHana_HN1_HDB03 -inf: hana-s-mm
sudo crm configure location loc_SAPHanaTop_not_on_majority_maker cln_SAPHanaTopology_HN1_HDB03 -inf: hana-s-mm

  2. [1] Ek küme özelliklerini yapılandırma

    sudo crm configure rsc_defaults resource-stickiness=1000
sudo crm configure rsc_defaults migration-threshold=50

  3. [1] Kümeyi bakım modundan çıkartın. Küme durumunun iyi olduğundan ve tüm kaynakların başlatıldığından emin olun.

    # Cleanup any failed resources - the following command is example 
crm resource cleanup rsc_SAPHana_HN1_HDB03

# Place the cluster out of maintenance mode
sudo crm configure property maintenance-mode=false

  4. [1] HANA HA kancası ile küme arasındaki iletişimi doğrulayarak SID için durum SOK'unu ve P(rimary) veya S (econdary) durumuyla her iki çoğaltma alanını da gösterir.

    sudo /usr/sbin/SAPHanaSR-showAttr
# Expected result
# Global cib-time                 maintenance prim  sec sync_state upd
# ---------------------------------------------------------------------
# HN1    Fri Jan 27 10:38:46 2023 false       HANA_S1 -   SOK        ok
# 
# Sites     lpt        lss mns        srHook srr
# -----------------------------------------------
# HANA_S1     1674815869 4   hana-s1-db1 PRIM   P
# HANA_S2     30         4   hana-s2-db1 SWAIT  S

    Not

    Yukarıdaki yapılandırmadaki zaman aşımları yalnızca örnektir ve belirli HANA kurulumuna uyarlanması gerekebilir. Örneğin, SAP HANA veritabanını başlatmak daha uzun sürüyorsa başlangıç zaman aşımını artırmanız gerekebilir.

SAP HANA yük devretmeyi test edin

Not

Bu makale, Microsoft'un artık kullanmadığını ifade eden başvurular içerir. Bu terimler yazılımdan kaldırıldığında, bunları bu makaleden kaldıracağız.

  1. Teste başlamadan önce kümeyi ve SAP HANA sistem çoğaltma durumunu denetleyin.

    a. Başarısız küme eylemi olmadığını doğrulayın

    #Verify that there are no failed cluster actions
crm status
# Example 
#7 nodes configured
#24 resource instances configured
#
#Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#
#Full list of resources:
#
# stonith-sbd    (stonith:external/sbd): Started hana-s-mm
# Clone Set: cln_fs_HN1_HDB03_fscheck [fs_HN1_HDB03_fscheck]
#     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#     Stopped: [ hana-s-mm ]
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
#     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#     Stopped: [ hana-s-mm ]
# Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
#     Masters: [ hana-s1-db1 ]
#     Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#     Stopped: [ hana-s-mm ]
# Resource Group: g_ip_HN1_HDB03
#     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hana-s1-db1
#     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hana-s1-db1

    b. SAP HANA sistem çoğaltmanın eşitlenmiş olduğunu doğrulayın

    # Verify HANA HSR is in sync
sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"
#| Database | Host         | Port  | Service Name | Volume ID | Site ID | Site Name | Secondary    | Secondary | Secondary | Secondary | Secondary     | Replication | Replication | Replication    |
#|          |              |       |              |           |         |           | Host         | Port      | Site ID   | Site Name | Active Status | Mode        | Status      | Status Details |
#| -------- | ------------ | ----- | ------------ | --------- | ------- | --------- | ------------ | --------- | --------- | --------- | ------------- | ----------- | ----------- | -------------- |
#| SYSTEMDB | hana-s1-db1  | 30301 | nameserver   |         1 |       1 | HANA_S1   | hana-s2-db1  |     30301 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
#| HN1      | hana-s1-db1  | 30307 | xsengine     |         2 |       1 | HANA_S1   | hana-s2-db1  |     30307 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
#| HN1      | hana-s1-db1  | 30303 | indexserver  |         3 |       1 | HANA_S1   | hana-s2-db1  |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
#| HN1      | hana-s1-db3  | 30303 | indexserver  |         4 |       1 | HANA_S1   | hana-s2-db3  |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
#| HN1      | hana-s1-db2  | 30303 | indexserver  |         5 |       1 | HANA_S1   | hana-s2-db2  |     30303 |         2 | HANA_S2   | YES           | SYNC        | ACTIVE      |                |
#
#status system replication site "1": ACTIVE
#overall system replication status: ACTIVE
#
#Local System Replication State
#~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
#
#mode: PRIMARY
#site id: 1
#site name: HANA_S1

  2. SLES üzerinde Azure VM'lerinde SAP HANA için HA'da ve SLES Çoğaltma ölçeği genişletme Performansı için İyileştirilmiş Senaryo'da belgelenen testleri gerçekleştirerek SAP HANA küme yapılandırmasını kapsamlı bir şekilde doğrulamanızı öneririz.

  3. Bir düğüm NFS paylaşımına (/hana/shared ) erişimi kaybettiğinde hata senaryosu için küme yapılandırmasını doğrulayın.

    SAP HANA kaynak aracıları yük devretme sırasında işlemleri gerçekleştirmek için üzerinde /hana/shared depolanan ikili dosyalara bağlıdır. Dosya sistemi /hana/shared , sunulan yapılandırmada NFS üzerinden bağlanır. Gerçekleştirilebilecek bir test, birincil site VM'lerinden birinde NFS'ye bağlı dosya sistemine erişimi engellemek için /hana/shared geçici bir güvenlik duvarı kuralı oluşturmaktır. Bu yaklaşım, etkin sistem çoğaltma sitesinde erişimin /hana/shared kaybolması durumunda kümenin yük devretmesi olacağını doğrular.

    Beklenen sonuç: Birincil site VM'lerinden birinde NFS'ye /hana/shared bağlı dosya sistemine erişimi engellediğinizde, dosya sistemine erişemediğinden ve HANA kaynak yük devretmesini tetiklediğinden, dosya sisteminde okuma/yazma işlemi gerçekleştiren izleme işlemi başarısız olur. HANA düğümünüzün NFS paylaşımına erişimini kaybettiğinde de aynı sonuç beklenir.

    veya crm statusyürüterek crm_mon küme kaynaklarının durumunu de kontrol edebilirsiniz. Teste başlamadan önce kaynak durumu:

    # Output of crm_mon
#7 nodes configured
#24 resource instances configured
#
#Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#
#Active resources:
#
#stonith-sbd     (stonith:external/sbd): Started hana-s-mm
# Clone Set: cln_fs_HN1_HDB03_fscheck [fs_HN1_HDB03_fscheck]
#     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
#     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
# Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
#     Masters: [ hana-s1-db1 ]
#     Slaves: [ hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
# Resource Group: g_ip_HN1_HDB03
#     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hana-s2-db1
#     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hana-s2-db1

    için hata benzetimi yapmak için /hana/shared:

    • ANF'de NFS kullanıyorsanız, önce birincil sitedeki ANF biriminin /hana/shared IP adresini onaylayın. komutunu çalıştırarak df -kh|grep /hana/sharedbunu yapabilirsiniz.
    • Azure Dosyalar'da NFS kullanıyorsanız, önce depolama hesabınızın özel uç noktasının IP adresini belirleyin.

    Ardından, birincil HANA sistem çoğaltma sitesi VM'lerinden /hana/shared birinde aşağıdaki komutu yürüterek NFS dosya sisteminin IP adresine erişimi engellemek için geçici bir güvenlik duvarı kuralı ayarlayın.

    Bu örnekte komutu ANF birimi /hana/sharediçin hana-s1-db1 üzerinde yürütüldü.

    iptables -A INPUT -s 10.23.1.7 -j DROP; iptables -A OUTPUT -d 10.23.1.7 -j DROP

    Küme kaynakları diğer HANA sistem çoğaltma sitesine geçirilecektir.

    AUTOMATED_REGISTER="false" değerini ayarlarsanız ikincil sitede SAP HANA sistem çoğaltmasını yapılandırmanız gerekir. Bu durumda, SAP HANA'yı ikincil olarak yeniden yapılandırmak için bu komutları yürütebilirsiniz.

    # Execute on the secondary 
su - hn1adm
# Make sure HANA is not running on the secondary site. If it is started, stop HANA
sapcontrol -nr 03 -function StopWait 600 10
# Register the HANA secondary site
hdbnsutil -sr_register --name=HANA_S1 --remoteHost=hana-s2-db1 --remoteInstance=03 --replicationMode=sync
# Switch back to root and cleanup failed resources
crm resource cleanup SAPHana_HN1_HDB03

    Test sonrasında kaynakların durumu:

    # Output of crm_mon
#7 nodes configured
#24 resource instances configured
#
#Online: [ hana-s-mm hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
#
#Active resources:
#
#stonith-sbd     (stonith:external/sbd): Started hana-s-mm
# Clone Set: cln_fs_HN1_HDB03_fscheck [fs_HN1_HDB03_fscheck]
#     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
#     Started: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db1 hana-s2-db2 hana-s2-db3 ]
# Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
#     Masters: [ hana-s2-db1 ]
#     Slaves: [ hana-s1-db1 hana-s1-db2 hana-s1-db3 hana-s2-db2 hana-s2-db3 ]
# Resource Group: g_ip_HN1_HDB03
#     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hana-s2-db1
#     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hana-s2-db1

Sonraki adımlar