Wysoka dostępność oprogramowania SAP NetWeaver z prostą instalacją i systemem plików NFS w systemie SLES dla maszyn wirtualnych aplikacji SAP

Artykuł
05/06/2024

W tym artykule opisano sposób wdrażania i konfigurowania maszyn wirtualnych platformy Azure, instalowania struktury klastra i instalowania systemu SAP NetWeaver o wysokiej dostępności przy użyciu prostej struktury instalacji. Przedstawioną architekturę można zaimplementować przy użyciu jednej z następujących usług natywnego systemu plików sieciowych (NFS) platformy Azure:

Oczekuje się, że prosta konfiguracja instalacji będzie domyślna dla nowych implementacji w systemie SLES dla aplikacji SAP 15.

Wymagania wstępne

Poniższe przewodniki zawierają wszystkie wymagane informacje dotyczące konfigurowania systemu NetWeaver HA:

SAP S/4 HANA — replikacja w kolejce 2 — klaster wysokiej dostępności z prostą instalacją
Korzystanie z zasobu systemu plików dla usługi ABAP SAP Central Services (ASCS)/Konfiguracja wysokiej dostępności ERS nie jest możliwa
1928533 sap Note, które mają następujące elementy:
- Lista rozmiarów maszyn wirtualnych platformy Azure obsługiwanych na potrzeby wdrażania oprogramowania SAP
- Ważne informacje o pojemności dla rozmiarów maszyn wirtualnych platformy Azure
- Obsługiwane oprogramowanie SAP, systemy operacyjne i kombinacje
- Wymagana wersja jądra SAP dla systemów Windows i Linux na platformie Microsoft Azure
Sap Note 2015553, który zawiera listę wymagań wstępnych dotyczących wdrożeń oprogramowania SAP obsługiwanych przez oprogramowanie SAP na platformie Azure.
Sap Note 2205917, który ma zalecane ustawienia systemu operacyjnego dla SYSTEMU SUSE Linux Enterprise Server (SLES) dla aplikacji SAP
2178632 sap Note, która zawiera szczegółowe informacje o wszystkich metrykach monitorowania zgłoszonych dla oprogramowania SAP na platformie Azure
Sap Note 2191498, która ma wymaganą wersję agenta hosta SAP dla systemu Linux na platformie Azure
Sap Note 2243692, który zawiera informacje o licencjonowaniu oprogramowania SAP w systemie Linux na platformie Azure
SAP Note 2578899, który zawiera ogólne informacje o SUSE Linux Enterprise Server 15
Sap Note 1275776, który zawiera informacje o przygotowaniu systemu SUSE Linux Enterprise Server dla środowisk SAP
Sap Note 1999351, który zawiera dodatkowe informacje dotyczące rozwiązywania problemów dla rozszerzenia rozszerzonego monitorowania platformy Azure dla oprogramowania SAP
Witryna typu wiki społeczności SAP, która zawiera wszystkie wymagane informacje SAP Notes dla systemu Linux
Planowanie i implementacja usługi Azure Virtual Machines dla oprogramowania SAP w systemie Linux
Wdrażanie usługi Azure Virtual Machines dla oprogramowania SAP w systemie Linux
Wdrażanie systemu SAP w systemie Linux w usłudze Azure Virtual Machines DBMS
Przewodniki najlepszych rozwiązań dotyczących oprogramowania SUSE SAP HA
Informacje o wersji rozszerzenia o wysokiej dostępności systemu SUSE
Dokumentacja usługi Azure Files
Najlepsze rozwiązania dotyczące systemu plików NFS usługi NetApp

Omówienie

W tym artykule opisano konfigurację wysokiej dostępności dla usługi ASCS z prostą strukturą instalacji. Aby wdrożyć warstwę aplikacji SAP, potrzebne są katalogi udostępnione, takie jak /sapmnt/SID, /usr/sap/SIDi /usr/sap/trans, , które są wysoce dostępne. Te systemy plików można wdrożyć w systemie plików NFS w usłudze Azure FileslubUsłudze Azure NetApp Files.

Nadal potrzebujesz klastra Pacemaker, aby chronić składniki typu pojedynczy punkt awarii, takie jak SAP Central Services (SCS) i ASCS.

W porównaniu z klasyczną konfiguracją klastra Pacemaker z prostym wdrożeniem instalacji klaster nie zarządza systemami plików. Ta konfiguracja jest obsługiwana tylko w systemie SLES dla aplikacji SAP 15 i nowszych. W tym artykule nie opisano szczegółowo warstwy bazy danych.

Przykładowe konfiguracje i polecenia instalacji używają następujących numerów wystąpień.

Nazwa wystąpienia	Numer wystąpienia
USŁUGA ASCS	00
Serwer replikacji kolejki (ERS)	01
Podstawowy serwer aplikacji (PAS)	02
Dodatkowy serwer aplikacji (AAS)	03
Identyfikator systemu SAP	NW1

Ważne

Konfiguracja z prostą strukturą instalacji jest obsługiwana tylko w systemie SLES dla wersji SAP Applications 15 i nowszych.

Diagram przedstawiający wysoką dostępność oprogramowania SAP NetWeaver z prostą instalacją i systemem plików NFS.

Przygotowywanie infrastruktury

Agent zasobów dla wystąpienia SAP jest zawarty w systemie SUSE Linux Enterprise Server for SAP Applications. Obraz dla systemu SUSE Linux Enterprise Server dla aplikacji SAP 12 lub 15 jest dostępny w witrynie Azure Marketplace. Możesz użyć obrazu do wdrożenia nowych maszyn wirtualnych.

Ręczne wdrażanie maszyn wirtualnych z systemem Linux za pośrednictwem witryny Azure Portal

W tym dokumencie przyjęto założenie, że grupa zasobów, usługa Azure Virtual Network i podsieć zostały już wdrożone.

Wdrażanie maszyn wirtualnych za pomocą protokołu SLES dla obrazu aplikacji SAP. Wybierz odpowiednią wersję obrazu SLES obsługiwaną dla systemu SAP. Maszynę wirtualną można wdrożyć w dowolnej z opcji dostępności — zestawu skalowania maszyn wirtualnych, strefy dostępności lub zestawu dostępności.

Konfigurowanie modułu równoważenia obciążenia platformy Azure

Podczas konfigurowania maszyny wirtualnej masz możliwość utworzenia lub wybrania wyjścia z modułu równoważenia obciążenia w sekcji dotyczącej sieci. Wykonaj poniższe kroki, aby skonfigurować standardowy moduł równoważenia obciążenia na potrzeby konfiguracji wysokiej dostępności usług SAP ASCS i SAP ERS.

Postępuj zgodnie z przewodnikiem tworzenia modułu równoważenia obciążenia, aby skonfigurować standardowy moduł równoważenia obciążenia dla systemu SAP o wysokiej dostępności przy użyciu witryny Azure Portal. Podczas konfigurowania modułu równoważenia obciążenia należy wziąć pod uwagę następujące kwestie.

Konfiguracja adresu IP frontonu: utwórz dwa adresy IP frontonu, jeden dla usługi ASCS i drugi dla usługi ERS. Wybierz tę samą sieć wirtualną i podsieć co maszyny wirtualne USŁUGI ASCS/ERS.
Pula zaplecza: utwórz pulę zaplecza i dodaj maszyny wirtualne ASCS i ERS.
Reguły ruchu przychodzącego: utwórz dwie reguły równoważenia obciążenia, jedną dla usługi ASCS i drugą dla usługi ERS. Wykonaj te same kroki dla obu reguł równoważenia obciążenia.
- Adres IP frontonu: wybierz adres IP frontonu
- Pula zaplecza: wybierz pulę zaplecza
- Sprawdź "Porty wysokiej dostępności"
- Protokół: TCP
- Sonda kondycji: Utwórz sondę kondycji z poniższymi szczegółami (dotyczy zarówno usługi ASCS, jak i ERS)
  - Protokół: TCP
  - Port: [na przykład: 620<Instance-no.> for ASCS, 621<Instance-no.> for ERS]
  - Interwał: 5
  - Próg sondy: 2
- Limit czasu bezczynności (minuty): 30
- Sprawdź pozycję "Włącz pływający adres IP"

Uwaga

Właściwość konfiguracji sondy kondycji NumberOfProbes, inaczej znana jako "Próg złej kondycji" w portalu, nie jest uwzględniana. Aby więc kontrolować liczbę pomyślnych lub zakończonych niepowodzeniem kolejnych sond, ustaw właściwość "probeThreshold" na 2. Obecnie nie można ustawić tej właściwości przy użyciu witryny Azure Portal, dlatego użyj polecenia interfejsu wiersza polecenia platformy Azure lub programu PowerShell .

Aby utworzyć standardowy moduł równoważenia obciążenia platformy Azure na potrzeby konfiguracji systemu SAP o wysokiej dostępności przy użyciu interfejsu wiersza polecenia platformy Azure, wykonaj poniższe kroki.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

Rozwiń, aby wyświetlić pełny kod interfejsu wiersza polecenia

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Aby utworzyć standardowy moduł równoważenia obciążenia platformy Azure na potrzeby konfiguracji systemu SAP o wysokiej dostępności przy użyciu programu Azure PowerShell, wykonaj poniższe kroki.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

Rozwiń, aby wyświetlić pełny kod programu PowerShell

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Ważne

Pływający adres IP nie jest obsługiwany w pomocniczej konfiguracji adresu IP karty sieciowej w scenariuszach równoważenia obciążenia. Aby uzyskać szczegółowe informacje, zobacz Ograniczenia usługi Azure Load Balancer. Jeśli potrzebujesz innego adresu IP maszyny wirtualnej, wdróż drugą kartę sieciową.

Uwaga

Jeśli maszyny wirtualne bez publicznych adresów IP są umieszczane w puli zaplecza wewnętrznego (bez publicznego adresu IP) standardowego modułu równoważenia obciążenia platformy Azure, nie będzie żadnych wychodzących połączeń internetowych, chyba że wykonasz dodatkową konfigurację, aby umożliwić routing do publicznych punktów końcowych. Aby uzyskać szczegółowe informacje na temat sposobu uzyskiwania łączności wychodzącej, zobacz Publiczna łączność punktu końcowego dla maszyn wirtualnych korzystających z usługi Azure usługa Load Balancer w warstwie Standardowa w scenariuszach wysokiej dostępności oprogramowania SAP.

Ważne

Nie włączaj sygnatur czasowych TCP na maszynach wirtualnych platformy Azure umieszczonych za usługą Azure Load Balancer. Włączenie sygnatur czasowych protokołu TCP spowoduje niepowodzenie sond kondycji. net.ipv4.tcp_timestamps Ustaw parametr na 0. Aby uzyskać szczegółowe informacje, zobacz Load Balancer health probes (Sondy kondycji modułu równoważenia obciążenia).
Aby zapobiec zmianie ręcznie ustawionej net.ipv4.tcp_timestamps wartości z 0 powrotem na 1, należy zaktualizować program saptune do wersji 3.1.1 lub nowszej. Aby uzyskać więcej informacji, zobacz saptune 3.1.1 — Czy muszę zaktualizować?.

Wdrażanie systemu plików NFS

Istnieją dwie opcje wdrażania natywnego systemu plików NFS platformy Azure w celu hostowania katalogów udostępnionych SAP. Udział plików NFS można wdrożyć w usłudze Azure Files lub wdrożyć wolumin NFS w usłudze Azure NetApp Files. System plików NFS w usłudze Azure Files obsługuje protokół NFSv4.1. System plików NFS w usłudze Azure NetApp Files obsługuje systemy plików NFSv4.1 i NFSv3.

W następnych sekcjach opisano kroki wdrażania systemu plików NFS. Wybierz tylko jedną z opcji.

Wdrażanie konta magazynu usługi Azure Files i udziałów NFS

System plików NFS w usłudze Azure Files działa w usłudze Azure Files w warstwie Premium Storage. Przed skonfigurowaniem systemu plików NFS w usłudze Azure Files zobacz Jak utworzyć udział NFS.

Istnieją dwie opcje nadmiarowości w regionie świadczenia usługi Azure:

Magazyn lokalnie nadmiarowy (LRS) oferuje lokalną synchroniczną replikację danych w strefie.
Magazyn strefowo nadmiarowy (ZRS) replikuje dane synchronicznie w trzech strefach dostępności w regionie.

Sprawdź, czy wybrany region świadczenia usługi Azure oferuje system plików NFSv4.1 w usłudze Azure Files z odpowiednią nadmiarowością. Przejrzyj dostępność usługi Azure Files według regionu platformy Azure dla usługi Premium Files Storage. Jeśli twój scenariusz korzysta z magazynu ZRS, sprawdź, czy udziały plików w warstwie Premium z magazynem ZRS są obsługiwane w twoim regionie świadczenia usługi Azure.

Zalecamy uzyskanie dostępu do konta usługi Azure Storage za pośrednictwem prywatnego punktu końcowego platformy Azure. Pamiętaj, aby wdrożyć punkt końcowy konta usługi Azure Files oraz maszyny wirtualne, na których trzeba zainstalować udziały NFS, w tej samej sieci wirtualnej platformy Azure lub w równorzędnych sieciach wirtualnych platformy Azure.

Wdróż konto magazynu usługi Azure Files o nazwie sapnfsafs. W tym przykładzie użyto magazynu ZRS. Jeśli nie znasz tego procesu, zobacz Tworzenie konta magazynu dla witryny Azure Portal.
Na karcie Podstawowe użyj następujących ustawień:
1. W polu Nazwa konta magazynu wprowadź ciąg sapnfsafs.
2. W obszarze Wydajność wybierz pozycję Premium.
3. W polu Typ konta Premium wybierz pozycję PlikStorage.
4. W obszarze Replikacja wybierz pozycję Nadmiarowość strefy (ZRS).
Wybierz Dalej.
Na karcie Zaawansowane wyczyść pole Wymagaj bezpiecznego transferu dla interfejsu API REST. Jeśli nie wyczyścisz tej opcji, nie możesz zainstalować udziału NFS na maszynie wirtualnej. Upłynął limit czasu operacji instalacji.
Wybierz Dalej.
W sekcji Sieć skonfiguruj następujące ustawienia:
1. W obszarze Łączność sieciowa dla metody Połączenie ivity wybierz pozycję Prywatny punkt końcowy.
2. W obszarze Prywatny punkt końcowy wybierz pozycję Dodaj prywatny punkt końcowy.
W okienku Tworzenie prywatnego punktu końcowego wybierz subskrypcję, grupę zasobów i lokalizację. Następnie wybierz następujące opcje:
1. W polu Nazwa wprowadź sapnfsafs_pe.
2. W obszarze Podsób magazynu wybierz pozycję Plik.
3. W obszarze Sieć w obszarze Sieć wirtualna wybierz sieć wirtualną i podsieć do użycia. Ponownie możesz użyć sieci wirtualnej, w której znajdują się maszyny wirtualne SAP, lub równorzędna sieć wirtualna.
4. W obszarze Prywatna strefa DNS integracji zaakceptuj domyślną opcję Tak dla opcji Integracja z prywatną strefą DNS. Pamiętaj, aby wybrać prywatną strefę DNS.
5. Wybierz przycisk OK.
Na karcie Sieć ponownie wybierz pozycję Dalej.
Na karcie Ochrona danych zachowaj wszystkie ustawienia domyślne.
Wybierz pozycję Przejrzyj i utwórz , aby zweryfikować konfigurację.
Poczekaj na zakończenie walidacji. Rozwiąż wszelkie problemy przed kontynuowaniem.
Na karcie Przeglądanie i tworzenie wybierz pozycję Utwórz.

Następnie wdróż udziały NFS na utworzonym koncie magazynu. W tym przykładzie istnieją dwa udziały NFS i sapnw1saptrans.

Zaloguj się w witrynie Azure Portal.
Wybierz lub wyszukaj pozycję Konta magazynu.
Na stronie Konta magazynu wybierz pozycję sapnfsafs.
W menu zasobów dla sapnfsafs wybierz pozycję Udziały plików w obszarze Magazyn danych.
Na stronie Udziały plików wybierz pozycję Udział plików, a następnie:
1. W polu Nazwa wprowadź wartość sapnw1, saptrans.
2. Wybierz odpowiedni rozmiar udziału. Rozważ rozmiar danych przechowywanych w udziale, we/wy na sekundę (IOPS) i wymagania dotyczące przepływności. Aby uzyskać więcej informacji, zobacz Cele udziału plików platformy Azure.
3. Wybierz pozycję NFS jako protokół.
4. Wybierz pozycję Brak głównego squasha. W przeciwnym razie podczas instalowania udziałów na maszynach wirtualnych nie można zobaczyć właściciela lub grupy plików.

Systemy plików SAP, które nie muszą być zainstalowane za pośrednictwem systemu plików NFS, można również wdrożyć w usłudze Azure Disk Storage. W tym przykładzie można wdrożyć /usr/sap/NW1/D02 usługę Azure Disk Storage i /usr/sap/NW1/D03 w usłudze Azure Disk Storage.

Ważne zagadnienia dotyczące systemu plików NFS w udziałach usługi Azure Files

Podczas planowania wdrożenia za pomocą systemu plików NFS w usłudze Azure Files należy wziąć pod uwagę następujące ważne kwestie:

Minimalny rozmiar udziału to 100 gibibajtów (GiB). Płacisz tylko za pojemność zaaprowizowanych udziałów.
Rozmiar udziałów NFS nie tylko na podstawie wymagań dotyczących pojemności, ale także wymagań dotyczących liczby operacji we/wy na sekundę i przepływności. Aby uzyskać szczegółowe informacje, zobacz Cele udziału plików platformy Azure.
Przetestuj obciążenie, aby zweryfikować rozmiar i upewnić się, że spełnia ona cele dotyczące wydajności. Aby dowiedzieć się, jak rozwiązywać problemy z wydajnością systemu plików NFS w usłudze Azure Files, zobacz Rozwiązywanie problemów z wydajnością udziału plików platformy Azure.
W przypadku systemów SAP J2EE umieszczenie /usr/sap/<SID>/J<nr> systemu plików NFS w usłudze Azure Files nie jest obsługiwane.
Jeśli system SAP ma duże obciążenie zadań wsadowych, mogą istnieć miliony dzienników zadań. Jeśli dzienniki zadań wsadowych SAP są przechowywane w systemie plików, należy zwrócić szczególną uwagę na ustalanie rozmiaru sapmnt udziału. Od SAP_BASIS 7.52 domyślne zachowanie dzienników zadań wsadowych ma być przechowywane w bazie danych. Aby uzyskać szczegółowe informacje, zobacz Dziennik zadań w bazie danych.
Wdróż oddzielny sapmnt udział dla każdego systemu SAP.
Nie używaj sapmnt udziału dla żadnego innego działania, takiego jak interfejsy.
Nie używaj saptrans udziału dla żadnego innego działania, takiego jak interfejsy.
Unikaj konsolidowania udziałów dla zbyt wielu systemów SAP na jednym koncie magazynu. Istnieją również cele dotyczące skalowalności i wydajności dla kont magazynu. Należy zachować ostrożność, aby nie przekraczać limitów dla konta magazynu.
Ogólnie rzecz biorąc, nie konsoliduj udziałów dla ponad pięciu systemów SAP na jednym koncie magazynu. Te wytyczne pomagają uniknąć przekroczenia limitów konta magazynu i uprościć analizę wydajności.
Ogólnie rzecz biorąc, należy unikać mieszania udziałów, takich jak sapmnt w przypadku systemów SAP nieprodukcyjnych i produkcyjnych na tym samym koncie magazynu.
Zalecamy wdrożenie w systemie SLES 15 SP2 lub nowszym, aby skorzystać z ulepszeń klienta systemu plików NFS.
Użyj prywatnego punktu końcowego. W mało prawdopodobnym przypadku awarii strefowej sesje systemu plików NFS są automatycznie przekierowywane do strefy w dobrej kondycji. Nie musisz ponownie instalować udziałów NFS na maszynach wirtualnych.
Jeśli wdrażasz maszyny wirtualne w różnych strefach dostępności, użyj konta magazynu z magazynem ZRS w regionach platformy Azure, które obsługują magazyn ZRS .
Usługa Azure Files nie obsługuje obecnie automatycznej replikacji między regionami na potrzeby scenariuszy odzyskiwania po awarii.

Wdrażanie zasobów usługi Azure NetApp Files

Sprawdź, czy usługa Azure NetApp Files jest dostępna w wybranym regionie świadczenia usługi Azure.
Utwórz konto usługi NetApp w wybranym regionie świadczenia usługi Azure. Postępuj zgodnie z tymi instrukcjami.
Skonfiguruj pulę pojemności usługi Azure NetApp Files. Postępuj zgodnie z tymi instrukcjami.

Architektura OPROGRAMOWANIA SAP NetWeaver przedstawiona w tym artykule używa pojedynczej puli pojemności usługi Azure NetApp Files, jednostki SKU w warstwie Premium. Zalecamy użycie jednostki SKU Premium usługi Azure NetApp Files dla obciążeń aplikacji SAP NetWeaver na platformie Azure.
Delegowanie podsieci do usługi Azure NetApp Files zgodnie z opisem w tych instrukcjach.
Wdróż woluminy usługi Azure NetApp Files, postępując zgodnie z tymi instrukcjami. Wdróż woluminy w wyznaczonej podsieci usługi Azure NetApp Files. Adresy IP woluminów usługi Azure NetApp są przypisywane automatycznie.

Należy pamiętać, że zasoby usługi Azure NetApp Files i maszyny wirtualne platformy Azure muszą znajdować się w tej samej sieci wirtualnej platformy Azure lub w równorzędnych sieciach wirtualnych platformy Azure. W tym przykładzie użyto dwóch woluminów usługi Azure NetApp Files: sapnw1 i trans. Ścieżki plików, które są instalowane w odpowiednich punktach instalacji, to:
- Wolumin sapnw1 (nfs://10.27.1.5/sapnw1/sapmntNW1)
- Wolumin sapnw1 (nfs://10.27.1.5/sapnw1/usrsapNW1)
- Wolumin trans (nfs://10.27.1.5/trans)

Systemy plików SAP, które nie muszą być współużytkowane, można również wdrożyć w usłudze Azure Disk Storage. Można na przykład /usr/sap/NW1/D02/usr/sap/NW1/D03 wdrożyć usługę Azure Disk Storage.

Ważne zagadnienia dotyczące systemu plików NFS w usłudze Azure NetApp Files

Podczas rozważania usługi Azure NetApp Files dla architektury wysokiej dostępności oprogramowania SAP NetWeaver należy pamiętać o następujących ważnych kwestiach:

Minimalna pula pojemności to 4 tebibajty (TiB). Rozmiar puli pojemności można zwiększyć w przyrostach 1-TiB.
Minimalny wolumin to 100 GiB.
Usługa Azure NetApp Files i wszystkie maszyny wirtualne, na których są zainstalowane woluminy usługi Azure NetApp Files, muszą znajdować się w tej samej sieci wirtualnej platformy Azure lub w równorzędnych sieciach wirtualnych w tym samym regionie. Obsługiwany jest dostęp do usługi Azure NetApp Files za pośrednictwem komunikacji równorzędnej sieci wirtualnych w tym samym regionie. Dostęp do usługi Azure NetApp Files za pośrednictwem globalnej komunikacji równorzędnej nie jest jeszcze obsługiwany.
Wybrana sieć wirtualna musi mieć podsieć delegowana do usługi Azure NetApp Files.
Charakterystyka przepływności i wydajności woluminu usługi Azure NetApp Files jest funkcją limitu przydziału woluminu i poziomu usługi, zgodnie z opisem w artykule Poziom usługi dla usługi Azure NetApp Files. Podczas określania rozmiaru woluminów usługi Azure NetApp Files dla systemu SAP upewnij się, że wynikowa przepływność spełnia wymagania aplikacji.
Usługa Azure NetApp Files oferuje zasady eksportu. Można kontrolować dozwolonych klientów i typ dostępu (na przykład odczyt/zapis lub tylko do odczytu).
Usługa Azure NetApp Files nie jest jeszcze świadoma strefy. Obecnie usługa Azure NetApp Files nie jest wdrażana we wszystkich strefach dostępności w regionie świadczenia usługi Azure. Należy pamiętać o potencjalnych konsekwencjach opóźnień w niektórych regionach świadczenia usługi Azure.
Woluminy usługi Azure NetApp Files można wdrożyć jako woluminy NFSv3 lub NFSv4.1. Oba protokoły są obsługiwane dla warstwy aplikacji SAP (ASCS/ERS, serwery aplikacji SAP).

Konfigurowanie usługi ASCS

Następnie przygotujesz i zainstalujesz wystąpienia usług SAP ASCS i ERS.

Tworzenie klastra Pacemaker

Wykonaj kroki opisane w temacie Konfigurowanie programu Pacemaker na serwerze SUSE Linux Enterprise Server na platformie Azure , aby utworzyć podstawowy klaster Pacemaker dla usługi SAP ASCS.

Przygotuj do instalacji

Następujące elementy mają prefiks:

[A]: Dotyczy wszystkich węzłów.
[1]: Dotyczy tylko węzła 1.
[2]: Dotyczy tylko węzła 2.

[A] Zainstaluj najnowszą wersję łącznika SUSE.
```
sudo zypper install sap-suse-cluster-connector
```

[A] Zainstaluj agenta sapstartsrv zasobów.

sudo zypper install sapstartsrv-resource-agents

[A] Aktualizowanie agentów zasobów SAP.

Aby użyć konfiguracji opisanej w tym artykule, potrzebujesz poprawki dla pakietu resource-agents. Aby sprawdzić, czy poprawka jest już zainstalowana, użyj następującego polecenia.
```
sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
```
Dane wyjściowe powinny być podobne do poniższego przykładu.
```
<parameter name="IS_ERS" unique="0" required="0">;
```
grep Jeśli polecenie nie znajdzie parametruIS_ERS, należy zainstalować poprawkę wymienioną na stronie pobierania SUSE.

Ważne

Musisz zainstalować co najmniej sapstartsrv-resource-agents wersję 0.91 i resource-agents 4.x od listopada 2021 r.

[A] Skonfiguruj rozpoznawanie nazw hosta.

Można użyć serwera DNS lub zmodyfikować /etc/hosts na wszystkich węzłach. W tym przykładzie /etc/hosts pokazano, jak używać pliku.

sudo vi /etc/hosts

Wstaw następujące wiersze do /etc/hosts. Zmień adres IP i nazwę hosta, aby pasować do twojego środowiska.

 # IP address of cluster node 1
 10.27.0.6    sap-cl1
 # IP address of cluster node 2
 10.27.0.7     sap-cl2
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
 10.27.0.9   sapascs
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
 10.27.0.10    sapers

[A] Skonfiguruj plik SWAP.

sudo vi /etc/waagent.conf

# Check if the ResourceDisk.Format property is already set to y, and if not, set it.
ResourceDisk.Format=y

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with the ResourceDisk.SwapSizeMB property.
# The free space of resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

Uruchom ponownie agenta, aby aktywować zmianę.

sudo service waagent restart

Przygotowywanie katalogów SAP, jeśli używasz systemu plików NFS w usłudze Azure Files

[1] Utwórz katalogi SAP w udziale NFS.

Tymczasowo zainstaluj udział sapnw1 NFS na jednej z maszyn wirtualnych i utwórz katalogi SAP, które będą używane jako zagnieżdżone punkty instalacji.

# Temporarily mount the volume.
sudo mkdir -p /saptmp
sudo mount -t nfs sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Utwórz katalogi udostępnione.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] Zainstaluj systemy plików.

W przypadku prostej konfiguracji instalacji klaster Pacemaker nie kontroluje systemów plików.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1/ /usr/sap/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Przygotowywanie katalogów SAP, jeśli używasz systemu plików NFS w usłudze Azure NetApp Files

Instrukcje w tej sekcji mają zastosowanie tylko wtedy, gdy używasz woluminów usługi Azure NetApp Files z protokołem NFSv4.1. Wykonaj konfigurację na wszystkich maszynach wirtualnych, na których zostaną zainstalowane woluminy NFSv4.1 usługi Azure NetApp Files.

[A] Wyłącz mapowanie identyfikatorów.

Sprawdź ustawienie domeny NFS. Upewnij się, że domena jest skonfigurowana jako domyślna domena usługi Azure NetApp Files, defaultv4iddomain.com. Sprawdź również, czy mapowanie ma wartość nobody.

sudo cat /etc/idmapd.conf
# Examplepython-azure-mgmt-compute
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

Zweryfikuj nfs4_disable_idmappingpolecenie . Powinna być ustawiona wartość Y.

Aby utworzyć strukturę katalogów, w której nfs4_disable_idmapping się znajduje, uruchom mount polecenie . Nie będzie można ręcznie utworzyć katalogu w obszarze /sys/modules, ponieważ dostęp jest zarezerwowany dla jądra i sterowników.

# Check nfs4_disable_idmapping. 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping
# If you need to set nfs4_disable_idmapping to Y:
mkdir /mnt/tmp
mount 10.27.1.5:/sapnw1 /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
# Make the configuration permanent.
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

[1] Tymczasowo zainstaluj wolumin usługi Azure NetApp Files na jednej z maszyn wirtualnych i utwórz katalogi SAP (ścieżki plików).

# Temporarily mount the volume.
sudo mkdir -p /saptmp
# If you're using NFSv3:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.27.1.5:/sapnw1 /saptmp
# If you're using NFSv4.1:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.27.1.5:/sapnw1 /saptmp
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Utwórz katalogi udostępnione.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] Zainstaluj systemy plików.

W przypadku prostej konfiguracji instalacji klaster Pacemaker nie kontroluje systemów plików.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3,hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

Instalowanie usług SAP NetWeaver ASCS i ERS

[1] Utwórz wirtualny zasób IP i sondę kondycji dla wystąpienia usługi ASCS.

Ważne

Zalecamy użycie agenta azure-lb zasobów, który jest częścią pakietu resource-agents z minimalną wersją programu resource-agents-4.3.0184.6ee15eb2-4.13.1.

sudo crm node standby sap-cl2   
sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
  params ip=10.27.0.9 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
  meta resource-stickiness=3000

Upewnij się, że stan klastra ma wartość OK i że wszystkie zasoby są uruchomione. Nie jest ważne, w którym węźle działają zasoby.

sudo crm_mon -r
# Node sap-cl2: standby
# Online: [ sap-cl1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl1
# Resource Group: g-NW1_ASCS
#  nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#  vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1

[1] Zainstaluj oprogramowanie SAP NetWeaver ASCS jako katalog główny w pierwszym węźle.

Użyj nazwy hosta wirtualnego mapującego na adres IP konfiguracji frontonu modułu równoważenia obciążenia dla usługi ASCS (na przykład sapascs10.27.0.9, ) i numeru wystąpienia użytego na potrzeby sondy modułu równoważenia obciążenia (na przykład 00).

Możesz użyć parametru sapinstSAPINST_REMOTE_ACCESS_USER , aby zezwolić użytkownikowi innego niż główny na nawiązywanie połączenia z usługą sapinst. Parametru SAPINST_USE_HOSTNAME można użyć do zainstalowania oprogramowania SAP przy użyciu nazwy hosta wirtualnego.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
```
Jeśli instalacja nie może utworzyć podfolderu w /usr/sap/NW1/ASCS00programie , ustaw właściciela i grupę ASCS00 folderu i ponów próbę.
```
chown nw1adm /usr/sap/NW1/ASCS00
chgrp sapsys /usr/sap/NW1/ASCS00
```

[1] Utwórz wirtualny zasób IP i sondę kondycji dla wystąpienia usługi ERS.

sudo crm node online sap-cl2
sudo crm node standby sap-cl1

sudo crm configure primitive vip_NW1_ERS IPaddr2 \
  params ip=10.27.0.10 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ERS nc_NW1_ERS vip_NW1_ERS

Upewnij się, że stan klastra ma wartość OK i że wszystkie zasoby są uruchomione. Nie jest ważne, w którym węźle działają zasoby.

sudo crm_mon -r

# Node sap-cl1: standby
# Online: [ sap-cl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS  (ocf::heartbeat:IPaddr2):     Started sap-cl2

[2] Zainstaluj oprogramowanie SAP NetWeaver ERS jako katalog główny w drugim węźle.

Użyj nazwy hosta wirtualnego mapującego na adres IP konfiguracji frontonu modułu równoważenia obciążenia dla usługi ERS (na przykład sapers10.27.0.10, ) i numeru wystąpienia użytego na potrzeby sondy modułu równoważenia obciążenia (na przykład 01).

Możesz użyć parametru SAPINST_REMOTE_ACCESS_USER , aby zezwolić użytkownikowi innego niż główny na nawiązywanie połączenia z usługą sapinst. Parametru SAPINST_USE_HOSTNAME można użyć do zainstalowania oprogramowania SAP przy użyciu nazwy hosta wirtualnego.
```
<swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Uwaga

Użyj narzędzia SWPM SP 20 PL 05 lub nowszego. Wcześniejsze wersje nie ustawiają poprawnie uprawnień i powodują niepowodzenie instalacji.

Jeśli instalacja nie może utworzyć podfolderu w /usr/sap/NW1/ERS01programie , ustaw właściciela i grupę ERS01 folderu i ponów próbę.
```
chown nw1adm /usr/sap/NW1/ERS01
chgrp sapsys /usr/sap/NW1/ERS01
```

[1] Dostosowanie profilu wystąpienia usługi ASCS.

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_sapascs

# Change the restart command to a start command.
# Restart_Program_01 = local $(_EN) pf=$(_PF).
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keepalive parameter, if you're using ENSA1.
enque/encni/set_so_keepalive = true

W przypadku autonomicznego trybu enqueue Server 1 i 2 (ENSA1 i ENSA2) upewnij się, że keepalive parametry systemu operacyjnego zostały ustawione zgodnie z opisem w temacie SAP Note 1410736.

Teraz dostosuj profil wystąpienia usługi ERS.

sudo vi /sapmnt/NW1/profile/NW1_ERS01_sapers

# Change the restart command to a start command.
# Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID).
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Remove Autostart from the ERS profile.
# Autostart = 1

[A] Skonfiguruj .keepalive

Komunikacja między serwerem aplikacji SAP NetWeaver a usługą ASCS jest kierowana przez programowy moduł równoważenia obciążenia. Moduł równoważenia obciążenia rozłącza nieaktywne połączenia po konfigurowalnym upłynięciu limitu czasu.

Aby zapobiec temu rozłączeniu, należy ustawić parametr w profilu SAP NetWeaver ASCS, jeśli używasz usługi ENSA1. Zmień ustawienia systemu keepalive Linux na wszystkich serwerach SAP zarówno dla ENSA1, jak i ENSA2. Aby uzyskać więcej informacji, przeczytaj artykuł SAP Note1410736.
```
# Change the Linux system configuration.
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] Skonfiguruj użytkowników systemu SAP po zakończeniu instalacji.

# Add sidadm to the haclient group.
sudo usermod -aG haclient nw1adm

[1] Dodaj usługi SAP ASCS i ERS do sapservice pliku.

Dodaj wpis usługi ASCS do drugiego węzła i skopiuj wpis usługi ERS do pierwszego węzła.

cat /usr/sap/sapservices | grep ASCS00 | sudo ssh sap-cl2 "cat >>/usr/sap/sapservices"
sudo ssh sap-cl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices

[A] Włącz sapping i sappong. Agent sapping jest uruchamiany przed sapinit ukryciem /usr/sap/sapservices pliku. Agent sappong jest uruchamiany po sapinit tym, jak odkryć plik podczas rozruchu sapservices maszyny wirtualnej. SAPStartSrv program nie jest uruchamiany automatycznie dla wystąpienia SAP w czasie rozruchu, ponieważ klaster Pacemaker zarządza nim.
```
sudo systemctl enable sapping
sudo systemctl enable sappong
```
[1] Utwórz SAPStartSrv zasób dla usługi ASCS i ERS, tworząc plik, a następnie ładując plik.
```
vi crm_sapstartsrv.txt
```
Wprowadź poniższy element pierwotny w crm_sapstartsrv.txt pliku i zapisz
```
primitive rsc_sapstartsrv_NW1_ASCS00 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ASCS00_sapascs

primitive rsc_sapstartsrv_NW1_ERS01 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ERS01_sapers
```
Załaduj plik przy użyciu poniższego polecenia.
```
sudo crm configure load update crm_sapstartsrv.txt
```
Uwaga

Jeśli skonfigurowaliśmy zasób SAPStartSrv przy użyciu polecenia "crm configure primitive..." Polecenie w systemie crmsh w wersji 4.4.0+20220708.6ed6b56f-150400.3.3.1 lub nowszej, należy przejrzeć konfigurację elementów pierwotnych zasobów SAPStartSrv. Jeśli operacja monitorowania jest obecna, należy ją usunąć. SusE sugeruje również usunięcie operacji uruchamiania i zatrzymywania, ale nie są one tak kluczowe jak operacja monitorowania. Aby uzyskać więcej informacji, zobacz ostatnie zmiany w pakiecie crmsh mogą spowodować nieobsługiwaną konfigurację agenta zasobów SAPStartSrv w klastrze SAP NetWeaver HA.

[1] Tworzenie zasobów klastra SAP.

W zależności od tego, czy korzystasz z systemu ENSA1, czy ENSA2, wybierz odpowiednią kartę, aby zdefiniować zasoby. Oprogramowanie SAP wprowadziło obsługę enSA2, w tym replikacji, w oprogramowaniu SAP NetWeaver 7.52. Począwszy od platformy ABAP 1809, system ENSA2 jest instalowany domyślnie. Aby uzyskać pomoc techniczną ENSA2, zobacz sap Note 2630416.

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

Uwaga

Jeśli masz klaster z dwoma węzłami z systemem ENSA2, możesz skonfigurować właściwość klastra priority-fencing-delay. Ta właściwość wprowadza dodatkowe opóźnienie w ogrodzeniu węzła, który ma wyższy całkowity priorytet zasobu, gdy wystąpi scenariusz podziału mózgu. Aby uzyskać więcej informacji, zobacz SUSE Linux Enteprise Server high availability extension administration guide (Przewodnik administrowania rozszerzeniami o wysokiej dostępności systemu SUSE Linux Enteprise Server).

Właściwość priority-fencing-delay ma zastosowanie tylko dla ENSA2 działającego w klastrze z dwoma węzłami. Aby uzyskać więcej informacji, zobacz Enqueue Replication 2 High Availability cluster with simple mount (Klaster wysokiej dostępności w kolejce 2 z prostą instalacją)

sudo crm configure property maintenance-mode="true"

sudo crm configure property priority-fencing-delay=30

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFSv4.1 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

Jeśli uaktualniasz starszą wersję i przełączasz się na ENSA2, zobacz sap Note 2641019.

Upewnij się, że stan klastra ma wartość OK i że wszystkie zasoby są uruchomione. Nie jest ważne, w którym węźle działają zasoby.

sudo crm_mon -r
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sapstartsrv_NW1_ASCS00 (ocf::suse:SAPStartSrv):        Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sapstartsrv_NW1_ERS01  (ocf::suse:SAPStartSrv):        Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1

Przygotowywanie serwera aplikacji SAP

Niektóre bazy danych wymagają wykonania instalacji bazy danych na serwerze aplikacji. Przygotuj maszyny wirtualne serwera aplikacji, aby móc wykonać instalację bazy danych.

W poniższych typowych krokach założono, że serwer aplikacji jest instalowany na serwerze innym niż serwery ASCS i HANA:

Konfigurowanie rozpoznawania nazw hosta.

Można użyć serwera DNS lub zmodyfikować /etc/hosts na wszystkich węzłach. W tym przykładzie /etc/hosts pokazano, jak używać pliku.

sudo vi /etc/hosts

Wstaw następujące wiersze do /etc/hosts. Zmień adres IP i nazwę hosta, aby pasować do twojego środowiska.

10.27.0.6   sap-cl1
10.27.0.7   sap-cl2
# IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
10.27.0.9   sapascs
# IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
10.27.0.10  sapers
10.27.0.8   sapa01
10.27.0.12  sapa02

Skonfiguruj plik SWAP.

sudo vi /etc/waagent.conf

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file by using the ResourceDisk.SwapSizeMB property.
# The free space of the resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

Uruchom ponownie agenta, aby aktywować zmianę.

sudo service waagent restart

Przygotowywanie katalogów SAP

Jeśli używasz systemu plików NFS w usłudze Azure Files, skorzystaj z poniższych instrukcji, aby przygotować katalogi SAP na maszynach wirtualnych serwera aplikacji SAP:

Utwórz punkty instalacji.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Zainstaluj systemy plików.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Jeśli używasz systemu plików NFS w usłudze Azure NetApp Files, wykonaj następujące instrukcje, aby przygotować katalogi SAP na maszynach wirtualnych serwera aplikacji SAP:

Utwórz punkty instalacji.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Zainstaluj systemy plików.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3, hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab    
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

Instalowanie bazy danych

W tym przykładzie oprogramowanie SAP NetWeaver jest zainstalowane na platformie SAP HANA. Do tej instalacji można użyć dowolnej obsługiwanej bazy danych. Aby uzyskać więcej informacji na temat sposobu instalowania oprogramowania SAP HANA na platformie Azure, zobacz Wysoka dostępność oprogramowania SAP HANA na maszynach wirtualnych platformy Azure. Aby uzyskać listę obsługiwanych baz danych, zobacz sap Note 1928533.

Zainstaluj wystąpienie bazy danych SAP NetWeaver jako katalog główny przy użyciu nazwy hosta wirtualnego mapującego na adres IP konfiguracji frontonu modułu równoważenia obciążenia dla bazy danych. Możesz użyć parametru SAPINST_REMOTE_ACCESS_USER , aby zezwolić użytkownikowi innego niż główny na nawiązywanie połączenia z usługą sapinst.

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Instalowanie serwera aplikacji SAP NetWeaver

Wykonaj następujące kroki, aby zainstalować serwer aplikacji SAP:

[A] Przygotowanie serwera aplikacji.

Wykonaj kroki opisane w temacie Przygotowywanie serwera aplikacji SAP NetWeaver.
[A] Zainstaluj podstawowy lub dodatkowy serwer aplikacji SAP NetWeaver.

Możesz użyć parametru SAPINST_REMOTE_ACCESS_USER , aby zezwolić użytkownikowi innego niż główny na nawiązywanie połączenia z usługą sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
[A] Zaktualizuj bezpieczny magazyn SAP HANA, aby wskazać nazwę wirtualną konfiguracji replikacji systemu SAP HANA.

Uruchom następujące polecenie, aby wyświetlić listę wpisów.
```
hdbuserstore List
```
Polecenie powinno wyświetlić listę wszystkich wpisów i powinno wyglądać podobnie do tego przykładu.
```
DATA FILE       : /home/nw1adm/.hdb/sapa01/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/sapa01/SSFS_HDB.KEY

KEY DEFAULT 
  ENV : 10.27.0.4:30313
  USER: SAPABAP1
  DATABASE: NW1
```
W tym przykładzie adres IP domyślnych punktów wejścia do maszyny wirtualnej, a nie moduł równoważenia obciążenia. Zmień wpis, aby wskazywał nazwę hosta wirtualnego modułu równoważenia obciążenia. Pamiętaj, aby użyć tego samego portu i nazwy bazy danych. Na przykład użyj polecenia 30313 i NW1 w przykładowych danych wyjściowych.
```
su - nw1adm
hdbuserstore SET DEFAULT nw1db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

Testowanie konfiguracji klastra

Dokładnie przetestuj klaster Pacemaker. Uruchom typowe testy trybu failover.

Wysoka dostępność oprogramowania SAP NetWeaver z prostą instalacją i systemem plików NFS w systemie SLES dla maszyn wirtualnych aplikacji SAP

Wymagania wstępne

Omówienie

Przygotowywanie infrastruktury

Ręczne wdrażanie maszyn wirtualnych z systemem Linux za pośrednictwem witryny Azure Portal

Konfigurowanie modułu równoważenia obciążenia platformy Azure

Wdrażanie systemu plików NFS

Wdrażanie konta magazynu usługi Azure Files i udziałów NFS

Ważne zagadnienia dotyczące systemu plików NFS w udziałach usługi Azure Files

Wdrażanie zasobów usługi Azure NetApp Files

Ważne zagadnienia dotyczące systemu plików NFS w usłudze Azure NetApp Files

Konfigurowanie usługi ASCS

Tworzenie klastra Pacemaker

Przygotuj do instalacji

Przygotowywanie katalogów SAP, jeśli używasz systemu plików NFS w usłudze Azure Files

Przygotowywanie katalogów SAP, jeśli używasz systemu plików NFS w usłudze Azure NetApp Files

Instalowanie usług SAP NetWeaver ASCS i ERS

Przygotowywanie serwera aplikacji SAP

Przygotowywanie katalogów SAP

Instalowanie bazy danych

Instalowanie serwera aplikacji SAP NetWeaver

Testowanie konfiguracji klastra

Następne kroki

Dodatkowe zasoby