Magas rendelkezésre állású SAP NetWeaver egyszerű csatlakoztatással és NFS-sel az SLES-en SAP Applications virtuális gépekhez

Cikk
07/25/2024

Ez a cikk bemutatja, hogyan helyezhet üzembe és konfigurálhat Azure-beli virtuális gépeket(VM-eket), hogyan telepítheti a fürt keretrendszerét, és hogyan telepíthet magas rendelkezésre állású (HA) SAP NetWeaver rendszert egy egyszerű csatlakoztatási struktúrával. A bemutatott architektúrát az alábbi NFS-szolgáltatások egyikével implementálhatja:

Az SAP Applications 15 SLES-en futó új implementációk esetében az egyszerű csatlakoztatási konfiguráció lesz az alapértelmezett.

Előfeltételek

Az alábbi útmutatók tartalmazzák a NetWeaver HA-rendszer beállításához szükséges összes információt:

SAP S/4 HANA – 2. nagy rendelkezésre állású fürt egyszerű csatlakoztatással
Fájlrendszer-erőforrás használata az ABAP SAP Central Serviceshez (ASCS)/ERS HA beállításhoz nem lehetséges
SAP Note 1928533, amely a következő:
- Az SAP-szoftverek üzembe helyezéséhez támogatott Azure-beli virtuálisgép-méretek listája
- Fontos kapacitásinformációk az Azure-beli virtuális gépek méretéről
- Támogatott SAP-szoftverek, operációs rendszerek (OS-ek) és kombinációk
- A Windowshoz és Linuxhoz szükséges SAP kernelverzió a Microsoft Azure-ban
SAP-megjegyzés 2015553, amely felsorolja az SAP által támogatott SAP-szoftverek Azure-beli üzembe helyezésének előfeltételeit.
SAP Note 2205917, amely az SAP-alkalmazásokhoz készült SUSE Linux Enterprise Server (SLES) operációsrendszer-beállításait ajánlotta
SAP-megjegyzés 2178632, amely részletes információkat tartalmaz az Azure-beli SAP-hoz jelentett összes monitorozási metrikáról
SAP Note 2191498, amely rendelkezik a Linuxhoz szükséges SAP Host Agent-verzióval az Azure-ban
SAP Note 2243692, amely az Azure-beli Linuxon futó SAP-licenceléssel kapcsolatos információkkal rendelkezik
SAP Note 2578899, amely általános információkat tartalmaz a SUSE Linux Enterprise Server 15-ről
SAP Note 1275776, amely információkat tartalmaz a SUSE Linux Enterprise Server SAP-környezetekhez való előkészítéséről
SAP Note 1999351, amely további hibaelhárítási információkat tartalmaz az Azure Enhanced Monitoring Extension for SAP-hoz
SAP közösségi wiki, amely minden szükséges SAP-jegyzetet tartalmaz Linuxhoz
Azure-beli virtuális gépek tervezése és implementálása linuxos SAP-hez
Azure-beli virtuális gépek üzembe helyezése AZ SAP-hoz Linuxon
Azure Virtual Machines DBMS üzembe helyezése AZ SAP-hoz Linuxon
A SUSE SAP HA ajánlott eljárásainak útmutatói
SUSE magas rendelkezésre állású bővítmény kibocsátási megjegyzései
Az Azure Files dokumentációja
A NetApp NFS ajánlott eljárásai

Áttekintés

Ez a cikk egy egyszerű csatlakoztatási struktúrával rendelkező ASCS magas rendelkezésre állású konfigurációját ismerteti. Az SAP-alkalmazásréteg üzembe helyezéséhez olyan megosztott címtárakra van szükség, mint a /sapmnt/SID, /usr/sap/SIDés /usr/sap/trans, amelyek magas rendelkezésre állásúak. Ezeket a fájlrendszereket üzembe helyezheti az NFS-en az Azure Fileson vagy az Azure NetApp Fileson.

Továbbra is szüksége van egy Pacemaker-fürtre, amely segít megvédeni az egypontos meghibásodási összetevőket, például az SAP Central Servicest (SCS) és az ASCS-t.

A klasszikus Pacemaker-fürtkonfigurációhoz képest az egyszerű csatlakoztatási üzembe helyezéssel a fürt nem kezeli a fájlrendszereket. Ez a konfiguráció csak az SAP Applications 15-ös és újabb verzióihoz készült SLES-en támogatott. Ez a cikk nem fedi le részletesen az adatbázisréteget.

A példakonfigurációk és a telepítési parancsok a következő példányszámokat használják.

Példány neve	Példányszám
ASCS	00
Replikációs kiszolgáló (ERS) létrehozása	01
Elsődleges alkalmazáskiszolgáló (PAS)	02
További alkalmazáskiszolgáló (AAS)	03
SAP-rendszerazonosító	NW1

Fontos

Az egyszerű csatlakoztatási struktúrával rendelkező konfiguráció csak az SAP Applications 15-ös és újabb verzióihoz készült SLES-en támogatott.

Az SAP NetWeaver magas rendelkezésre állását bemutató ábra egyszerű csatlakoztatással és NFS-sel.

Az infrastruktúra előkészítése

Az SAP-példány erőforrás-ügynöke az SAP-alkalmazásokhoz készült SUSE Linux Enterprise Server része. A SUSE Linux Enterprise Server for SAP Applications 12 vagy 15 rendszerképe elérhető az Azure Marketplace-en. A rendszerkép használatával új virtuális gépeket helyezhet üzembe.

Linux rendszerű virtuális gépek manuális üzembe helyezése az Azure Portalon

Ez a dokumentum feltételezi, hogy már üzembe helyezett egy erőforráscsoportot, az Azure Virtual Networket és az alhálózatot.

Virtuális gépek üzembe helyezése az SAP Applications SLES rendszerképével. Válassza ki az SAP-rendszerhez támogatott SLES-rendszerkép megfelelő verzióját. A virtuális gépet a rendelkezésre állási lehetőségek bármelyikében üzembe helyezheti – virtuálisgép-méretezési csoportban, rendelkezésre állási zónában vagy rendelkezésre állási csoportban.

Az Azure Load Balancer konfigurálása

A virtuális gép konfigurálása során lehetősége van a terheléselosztó hálózatkezelési szakaszának létrehozására vagy kilépésére. Kövesse az alábbi lépéseket egy szabványos terheléselosztó konfigurálásához az SAP ASCS és az SAP ERS magas rendelkezésre állású beállításához.

A terheléselosztó létrehozásának útmutatóját követve állítson be egy standard terheléselosztót egy magas rendelkezésre állású SAP-rendszerhez az Azure Portal használatával. A terheléselosztó beállítása során fontolja meg a következő pontokat.

Előtérbeli IP-konfiguráció: Hozzon létre két előtérbeli IP-címet, egyet az ASCS-hez, egy másikat az ERS-hez. Válassza ki ugyanazt a virtuális hálózatot és alhálózatot, mint az ASCS/ERS virtuális gépek.
Háttérkészlet: Hozzon létre háttérkészletet, és adjon hozzá ASCS- és ERS-virtuális gépeket.
Bejövő szabályok: Hozzon létre két terheléselosztási szabályt, egyet az ASCS-hez, egyet az ERS-hez. Kövesse ugyanazokat a lépéseket mindkét terheléselosztási szabály esetében.
- Előtérbeli IP-cím: Előtérbeli IP-cím kiválasztása
- Háttérkészlet: Háttérkészlet kiválasztása
- Ellenőrizze a "Magas rendelkezésre állású portok" jelölőnégyzetet
- Protokoll: TCP
- Állapotadat-mintavétel: Állapotadat-mintavétel létrehozása az alábbi részletekkel (az ASCS-re és az ERS-re egyaránt vonatkozik)
  - Protokoll: TCP
  - Port: [például: 620<Példányszám AZ ASCS-hez> , 621<Példányszám az ERS-hez> ]
  - Intervallum: 5
  - Mintavétel küszöbértéke: 2
- Tétlen időtúllépés (perc): 30
- Jelölje be a "Lebegő IP-cím engedélyezése" jelölőnégyzetet

Feljegyzés

Az állapotadat-mintavétel konfigurációs tulajdonsága, azOfProbes, más néven "Nem kifogástalan küszöbérték" a Portálon nem lesz tiszteletben tartva. A sikeres vagy sikertelen egymást követő mintavételek számának szabályozásához állítsa a "probeThreshold" tulajdonságot 2-re. Ezt a tulajdonságot jelenleg nem lehet beállítani az Azure Portalon, ezért használja az Azure CLI vagy a PowerShell parancsot.

Ha azure standard terheléselosztót szeretne létrehozni az SAP-rendszer magas rendelkezésre állású beállításához az Azure CLI használatával, kövesse az alábbi lépéseket.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

Kibontás a teljes CLI-kód megtekintéséhez

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Ha azure standard terheléselosztót szeretne létrehozni az SAP-rendszer magas rendelkezésre állású beállításához az Azure PowerShell használatával, kövesse az alábbi lépéseket.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

Kibontás a teljes PowerShell-kód megtekintéséhez

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Feljegyzés

Ha a nyilvános IP-címmel nem rendelkező virtuális gépek egy belső (nyilvános IP-cím nélküli) Standard Azure-terheléselosztó háttérkészletébe kerülnek, nem lesz kimenő internetkapcsolat, hacsak nem végez további konfigurációt a nyilvános végpontokhoz való útválasztás engedélyezéséhez. A kimenő kapcsolatok elérésével kapcsolatos részletekért tekintse meg az Azure Standard Load Balancert használó virtuális gépek nyilvános végpontkapcsolatait az SAP magas rendelkezésre állású forgatókönyveiben.

Fontos

Ne engedélyezze az Azure Load Balancer mögött elhelyezett Azure-beli virtuális gépeken a TCP-időbélyegeket. A TCP-időbélyegek engedélyezése az állapotminták sikertelenségéhez vezet. Állítsa be a paramétert net.ipv4.tcp_timestamps a következőre 0: . További részletekért lásd a Load Balancer állapotmintáit.
Ha meg szeretné akadályozni, hogy a Saptune a manuálisan beállított net.ipv4.tcp_timestamps értéket 0 visszafelé 1módosítsa, frissítse a Saptune 3.1.1-es vagy újabb verzióját. További információ: saptune 3.1.1 – Frissíteni kell?.

NFS üzembe helyezése

Az Azure natív NFS üzembe helyezésének két lehetősége van az SAP megosztott címtárainak üzemeltetésére. NFS-fájlmegosztást helyezhet üzembe az Azure Filesban , vagy üzembe helyezhet egy NFS-kötetet az Azure NetApp Filesban. Az Azure Fileson futó NFS támogatja az NFSv4.1 protokollt. Az Azure NetApp Files NFS-jén az NFSv4.1 és az NFSv3 is támogatott.

A következő szakaszok az NFS üzembe helyezésének lépéseit ismertetik. Válasszon csak egyet a lehetőségek közül.

Azure Files-tárfiók és NFS-megosztások üzembe helyezése

Az Azure Files NFS szolgáltatása az Azure Files prémium szintű tárterületén fut. Mielőtt beállítaná az NFS-t az Azure Fileson, olvassa el az NFS-megosztások létrehozását ismertető témakört.

Az Azure-régión belül két lehetőség van a redundanciára:

A helyileg redundáns tárolás (LRS) helyi, zónán belüli szinkron adatreplikálást biztosít.
A zónaredundáns tárolás (ZRS) szinkron módon replikálja az adatokat a régió három rendelkezésre állási zónájában .

Ellenőrizze, hogy a kiválasztott Azure-régió kínál-e NFSv4.1-et az Azure Fileson a megfelelő redundanciával. Tekintse át az Azure Files rendelkezésre állását az Azure-régióban a Premium Files Storage-hoz. Ha a forgatókönyv a ZRS előnyeit élvezi, ellenőrizze, hogy a ZRS-sel való prémium szintű fájlmegosztások támogatottak-e az Azure-régióban.

Javasoljuk, hogy egy Azure-beli privát végponton keresztül férhessen hozzá az Azure Storage-fiókjához. Mindenképpen telepítse az Azure Files storage-fiókvégpontot és azokat a virtuális gépeket, amelyekhez csatlakoztatnia kell az NFS-megosztásokat, ugyanabban az Azure-beli virtuális hálózaton vagy társviszonyban lévő Azure-beli virtuális hálózatokban.

Helyezzen üzembe egy sapnfsafs nevű Azure Files-tárfiókot. Ez a példa ZRS-t használ. Ha nem ismeri a folyamatot, olvassa el a Tárfiók létrehozása az Azure Portalhoz című témakört.
Az Alapszintű beállítások lapon használja az alábbi beállításokat:
1. A Storage-fiók neveként adja meg az sapnfsafs nevet.
2. A Teljesítmény beállításnál válassza a Prémium lehetőséget.
3. Prémium szintű fióktípus esetén válassza a FileStorage lehetőséget.
4. Replikáció esetén válassza a Zónaredundancia (ZRS) lehetőséget.
Válassza a Tovább lehetőséget.
A Speciális lapon törölje a REST API biztonságos átvitelének megkövetelése lehetőséget. Ha nem törli ezt a beállítást, nem csatlakoztathatja az NFS-megosztást a virtuális géphez. A csatlakoztatási művelet időtúllépést fog végrehajtani.
Válassza a Tovább lehetőséget.
A Hálózatkezelés szakaszban konfigurálja az alábbi beállításokat:
1. A Hálózati kapcsolat területen válassza a Privát végpont lehetőséget a Kapcsolat metódushoz.
2. A Privát végpont területen válassza a Privát végpont hozzáadása lehetőséget.
A Privát végpont létrehozása panelen válassza ki az előfizetést, az erőforráscsoportot és a helyet. Ezután végezze el a következő kijelöléseket:
1. A Név mezőbe írja be a sapnfsafs_pe.
2. A Storage alerőforrás esetében válassza ki a fájlt.
3. A Hálózatkezelés területen a Virtuális hálózat területen válassza ki a használni kívánt virtuális hálózatot és alhálózatot. Ismét használhatja azt a virtuális hálózatot, amelyben az SAP virtuális gépek találhatók, vagy egy társhálózatú virtuális hálózatot.
4. Az saját DNS integráció alatt fogadja el az Igen alapértelmezett beállítást a privát DNS-zónával való integrációhoz. Mindenképpen válassza ki a privát DNS-zónát.
5. Kattintson az OK gombra.
A Hálózatkezelés lapon kattintson ismét a Tovább gombra.
Az Adatvédelem lapon tartsa meg az összes alapértelmezett beállítást.
A konfiguráció ellenőrzéséhez válassza a Véleményezés + létrehozás lehetőséget .
Várja meg, amíg az ellenőrzés befejeződik. A folytatás előtt javítsa ki a problémákat.
A Véleményezés + létrehozás lapon válassza a Létrehozás lehetőséget.

Ezután helyezze üzembe az NFS-megosztásokat a létrehozott tárfiókban. Ebben a példában két NFS-megosztás sapnw1 saptransés .

Jelentkezzen be az Azure Portalra.
Tárfiókok kiválasztása vagy keresése.
A Tárfiókok lapon válassza az sapnfsafs lehetőséget.
Az sapnfsafs erőforrásmenüjében válassza a Fájlmegosztások lehetőséget az Adattárolás területen.
A Fájlmegosztások lapon válassza a Fájlmegosztás lehetőséget, majd a következőt:
1. A Név mezőbe írja be az sapnw1, saptrans nevet.
2. Válassza ki a megfelelő megosztásméretet. Vegye figyelembe a megosztáson tárolt adatok méretét, a másodpercenkénti I/O-t (IOPS) és az átviteli sebességre vonatkozó követelményeket. További információ: Azure-fájlmegosztási célok.
3. Válassza ki az NFS protokollt.
4. Válassza a Nincs gyökér squash lehetőséget. Ellenkező esetben, ha a megosztásokat a virtuális gépekre csatlakoztatja, nem látja a fájl tulajdonosát vagy csoportját.

Az NFS-en keresztül nem csatlakoztatandó SAP-fájlrendszerek az Azure Disk Storage-ban is üzembe helyezhetők. Ebben a példában üzembe helyezheti és /usr/sap/NW1/D03 üzembe helyezheti /usr/sap/NW1/D02 az Azure Disk Storage-t.

Fontos szempontok az Azure Files-megosztások NFS-ével kapcsolatban

Ha az NFS-sel az Azure Fileson tervezi az üzembe helyezést, vegye figyelembe a következő fontos szempontokat:

A minimális megosztási méret 100 gibibyte (GiB). Csak a kiosztott megosztások kapacitásáért kell fizetnie.
Az NFS-megosztások mérete nem csak a kapacitási követelmények, hanem az IOPS és az átviteli sebesség követelményei alapján is. További részletekért tekintse meg az Azure-fájlmegosztási célokat.
Tesztelje a számítási feladatot a méretezés ellenőrzéséhez, és győződjön meg arról, hogy megfelel a teljesítménycéloknak. Az Azure Files NFS-ével kapcsolatos teljesítményproblémák elhárításához tekintse meg az Azure-fájlmegosztási teljesítmény hibaelhárításával foglalkozó témakört.
AZ SAP J2EE-rendszerek esetében az NFS Azure Fileson való elhelyezése /usr/sap/<SID>/J<nr> nem támogatott.
Ha az SAP-rendszer nagy mennyiségű kötegelt feladatokkal rendelkezik, több millió feladatnaplóval rendelkezhet. Ha az SAP kötegelt feladatnaplói a fájlrendszerben vannak tárolva, különös figyelmet kell fordítani a megosztás méretezésére sapmnt . A 7.52-SAP_BASIS a kötegelt feladatnaplók alapértelmezett viselkedését az adatbázisban kell tárolni. További információ: Feladatnapló az adatbázisban.
Helyezzen üzembe egy külön sapmnt megosztást minden SAP-rendszerhez.
Ne használja a megosztást sapmnt más tevékenységekhez, például felületekhez.
Ne használja a megosztást saptrans más tevékenységekhez, például felületekhez.
Ne konszolidálja a megosztásokat túl sok SAP-rendszer esetében egyetlen tárfiókban. A tárfiókok méretezhetőségi és teljesítménycéljai is vannak. Ügyeljen arra, hogy ne lépje túl a tárfiókra vonatkozó korlátokat.
Általánosságban elmondható, hogy egyetlen tárfiókban ne konszolidálja az ötnél több SAP-rendszer részvényeit. Ez az útmutató segít elkerülni a tárfiókok korlátainak túllépését, és leegyszerűsíti a teljesítményelemzést.
Általában kerülje az olyan megosztások keverését, mint a sapmnt nem termelési és éles SAP-rendszerek esetében ugyanabban a tárfiókban.
Javasoljuk, hogy telepítse az SLES 15 SP2 vagy újabb verzióját, hogy kihasználhassa az NFS-ügyfél fejlesztéseit.
Használjon privát végpontot. Nem valószínű, hogy zonális hiba esetén az NFS-munkamenetek automatikusan átirányítanak egy kifogástalan állapotú zónába. Nem kell újracsatlakoztatnia az NFS-megosztásokat a virtuális gépeken.
Ha a virtuális gépeket a rendelkezésre állási zónák között helyezi üzembe, használjon egy ZRS-t tartalmazó tárfiókot az Azure-régiókban, amelyek támogatják a ZRS-t.
Az Azure Files jelenleg nem támogatja az automatikus régiók közötti replikációt vészhelyreállítási forgatókönyvekhez.

Azure NetApp Files-erőforrások üzembe helyezése

Ellenőrizze, hogy az Azure NetApp Files szolgáltatás elérhető-e a választott Azure-régióban.
Hozza létre a NetApp-fiókot a kiválasztott Azure-régióban. Kövesse ezeket az utasításokat.
Állítsa be az Azure NetApp Files kapacitáskészletét. Kövesse ezeket az utasításokat.

A cikkben bemutatott SAP NetWeaver-architektúra egyetlen Azure NetApp Files-kapacitáskészletet, prémium termékváltozatot használ. Javasoljuk, hogy az Azure NetApp Files Premium SKU-t sap NetWeaver-alkalmazás számítási feladataihoz az Azure-ban.
Delegáljon egy alhálózatot az Azure NetApp Filesba az alábbi utasításoknak megfelelően.
Azure NetApp Files-kötetek üzembe helyezése az alábbi utasításokat követve. Helyezze üzembe a köteteket a kijelölt Azure NetApp Files alhálózaton. Az Azure NetApp-kötetek IP-címei automatikusan lesznek hozzárendelve.

Ne feledje, hogy az Azure NetApp Files-erőforrásoknak és az Azure-beli virtuális gépeknek ugyanabban az Azure-beli virtuális hálózatban vagy társviszonyban lévő Azure-beli virtuális hálózatokban kell lenniük. Ez a példa két Azure NetApp Files-kötetet használ: sapnw1 és trans. A megfelelő csatlakoztatási pontokhoz csatlakoztatott fájl elérési útjai a következők:
- Kötet sapnw1 (nfs://10.27.1.5/sapnw1/sapmntNW1)
- Kötet sapnw1 (nfs://10.27.1.5/sapnw1/usrsapNW1)
- Kötet trans (nfs://10.27.1.5/trans)

Azok az SAP-fájlrendszerek is üzembe helyezhetők, amelyeket nem kell megosztani az Azure Disk Storage-ban. Például /usr/sap/NW1/D02 /usr/sap/NW1/D03 üzembe helyezhető Azure-lemeztárolóként.

Az Azure NetApp Files NFS-ével kapcsolatos fontos szempontok

Az SAP NetWeaver magas rendelkezésre állású architektúrához készült Azure NetApp Files használatakor vegye figyelembe az alábbi fontos szempontokat:

A minimális kapacitáskészlet 4 terabájt (TiB). A kapacitáskészlet méretét 1 TiB-növekményben növelheti.
A minimális kötet 100 GiB.
Az Azure NetApp Filesnak és az összes olyan virtuális gépnek, amelyen azure NetApp Files-kötetek vannak csatlakoztatva, ugyanabban az Azure-beli virtuális hálózaton vagy egy régióban lévő társhálózaton kell lennie. Az Azure NetApp Files virtuális hálózati társviszony-létesítésen keresztüli elérése ugyanabban a régióban támogatott. Az Azure NetApp Files globális társviszony-létesítésen keresztüli elérése még nem támogatott.
A kijelölt virtuális hálózatnak rendelkeznie kell az Azure NetApp Fileshoz delegált alhálózattal.
Az Azure NetApp Files-kötetek átviteli sebessége és teljesítményjellemzői az Azure NetApp Files szolgáltatási szintjén dokumentált mennyiségi kvóta és szolgáltatási szint függvénye. Az Azure NetApp Files-kötetek SAP-hoz való méretezésekor győződjön meg arról, hogy az eredményül kapott átviteli sebesség megfelel az alkalmazás követelményeinek.
Az Azure NetApp Files exportálási szabályzatot kínál. Szabályozhatja az engedélyezett ügyfeleket és a hozzáférési típust (például olvasási/írási vagy írási).
Az Azure NetApp Files még nem ismeri a zónákat. Jelenleg az Azure NetApp Files nincs üzembe helyezve az Azure-régió összes rendelkezésre állási zónájában. Vegye figyelembe néhány Azure-régió lehetséges késési következményeit.
Az Azure NetApp Files-kötetek NFSv3 vagy NFSv4.1 kötetként telepíthetők. Mindkét protokoll támogatott az SAP-alkalmazásréteghez (ASCS/ERS, SAP-alkalmazáskiszolgálók).

AZ ASCS beállítása

Ezután előkészíti és telepíti az SAP ASCS- és ERS-példányokat.

Pacemaker-fürt létrehozása

Kövesse a Pacemaker beállításának az Azure-beli SUSE Linux Enterprise Serveren történő beállításával egy alapszintű Pacemaker-fürtöt az SAP ASCS-hez.

Felkészülés a telepítésre

A következő elemek előtagja a következő:

[A]: Minden csomópontra alkalmazható.
[1]: Csak az 1. csomópontra alkalmazható.
[2]: Csak a 2. csomópontra alkalmazható.

[A] Telepítse a SUSE-összekötő legújabb verzióját.
```
sudo zypper install sap-suse-cluster-connector
```
[A] Telepítse az sapstartsrv erőforrás-ügynököt.
```
sudo zypper install sapstartsrv-resource-agents
```
[A] AZ SAP-erőforrásügynökök frissítése.

A cikk által ismertetett konfiguráció használatához javításra van szükség az erőforrás-ügynökök csomaghoz. Annak ellenőrzéséhez, hogy a javítás már telepítve van-e, használja az alábbi parancsot.
```
sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
```
A kimenetnek az alábbi példához hasonlónak kell lennie.
```
<parameter name="IS_ERS" unique="0" required="0">;
```
Ha a grep parancs nem találja a paramétert IS_ERS , telepítenie kell a SUSE letöltési oldalán felsorolt javítást.

Fontos

2021 novemberétől telepítenie kell legalább sapstartsrv-resource-agents a 0.91-es és resource-agents a 4.x-es verziót.

[A] Az állomásnévfeloldás beállítása.

Használhat DNS-kiszolgálót, vagy módosíthatja /etc/hosts az összes csomópontot. Ez a példa bemutatja a /etc/hosts fájl használatát.

sudo vi /etc/hosts

Szúrja be a következő sorokat a következőbe /etc/hosts: Módosítsa az IP-címet és a gazdagép nevét a környezetének megfelelően.

 # IP address of cluster node 1
 10.27.0.6    sap-cl1
 # IP address of cluster node 2
 10.27.0.7     sap-cl2
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
 10.27.0.9   sapascs
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
 10.27.0.10    sapers

[A] Konfigurálja a SWAP fájlt.

sudo vi /etc/waagent.conf

# Check if the ResourceDisk.Format property is already set to y, and if not, set it.
ResourceDisk.Format=y

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with the ResourceDisk.SwapSizeMB property.
# The free space of resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

Indítsa újra az ügynököt a módosítás aktiválásához.

sudo service waagent restart

SAP-címtárak előkészítése, ha NFS-t használ az Azure Fileson

[1] Hozza létre az SAP-címtárakat az NFS-megosztáson.

Ideiglenesen csatlakoztassa az NFS-megosztást sapnw1 az egyik virtuális géphez, és hozza létre a beágyazott csatlakoztatási pontokként használt SAP-címtárakat.

# Temporarily mount the volume.
sudo mkdir -p /saptmp
sudo mount -t nfs sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Hozza létre a megosztott könyvtárakat.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] Csatlakoztassa a fájlrendszereket.

Az egyszerű csatlakoztatási konfigurációval a Pacemaker-fürt nem szabályozza a fájlrendszereket.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1/ /usr/sap/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

SAP-címtárak előkészítése, ha NFS-t használ az Azure NetApp Fileson

Az ebben a szakaszban található utasítások csak akkor alkalmazhatók, ha Az Azure NetApp Files-köteteket az NFSv4.1 protokollal használja. Végezze el a konfigurációt az összes olyan virtuális gépen, ahol az Azure NetApp Files NFSv4.1 kötetei csatlakoztatva lesznek.

[A] Az azonosítóleképezés letiltása.
1. Ellenőrizze az NFS-tartománybeállítást. Győződjön meg arról, hogy a tartomány az alapértelmezett Azure NetApp Files-tartományként van konfigurálva. defaultv4iddomain.com Azt is ellenőrizze, hogy a megfeleltetés be van-e nobodyállítva.
```
sudo cat /etc/idmapd.conf
# Examplepython-azure-mgmt-compute
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody
```
2. Ellenőrizze nfs4_disable_idmapping. A beállításnak Ya következőre kell lennie: .
  
  A könyvtárstruktúra nfs4_disable_idmapping létrehozásához futtassa a mount parancsot. A címtárat /sys/modulesnem lehet manuálisan létrehozni, mert a hozzáférés a kernel és az illesztőprogramok számára van fenntartva.
```
# Check nfs4_disable_idmapping. 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping
# If you need to set nfs4_disable_idmapping to Y:
mkdir /mnt/tmp
mount 10.27.1.5:/sapnw1 /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
# Make the configuration permanent.
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
```

[1] Ideiglenesen csatlakoztassa az Azure NetApp Files-kötetet az egyik virtuális gépre, és hozza létre az SAP-könyvtárakat (fájlelérési utakat).

# Temporarily mount the volume.
sudo mkdir -p /saptmp
# If you're using NFSv3:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.27.1.5:/sapnw1 /saptmp
# If you're using NFSv4.1:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.27.1.5:/sapnw1 /saptmp
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Hozza létre a megosztott könyvtárakat.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] Csatlakoztassa a fájlrendszereket.

Az egyszerű csatlakoztatási konfigurációval a Pacemaker-fürt nem szabályozza a fájlrendszereket.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3,hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

Az SAP NetWeaver ASCS és az ERS telepítése

[1] Hozzon létre egy virtuális IP-erőforrást és állapotmintát az ASCS-példányhoz.

Fontos

Javasoljuk, hogy használja az azure-lb erőforrás-ügynököt, amely az erőforrás-ügynökök csomagjának része, amelynek minimális verziója resource-agents-4.3.0184.6ee15eb2-4.13.1.

sudo crm node standby sap-cl2   
sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
  params ip=10.27.0.9 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
  meta resource-stickiness=3000

Győződjön meg arról, hogy a fürt állapota rendben van, és az összes erőforrás el van indítva. Nem fontos, hogy melyik csomóponton futnak az erőforrások.

sudo crm_mon -r
# Node sap-cl2: standby
# Online: [ sap-cl1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl1
# Resource Group: g-NW1_ASCS
#  nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#  vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1

[1] Telepítse az SAP NetWeaver ASCS-t gyökérként az első csomóponton.

Használjon egy virtuális gazdagépnevet, amely leképezi a terheléselosztó előtér-konfigurációjának IP-címét az ASCS-hez (például sapascs, 10.27.0.9) és a terheléselosztó mintavételéhez használt példányszámot (például 00).

A paraméterrel sapinst SAPINST_REMOTE_ACCESS_USER engedélyezheti a nem gyökérfelhasználók számára a csatlakozást sapinst. A paraméterrel SAPINST_USE_HOSTNAME virtuális gazdagépnévvel telepítheti az SAP-t.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
```
Ha a telepítés nem tud almappát létrehozni, /usr/sap/NW1/ASCS00állítsa be a mappa tulajdonosát ASCS00 és csoportját, és próbálkozzon újra.
```
chown nw1adm /usr/sap/NW1/ASCS00
chgrp sapsys /usr/sap/NW1/ASCS00
```

[1] Hozzon létre egy virtuális IP-erőforrást és állapotmintát az ERS-példányhoz.

sudo crm node online sap-cl2
sudo crm node standby sap-cl1

sudo crm configure primitive vip_NW1_ERS IPaddr2 \
  params ip=10.27.0.10 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ERS nc_NW1_ERS vip_NW1_ERS

Győződjön meg arról, hogy a fürt állapota rendben van, és az összes erőforrás el van indítva. Nem fontos, hogy melyik csomóponton futnak az erőforrások.

sudo crm_mon -r

# Node sap-cl1: standby
# Online: [ sap-cl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS  (ocf::heartbeat:IPaddr2):     Started sap-cl2

[2] Telepítse az SAP NetWeaver ERS-t gyökérként a második csomóponton.

Használjon egy virtuális gazdagépnevet, amely leképezi a terheléselosztó ERS-hez készült előtér-konfigurációjának IP-címét (például sapers, ) 10.27.0.10és a terheléselosztó mintavételéhez használt példányszámot (például 01).

A paraméterrel SAPINST_REMOTE_ACCESS_USER engedélyezheti a nem gyökérfelhasználók számára a csatlakozást sapinst. A paraméterrel SAPINST_USE_HOSTNAME virtuális gazdagépnévvel telepítheti az SAP-t.
```
<swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Feljegyzés

SWPM SP 20 PL 05 vagy újabb verziót használjon. A korábbi verziók nem megfelelően állítják be az engedélyeket, és a telepítés meghiúsulását okozzák.

Ha a telepítés nem tud almappát létrehozni, /usr/sap/NW1/ERS01állítsa be a mappa tulajdonosát ERS01 és csoportját, és próbálkozzon újra.
```
chown nw1adm /usr/sap/NW1/ERS01
chgrp sapsys /usr/sap/NW1/ERS01
```

[1] Az ASCS-példányprofil módosítása.

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_sapascs

# Change the restart command to a start command.
# Restart_Program_01 = local $(_EN) pf=$(_PF).
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keepalive parameter, if you're using ENSA1.
enque/encni/set_so_keepalive = true

Önálló Enqueue Server 1 és 2 (ENSA1 és ENSA2) esetén győződjön meg arról, hogy az operációsrendszer-paraméterek az keepalive SAP Megjegyzés 1410736 című cikkben leírtak szerint vannak beállítva.

Most adaptáljuk az ERS-példány profilját.

sudo vi /sapmnt/NW1/profile/NW1_ERS01_sapers

# Change the restart command to a start command.
# Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID).
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Remove Autostart from the ERS profile.
# Autostart = 1

[A] Konfigurálás keepalive.

Az SAP NetWeaver alkalmazáskiszolgáló és az ASCS közötti kommunikáció egy szoftveres terheléselosztón keresztül történik. A terheléselosztó konfigurálható időtúllépés után leválasztja az inaktív kapcsolatokat.

A leválasztás megakadályozása érdekében be kell állítania egy paramétert az SAP NetWeaver ASCS-profilban, ha ENSA1-et használ. Módosítsa a Linux rendszerbeállításait keepalive az ÖSSZES SAP-kiszolgálón az ENSA1 és az ENSA2 esetében is. További információ: SAP Note1410736.
```
# Change the Linux system configuration.
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] Konfigurálja az SAP-felhasználókat a telepítés után.

# Add sidadm to the haclient group.
sudo usermod -aG haclient nw1adm

[1] Adja hozzá az ASCS- és ERS SAP-szolgáltatásokat a sapservice fájlhoz.

Adja hozzá az ASCS szolgáltatásbejegyzést a második csomóponthoz, és másolja az ERS szolgáltatásbejegyzést az első csomópontra.
```
cat /usr/sap/sapservices | grep ASCS00 | sudo ssh sap-cl2 "cat >>/usr/sap/sapservices"
sudo ssh sap-cl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
```
[A] Az ASCS és az ERS SAP-példány szolgáltatásainak letiltása systemd . Ez a lépés csak akkor alkalmazható, ha az SAP indítási keretrendszerét az SAP Megjegyzés 3115048

Feljegyzés

Ha SLES-fürtkonfigurációval kezeli az SAP-példányokat, például az SAP ASCS-t és az SAP ERS-t, további módosításokat kell végeznie a fürt natív rendszeralapú SAP start-keretrendszerrel való integrálásához. Ez biztosítja, hogy a karbantartási eljárások ne veszélyeztessék a fürt stabilitását. Az SAP indítási keretrendszerének telepítése vagy rendszeralapú beállításra váltása után az SAP Megjegyzés 3115048 szerint le kell tiltania az systemd ASCS- és ERS SAP-példányok szolgáltatásait.
```
# Stop ASCS and ERS instances using <sid>adm
sapcontrol -nr 00 -function Stop
sapcontrol -nr 00 -function StopService

sapcontrol -nr 01 -function Stop
sapcontrol -nr 01 -function StopService

# Execute below command on VM where you have performed ASCS instance installation (e.g. sap-cl1)
sudo systemctl disable SAPNW1_00
# Execute below command on VM where you have performed ERS instance installation (e.g. sap-cl2)
sudo systemctl disable SAPNW1_01
```
[A] Engedélyezés sapping és sappong. Az sapping ügynök azelőtt sapinit fut, hogy elrejtse a /usr/sap/sapservices fájlt. Az sappong ügynök ezután sapinit fut, hogy felfedje a fájlt a sapservices virtuális gép indítása során. SAPStartSrv rendszerindításkor nem indul el automatikusan egy SAP-példány esetében, mert a Pacemaker-fürt kezeli.
```
sudo systemctl enable sapping
sudo systemctl enable sappong
```
[1] Hozzon létre SAPStartSrv egy erőforrást az ASCS-hez és az ERS-hez egy fájl létrehozásával, majd töltse be a fájlt.
```
vi crm_sapstartsrv.txt
```
Írja be az alábbi primitív fájlt, crm_sapstartsrv.txt és mentse
```
primitive rsc_sapstartsrv_NW1_ASCS00 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ASCS00_sapascs

primitive rsc_sapstartsrv_NW1_ERS01 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ERS01_sapers
```
Töltse be a fájlt az alábbi paranccsal.
```
sudo crm configure load update crm_sapstartsrv.txt
```
Feljegyzés

Ha SAPStartSrv-erőforrást állított be a "crm configure primitive..." (A crm konfigurálása primitív... parancs a CRMSH 4.4.0+20220708.6ed6b56f-150400.3.3.1-es vagy újabb verzióján, fontos áttekinteni az SAPStartSrv erőforrás-primitívek konfigurációját. Ha monitorozási művelet van jelen, el kell távolítani. Bár a SUSE azt is javasolja, hogy távolítsa el az indítási és leállítási műveleteket, de ezek nem annyira kulcsfontosságúak, mint a monitorozási művelet. További információkért tekintse meg a crmsh-csomag legutóbbi módosításait, amelyek az SAPStartSrv erőforrásügynök nem támogatott konfigurációját eredményezhetik egy SAP NetWeaver HA-fürtben.

[1] Hozza létre az SAP-fürt erőforrásait.

Attól függően, hogy ENSA1 vagy ENSA2 rendszert futtat, válassza a megfelelő lapot az erőforrások meghatározásához. Az SAP bevezette az ENSA2 támogatását, beleértve a replikációt is az SAP NetWeaver 7.52-ben. Az ABAP Platform 1809-től kezdve az ENSA2 alapértelmezés szerint telepítve van. Az ENSA2 támogatásáról az SAP Note 2630416 című témakörben olvashat.

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

Feljegyzés

Ha kétcsomópontos fürtje ENSA2-t futtat, beállíthatja a priority-fencing-delay fürttulajdonságot. Ez a tulajdonság további késést okoz egy olyan csomópont kerítésében, amely nagyobb teljes újrahasználati prioritással rendelkezik felosztási forgatókönyv esetén. További információ: SUSE Linux Enteprise Server high availability extension administration guide.

A tulajdonság prioritás-kerítés késleltetése csak a kétcsomópontos fürtön futó ENSA2 esetén alkalmazható. További információ: Enqueue Replication 2 High Availability cluster with simple mount

sudo crm configure property maintenance-mode="true"

sudo crm configure property priority-fencing-delay=30

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFSv4.1 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

Ha egy régebbi verzióról frissít, és az ENSA2-re vált, tekintse meg az SAP Megjegyzés 2641019.

Győződjön meg arról, hogy a fürt állapota rendben van, és az összes erőforrás el van indítva. Nem fontos, hogy melyik csomóponton futnak az erőforrások.

sudo crm_mon -r
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sapstartsrv_NW1_ASCS00 (ocf::suse:SAPStartSrv):        Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sapstartsrv_NW1_ERS01  (ocf::suse:SAPStartSrv):        Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1

Az SAP-alkalmazáskiszolgáló előkészítése

Egyes adatbázisok esetében az adatbázis telepítését egy alkalmazáskiszolgálón kell végrehajtania. Készítse elő az alkalmazáskiszolgáló virtuális gépeit, hogy végrehajthassák az adatbázis-telepítést.

Az alábbi gyakori lépések feltételezik, hogy az alkalmazáskiszolgálót az ASCS- és HANA-kiszolgálóktól eltérő kiszolgálóra telepíti:

Állomásnévfeloldás beállítása.

Használhat DNS-kiszolgálót, vagy módosíthatja /etc/hosts az összes csomópontot. Ez a példa bemutatja a /etc/hosts fájl használatát.
```
sudo vi /etc/hosts
```
Szúrja be a következő sorokat a következőbe /etc/hosts: Módosítsa az IP-címet és a gazdagép nevét a környezetének megfelelően.
```
10.27.0.6   sap-cl1
10.27.0.7   sap-cl2
# IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
10.27.0.9   sapascs
# IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
10.27.0.10  sapers
10.27.0.8   sapa01
10.27.0.12  sapa02
```

Konfigurálja a SWAP fájlt.

sudo vi /etc/waagent.conf

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file by using the ResourceDisk.SwapSizeMB property.
# The free space of the resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

Indítsa újra az ügynököt a módosítás aktiválásához.

sudo service waagent restart

SAP-címtárak előkészítése

Ha NFS-t használ az Azure Fileson, az alábbi utasításokat követve készítse elő az SAP-címtárakat az SAP-alkalmazáskiszolgáló virtuális gépeken:

Hozza létre a csatlakoztatási pontokat.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Csatlakoztassa a fájlrendszereket.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Ha NFS-t használ az Azure NetApp Fileson, az alábbi utasításokat követve készítse elő az SAP-címtárakat az SAP-alkalmazáskiszolgáló virtuális gépeken:

Hozza létre a csatlakoztatási pontokat.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Csatlakoztassa a fájlrendszereket.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3, hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab    
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

Az adatbázis telepítése

Ebben a példában az SAP NetWeaver telepítve van az SAP HANA-ra. A telepítéshez bármilyen támogatott adatbázist használhat. Az SAP HANA Azure-beli telepítéséről további információt az SAP HANA azure-beli virtuális gépeken való magas rendelkezésre állása című témakörben talál. A támogatott adatbázisok listáját az SAP Megjegyzés 1928533 című témakörben találja.

Telepítse az SAP NetWeaver-adatbázispéldányt gyökérként egy virtuális gazdagépnév használatával, amely leképezi a terheléselosztó előtér-konfigurációjának IP-címét az adatbázishoz. A paraméterrel SAPINST_REMOTE_ACCESS_USER engedélyezheti a nem gyökérfelhasználók számára a csatlakozást sapinst.

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Az SAP NetWeaver alkalmazáskiszolgáló telepítése

SAP-alkalmazáskiszolgáló telepítéséhez kövesse az alábbi lépéseket:

[A] Az alkalmazáskiszolgáló előkészítése.

Kövesse az SAP NetWeaver-alkalmazáskiszolgáló előkészítésének lépéseit.
[A] Telepítsen egy elsődleges vagy további SAP NetWeaver-alkalmazáskiszolgálót.

A paraméterrel SAPINST_REMOTE_ACCESS_USER engedélyezheti a nem gyökérfelhasználók számára a csatlakozást sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
[A] Frissítse az SAP HANA biztonságos tárolót, hogy az az SAP HANA rendszerreplikációs beállításának virtuális nevére mutasson.

Futtassa a következő parancsot a bejegyzések listázásához.
```
hdbuserstore List
```
A parancsnak az összes bejegyzést fel kell sorolnia, és a példához hasonlóan kell kinéznie.
```
DATA FILE       : /home/nw1adm/.hdb/sapa01/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/sapa01/SSFS_HDB.KEY

KEY DEFAULT 
  ENV : 10.27.0.4:30313
  USER: SAPABAP1
  DATABASE: NW1
```
Ebben a példában az alapértelmezett bejegyzés IP-címe a virtuális gépre mutat, nem a terheléselosztóra. Módosítsa a bejegyzést úgy, hogy a terheléselosztó virtuális állomásnevére mutasson. Ügyeljen arra, hogy ugyanazt a port- és adatbázisnevet használja. Például használja 30313 és NW1 használja a mintakimenetet.
```
su - nw1adm
hdbuserstore SET DEFAULT nw1db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

A fürt beállításának tesztelése

Alaposan tesztelje a Pacemaker-fürtöt. Futtassa a tipikus feladatátvételi teszteket.

Megosztás a következőn keresztül:

Magas rendelkezésre állású SAP NetWeaver egyszerű csatlakoztatással és NFS-sel az SLES-en SAP Applications virtuális gépekhez

Előfeltételek

Áttekintés

Az infrastruktúra előkészítése

Linux rendszerű virtuális gépek manuális üzembe helyezése az Azure Portalon

Az Azure Load Balancer konfigurálása

NFS üzembe helyezése

Azure Files-tárfiók és NFS-megosztások üzembe helyezése

Fontos szempontok az Azure Files-megosztások NFS-ével kapcsolatban

Azure NetApp Files-erőforrások üzembe helyezése

Az Azure NetApp Files NFS-ével kapcsolatos fontos szempontok

AZ ASCS beállítása

Pacemaker-fürt létrehozása

Felkészülés a telepítésre

SAP-címtárak előkészítése, ha NFS-t használ az Azure Fileson

SAP-címtárak előkészítése, ha NFS-t használ az Azure NetApp Fileson

Az SAP NetWeaver ASCS és az ERS telepítése

Az SAP-alkalmazáskiszolgáló előkészítése

SAP-címtárak előkészítése

Az adatbázis telepítése

Az SAP NetWeaver alkalmazáskiszolgáló telepítése

A fürt beállításának tesztelése

Következő lépések

Visszajelzés

További források