Share via

Konfigurera tjänstslutpunktsprinciper för virtuellt nätverk för Azure HDInsight

  • Artikel

Den här artikeln innehåller information om hur du implementerar principer för tjänstslutpunkter i virtuella nätverk med Azure HDInsight.

Bakgrund

Med Azure HDInsight kan du skapa kluster i ditt eget virtuella nätverk. Om du behöver tillåta utgående trafik från ditt virtuella nätverk till andra Azure-tjänster som lagringskonton kan du skapa principer för tjänstslutpunkter. Tjänstslutpunktsprinciper som skapas via Azure Portal tillåter dock bara att du skapar en princip för ett enda konto, alla konton i en prenumeration eller alla konton i en resursgrupp.

Som en hanterad tjänst samlar Dock Azure HDInsight in data och loggfiler från varje kluster i specifika lagringskonton i varje region. För att dessa data ska kunna nå HDInsight från ditt virtuella nätverk måste du skapa principer för tjänstslutpunkter som tillåter utgående trafik till specifika datainsamlingsplatser som hanteras av Azure HDInsight.

Tjänstslutpunktsprinciper för HDInsight

Dessa principer för tjänstslutpunkter stöder följande funktioner:

  • Insamling av loggar och telemetri vid skapande av kluster, jobbkörning och plattformsåtgärder, till exempel skalning.
  • Koppla virtuella hårddiskar (VHD) till nyligen skapade klusternoder för etablering av programvara och bibliotek i klustret.

Om tjänstslutpunktsprinciper inte skapas för att aktivera det här dataflödet kan klusterskapandet misslyckas och Azure HDInsight kan inte ge stöd för dina kluster.

Skapa tjänstslutpunktsprinciper för HDInsight

Kontrollera att rätt principer för tjänstslutpunkter är kopplade till ditt virtuella nätverk innan du skapar nya kluster. Annars kan klusterskapandet misslyckas eller resultera i fel.

Använd följande process för att skapa nödvändiga principer för tjänstslutpunkter:

  1. Bestäm den region där du ska skapa ditt HDInsight-kluster.

  2. Leta upp regionen i listan över tjänstslutpunktsprincipresurser, vilket ger alla resursgrupper för LAGRINGskonton för HDInsight-hantering.

  3. Välj listan över resursgrupper för din region. Ett exempel på resurserna för Canada Central visas nedan:

    "Canada Central":[
    "/subscriptions/235d341f-7fb9-435c-9bdc-034b7306c9b4/resourceGroups/Default-Storage-WestUS",
    "/subscriptions/da0c4c68-9283-4f88-9c35-18f7bd72fbdd/resourceGroups/GenevaWarmPathManageRG",
    "/subscriptions/6a853a41-3423-4167-8d9c-bcf37dc72818/resourceGroups/GenevaWarmPathManageRG",
    "/subscriptions/c8845df8-14d1-4a46-b6dd-e0c44ae400b0/resourceGroups/Default-Storage-CanadaCentral",
    "/subscriptions/c8845df8-14d1-4a46-b6dd-e0c44ae400b0/resourceGroups/cancstorage",
    "/subscriptions/c8845df8-14d1-4a46-b6dd-e0c44ae400b0/resourceGroups/GenevaWarmPathManageRG",
    "/subscriptions/fb3429ab-83d0-4bed-95e9-1a8e9455252c/resourceGroups/DistroStorageRG/providers/Microsoft.Storage/storageAccounts/hdi31distrorelease",
    "/subscriptions/fb3429ab-83d0-4bed-95e9-1a8e9455252c/resourceGroups/DistroStorageRG/providers/Microsoft.Storage/storageAccounts/bigdatadistro"
],

  4. Infoga listan över resursgrupper i installationsskriptet som skrivits i Azure CLI eller Azure PowerShell.

    $subscriptionId = "<subscription id>"
$rgName="<resource group name> "
$location="<location name>"
$vnetName="<vnet name>"
$subnetName="<subnet name>"
$sepName="<service endpoint policy name>"
$sepDefName="<service endpoint policy definition name>"

# Set to the right subscription ID
az account set --subscription $subscriptionId

# setup service endpoint on the virtual network subnet
az network vnet subnet update -g $rgName --vnet-name $vnetName -n $subnetName --service-endpoints Microsoft.Storage

# Create Service Endpoint Policy
az network service-endpoint policy create -g $rgName  -n $sepName -l $location

# Insert the list of HDInsight owned resources for the region your clusters will be created in.
# Be sure to get the most recent list of resource groups from the [list of service endpoint policy resources](https://github.com/Azure-Samples/hdinsight-enterprise-security/blob/main/hdinsight-service-endpoint-policy-resources.json)
[String[]]$resources = @("/subscriptions/235d341f-7fb9-435c-9bdc-034b7306c9b4/resourceGroups/Default-Storage-WestUS",`
"/subscriptions/da0c4c68-9283-4f88-9c35-18f7bd72fbdd/resourceGroups/GenevaWarmPathManageRG",`
"/subscriptions/6a853a41-3423-4167-8d9c-bcf37dc72818/resourceGroups/GenevaWarmPathManageRG",`
"/subscriptions/c8845df8-14d1-4a46-b6dd-e0c44ae400b0/resourceGroups/Default-Storage-CanadaCentral",`
"/subscriptions/c8845df8-14d1-4a46-b6dd-e0c44ae400b0/resourceGroups/cancstorage",`
"/subscriptions/c8845df8-14d1-4a46-b6dd-e0c44ae400b0/resourceGroups/GenevaWarmPathManageRG",
"/subscriptions/fb3429ab-83d0-4bed-95e9-1a8e9455252c/resourceGroups/DistroStorageRG/providers/Microsoft.Storage/storageAccounts/hdi31distrorelease",
"/subscriptions/fb3429ab-83d0-4bed-95e9-1a8e9455252c/resourceGroups/DistroStorageRG/providers/Microsoft.Storage/storageAccounts/bigdatadistro")

#Assign service resources to the SEP policy.
az network service-endpoint policy-definition create -g $rgName --policy-name $sepName -n $sepDefName --service "Microsoft.Storage" --service-resources $resources

# Associate a subnet to the service endpoint policy just created. If there is a delay in updating it to subnet, you can use the Azure portal to associate the policy with the subnet.
az network vnet subnet update -g $rgName --vnet-name $vnetName -n $subnetName --service-endpoint-policy $sepName

    Om du föredrar att konfigurera din tjänstslutpunktsprincip med hjälp av PowerShell använder du följande kodfragment.

    #Script to assign SEP 
$subscriptionId = "<subscription id>"
$rgName = "<resource group name>"
$vnetName = "<vnet name>"
$subnetName = "<subnet Name"
$location = "Canada Central"

# Connect to your Azure Account
Connect-AzAccount

# Select the Subscription that you want to use
Select-AzSubscription -SubscriptionId $subscriptionId

# Retrieve VNet Config
$vnet = Get-AzVirtualNetwork -ResourceGroupName $rgName -Name $vnetName

# Retrieve Subnet Config
$subnet = Get-AzVirtualNetworkSubnetConfig -Name $subnetName -VirtualNetwork $vnet

# Insert the list of HDInsight owned resources for the region your clusters will be created in.
# Be sure to get the most recent list of resource groups from the [list of service endpoint policy resources](https://github.com/Azure-Samples/hdinsight-enterprise-security/blob/main/hdinsight-service-endpoint-policy-resources.json)
[String[]]$resources = @("/subscriptions/235d341f-7fb9-435c-9bdc-034b7306c9b4/resourceGroups/Default-Storage-WestUS",
"/subscriptions/da0c4c68-9283-4f88-9c35-18f7bd72fbdd/resourceGroups/GenevaWarmPathManageRG",
"/subscriptions/6a853a41-3423-4167-8d9c-bcf37dc72818/resourceGroups/GenevaWarmPathManageRG",
"/subscriptions/c8845df8-14d1-4a46-b6dd-e0c44ae400b0/resourceGroups/Default-Storage-CanadaCentral",
"/subscriptions/c8845df8-14d1-4a46-b6dd-e0c44ae400b0/resourceGroups/cancstorage",
"/subscriptions/c8845df8-14d1-4a46-b6dd-e0c44ae400b0/resourceGroups/GenevaWarmPathManageRG",
"/subscriptions/fb3429ab-83d0-4bed-95e9-1a8e9455252c/resourceGroups/DistroStorageRG/providers/Microsoft.Storage/storageAccounts/hdi31distrorelease",
"/subscriptions/fb3429ab-83d0-4bed-95e9-1a8e9455252c/resourceGroups/DistroStorageRG/providers/Microsoft.Storage/storageAccounts/bigdatadistro")

#Declare service endpoint policy definition
$sepDef = New-AzServiceEndpointPolicyDefinition -Name "SEPHDICanadaCentral" -Description "Service Endpoint Policy Definition" -Service "Microsoft.Storage" -ServiceResource $resources

# Service Endpoint Policy
$sep= New-AzServiceEndpointPolicy -ResourceGroupName $rgName -Name "SEPHDICanadaCentral" -Location $location -ServiceEndpointPolicyDefinition $sepDef

# Associate a subnet to the service endpoint policy just created. If there is a delay in updating it to subnet, you can use the Azure portal to associate the policy with the subnet.
Set-AzVirtualNetworkSubnetConfig -Name $subnetName -VirtualNetwork $vnet -AddressPrefix $subnet.AddressPrefix -ServiceEndpointPolicy $sep

Viktigt

Vi rekommenderar att du hämtar den senaste listan över tjänstslutpunktsprincipresurser enligt schema manuellt eller via automatisering. Detta förhindrar CRUD-problem när ytterligare resursgrupper läggs till eller tas bort från JSON-filen.

Nästa steg