Delen via

Beveiligde clusterconnectiviteit

  • Artikel

Wanneer beveiligde clusterconnectiviteit is ingeschakeld, hebben virtuele netwerken van klanten geen open poorten en rekenresources in het klassieke rekenvlak geen openbare IP-adressen. Beveiligde clusterconnectiviteit wordt ook wel npIP (Public IP) genoemd.

  • Op netwerkniveau initieert elk cluster een verbinding met het besturingsvlak beveiligde clusterconnectiviteitsrelais tijdens het maken van het cluster. Het cluster brengt deze verbinding tot stand via poort 443 (HTTPS) en gebruikt een ander IP-adres dan wordt gebruikt voor de webtoepassing en REST API.
  • Wanneer het besturingsvlak logisch nieuwe Databricks Runtime-taken start of andere clusterbeheertaken uitvoert, worden deze aanvragen via deze tunnel naar het cluster verzonden.
  • Het rekenvlak (het VNet) heeft geen open poorten en klassieke rekenvlakresources hebben geen openbare IP-adressen.

Voordelen:

  • Eenvoudig netwerkbeheer, zonder dat u poorten in beveiligingsgroepen hoeft te configureren of netwerkpeering wilt configureren.
  • Met verbeterde beveiliging en eenvoudig netwerkbeheer kunnen gegevensbeveiligingsteams de goedkeuring van Databricks versnellen als PaaS-provider.

Notitie

Al het Azure Databricks-netwerkverkeer tussen het klassieke VNet van het rekenvlak en het Azure Databricks-besturingsvlak loopt over de Microsoft-netwerk-backbone, niet over het openbare internet. Dit geldt zelfs als beveiligde clusterconnectiviteit is uitgeschakeld.

Hoewel het serverloze rekenvlak geen gebruik maakt van de beveiligde clusterconnectiviteitsrelais voor het klassieke rekenvlak, hebben serverloze SQL-warehouses geen openbare IP-adressen.

Beveiligde clusterconnectiviteit

Beveiligde clusterconnectiviteit gebruiken

Als u beveiligde clusterconnectiviteit wilt gebruiken met een nieuwe Azure Databricks-werkruimte, gebruikt u een van de volgende opties.

  • Azure Portal: Wanneer u de werkruimte inricht, gaat u naar het tabblad Netwerken en stelt u de optie Azure Databricks-werkruimte implementeren met Secure Cluster Connectivity (geen openbaar IP) in op Ja.
  • ARM-sjablonen: Voor de Microsoft.Databricks/workspaces resource die uw nieuwe werkruimte maakt, stelt u de enableNoPublicIp Booleaanse parameter in op true.

Belangrijk

In beide gevallen moet u de Azure-resourceprovider Microsoft.ManagedIdentity registreren in het Azure-abonnement dat wordt gebruikt voor het starten van werkruimten met beveiligde clusterconnectiviteit. Dit is een eenmalige bewerking per abonnement. Zie Azure-resourceproviders en -typen voor instructies.

U kunt beveiligde clusterconnectiviteit toevoegen aan een bestaande werkruimte die al gebruikmaakt van VNet-injectie. Zie Beveiligde clusterconnectiviteit toevoegen aan een bestaande werkruimte.

Als u ARM-sjablonen gebruikt, voegt u de parameter toe aan een van de volgende sjablonen, op basis van of u wilt dat Azure Databricks een standaard (beheerd) virtueel netwerk voor de werkruimte maakt, of als u uw eigen virtuele netwerk wilt gebruiken, ook wel VNet-injectie genoemd. VNet-injectie is een optionele functie waarmee u uw eigen VNet kunt opgeven voor het hosten van nieuwe Azure Databricks-clusters.

Uitgaand verkeer van werkruimtesubnetten

Wanneer u beveiligde clusterconnectiviteit inschakelt, zijn beide werkruimtesubnetten privésubnetten, omdat clusterknooppunten geen openbare IP-adressen hebben.

De implementatiedetails van uitgaand netwerk variëren afhankelijk van of u het standaard (beheerde) VNet gebruikt of dat u de optionele functie voor VNet-injectie gebruikt om uw eigen VNet te bieden waarin uw werkruimte moet worden geïmplementeerd. Zie de volgende secties voor meer informatie.

Belangrijk

Er kunnen extra kosten in rekening worden gebracht vanwege verhoogd uitgaand verkeer wanneer u beveiligde clusterconnectiviteit gebruikt. Voor een kleinere organisatie die een kostengeoptimeerde oplossing nodig heeft, is het mogelijk acceptabel om beveiligde clusterconnectiviteit uit te schakelen wanneer u uw werkruimte implementeert. Voor de veiligste implementatie raden Microsoft en Databricks u echter ten zeerste aan beveiligde clusterconnectiviteit in te schakelen.

Uitgaand verkeer met standaard (beheerd) VNet

Als u beveiligde clusterconnectiviteit gebruikt met het standaard-VNet dat Azure Databricks maakt, maakt Azure Databricks automatisch een NAT-gateway voor uitgaand verkeer van de subnetten van uw werkruimte naar de Azure-backbone en het openbare netwerk. De NAT-gateway wordt gemaakt binnen de beheerde resourcegroep die wordt beheerd door Azure Databricks. U kunt deze resourcegroep of resources die erin zijn ingericht, niet wijzigen.

Voor de automatisch gemaakte NAT-gateway worden extra kosten in rekening gebracht.

Uitgaand verkeer met VNet-injectie

Als u beveiligde clusterconnectiviteit inschakelt in uw werkruimte die gebruikmaakt van VNet-injectie, raadt Databricks aan dat uw werkruimte een stabiel openbaar IP-adres voor uitgaand verkeer heeft.

Stabiele openbare IP-adressen voor uitgaand verkeer zijn handig omdat u ze kunt toevoegen aan externe acceptatielijsten. Als u bijvoorbeeld vanuit Azure Databricks verbinding wilt maken met Salesforce met een stabiel uitgaand IP-adres.

Waarschuwing

Microsoft heeft aangekondigd dat op 30 september 2025 de standaardconnectiviteit voor uitgaande toegang voor virtuele machines in Azure buiten gebruik wordt gesteld. Bekijk deze aankondiging. Dit betekent dat bestaande Azure Databricks-werkruimten die gebruikmaken van standaard uitgaande toegang in plaats van een stabiel openbaar IP-adres voor uitgaand verkeer mogelijk na die datum niet meer werken. Databricks raadt u aan expliciete uitgaande methoden toe te voegen voor uw werkruimten vóór die datum.

Kies een van de volgende opties:

  • Kies een Azure NAT-gateway voor implementaties die enige aanpassing nodig hebben. Configureer de gateway op beide subnetten van de werkruimte om ervoor te zorgen dat al het uitgaande verkeer naar de Azure-backbone en het openbare netwerk erdoorheen wordt geleid. Clusters hebben een stabiel openbaar IP-adres voor uitgaand verkeer en u kunt de configuratie wijzigen voor aangepaste uitgaande behoeften. U kunt deze oplossing implementeren met behulp van een Azure-sjabloon of vanuit Azure Portal.
  • Voor implementaties met complexe routeringsvereisten of implementaties die gebruikmaken van VNet-injectie met een uitgaande firewall, zoals Azure Firewall of andere aangepaste netwerkarchitecturen, kunt u aangepaste routes gebruiken met de naam door de gebruiker gedefinieerde routes (UDR's). UDR's zorgen ervoor dat netwerkverkeer correct wordt gerouteerd voor uw werkruimte, rechtstreeks naar de vereiste eindpunten of via een uitgaande firewall. Als u een dergelijke oplossing gebruikt, moet u directe routes of toegestane firewallregels toevoegen voor de azure Databricks-relay voor beveiligde clusterconnectiviteit en andere vereiste eindpunten die worden vermeld in door de gebruiker gedefinieerde route-instellingen voor Azure Databricks.

Waarschuwing

Gebruik geen uitgaande load balancer met een werkruimte waarvoor beveiligde clusterconnectiviteit is ingeschakeld. In productiesystemen kan een load balancer voor uitgaand verkeer leiden tot het risico van uitputting van poorten.

Beveiligde clusterconnectiviteit toevoegen aan een bestaande werkruimte

U kunt beveiligde clusterconnectiviteit inschakelen in een bestaande werkruimte. De upgrade vereist dat de werkruimte VNet-injectie gebruikt.

U kunt de gebruikersinterface van de portal, een ARM-sjabloon of azurerm terraform-providerversie 3.41.0+ gebruiken. U kunt Azure Portal gebruiken om een aangepaste sjabloon toe te passen en de parameter in de gebruikersinterface te wijzigen. U kunt ook het exemplaar van de Azure Databricks-werkruimte zelf bijwerken in de gebruikersinterface van Azure Portal.

Belangrijk

Voordat u deze wijziging aanbrengt, moet u, als u een firewall gebruikt of andere wijzigingen in de netwerkconfiguratie hebt aangebracht om inkomend of uitgaand verkeer van het klassieke rekenvlak te beheren, de firewall- of netwerkbeveiligingsgroepsregels mogelijk op hetzelfde moment bijwerken als deze wijzigingen volledig van kracht worden. Met beveiligde clusterconnectiviteit is er bijvoorbeeld een extra uitgaande verbinding met het besturingsvlak en worden de binnenkomende verbindingen van het besturingsvlak niet meer gebruikt.

Als er iets misgaat met de upgrade en u de wijziging tijdelijk wilt terugdraaien, raadpleegt u Tijdelijk terugdraaien van een upgrade naar beveiligde clusterconnectiviteit.

Stap 1: alle rekenresources stoppen

Voordat u deze upgrade uitvoert, moet u alle rekenresources, zoals clusters, pools of klassieke SQL-warehouses, stoppen. Er kunnen geen rekenresources voor werkruimten worden uitgevoerd of de upgradepoging mislukt. Databricks raadt u aan de timing van de upgrade te plannen voor uitvalt.

Stap 2: De werkruimte bijwerken

U moet de parameter Geen openbaar IP-adres bijwerken (op de sjabloon).enableNoPublicIp Stel deze in op de waarde True (true).

Gebruik een van de volgende methoden:

Gebruikersinterface van Azure Portal gebruiken (zonder sjabloon)

  1. Ga naar uw Azure Databricks Service-exemplaar in Azure Portal.

  2. Klik in het linkernavigatievenster onder Instellingen op Netwerken.

  3. Selecteer Geen openbaar IP-adres.

    Notitie

    U kunt er ook voor kiezen om Azure Private Link in te schakelen door de waarden in te stellen voor Openbare netwerktoegang vereiste NSG-regels voor openbare netwerktoegang in te stellen op de juiste waarden voor uw use-case. Er is echter extra configuratie en verificatie vereist om Private Link in te schakelen, dus u kunt dit doen als een afzonderlijke stap na deze update voor beveiligde clusterconnectiviteit. Zie Azure Private Link inschakelen voor belangrijke details en vereisten.

  4. Klik op Opslaan.

Het kan 15 minuten duren voordat de netwerkupdate is voltooid.

Een bijgewerkte ARM-sjabloon toepassen met behulp van Azure Portal

Notitie

Als uw beheerde resourcegroep een aangepaste naam heeft, moet u de sjabloon dienovereenkomstig wijzigen. Neem contact op met uw Azure Databricks-accountteam voor meer informatie.

  1. Kopieer de volgende upgrade van de JSON van de ARM-sjabloon:

      {
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "defaultValue": "[resourceGroup().location]",
            "type": "String",
            "metadata": {
                "description": "Location for all resources."
            }
        },
        "workspaceName": {
            "type": "String",
            "metadata": {
                "description": "The name of the Azure Databricks workspace to create."
            }
        },
        "apiVersion": {
            "defaultValue": "2023-02-01",
            "allowedValues": [
               "2018-04-01",
               "2020-02-15",
               "2022-04-01-preview",
               "2023-02-01"
            ],
            "type": "String",
            "metadata": {
                "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
            }
        },
        "enableNoPublicIp": {
            "defaultValue": true,
            "type": "Bool"
        },
        "pricingTier": {
            "defaultValue": "premium",
            "allowedValues": [
                "premium",
                "standard",
                "trial"
            ],
            "type": "String",
            "metadata": {
                "description": "The pricing tier of workspace."
            }
        },
        "publicNetworkAccess": {
          "type": "string",
          "defaultValue": "Enabled",
          "allowedValues": [
            "Enabled",
            "Disabled"
          ],
          "metadata": {
            "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
          }
        },
        "requiredNsgRules": {
          "type": "string",
          "defaultValue": "AllRules",
          "allowedValues": [
            "AllRules",
            "NoAzureDatabricksRules"
          ],
          "metadata": {
            "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
          }
        }
        },
    "variables": {
        "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
        "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
        {
            "type": "Microsoft.Databricks/workspaces",
            "apiVersion": "[parameters('apiVersion')]",
            "name": "[parameters('workspaceName')]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "[parameters('pricingTier')]"
            },
            "properties": {
                "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
                "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
                "requiredNsgRules": "[parameters('requiredNsgRules')]",
                "parameters": {
                    "enableNoPublicIp": {
                        "value": "[parameters('enableNoPublicIp')]"
                    }
                }
            }
        }
    ]
}

    1. Ga naar de pagina Aangepaste implementatie in Azure Portal.

    2. Klik op Uw eigen sjabloon maken in de editor.

    3. Plak de JSON voor de sjabloon die u hebt gekopieerd.

    4. Klik op Opslaan.

    5. Vul de parameters in.

    6. Als u een bestaande werkruimte wilt bijwerken, gebruikt u dezelfde parameters die u hebt gebruikt om de andere werkruimte te maken dan enableNoPublicIp waarop u moet instellen true. Stel het abonnement, de regio, de naam van de werkruimte, de subnetnamen, de resource-id van het bestaande VNet in.

      Belangrijk

      De naam van de resourcegroep, werkruimtenaam en subnetnamen zijn identiek aan uw bestaande werkruimte, zodat deze opdracht de bestaande werkruimte bijwerkt in plaats van een nieuwe werkruimte te maken.

    7. Klik op Controleren + maken.

    8. Als er geen validatieproblemen zijn, klikt u op Maken.

    Het kan 15 minuten duren voordat de netwerkupdate is voltooid.

Een update toepassen met Behulp van Terraform

Voor werkruimten die zijn gemaakt met Terraform, kunt u de werkruimte bijwerken zonder de werkruimte opnieuw te maken.

Belangrijk

U moet versie 3.41.0 of hoger gebruiken terraform-provider-azurerm , dus werk indien nodig een upgrade uit van uw Terraform-providerversie. Eerdere versies proberen de werkruimte opnieuw te maken als u een van deze instellingen wijzigt.

Wijzig de volgende werkruimte-instellingen:

  • no_public_ip in het custom_parameters blok kan worden gewijzigd van false in true.

Het kan 15 minuten duren voordat de netwerkupdate is voltooid.

Stap 3: De update valideren

Zodra de werkruimte de actieve status heeft, is de updatetaak voltooid. Controleer of de update is toegepast:

  1. Open Azure Databricks in uw webbrowser.

  2. Start een van de clusters van de werkruimte en wacht totdat het cluster volledig is gestart.

  3. Ga naar uw werkruimte-exemplaar in Azure Portal.

  4. Klik op de blauwe id naast het veldlabel Beheerde resourcegroep.

  5. Zoek in die groep de VM's voor het cluster en klik op een van deze vm's.

  6. Zoek in de VM-instellingen in Eigenschappen naar de velden in het gebied Netwerken .

  7. Controleer of het veld Openbaar IP-adres leeg is.

    Als deze is ingevuld, heeft de VIRTUELE machine een openbaar IP-adres, wat betekent dat de update is mislukt.

Foutherstel

Als een update van een werkruimte mislukt, kan de werkruimte worden gemarkeerd als de status Mislukt , wat betekent dat de werkruimte geen rekenbewerkingen kan uitvoeren. Als u een mislukte werkruimte terug wilt herstellen naar de status Actief , raadpleegt u de instructies in het statusbericht van de updatebewerking. Zodra u problemen hebt opgelost, moet u de update opnieuw uitvoeren in de mislukte werkruimte. Herhaal de stappen totdat de update is voltooid.

Tijdelijke terugdraaiactie van upgraden naar beveiligde clusterconnectiviteit

Als er iets misgaat tijdens de implementatie, kunt u het proces omkeren als een tijdelijke terugdraaiactie, maar het uitschakelen van SCC in een werkruimte wordt niet ondersteund dan voor tijdelijke terugdraaibewerking voordat u later doorgaat met de upgrade. Als dit tijdelijk nodig is, kunt u de bovenstaande instructies voor de upgrade volgen, maar deze optie instellen enableNoPublicIp false in plaats van waar.