Konfigurieren einer Firewall für serverlosen Computezugriff

Artikel
05/09/2024

Hinweis

Wenn Sie Speicherfirewalls mit Subnetz-IDs aus der Dokumentation zu Azure Databricks vor dem 31. Oktober 2023 konfiguriert haben, empfiehlt Databricks, die Arbeitsbereiche gemäß den Schritten in diesem Artikel oder mithilfe eines privaten Endpunkts zu aktualisieren. Wenn Sie sich dazu entscheiden, vorhandene Arbeitsbereiche nicht zu aktualisieren, funktionieren diese weiterhin ohne Änderungen.

In diesem Artikel wird beschrieben, wie Sie eine Azure-Speicherfirewall für die serverlose Berechnung mithilfe der Azure Databricks-Kontokonsolen-Benutzeroberfläche konfigurieren. Sie können auch die Netzwerkkonnektivitätskonfigurations-APIverwenden.

Informationen zum Konfigurieren eines privaten Endpunkts für den serverlosen Computezugriff finden Sie unter Konfigurieren der privaten Konnektivität von serverlosem Compute.

Hinweis

Es gibt derzeit keine Netzwerkgebühren für serverlose Features. In einem späteren Release können Gebühren anfallen. Azure Databricks wird Sie vorab über Änderungen der Netzwerkpreise informieren.

Übersicht über die Firewallaktivierung für serverlose Berechnung

Serverlose Netzwerkkonnektivität wird mit Netzwerkkonnektivitätskonfigurations-Objekten (Network Connectivity Configuration, NCCs) verwaltet. Kontoadministratoren erstellen NCCs in der Kontokonsole, und ein NCC kann an einen oder mehrere Arbeitsbereiche angefügt werden

Ein NCC enthält eine Liste von Netzwerkidentitäten für einen Azure-Ressourcentyp als Standardregeln. Wenn ein NCC-Objekt an einen Arbeitsbereich angefügt ist, verwendet das serverlose Computing in diesem Arbeitsbereich eines dieser Netzwerke, um die Azure-Ressource zu verbinden. Sie können zulassen, dass diese Netzwerke in Ihrer Azure-Ressourcenfirewall aufgelistet werden.

Die Aktivierung der NCC-Firewall wird nur von serverlosen SQL-Warehouses für von Ihnen verwaltete Datenquellen unterstützt. Von anderen Computeressourcen auf der Ebene des serverlosen Computings wird sie nicht unterstützt.

Sie können optional den Netzwerkzugriff auf das Speicherkonto des Arbeitsbereichs so konfigurieren, dass der Zugriff nur über autorisierte Netzwerke (einschließlich serverloser SQL-Warehouses) möglich ist. Weitere Informationen finden Sie unter Aktivieren der Firewallunterstützung für das Speicherkonto des Arbeitsbereichs. Wenn eine Netzwerkkonnektivitätskonfiguration an einen Arbeitsbereich angefügt wird, werden die Netzwerkregeln automatisch dem Azure-Speicherkonto für das Speicherkonto des Arbeitsbereichs hinzugefügt.

Weitere Informationen zu NCCs finden Sie unter Was ist eine Netzwerkkonnektivitätskonfiguration (Network Connectivity Configuration, NCC)?.

Kostenauswirkungen des regionsübergreifenden Speicherzugriffs

Beim regionsübergreifenden Datenverkehr über serverlose SQL-Warehouses in Azure Databricks leitet Azure Databricks den Datenverkehr über einen Azure NAT Gateway-Dienst weiter. Beispiel: Der Arbeitsbereich befindet sich in der Region USA, Osten und der ADLS-Speicher in der Region Europa, Westen.

Wichtig

Es fallen derzeit keine Gebühren für die Verwendung dieses Features an. In einem späteren Release können Gebühren für die Nutzung anfallen. Für Databricks wird empfohlen, einen Arbeitsbereich in derselben Region wie Ihr Speicher zu erstellen, um diese Gebühren zu vermeiden.

Anforderungen

Ihr Arbeitsbereich muss dem Premium-Tarif angehören.
Sie müssen ein Azure Databricks-Kontoadministrator sein.
Jede NCC kann an bis zu 50 Arbeitsbereiche angefügt werden.
In jedem Azure Databricks-Konto können bis zu zehn NCCs pro Region vorhanden sein.
- Sie benötigen WRITE-Zugriff auf die Netzwerkregeln Ihres Azure-Speicherkontos.

Schritt 1: Erstellen einer Netzwerkkonnektivitätskonfiguration und Kopieren von Subnetz-IDs

Databricks empfiehlt, NCCs zwischen Arbeitsbereichen in derselben Geschäftseinheit und den Arbeitsbereichen freizugeben, die dieselben Konnektivitätseigenschaften aufweisen. Verwenden Sie beispielsweise separate NCCs, wenn einige Arbeitsbereiche die Speicherfirewall und andere den alternativen Ansatz von Private Link verwenden.

Melden Sie sich als Kontoadministrator*in bei der Kontokonsole an.
Klicken Sie in der Randleiste auf Cloudressourcen.
Klicken Sie auf Netzwerkkonnektivitätskonfigurationen.
Klicken Sie auf Netzwerkkonnektivitätskonfiguration hinzufügen.
Geben Sie einen Namen für das NCC ein.
Wählen Sie die Region aus. Diese muss mit Ihrer Arbeitsbereichsregion übereinstimmen.
Klicken Sie auf Hinzufügen.
Klicken Sie in der Liste der NCCs auf Ihre neue NCC.
Klicken Sie in Standardregeln unter Netzwerkidentitäten auf Alle anzeigen.
Klicken Sie im Dialogfeld auf die Schaltfläche Subnetze kopieren und speichern Sie die Liste der Subnetze.
Klicken Sie auf Schließen.

Schritt 3: Anfügen einer Netzwerkkonnektivitätskonfiguration an Arbeitsbereiche

Sie können eine NCC an bis zu 50 Arbeitsbereiche in derselben Region wie die NCC anfügen.

Informationen zur Verwendung der API zum Anfügen eines NCC an einen Arbeitsbereich finden Sie in der Kontoarbeitsbereichs-API.

Klicken Sie in der Randleiste der Kontokonsole auf Arbeitsbereiche.
Klicken Sie auf den Namen Ihres Arbeitsbereichs.
Klicken Sie auf Arbeitsbereich aktualisieren.
Wählen Sie im Feld für Netzwerkkonnektivitätskonfiguration Ihr NCC aus. Sollte diese nicht sichtbar sein, vergewissern Sie sich, dass Sie dieselbe Azure-Region für den Arbeitsbereich und die NCC ausgewählt haben.
Klicken Sie auf Aktualisieren.
Warten Sie zehn Minuten, bis die Änderung wirksam wird.
Starten Sie alle ausgeführten serverlosen SQL-Warehouses im Arbeitsbereich neu.

Wenn Sie dieses Feature zum Herstellen einer Verbindung mit dem Speicherkonto des Arbeitsbereichs verwenden, ist Ihre Konfiguration abgeschlossen. Die Netzwerkregeln werden dem Speicherkonto des Arbeitsbereichs automatisch hinzugefügt. Fahren Sie für zusätzliche Speicherkonten mit dem nächsten Schritt fort.

Schritt 3: Sperren Ihres Speicherkontos

Geben Sie den Zugriff auf das Azure-Speicherkonto lediglich für zugelassene Netzwerke frei, sofern Sie dies noch nicht getan haben. Für das Speicherkonto des Arbeitsbereichs ist dieser Schritt nicht erforderlich.

Das Erstellen einer Speicherfirewall wirkt sich auch auf die Konnektivität von der klassischen Computeebene mit Ihren Ressourcen aus. Außerdem müssen Sie Netzwerkregeln hinzufügen, um über klassische Computeressourcen eine Verbindung mit Ihren Speicherkonten herzustellen.

Öffnen Sie das Azure-Portal.
Navigieren Sie zu Ihrem Speicherkonto für die Datenquelle.
Klicken Sie im linken Navigationsbereich auf Netzwerk.
Überprüfen Sie den Wert im Feld für Öffentlicher Netzwerkzugriff. Standardmäßig lautet der Wert Aus allen Netzwerken aktiviert. Ändern Sie diesen in Aus ausgewählten virtuellen Netzwerken und IP-Adressen aktiviert.

Schritt 4: Hinzufügen von Netzwerkregeln für Azure-Speicherkonten

Für das Speicherkonto des Arbeitsbereichs ist dieser Schritt nicht erforderlich.

Fügen Sie eine Azure Storage-Konto-Netzwerkregel für jedes Subnetz hinzu. Dazu können Sie die Azure CLI, PowerShell, Terraform oder andere Automatisierungstools verwenden. Beachten Sie, dass dieser Schritt nicht auf der Benutzeroberfläche des Azure-Portals ausgeführt werden kann.

Im folgenden Beispiel wird die Azure CLI verwendet:
```
az storage account network-rule add --subscription "<sub>" \
    --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
```
- Ersetzen von <sub> durch den Namen Ihres Azure-Abonnements für das Speicherkonto.
- Ersetzen Sie <res> durch die Ressourcengruppe Ihres Speicherkontos.
- Ersetzen von <account> durch den Namen Ihres Speicherkontos.
- Ersetzen von <subnet> durch die ARM-Ressourcen-ID (resourceId) des Subnetzes für das serverlose SQL-Warehouse.
Nachdem Sie alle Befehle ausgeführt haben, können Sie das Azure-Portal verwenden, um Ihr Speicherkonto anzuzeigen und zu überprüfen, dass in der Tabelle Virtuelle Netzwerke ein Eintrag vorhanden ist, der das neue Subnetz darstellt. Sie können die Netzwerkregeln jedoch nicht im Azure-Portal ändern.

Tipp

Ignorieren Sie die Meldung „Unzureichende Berechtigungen“ in der Spalte „Endpunktstatus“ oder die Warnung unterhalb der Netzwerkliste. Diese geben lediglich an, dass Sie nicht über Leseberechtigungen für Azure Databricks-Subnetze verfügen. Das beeinträchtigt jedoch nicht die Fähigkeit eines serverlosen Azure Databricks-Subnetzes, sich mit Ihrem Azure-Speicher zu verbinden.
Wiederholen Sie diesen Befehl einmal für jedes Subnetz. Optional können Sie den Erstellungsprozess für Netzwerkregeln automatisieren. Weitere Informationen finden Sie unter Automatisieren der Erstellung Ihrer Netzwerkregeln.
Navigieren Sie zu Networking in Ihrem Speicherkonto, um zu bestätigen, dass Ihr Speicherkonto diese Einstellungen aus dem Azure-Portal verwendet.

Vergewissern Sie sich, dass der Zugriff auf öffentliche Netzwerke auf Aktiviert aus ausgewählten virtuellen Netzwerken und IP-Adressen und zulässigen Netzwerken im Abschnitt virtuelle Netzwerke eingestellt ist.

Automatisieren der Erstellung Ihrer Netzwerkregeln

Sie können die Erstellung von Netzwerkregeln für Ihr Speicherkonto mithilfe der Azure CLI oder über PowerShell automatisieren.

In diesem Beispiel für die Azure CLI werden zwei Subnetze in einer Liste genutzt, die Sie mit einer Schleife verwenden können, um den Befehl für jedes Subnetz auszuführen. In diesem Beispiel steht mystorage-rg für die Ressourcengruppe und myaccount für das Speicherkonto.

#!/bin/bash
SUBNETS=(/subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos2/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet /subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos3/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet)
for SUBNET in ${SUBNETS[@]}
do
  az storage account network-rule add --subscription 9999999-1ff3-43f4-b91e-d0ceb97111111 --resource-group mystorage-rg --account-name myaccount --subnet ${SUBNET}
done

Wenn Sie PowerShell verwenden möchten, verwenden Sie den folgenden Befehl:

Add-AzStorageAccountNetworkRule -ResourceGroupName <resource group name> -Name <storage account name> -VirtualNetworkResourceId <subnets>

Ersetzen Sie:

<resource group name> durch die Ressourcengruppe Ihres Speicherkontos.
<storage account name> durch den Namen Ihres Speicherkontos.
<subnets> durch eine kommagetrennte Liste der Subnetzressourcen-IDs.

Share via