Freigeben von Daten hinter einer Firewall mit SecureConnect

Important

Dieses Feature befindet sich in der Public Preview.

Auf dieser Seite wird beschrieben, wie Anbieter OpenSharing SecureConnect einrichten, um Daten aus dem Cloudspeicher freizugeben, der sich hinter einer Firewall oder einem privaten Endpunkt befindet, ohne das Netzwerk jedes Empfängers zulassen zu müssen.

Funktionsweise von SecureConnect

Bevor Sie SecureConnect für ein Azure Databricks-Konto aktivieren, erstellt ein Anbieter eine einmalige Konfiguration. Diese Konfiguration ermöglicht Azure Databricks Empfängern den Zugriff auf den Speicher des Anbieters hinter einer Firewall oder einem privaten Endpunkt. Azure Databricks leitet dann Empfängeranforderungen über einen verwalteten Proxy weiter, sodass der Anbieter seine Speicherfirewall beim Hinzufügen eines neuen Empfängers nicht aktualisieren muss.

Empfänger greifen mithilfe ihrer vorhandenen OpenSharing-Einrichtung auf freigegebene Daten zu:

  • Azure Databricks-Empfänger können über serverlose Computingkapazitäten auf Freigaben zugreifen, ohne dass Firewalländerungen bei jedem Anbieter erforderlich sind.
  • Azure Databricks-Empfänger auf klassischem Compute und Open-Empfänger setzen für die Region des Anbieters eine einzelne Gruppe von IP-Adressen für die Steuerungsebene von Azure Databricks auf die Zulassungsliste.

Ohne SecureConnect muss ein Anbieter die Netzwerk-ID jedes Empfängers zu seiner Speicherfirewall hinzufügen, die mit dem Empfänger und einem Cloudplattformadministrator für jeden neuen Empfänger koordiniert wird.

Anforderungen

Einrichten von SecureConnect als Anbieter

Das Einrichten von SecureConnect umfasst die Konfiguration Ihrer Speicherfirewall für den Zugriff und die Aktivierung von SecureConnect für Ihre Metastores und Empfänger.

Schritt 1: Konfigurieren der Speicherfirewall

Die folgenden Anweisungen setzen voraus, dass sich Ihre freigegebenen Ressourcen und der Metastore des Anbieters in derselben Region befinden. Um die Netzwerkkosten so gering wie möglich zu halten, verwenden Sie für Ihre gemeinsam genutzten Ressourcen dieselbe Region wie für die Metastore-Region Ihres Anbieters.

SecureConnect greift über die serverlose Datenebene auf Ihren Speicher zu. Folgen Sie einer der folgenden Einrichtungsoptionen, je nachdem, ob sich Ihr Speicher in einem öffentlichen oder privaten Netzwerk befindet.

Option 1: Speicher in einem öffentlichen Netzwerk

Verwenden Sie diese Option, wenn Ihr Speicher über das öffentliche Netzwerk erreichbar ist. Wenn sich Ihr Speicher hinter einem privaten Endpunkt befindet, lesen Sie den folgenden Abschnitt.

Um Azure Databricks den Zugriff auf Ihre Ressourcen zu ermöglichen, ordnen Sie Ihre Azure-Ressource einem Netzwerksicherheitsperimeter im Übergangsmodus zu und fügen Sie den Diensttag AzureDatabricksServerless.{region} der Zulassungsliste hinzu, wobei {region} die Region der Steuerungsebene des Anbieters ist. Siehe Konfigurieren eines Azure Netzwerksicherheitsperimeters (NSP) für Azure Ressourcen.

Option 2: Speicher in einem privaten Netzwerk

Verwenden Sie diese Option, wenn sich Ihr freigegebener Speicher hinter einem privaten Endpunkt befindet und nicht über das öffentliche Netzwerk erreichbar ist.

Ein Kontoadministrator muss eine Netzwerkkonnektivitätskonfiguration (Network Connectivity Configuration, NCC) konfigurieren und mit dem Metastore verknüpfen, der Ihre freigegebenen Daten hostet. Weitere Informationen zu NCCs finden Sie unter Was ist eine Netzwerkkonnektivitätskonfiguration (Network Connectivity Configuration, NCC)?.

Eine an einen Arbeitsbereich angefügte NCC kann nicht an einen Metaspeicher angefügt werden. Ein NCC, der auf einen Metastore für OpenSharing angewendet wird, gilt für alle Freigaben, die dem Metastore zugeordnet sind.

Erstellen Sie eine NCC- und eine private Endpunktregel für Ihr Speicherkonto, fügen Sie den NCC jedoch nicht an einen Arbeitsbereich an. Weitere Informationen finden Sie unter Konfigurieren der privaten Konnektivität zu Azure Ressourcen für die Einrichtung von NCC und privaten Endpunkten.

Fügen Sie den NCC an Ihren OpenSharing-Metaspeicher an:

  1. Wechseln Sie als Azure Databricks Kontoadministrator zur Kontokonsole.
  2. Klicken Sie in der Randleiste auf das Datensymbol.Katalog.
  3. Klicken Sie auf den Namen des OpenSharing-Metastores, um die Details zu öffnen.
  4. Klicken Sie unter OpenSharing Network Connectivity Configuration (NCC) auf "Bearbeiten".
  5. Suchen Sie nach dem NCC, das Sie für OpenSharing erstellt haben, und wählen Sie es aus.
  6. Klicke auf Speichern.

Important

Wenn Sie keine NCC an einen Metastore anfügen können, wenden Sie sich an Ihr Databricks-Kontoteam, um private Konnektivität für OpenSharing SecureConnect mithilfe eines NCC zu aktivieren.

Schritt 2: Aktivieren von SecureConnect in einem Metastore

Ein Metastoreadministrator kann den Metastore so konfigurieren, dass neue Empfänger Automatisch SecureConnect verwenden. Standardmäßig werden neue und vorhandene Empfänger nicht in SecureConnect registriert. Sie müssen vorhandene Empfänger separat konfigurieren. Siehe Schritt 3: Aktivieren von SecureConnect für einzelne Empfänger.

So aktivieren Sie SecureConnect in einem Metastore:

  1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Datensymbol.Katalog zum Öffnen des Katalog-Explorers.

  2. Klicken Sie oben im Katalog-Bereich auf das Zahnrad-Symbol Zahnradsymbol und wählen Sie OpenSharing aus.

    Alternativ klicken Sie oben rechts auf Teilen > OpenSharing.

  3. Klicken Sie in der oberen rechten Ecke auf "Einstellungen ".

  4. Aktivieren Sie die Einstellung für "SecureConnect aktivieren" für neue Empfänger.

  5. Klicke auf Speichern.

Schritt 3: Aktivieren von SecureConnect für einzelne Empfänger

Empfängerbesitzer und Benutzer mit den USE_RECIPIENT Berechtigungen aktivieren oder deaktivieren SecureConnect für jeden Empfänger. SecureConnect ist standardmäßig für einen Empfänger deaktiviert, es sei denn, der Metastore wurde so festgelegt, dass er für alle neuen Empfänger aktiviert wurde, wenn der Empfänger erstellt wurde.

So konfigurieren Sie SecureConnect für einen Empfänger:

  1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Datensymbol.Katalog.

  2. Klicken Sie oben im Katalog-Bereich auf das Zahnrad-Symbol Zahnradsymbol und wählen Sie OpenSharing aus.

    Alternativ klicken Sie oben rechts auf Teilen > OpenSharing.

  3. Klicken Sie auf der Registerkarte Von mir freigegeben auf die Registerkarte Empfänger.

  4. Aktivieren Sie SecureConnect für jeden gewünschten Empfänger.

(Optional) Schritt 4: Einschränken des offenen Empfängerzugriffs mit IP-ACLs

Bei geöffneten Empfängern können Sie einschränken, welche Client-IP-Adressen mithilfe von IP-Zugriffslisten SecureConnect erreichen dürfen. IP-ACLs gelten nur für geöffnete Empfänger.

Bei SecureConnect gelten IP-ACLs sowohl für den OpenSharing-Endpunktzugriff als auch für den Speicherzugriff. Ohne SecureConnect beschränken IP-ACLs nur den OpenSharing-Endpunktzugriff; Speicher-URLs bleiben von jeder Client-IP aus erreichbar.

Anweisungen zum Einrichten finden Sie unter Einschränken des OpenSharing-Empfängerzugriffs mithilfe von IP-Zugriffslisten (Databricks-to-Open Sharing).

Note

IP-ACL-Änderungen für offene Empfänger mit SecureConnect-Aktivierung können bis zu 10 Minuten in Kraft treten.

Unterstützte Freigabeszenarien

Important

Jede nicht unterstützte Funktion fällt auf den direkten Zugriff der Recheninstanz des Empfängers auf den Speicher zurück. Der Anbieter muss manuell Zugriff auf Empfänger-IPs in seiner Speicherfirewall gewähren. Siehe Was ist das OpenSharing-Databricks-zu-Databricks-Protokoll? oder Was ist das Databricks-zu-Open-Freigabeprotokoll?.

SecureConnect unterstützt das Teilen mit AWS, Azure und GCP.

mTLS to SecureConnect wird nur für serverlose Empfängercluster unterstützt.

Unterstützte Funktionen

Funktion D2O (Token) D2O (OIDC)* D2O (Iceberg) D2D (serverlos) D2D (klassisch)
Tabellen mit Verlauf und ohne Partitionen ✓ ✓ ✗ ✓** ✓**
Tabellen ohne Verlauf oder mit Partitionen ✓ ✓ ✗ ✓ ✓
Views ✓ ✓ ✗ ✓*** ✓
Fremdtabellen ✓ ✓ ✗ ✓ ✓
Materialisierte Ansichten ✓ ✓ ✗ ✓*** ✓
Streamingtabellen ✓ ✓ ✗ ✓*** ✓
Volumina ✗ ✗ ✗ ✗ ✗
Notebooks ✗ ✗ ✗ ✗ ✗
KI-Modelle ✗ ✗ ✗ ✗ ✗

* Die OIDC-Freigabe funktioniert derzeit nicht, wenn der Empfänger ebenfalls Azure Databricks verwendet.

** Cloudtokenoptimierung ist für SecureConnect nicht verfügbar.

*** Diese Ressourcen werden materialisiert und auf Seiten des Anbieters gefiltert. Siehe "Haben Empfänger direkten Zugriff auf die zugrunde liegenden Daten in freigegebenen Ansichten, materialisierten Ansichten und Streamingtabellen?".

Einschränkungen

  • Ihre Ressourcen können nicht vom Cloudflare R2-Speicher gesichert werden.

Informationen zu empfängerseitigen Einschränkungen, z. B. mTLS-Unterstützung und Databricks-to-Open-Freigabeeinschränkungen, finden Sie unter "Einschränkungen".

Nicht unterstützte Regionen

SecureConnect ist in Azure China, Azure Government oder den folgenden Azure Regionen nicht verfügbar:

  • australiacentral
  • australiacentral2
  • japanwest
  • qatarcentral
  • southindia
  • switzerlandwest
  • ukwest
  • westindia

Abrechnung

Azure Databricks stellt derzeit keine Gebühren für SecureConnect-Datenübertragungen in Rechnung. Weitere Details finden Sie unter "Anstehende Azure Abrechnungsänderungen für OpenSharing SecureConnect".

Weitere Ressourcen

  • Last updated on