Private Link-Konzepte

Azure Private Link erstellt eine private, sichere Verbindung zwischen Ihren Azure Databricks-Ressourcen und Ihren Azure-Diensten und serverlosen Ressourcen, um sicherzustellen, dass Ihr Netzwerkdatenverkehr nicht für das öffentliche Internet verfügbar gemacht wird.

Azure Databricks unterstützt drei Arten von Private Link-Konnektivität:

  • Eingehend (Frontend): Sichert Verbindungen von Benutzern zu Arbeitsbereichen und Kontoressourcen (zum Beispiel die Kontokonsole und Account Level Genie One)
  • Outbound (serverless): Sichert Verbindungen von Azure Databricks serverless compute zu deinen Azure Resources
  • Klassisch (Back-End): Sichert Verbindungen von klassischem Compute zur Steuerungsebene

Übersicht über private Konnektivität

Azure Private Link ermöglicht sichere, private Konnektivität von Azure VNets und lokalen Netzwerken mit Azure-Diensten, um sicherzustellen, dass Ihr Datenverkehr vom öffentlichen Internet isoliert bleibt. End-to-End-private Netzwerke helfen Ihnen, Sicherheits- und Compliance-Anforderungen zu erfüllen und verringern das Risiko von Datenexfiltration.

Sie können eingehende (Front-End), ausgehende (serverlos) oder klassische Compute-Verbindungen (Back-End) Private Link-Verbindungen unabhängig oder in Kombination aktivieren. Die richtige Wahl hängt von Ihren Sicherheits- und Complianceanforderungen ab. Sie können beispielsweise private Konnektivität mit Ihren Azure Databricks Ressourcen erzwingen, während alle öffentlichen Netzwerkverbindungen automatisch abgelehnt werden. Dieser kombinierte Ansatz bietet eine umfassende Netzwerkisolation, reduziert ihre Angriffsfläche und unterstützt die Compliance für sensible Workloads.

Mit privatem Link können Sie:

  • Blockieren des Datenzugriffs von nicht autorisierten Netzwerken oder dem öffentlichen Internet bei Verwendung der Azure Databricks-Webanwendung oder APIs.
  • Verringern Sie das Risiko der Datenexfiltration, indem Sie die Netzwerkexfiltration nur für genehmigte private Endpunkte einschränken.

Videoanleitung

Dieses Video zeigt, wie man Azure Private Link für Azure Databricks konfiguriert.

Anhand dieses Leitfadens können Sie ermitteln, welche Implementierung ihren Anforderungen am besten entspricht.

Consideration Nur eingehend (Front-End) Nur ausgehend (serverlos) Klassische Compute-Ebene (nur Backend) Vollständige private Isolation
Primäres Sicherheitsziel Nur autorisierte Personen können auf meine Azure Databricks-Ressourcen zugreifen. Sicherer Datenzugriff von serverlos Sperren der klassischen Computeebene Maximale Isolation (alles sichern)
Benutzerkonnektivität Privat oder öffentlich Öffentlich (Internet) Öffentlich (Internet) Nur privat
Serverloser Datenzugriff Öffentlich (Internet) Privat (für Kundenressourcen) Öffentlich (Internet) Privat (für Kundenressourcen)
Cluster-Konnektivität zur Kontrollebene Öffentlich (standardsicherer Pfad) Öffentlich (standardsicherer Pfad) Privat (erforderlich) Privat (erforderlich)
Voraussetzungen Premium-Plan, VNet-Injektion, SCC Premium-Plan Premium-Plan, VNet-Injektion, SCC Premium-Plan, VNet-Injektion, SCC
Netzwerkzugriffseinstellung im Arbeitsbereich Öffentlicher Zugriff aktiviert Keine Änderung erforderlich Öffentlicher Zugriff aktiviert Öffentlicher Zugriff deaktiviert
Erforderliche NSG-Regeln AlleRegeln N/A NoAzureDatabricksRules NoAzureDatabricksRules
Erforderliche private Endpunkte Front-End (databricks_ui_api), Browserauthentifizierung, benutzerdefinierte URL und Zugriff auf Kontoebene (general_access) NCC private Endpunkte Back-End (databricks_ui_api) Alle (Front-End, Back-End, Browserauthentifizierung, NCC)
Relative Kosten Kosten pro Endpunkt und Datenübertragung Kosten pro Endpunkt und verarbeitete Daten Kosten pro Endpunkt und Datenübertragung Dies kann höhere Kosten (an allen Endpunkten, einschließlich Datenübertragung und -verarbeitung) verursachen.

Eingehende Konnektivität (Front-End)

Der eingehende Private Link sichert die Verbindung von Benutzern zu Azure Databricks-Arbeitsbereichen und Ressourcen auf der Kontoebene. Der Datenverkehr wird über einen privaten Endpunkt in Ihrem Transit-VNet anstelle von öffentlichen IP-Adressen geleitet. Eingehender privater Link bietet sicheren Zugriff auf:

  • Azure Databricks-Webanwendung
  • REST API
  • Databricks-Apps
  • Databricks Connect-API
  • Azure Databricks leistungsintensive Dienste

Siehe Private Konnektivität für eingehenden Datenverkehr konfigurieren.

Azure Private Link Network Architecture

Eingehende private Verbindung zu leistungsintensiven Diensten

Eingehende private Konnektivität für leistungsintensive Dienste

Important

Dieses Feature befindet sich in der Public Preview.

Private Link für leistungsintensive Dienste bietet private Konnektivität zu den folgenden Diensten:

  • Zerobus Ingest
  • Autoskalierung von Lakebase

Siehe Konfigurieren Sie eingehende Private Links für leistungsintensive Dienste.

Web-Authentifizierung für browserbasiertes SSO

Webauthentifizierung für browserbasiertes SSO

Bei Verwendung von privatem Link für den Front-End-Zugriff ist ein spezieller browser_authentication Endpunkt erforderlich, um single Sign-On (SSO) für Webbrowseranmeldungen über eine private Verbindung zu verwenden. Es verarbeitet sicher die SSO-Authentifizierungsrückrufe von Microsoft Entra-ID, die andernfalls in einem privaten Netzwerk blockiert werden. Dieser Prozess wirkt sich nicht auf die REST-API-Authentifizierung aus.

  • Bereitstellungsregel: Es darf nur ein browser_authentication-Endpunkt pro Azure-Region und privater DNS-Zone existieren. Dieser einzelne Endpunkt dient allen Arbeitsbereichen in dieser Region, die dieselbe DNS-Konfiguration verwenden.
  • Bewährte Praxis für die Produktion: Um Ausfälle zu vermeiden, erstellen Sie in jeder Produktionsregion einen eigenen „privaten Web-Auth-Arbeitsbereich“. Der einzige Zweck besteht darin, diesen kritischen Endpunkt zu hosten. Deaktivieren Sie den "Öffentlichen Netzwerkzugriff" für diesen Arbeitsbereich, und überprüfen Sie, ob keine anderen privaten Front-End-Endpunkte dafür erstellt wurden. Wenn dieser Hostarbeitsbereich gelöscht wird, schlägt die Webanmeldung für alle anderen Arbeitsbereiche in der Region fehl.
  • Alternative Konfiguration: Für einfachere Deployments können Sie den Endpunkt auf einem bestehenden Arbeitsbereich hosten, anstatt einen eigenen zu erstellen. Dies eignet sich für Nicht-Produktionsumgebungen oder wenn Sie sicher sind, dass Sie nur über einen Arbeitsbereich in der Region verfügen. Beachten Sie jedoch, dass durch das Löschen des Hostarbeitsbereichs die Authentifizierung für alle anderen Arbeitsbereiche, die davon abhängig sind, sofort unterbrochen wird.

Ausgehende Konnektivität (serverlos)

Ausgehende private Verknüpfung ermöglicht private Konnektivität von Azure Databricks serverlosen Computeressourcen mit Ihren Azure-Ressourcen. Im Gegensatz zu eingehendem und klassischem Private Link der Compute-Ebene, der Verbindungen zu Azure Databricks sichert, sichert ausgehender Private Link Verbindungen von serverlosen Compute-Systemen zu den Ressourcen Ihrer Kunden.

Serverless Private Link verwendet Netzwerkkonnektivitätskonfigurationen (NCCs), das sind regionale Konstrukte auf Kontoebene, die die Erstellung privater Endpunkte in großem Maßstab verwalten. NCCs können an mehrere Arbeitsbereiche in derselben Region angefügt werden.

Private Konnektivität mit Azure-Ressourcen

Private Konnektivität mit Azure-Ressourcen

Ermöglicht die serverlose Berechnung für den Zugriff auf Azure-Ressourcen wie Azure Storage und Azure SQL über private Endpunkte, ohne das öffentliche Internet zu durchlaufen. Ihr Datenverkehr verbleibt vollständig im Azure-Netzwerk.

Weitere Informationen finden Sie unter Private Konnektivität zu Azure-Ressourcen konfigurieren.

Private Verbindung zu VNet-Ressourcen

Private Konnektivität mit VNet-Ressourcen

Ermöglicht die serverlose Berechnung für den Zugriff auf Ressourcen in Ihrem VNet, z. B. Datenbanken und interne Dienste, über private Endpunkte über einen Azure-Lastenausgleich.

Private Verbindung zu Ressourcen in deinem VNet

Siehe Konfigurieren der privaten Konnektivität mit Ressourcen in Ihrem VNet.

Schlüsselkonzepte für die ausgehende Konnektivität

Wichtige Konzepte für ausgehende Konnektivität

  • Netzwerkkonnektivitätskonfiguration (NCC): Ein regionales Konstrukt auf Kontoebene, das private Endpunkte verwaltet und steuert, wie serverlose Rechenressourcen auf Kundenressourcen zugreifen.
  • Private-Endpunktregeln: Definieren die spezifischen Ressourcen, auf die serverloses Computing privat zugreifen kann.
  • Workspace-Anhängungsmodell: NCCs können an bis zu 50 Arbeitsbereiche in derselben Region angehängt werden.
  • Grenzen und Quoten:
    • Bis zu 20 NCCs pro Region pro Konto
    • 100 private Endpunkte pro Region (verteilt über NCCs)
    • Bis zu 50 Arbeitsbereiche pro NCC

Klassische private Konnektivität der Rechenebene

Klassische Computeebene Private Link sichert die Verbindung von Azure Databricks-Clustern zur Steuerungsebene. Cluster verbinden sich mit der Steuerungsebene für REST-APIs und sichern die Cluster-Konnektivität.

Klassische Computeebene Private Link-Adressen:

  • Compliance-Anforderungen: Hilft dabei, strenge regulatorische und unternehmensrechtliche Compliance-Vorgaben zu erfüllen, die verlangen, dass der gesamte interne Cloud-Datenverkehr in einem privaten Netzwerk bleibt.
  • Netzwerk-Perimeter-Härtung: Die Implementierung des klassischen Compute Plane Private Link neben privaten Endpunkten für Azure-Dienste ermöglicht es Ihnen, die Netzwerk-Exposition einzuschränken. Dies reduziert Datenexfiltrationsrisiken, indem sichergestellt wird, dass Datenverarbeitungscluster keinen Weg zu nicht autorisierten Diensten oder Zielen im öffentlichen Internet haben.

Siehe Konfigurieren der privaten Back-End-Konnektivität.

Azure Private Link back-end

Note

Sie können die private Konnektivität der klassischen Computeebene unabhängig einrichten. Es ist keine eingehende oder serverlose Verbindung erforderlich.

Virtuelle Netzwerke für private Konnektivität

Private Konnektivität verwendet zwei unterschiedliche virtuelle Netzwerke (VNets).

  • Transit-VNet: Dieses VNet fungiert als zentraler Knotenpunkt für die Nutzerkonnektivität und enthält die eingehenden privaten Endpunkte, die für den Client-Zugriff auf Arbeitsbereiche und für browserbasierte SSO-Authentifizierung erforderlich sind.
  • Workspace VNet: Dies ist ein VNet, das du speziell erstellst, um deinen Azure Databricks Workspace und klassische private Endpunkte zu hosten.

Subnetzzuordnung und Größenanpassung

Planen Sie Ihre Subnetze in jedem VNet, um private Konnektivität und Bereitstellungen zu unterstützen.

  • Transit-VNet-Subnetze:

    • Private Endpunkt-Subnetz: Weist IP-Adressen für alle eingehenden privaten Endpunkte zu.
    • Subnetze für Browser-Authentifizierungsarbeitsbereiche: Zwei dedizierte Subnetze, ein Host- oder öffentliches Subnetz sowie ein Container oder privates Subnetz, werden für die Bereitstellung des Browser-Authentifizierungsarbeitsbereichs empfohlen.
  • Workspace-VNet-Subnetze:

    • Arbeitsbereich-Subnetze: Zwei Subnetze, ein Host- oder öffentliches Subnetz sowie ein Container oder privates Subnetz, sind für die Bereitstellung des Azure Databricks Arbeitsbereichs selbst erforderlich. Informationen zur Größenanpassung im Zusammenhang mit Arbeitsbereichssubnetzen finden Sie unter Adressraumleitfaden.
    • Klassisches privates Endpunkt-Subnetz: Ein zusätzliches Subnetz ist erforderlich, um den privaten Endpunkt für die private Konnektivität der klassischen Rechenebene zu hosten.

Die Größenanpassung hängt von Ihren individuellen Implementierungsanforderungen ab, Sie können jedoch Folgendes als Leitfaden verwenden:

VNet Subnetzzweck Empfohlener CIDR-Bereich
Transit Subnetz für private Endpunkte /26 to /25
Transit Browserauthentifizierungsarbeitsbereich /28 oder /27
Workspace Klassisches subnetz für private Endpunkte /27

Private Azure Databricks-Endpunkte

Azure Databricks verwendet vier verschiedene Arten privater Endpunkte, um den Datenverkehr zu privatisieren. Verstehen Sie ihre verschiedenen Rollen, um sie richtig zu implementieren.

Important

Der private Zugriff auf Arbeitsbereiche und Kontoressourcen über den allgemeinen Zugriffs-Endpunkt befindet sich in der Beta-Phase.

  • Arbeitsbereich-Endpunkt (databricks_ui_api): Dies ist der primäre private Endpunkt zur Sicherung von Datenverkehr zu und von Ihrem Arbeitsbereich. Es verarbeitet REST-API-Aufrufe sowohl für eingehende als auch klassische Compute-Ebene Private Link.
  • Web-Authentifizierungs-Endpunkt (browser_authentication): Dies ist ein spezialisierter, zusätzlicher Endpunkt, der nur benötigt wird, damit Single Sign-On (SSO) für Webbrowser-Logins über eine private Verbindung funktioniert. Für die eingehende und End-to-End-Konnektivität ist sie erforderlich.
  • Allgemeiner Zugriffs-Endpunkt (general_access): Dieser private Endpunkt sichert den Datenverkehr zu und von Ihrem Arbeitsbereich und den Ressourcen auf Kontoebene (zum Beispiel der Kontokonsole und dem Account Level Genie One). Es kann REST-API-Aufrufe für eingehende und klassische private Verbindungen der Compute-Ebene sowie die Browserauthentifizierung über SSO verarbeiten. Es kann benutzerdefinierten URL-Verkehr (zum Beispiel <my-custom-account-name>.azuredatabricks.net), und Arbeitsbereiche in verschiedenen Regionen von einem einzigen Endpunkt aus bereitstellen. Azure Databricks empfiehlt weiterhin, die databricks_ui_api und browser_authentication Endpunkte zu nutzen, um Arbeitsbereichsverkehr über nicht-benutzerdefinierte URLs zu bedienen, um die Konfiguration einer privaten DNS-Zone zu erleichtern. Siehe Eingehenden private Verbindung für Arbeitsbereiche konfigurieren.
  • Service Direct Endpunkt (service_direct): Dieser Endpunkt wird benötigt, um auf leistungsintensive Dienste zuzugreifen. Siehe Konfigurieren Sie eingehende Private Links für leistungsintensive Dienste.

Beachten Sie für private Endpunkte Folgendes:

  • Geteilte Endpunkte: Private Endpunkte mit Allgemeinzugriff können über mehrere Arbeitsbereiche und Kontoressourcen in jeder Region geteilt werden. Für klassische Computeebenenkonnektivität kann ein einzelner Satz privater Endpunkte alle Arbeitsbereiche bedienen, die in diesem VNet und dieser Region bereitgestellt werden. Browserauthentifizierungsendpunkte können auch für Arbeitsbereiche innerhalb derselben Region freigegeben werden.
  • Regionsspezifisch: Private Endpunkte sind regionsspezifische Ressourcen. Für databricks_ui_api-, browser_authentication- und service_direct-Endpunkte erfordern Arbeitsbereiche in verschiedenen Regionen separate Konfigurationen für private Endpunkte. Für allgemeine Zugriffs-Endpunkte können Arbeitsbereiche in verschiedenen Regionen einen einzelnen Endpunkt in jeder Region teilen.

Wichtige Überlegungen

Beachten Sie vor der Konfiguration der privaten Konnektivität Folgendes:

  • Wenn für den privaten Endpunkt eine Richtlinie für Netzwerksicherheitsgruppen aktiviert ist, müssen Sie ports 443, 6666, 3306 und 8443-8451 für eingehende Sicherheitsregeln in der Netzwerksicherheitsgruppe im Subnetz zulassen, in dem der private Endpunkt bereitgestellt wird.
  • Um eine Verbindung zwischen Ihrem Netzwerk und dem Azure-Portal und seinen Diensten zu erstellen, müssen Sie möglicherweise Azure-Portal-URLs zu Ihrer Zulassungsliste hinzufügen. Siehe Zulassen der Azure-Portal-URLs auf Ihrer Firewall oder Ihrem Proxyserver.
  • Selbst bei private Verbindungen für eingehenden Datenverkehr lädt die Azure Databricks-Benutzeroberfläche statische Assets wie JavaScript, CSS und Bilder über das öffentliche Internet aus Content Delivery Network (CDN)-Domänen. Databricks empfiehlt, Datenverkehr zu den UI-Assets-Domains zu erlauben, die in Firewallregeln für Domänennamen konfigurieren aufgeführt sind.