Netzwerkempfehlungen für Lakehouse Federation
Dieser Artikel enthält Anleitungen zum Einrichten eines praktikablen Netzwerkpfads zwischen Ihren Azure Databricks-Clustern oder SQL-Warehouses und dem externen Datenbanksystem, mit dem Sie eine Verbindung mithilfe der Lakehouse Federation herstellen.
Lesen Sie zunächst die folgenden wichtigen Informationen:
- Der gesamte Netzwerkdatenverkehr erfolgt direkt zwischen Azure Databricks-Clustern (oder SQL-Warehouses) und dem externen Datenbanksystem. Weder Unity Catalog noch die Azure Databricks-Steuerungsebene befinden sich im Netzwerkpfad.
- Azure Databricks-Compute (d. h. Cluster und SQL-Warehouses) wird immer in der Cloud bereitgestellt, aber das externe Datenbanksystem kann lokal sein oder in einem beliebigen Cloudanbieter gehostet werden, solange ein tragfähiger Netzwerkpfad zwischen Ihrer Azure Databricks-Compute und der externen Datenbank vorhanden ist.
- Wenn Sie eingehende oder ausgehende Netzwerkeinschränkungen für Azure Databricks Compute oder das externe Datenbanksystem haben, finden Sie in den folgenden Abschnitten eine allgemeine Anleitung zum Erstellen eines praktikablen Netzwerkpfads.
Weitere Informationen zu Netzwerken in Azure Databricks-Arbeitsbereichen finden Sie unter Netzwerk.
Datenbanksystem und Azure Databricks Compute beide über das Internet zugänglich
Die Verbindung sollte ohne Konfiguration funktionieren.
Datenbanksystem verfügt über Netzwerkzugriffseinschränkungen
Wenn das externe Datenbanksystem Einschränkungen für den eingehenden oder ausgehenden Netzwerkzugriff aufweist und auf den Azure Databricks-Cluster oder SQL-Warehouse über das Internet zugegriffen werden kann, führen Sie je nach Computetyp die folgenden Konfigurationen aus:
Klassische Computeressourcen:
Konfigurieren Sie eine der folgenden Netzwerklösungen:
Stabile ausgehende IP-Adresse auf Azure Databricks-Compute.
Richten Sie eine stabile IP-Adresse zusammen mit einem Lastenausgleich, NAT Gateway, Internetgateway o. ä. ein, und verbinden Sie sie mit dem Subnetz, in dem Azure Databricks-Computeressourcen bereitgestellt wird. Dadurch kann die Compute-Instanz eine stabile öffentliche IP-Adresse freigeben, die auf der Seite der externen Datenbank zugelassen werden kann.
Das externe Datenbanksystem sollte die stabile IP-Adresse von Azure Databricks für eingehenden und ausgehenden Datenverkehr zulassen.
Private Link (nur, wenn sich die externe Datenbank in derselben Cloud wie Azure Databricks-Compute befindet)
Konfigurieren Sie eine Private Link-Verbindung zwischen dem Netzwerk, in dem die Datenbank bereitgestellt wird, und dem Netzwerk, in dem Azure Databricks Compute bereitgestellt wird.
Ressourcen für serverloses Computing:
Wenden Sie sich an Ihr Azure Databricks-Kontoteam, um mehr über Pläne zur Unterstützung des sicheren Netzwerkzugriffs auf externe Datenbanken von serverlosem Computing zu erfahren.
Azure Databricks Compute verfügt über Netzwerkzugriffseinschränkungen
Wenn über das Internet auf das externe Datenbanksystem zugegriffen werden kann und Azure Databricks Compute über Ein- oder Ausgehende Netzwerkzugriffseinschränkungen verfügt (was nur möglich ist, wenn Sie sich in einem kundenseitig verwalteten Netzwerk befinden), führen Sie eine der folgenden Konfigurationen aus:
Erstellen Sie eine Positivliste des Hostnamens der externen Datenbank in den Firewallregeln des Subnetzes, in dem Azure Databricks Compute bereitgestellt wird.
Wenn Sie die IP-Adresse der externen Datenbank anstelle des Hostnamens zulassen möchten, stellen Sie sicher, dass die externe Datenbank über eine stabile IP-Adresse verfügt.
Private Link (nur, wenn sich die externe Datenbank in derselben Cloud wie Azure Databricks Compute befindet)
Konfigurieren Sie eine Private Link-Verbindung zwischen dem Netzwerk, in dem die Datenbank bereitgestellt wird, und dem Netzwerk, in dem Azure Databricks Compute bereitgestellt wird.
Azure Databricks Compute verfügt über einen benutzerdefinierten DNS-Server
Wenn über das Internet auf das externe Datenbanksystem zugegriffen werden kann und Azure Databricks Compute über einen benutzerdefinierten DNS-Server verfügt (was nur möglich ist, wenn Sie sich in einem vom Kunden verwalteten Netzwerk befinden), fügen Sie den Hostnamen des Datenbanksystems ihrem benutzerdefinierten DNS-Server hinzu, damit er aufgelöst werden kann.