Netzwerkempfehlungen für Lakehouse Federation
Dieser Artikel enthält Anleitungen zum Einrichten eines praktikablen Netzwerkpfads zwischen Ihren Azure Databricks-Clustern oder SQL-Warehouses und dem externen Datenbanksystem, mit dem Sie eine Verbindung mithilfe der Lakehouse Federation herstellen.
Lesen Sie zunächst die folgenden wichtigen Informationen:
- Der gesamte Netzwerkdatenverkehr erfolgt direkt zwischen Azure Databricks-Clustern (oder SQL-Warehouses) und dem externen Datenbanksystem. Weder Unity Catalog noch die Azure Databricks-Steuerungsebene befinden sich im Netzwerkpfad.
- Azure Databricks-Compute (d. h. Cluster und SQL-Warehouses) wird immer in der Cloud bereitgestellt, aber das externe Datenbanksystem kann lokal sein oder in einem beliebigen Cloudanbieter gehostet werden, solange ein tragfähiger Netzwerkpfad zwischen Ihrer Azure Databricks-Compute und der externen Datenbank vorhanden ist.
- Wenn Sie eingehende oder ausgehende Netzwerkeinschränkungen für Azure Databricks Compute oder das externe Datenbanksystem haben, finden Sie in den folgenden Abschnitten eine allgemeine Anleitung zum Erstellen eines praktikablen Netzwerkpfads.
Weitere Informationen zu Netzwerken in Azure Databricks-Arbeitsbereichen finden Sie unter Netzwerk.
Datenbanksystem und Azure Databricks Compute beide über das Internet zugänglich
Die Verbindung sollte ohne Konfiguration funktionieren.
Datenbanksystem verfügt über Netzwerkzugriffseinschränkungen
Wenn der eingehende oder ausgehende Netzwerkzugriff im externen Datenbanksystem eingeschränkt ist und über das Internet auf den Azure Databricks-Cluster oder das SQL-Warehouse zugegriffen werden kann, konfigurieren Sie eine der folgenden Netzwerklösungen, um eine Verbindung über klassische Computeressourcen herzustellen:
Stabile ausgehende IP-Adresse auf Azure Databricks-Compute.
Richten Sie auf der klassischen Computeebene eine stabile IP-Adresse mit einem Lastenausgleichsmodul, NAT Gateway, Internetgateway oder eine gleichwertige Ressource ein, und verbinden Sie sie mit dem Subnetz, in dem die Azure Databricks-Computeressourcen bereitgestellt werden. Dadurch kann die Computeressource eine stabile öffentliche IP-Adresse freigeben, die auf der Seite der externen Datenbank der Positivliste hinzugefügt werden kann.
Private Link (nur, wenn sich die externe Datenbank in derselben Cloud wie Azure Databricks-Compute befindet)
Konfigurieren Sie auf der klassischen Computeebene eine Private Link-Verbindung zwischen dem Netzwerk, in dem die Datenbank bereitgestellt wird, und dem Netzwerk, in dem Azure Databricks-Computeressourcen bereitgestellt werden.
Azure Private Link wird für den SQL Server-Connector auf der serverlosen Computeebene unterstützt. Weitere Informationen finden Sie unter Schritt 3: Erstellen von Regeln für den privaten Endpunkt.
Azure Databricks Compute verfügt über Netzwerkzugriffseinschränkungen
Wenn über das Internet auf das externe Datenbanksystem zugegriffen werden kann und Azure Databricks Compute über Ein- oder Ausgehende Netzwerkzugriffseinschränkungen verfügt (was nur möglich ist, wenn Sie sich in einem kundenseitig verwalteten Netzwerk befinden), führen Sie eine der folgenden Konfigurationen aus:
Erstellen Sie eine Positivliste des Hostnamens der externen Datenbank in den Firewallregeln des Subnetzes, in dem Azure Databricks Compute bereitgestellt wird.
Wenn Sie die IP-Adresse der externen Datenbank anstelle des Hostnamens zulassen möchten, stellen Sie sicher, dass die externe Datenbank über eine stabile IP-Adresse verfügt.
Private Link (nur, wenn sich die externe Datenbank in derselben Cloud wie Azure Databricks Compute befindet)
Konfigurieren Sie eine Private Link-Verbindung zwischen dem Netzwerk, in dem die Datenbank bereitgestellt wird, und dem Netzwerk, in dem Azure Databricks Compute bereitgestellt wird.
Azure Databricks Compute verfügt über einen benutzerdefinierten DNS-Server
Wenn über das Internet auf das externe Datenbanksystem zugegriffen werden kann und Azure Databricks Compute über einen benutzerdefinierten DNS-Server verfügt (was nur möglich ist, wenn Sie sich in einem vom Kunden verwalteten Netzwerk befinden), fügen Sie den Hostnamen des Datenbanksystems ihrem benutzerdefinierten DNS-Server hinzu, damit er aufgelöst werden kann.