Netzwerkempfehlungen für Lakehouse Federation

Dieser Artikel enthält Anleitungen zum Einrichten eines praktikablen Netzwerkpfads zwischen Ihren Azure Databricks-Clustern oder SQL-Warehouses und dem externen Datenbanksystem, mit dem Sie eine Verbindung mithilfe der Lakehouse Federation herstellen.

Lesen Sie zunächst die folgenden wichtigen Informationen:

• Der gesamte Netzwerkdatenverkehr erfolgt direkt zwischen Azure Databricks-Clustern (oder SQL-Warehouses) und dem externen Datenbanksystem. Weder Unity Catalog noch die Azure Databricks-Steuerungsebene befinden sich im Netzwerkpfad.
• Azure Databricks-Compute (d. h. Cluster und SQL-Warehouses) wird immer in der Cloud bereitgestellt, aber das externe Datenbanksystem kann lokal sein oder in einem beliebigen Cloudanbieter gehostet werden, solange ein tragfähiger Netzwerkpfad zwischen Ihrer Azure Databricks-Compute und der externen Datenbank vorhanden ist.
• Wenn Sie eingehende oder ausgehende Netzwerkeinschränkungen für Azure Databricks Compute oder das externe Datenbanksystem haben, finden Sie in den folgenden Abschnitten eine allgemeine Anleitung zum Erstellen eines praktikablen Netzwerkpfads.

Weitere Informationen zu Netzwerken in Azure Databricks-Arbeitsbereichen finden Sie unter Netzwerk.

Datenbanksystem und Azure Databricks Compute beide über das Internet zugänglich

Die Verbindung sollte ohne Konfiguration funktionieren.

Datenbanksystem verfügt über Netzwerkzugriffseinschränkungen

Wenn der eingehende oder ausgehende Netzwerkzugriff im externen Datenbanksystem eingeschränkt ist und über das Internet auf den Azure Databricks-Cluster oder das SQL-Warehouse zugegriffen werden kann, konfigurieren Sie eine der folgenden Netzwerklösungen, um eine Verbindung über klassische Computeressourcen herzustellen:

• Stabile ausgehende IP-Adresse auf Azure Databricks-Compute.

  Richten Sie neben einem Lastenausgleich, NAT Gateway, Internetgateway oder einer gleichwertigen Ressource eine stabile IP-Adresse ein, und verbinden Sie sie mit dem Subnetz, in dem die Azure Databricks-Computeressourcen bereitgestellt werden. Dadurch kann die Compute-Instanz eine stabile öffentliche IP-Adresse freigeben, die auf der Seite der externen Datenbank zugelassen werden kann.

  Das externe Datenbanksystem sollte die stabile IP-Adresse von Azure Databricks für eingehenden und ausgehenden Datenverkehr zulassen.

• Private Link (nur, wenn sich die externe Datenbank in derselben Cloud wie Azure Databricks-Compute befindet)

  Konfigurieren Sie eine Private Link-Verbindung zwischen dem Netzwerk, in dem die Datenbank bereitgestellt wird, und dem Netzwerk, in dem Azure Databricks Compute bereitgestellt wird.

Wenden Sie sich an Ihr Azure Databricks-Kontoteam, um mehr über Pläne zur Unterstützung des sicheren Netzwerkzugriffs auf externe Datenbanken von serverlosem Computing zu erfahren.

Azure Databricks Compute verfügt über Netzwerkzugriffseinschränkungen

Wenn über das Internet auf das externe Datenbanksystem zugegriffen werden kann und Azure Databricks Compute über Ein- oder Ausgehende Netzwerkzugriffseinschränkungen verfügt (was nur möglich ist, wenn Sie sich in einem kundenseitig verwalteten Netzwerk befinden), führen Sie eine der folgenden Konfigurationen aus:

• Erstellen Sie eine Positivliste des Hostnamens der externen Datenbank in den Firewallregeln des Subnetzes, in dem Azure Databricks Compute bereitgestellt wird.

  Wenn Sie die IP-Adresse der externen Datenbank anstelle des Hostnamens zulassen möchten, stellen Sie sicher, dass die externe Datenbank über eine stabile IP-Adresse verfügt.

• Private Link (nur, wenn sich die externe Datenbank in derselben Cloud wie Azure Databricks Compute befindet)

  Konfigurieren Sie eine Private Link-Verbindung zwischen dem Netzwerk, in dem die Datenbank bereitgestellt wird, und dem Netzwerk, in dem Azure Databricks Compute bereitgestellt wird.

Azure Databricks Compute verfügt über einen benutzerdefinierten DNS-Server

Wenn über das Internet auf das externe Datenbanksystem zugegriffen werden kann und Azure Databricks Compute über einen benutzerdefinierten DNS-Server verfügt (was nur möglich ist, wenn Sie sich in einem vom Kunden verwalteten Netzwerk befinden), fügen Sie den Hostnamen des Datenbanksystems ihrem benutzerdefinierten DNS-Server hinzu, damit er aufgelöst werden kann.