Freigeben über

Was ist Lakehouse Federation?

Lakehouse Federation ist die Abfrageverbundplattform für Databricks. Der Begriff „Abfrageverbund“ beschreibt eine Sammlung von Funktionen, mit deren Hilfe Benutzer und Systeme Abfragen für mehrere isolierte Datenquellen ausführen können, ohne alle Daten in ein einheitliches System migrieren zu müssen.

Es gibt zwei Arten von Partnerverbund: Abfrageverbund und Katalogverbund. Auf dieser Seite werden die Unterschiede zwischen den Typen behandelt.

Abfrageverbund im Vergleich zum Katalogverbund

In der folgenden Tabelle sind die wichtigsten Unterschiede zwischen Abfrageverbund und Katalogverbund zusammengefasst:

Attribute Abfrageverbund Katalogverbund
Abfragepfad Unity Catalog-Abfragen werden über JDBC an die Fremddatenbank weitergeleitet. Die Abfrage wird sowohl in Databricks als auch mithilfe von Remote compute ausgeführt. Unity Catalog-Abfragen greifen direkt auf die Fremdtabelle im Objektspeicher zu. Der Katalogverbund ist für Plattformen verfügbar, die direkten Zugriff auf ihre Katalog- und Speicherdienste unterstützen. Die Abfrage wird nur auf Databricks-Berechnungen ausgeführt, was bedeutet, dass der Katalogverbund kostengünstiger und leistungsoptimiert ist als der Abfrageverbund.
Anwendungsfall
  • Sie benötigen Ad-hoc-Berichterstellung oder Machbarkeitsnachweiszugriff auf Betriebsdaten, die in externen Datenbanken gespeichert sind.
  • Sie möchten die Datenverschiebung minimieren und den Livezugriff auf externe Systeme beibehalten.

Wenn Ihre Quelle sowohl Lakehouse Federation als auch Lakeflow Connect unterstützt, empfiehlt Databricks Lakeflow Connect, wenn die Leistung bei höheren Datenvolumes und geringerer Latenz Prioritäten sind.
  • Sie migrieren zum Unity-Katalog und müssen jedoch die Daten, die von einem fremden Katalog verwaltet werden, schrittweise integrieren.
  • Sie möchten ein langfristiges Hybridmodell, bei dem einige Daten in einem externen Katalog verbleiben und einige Daten vom Unity-Katalog verwaltet werden.
Übersicht über die Schritte
  • Richten Sie eine Verbindung im Unity Catalog mit Ihren Zugangsdaten und der JDBC-URL ein.
  • Erstellen Sie einen fremden Katalog mithilfe der Verbindung.
  • Gewähren Sie Benutzern Berechtigungen für Tabellen im fremden Katalog.
  • Führen Sie Abfragen aus. Diese werden an die externe Datenbank übertragen.
  • Erstellen Sie eine Verbindung im Unity-Katalog für den Zugriff auf den externen Katalog.
  • Erstellen Sie eine Speicherberechtigung und einen externen Ort für die Tabellenpfade.
  • Erstellen Sie einen fremden Katalog mithilfe der Verbindung und des externen Speicherorts.
  • Gewähren Sie Benutzern Berechtigungen für Tabellen im fremden Katalog.
  • Führen Sie Abfragen aus. Diese werden direkt im Objektspeicher ausgeführt.

Unterstützte Datenquellen

Stellen Sie mithilfe des Abfrageverbunds eine Verbindung mit den folgenden Quellen her:

Stellen Sie mithilfe des Katalogverbunds eine Verbindung mit den folgenden Quellen her:

Weitere Ressourcen

  • Last updated on