Freigeben über

Ausführen von Verbundabfragen auf Microsoft Azure Synapse

  • Artikel

Wichtig

Dieses Feature befindet sich in der Public Preview.

In diesem Artikel wird beschrieben, wie Sie Lakehouse Federation einrichten, um Verbundabfragen auf Daten von Microsoft Azure Synapse (SQL Data Warehouse) auszuführen, die nicht von Azure Databricks verwaltet werden. Weitere Informationen zur Lakehouse Federation finden Sie unter Was ist Lakehouse Federation.

Um mithilfe von Lakehouse Federation eine Verbindung mit einer Azure Synapse-Datenbank (SQL Data Warehouse) herzustellen, müssen Sie Folgendes in Ihrem Azure Databricks Unity Catalog-Metastore erstellen:

  • Eine Verbindung mit Ihrer Azure Synapse-Datenbank (SQL Data Warehouse).
  • Einen Fremdkatalog, der Ihre Azure Synapse-Datenbank (SQL Data Warehouse) in Unity Catalog spiegelt, sodass Sie die Abfragesyntax und Datengovernancetools von Unity Catalog zum Verwalten des Azure Databricks-Benutzerzugriffs auf die Datenbank verwenden können.

Voraussetzungen

Anforderungen an den Arbeitsbereich:

  • Der Arbeitsbereich muss für Unity Catalog aktiviert sein.

Computeanforderungen:

  • Netzwerkkonnektivität zwischen Ihrem Databricks Runtime-Cluster oder SQL-Warehouse und den Zieldatenbanksystemen. Weitere Informationen finden Sie unter Netzwerkempfehlungen für Lakehouse Federation.
  • Azure Databricks-Cluster müssen Databricks Runtime 13.3 LTS oder höher und den Clusterzugriffsmodus „Freigegeben“ oder „Einzelbenutzer“ verwenden.
  • SQL-Warehouses müssen „Pro“ oder serverlos sein.

Erforderliche Berechtigungen:

  • Um eine Verbindung zu erstellen, müssen Sie Metastore-Administrator oder Benutzer mit der Berechtigung „CREATE CONNECTION“ für den Unity Catalog-Metastore sein, der an den Arbeitsbereich angefügt ist.
  • Um einen Fremdkatalog zu erstellen, müssen Sie über die Berechtigung „CREATE CATALOG“ für den Metastore verfügen und entweder der Besitzer der Verbindung sein oder über die Berechtigung „CREATE FOREIGN CATALOG“ für die Verbindung verfügen.

In jedem folgenden aufgabenbasierten Abschnitt werden zusätzliche Berechtigungsanforderungen angegeben.

Erstellen einer Verbindung

Eine Verbindung gibt einen Pfad und Anmeldeinformationen für den Zugriff auf ein externes Datenbanksystem an. Zum Erstellen einer Verbindung können Sie den Katalog-Explorer oder den SQL-Befehl „CREATE CONNECTION“ in einem Azure Databricks-Notebook oder im Databricks SQL-Abfrage-Editor verwenden.

Erforderliche Berechtigungen: Metastore-Administrator oder Benutzer mit der Berechtigung „CREATE CONNECTION“.

Katalog-Explorer

  1. Klicken Sie in Ihrem Azure Databricks-Arbeitsbereich auf Symbol „Katalog“ Katalog.

  2. Klicken Sie oben im Bereich Katalog auf das Symbol Symbol zum Hinzufügen bzw. Plussymbol Hinzufügen, und wählen Sie im Menü Verbindung hinzufügen aus.

    Klicken Sie alternativ auf der Seite Schnellzugriff auf die Schaltfläche Externe Daten >, navigieren Sie zur Registerkarte Verbindungen, und klicken Sie auf Verbindung erstellen.

  3. Geben Sie einen benutzerfreundlichen Verbindungsnamen ein.

  4. Wählen Sie als Verbindungstypdie Option SQLDW aus.

  5. Geben Sie die folgenden Verbindungseigenschaften für Ihre Azure Synapse-Instanz ein.

    • Host: Zum Beispiel: sqldws-demo.database.windows.net.
    • Port: Beispiel: 1433
    • trustServerCertificate: Standardwert ist false. Wenn diese Eigenschaft auf true festgelegt wird, verwendet die Transportschicht SSL zum Verschlüsseln des Kanals und umgeht die Zertifikatkette zur Überprüfung der Vertrauensstellung. Übernehmen Sie den Standardwert bei dieser Einstellung, es sei denn, Sie müssen die Überprüfung der Vertrauensstellung umgehen.
    • Benutzer
    • Kennwort

  6. (Optional) Klicken Sie auf Verbindung testen, um die Verbindung zu überprüfen.

  7. (Optional) Fügen Sie einen Kommentar hinzu.

  8. Klicken Sie auf Erstellen.

SQL

Führen Sie in einem Notebook oder im Databricks SQL-Abfrage-Editor den folgenden Befehl aus.

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

Es wird empfohlen, Aure Databricks-Geheimnisse anstelle von Klartext-Zeichenfolgen für vertrauliche Werte wie Anmeldeinformationen zu verwenden. Beispiele:

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Informationen zum Einrichten von Geheimnissen finden Sie unter Verwaltung von Geheimnissen.

Erstellen eines Fremdkatalogs

Ein Fremdkatalog spiegelt eine Datenbank in einem externen Datensystem, sodass Sie Abfragen und die Verwaltung des Zugriffs auf Daten in dieser Datenbank mithilfe von Azure Databricks und Unity Catalog steuern können. Um einen fremden Katalog zu erstellen, verwenden Sie eine Verbindung mit der bereits definierten Datenquelle.

Zum Erstellen eines Fremdkatalogs können Sie den Katalog-Explorer oder den SQL-Befehl CREATE FOREIGN CATALOG in einem Azure Databricks-Notebook oder im SQL-Abfrage-Editor verwenden.

Erforderliche Berechtigungen: Sie benötigen die Berechtigung CREATE CATALOG für den Metastore und entweder Besitzer der Verbindung sein oder die Berechtigung CREATE FOREIGN CATALOG für diese haben.

Katalog-Explorer

  1. Klicken Sie in Ihrem Azure Databricks-Arbeitsbereich auf Katalogsymbol Katalog, um den Katalog-Explorer zu öffnen.

  2. Klicken Sie oben im Bereich Katalog auf das Symbol Symbol zum Hinzufügen bzw. Plussymbol Hinzufügen, und wählen Sie im Menü Katalog hinzufügen aus.

    Klicken Sie alternativ auf der Seite Schnellzugriff auf Kataloge, und klicken Sie dann auf Katalog erstellen.

  3. Befolgen Sie die Anweisungen zum Erstellen externer Kataloge unter Erstellen von Katalogen.

SQL

Führen Sie den folgenden SQL-Befehl in einem Notebook oder SQL-Abfrage-Editor aus. Elemente in Klammern sind optional. Ersetzen Sie folgende Platzhalterwerte:

  • <catalog-name>: Name für den Katalog in Azure Databricks.
  • <connection-name>: Das Verbindungsobjekt, das die Datenquelle, den Pfad und die Anmeldeinformationen für den Zugriff angibt.
  • <database-name>: Name der Datenbank, die sie als Katalog in Azure Databricks spiegeln möchten.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Unterstützte Pushdowns

Die folgenden Pushdowns werden unterstützt:

  • Filter
  • Projektionen
  • Begrenzung
  • Aggregate (Average, Count, Max, Min, StddevPop, StddevSamp, Sum, VarianceSamp)
  • Funktionen (Arithmetische und andere verschiedene Funktionen wie Alias, Cast, SortOrder)
  • Sortierung

Die folgenden Pushdowns werden nicht unterstützt:

  • Joins
  • Windows-Funktionen

Datentypzuordnungen

Wenn Sie aus Synapse / SQL Data Warehouse zu Spark lesen, werden Datentypen wie folgt zugeordnet:

Synapse-Typ Spark-Typ
decimal, money, numeric, smallmoney DecimalType
smallint ShortType
tinyint ByteType
int IntegerType
BIGINT LongType
real FloatType
float DoubleType
char, nchar, ntext, nvarchar, text, uniqueidentifier, varchar, xml StringType
binary, geography, geometry, image, timestamp, udt, varbinary BinaryType
bit BooleanType
date DateType
datetime, datetime, smalldatetime, time TimestampType/TimestampNTZType*

*Wenn Sie aus Synapse/SQL Data Warehouse (SQLDW) lesen, werden datetimes von SQLDW zu TimestampType von Spark zugeordnet, wenn preferTimestampNTZ = false (Standard). datetimes von SQLDW werden TimestampNTZType zugeordnet, wenn preferTimestampNTZ = true.