Workday Data Connect Katalogföderation

Important

Dieses Feature befindet sich in der Betaversion. Um es zu verwenden, muss ein Workspace-Administrator Workday Data Connect Connector auf der Vorschauseite aktivieren. Siehe Manage Azure Databricks Previews.

Verwenden Sie die Workday Data Connect Katalogfederation, um Workday Data Connect Tabellen direkt aus dem Cloud-Speicher zu lesen und sie als fremde Tabellen zum Unity-Katalog hinzuzufügen. Abfragen laufen vollständig auf Azure Databricks Compute, sodass Datenteams diese Tabellen aus Azure Databricks entdecken, verwalten und abfragen können, ohne ETL-Pipelines aufbauen zu müssen. Der Datenzugriff ist schreibgeschützt.

Azure Databricks authentifiziert sich im Workday Data Connect Katalog als Workday Integration System User (ISU), den Sie als Principal registrieren, und verwendet OAuth mit einem privaten Schlüssel.

Workday nennt dieses Produkt Workday Data Lake. Partnerdokumentation, einschließlich dieser Seite, nennt sie Workday Data Connect.

Um mehr über die Katalogföderation zu erfahren, siehe Was ist Katalogföderation?.

Note

Dieser Connector nimmt keine Daten in Azure Databricks auf und kopiert sie nicht dorthin, und er steht in keinem Zusammenhang mit den Ingestions-Connectoren von Lakeflow Connect für Workday. Um Workday-Daten stattdessen in Azure Databricks zu importieren, siehe Workday Reports Connector oder Workday HCM Connector.

Requirements

Überprüfen Sie die folgenden Anforderungen, bevor Sie die Workday Data Connect Katalogfederation einrichten.

Anforderungen an den Arbeitsbereich:

• Der Arbeitsbereich muss für Unity Catalog aktiviert sein. Weitere Informationen finden Sie unter "Erste Schritte mit Unity-Katalog".

Computeanforderungen:

• Azure Databricks Compute muss Databricks Runtime 19.8 oder höher und den Standardzugriffsmodus verwenden. Der dedizierte Zugriffsmodus wird nicht unterstützt.

Netzwerkanforderungen:

• Netzwerkverbindung von Azure Databricks zu Ihrem Workday Data Connect Katalog-Endpunkt bei https://<workday-host>/api/catalog. Sie müssen die IP-Adressen von Azure Databricks nicht in Workday auf die Zulassungsliste setzen.

Erforderliche Berechtigungen:

• Um eine Verbindung zu erstellen, müssen Sie ein Metastore-Administrator oder ein Benutzer mit den CREATE CONNECTION Berechtigungen für den Unity-Katalog-Metastore sein, der dem Arbeitsbereich zugeordnet ist.
• Um einen Fremdkatalog zu erstellen, müssen Sie über die Berechtigung „CREATE CATALOG“ für den Metastore verfügen und entweder der Besitzer der Verbindung sein oder über die Berechtigung „CREATE FOREIGN CATALOG“ für die Verbindung verfügen.

Anforderungen an den Arbeitstag:

• Workday Data Connect ist für deinen Workday-Tenant aktiviert, wobei die Tabellen, die du abfragen möchtest, über dessen Iceberg REST-Katalog geteilt werden. Siehe Start mit Workday Data Lake.
• Ein Workday Integration System User (ISU), der als Principal im Workday Data Connect Katalog registriert ist, eine Hauptrolle für diese ISU, die Lesezugriff auf die gemeinsamen Tabellen gewährt, sowie ein RSA-Schlüsselpaar für diesen Principal. Um den API-Client zu registrieren, siehe Register API Client for Data Lake (JWT Bearer Grant).

Schritt 1: Eine Verbindung herstellen

Eine Verbindung spezifiziert den Endpunkt und die Anmeldedaten, die Azure Databricks zur Kommunikation mit dem Workday Data Connect Katalog verwendet.

Um eine Verbindung herzustellen, verwenden Sie den Catalog Explorer oder den CREATE CONNECTION SQL-Befehl:

Katalog-Explorer

So erstellen Sie die Verbindung:

1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Katalog.
2. Klicken Sie oben im Katalogbereich auf das ", und wählen Sie im Menü "Verbindung erstellen " aus.
3. Auf der Seite Verbindungsgrundlegenden geben Sie einen Verbindungsnamen ein.
4. Wählen Sie einen Verbindungstyp von Workday Data Connect aus.
5. Klicke auf Weiter.
6. Auf der Seite Verbindungsdetails geben Sie die folgenden Werte ein:
   • Host: Der Hostname Ihres Workday Data Connect-Endpunkts, zum Beispiel mycompany.myworkday.com.
   • Mieter: Ihr Workday-Mieter.
   • Client-ID: Client-ID des Workday-API-Clients.
   • Privater Schlüssel: Ein RSA-Privatschlüssel im PEM-Format.
   • Prinzipalname: Der Name der ISU, die Sie als Katalog-Prinzipal registriert haben.
   • Hauptrolle: Die Workday-Hauptrolle, die den Lesezugriff auf die gemeinsamen Tabellen begrenzt. Der Standardwert lautet ALL. Um den Zugriff weiter einzuschränken, legen Sie beispielsweise all-reads-role als bestimmte Rolle fest.

SQL

Führen Sie in einem Notebook oder im Databricks SQL-Abfrage-Editor den folgenden Befehl aus:

CREATE CONNECTION <connection-name> TYPE WORKDAY_DATA_CONNECT
OPTIONS (
  host '<workday-host>',
  tenant '<workday-tenant>',
  client_id '<client-id>',
  private_key secret('<secret-scope>','<secret-key>'),
  principal_name '<isu-name>',
  principal_role '<principal-role>'
);

• host: Der Hostname Ihres Workday Data Connect-Endpunkts, zum Beispiel mycompany.myworkday.com.
• tenant: Ihr Workday-Mieter.
• client_id: Client-ID des Workday API-Clients.
• private_key: Ein RSA-Privatschlüssel im PEM-Format. Databricks empfiehlt, es als Geheimnis zu speichern.
• principal_name: Name der ISU, die Sie als der Katalog-Prinzipal registriert haben.
• principal_role: Die Workday-Hauptrolle, die den Lesezugriff auf die gemeinsamen Tabellen begrenzt. Der Standardwert lautet ALL. Um den Zugriff weiter einzuschränken, legen Sie beispielsweise all-reads-role als bestimmte Rolle fest.

Databricks empfiehlt, für sensible Werte wie den privaten Schlüssel Secrets statt Klartext-Strings zu verwenden. Informationen zum Erstellen von Geheimnissen finden Sie unter Geheimnisverwaltung.

Schritt 2: Erstellen Sie einen ausländischen Katalog

Ein fremder Katalog spiegelt den Workday Data Connect Katalog in Unity Catalog wider, sodass Sie den Unity Catalog nutzen können, um den Zugriff auf die Workday-Tabellen zu verwalten und sie aus Azure Databricks Compute abzufragen.

Um einen fremden Katalog zu erstellen, können Sie den Catalog Explorer oder den CREATE FOREIGN CATALOG SQL-Befehl in einem Notizbuch oder den Databricks SQL-Abfrageeditor verwenden.

Katalog-Explorer

1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Katalog.
2. Klicken Sie oben im Katalogbereich auf das , und wählen Sie im Menü " Katalog erstellen " aus.
3. Im Dialog "Einen neuen Katalog erstellen " geben Sie einen Namen für den Katalog ein.
4. Wählen Sie einen Typ von Fremd aus.
5. Wählen Sie die Verbindung aus, die Sie in Schritt 1 erstellt haben.
6. Für den Speicherort geben Sie den Cloud-Speicherpfad ein, in dem Azure Databricks Metadaten für die föderierten Tabellen speichert.
7. Klicke auf Erstellen.

SQL

Führen Sie in einem Notebook oder im Databricks SQL-Abfrage-Editor den folgenden Befehl aus. Elemente in Klammern sind optional.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name>
USING CONNECTION <connection-name>
OPTIONS (storage_root '<storage-root-path>');

• storage_root:Erforderlich. Ein externer Standortpfad, auf den Azure Databricks schreiben kann. Azure Databricks nutzt diesen Standort, um Metadaten für die föderierten Tabellen zu speichern. Workday-Tabellendaten werden nicht an diesen Ort kopiert.

Der ausländische Katalog spiegelt immer den gesamten Workday Data Connect-Katalog wider, auf den Ihre Zugangsdaten Zugriff gewähren. Um das Sichtbare einzugrenzen, setze ein principal_role Modell, das nur Lesezugriff auf die gewünschten Tabellen gewährt, wenn du die Verbindung erstellst.

Schritt 3: Erteile Berechtigungen und frage den Katalog ab

Nachdem Sie den fremden Katalog erstellt haben, benötigen Benutzer die entsprechenden Unity-Katalog-Berechtigungen, um auf die föderierten Tabellen zuzugreifen:

• Alle Benutzer benötigen USE CATALOG- und USE SCHEMA-Berechtigungen für den Katalog bzw. das Schema.
• Um aus einer föderierten Tabelle zu lesen, benötigen Benutzer die Berechtigung SELECT .

Weitere Informationen zu Unity-Katalogberechtigungen und deren Gewährung finden Sie unter Verwalten von Berechtigungen im Unity-Katalog.

Führen Sie zum Beispiel folgende Befehle in einem Notizbuch oder im Databricks SQL-Abfrageeditor aus:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<principal>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<principal>`;
GRANT SELECT ON TABLE <catalog-name>.<schema-name>.<table-name> TO `<principal>`;

Benutzer mit diesen Berechtigungen können dann die föderierten Tabellen mithilfe der dreistufigen Namensraumnotation abfragen:

SELECT * FROM <catalog-name>.<schema-name>.<table-name>;

Namensraumzuordnung

Unity Catalog spiegelt die Workday Data Connect Objekthierarchie wie folgt wider:

Workday Data Connect Objekt	Unity Catalog-Objekt
Katalog	Fremdkatalog
Namespace	Schema
Tabelle	Externe Tabelle

Workday Data Connect stellt flache, dreistufige Namen zur Verfügung, die eins zu eins der Unity Catalog-Hierarchie catalog.schema.table zugeordnet werden. Es gibt kein zusätzliches Namensraum-Nesting.

Limitations

Die Workday Data Connect Katalogfederation hat folgende Einschränkungen:

• Der Connector kann nur auf Iceberg-Tabellen zugreifen, die über den Workday Data Connect Katalog geteilt werden.
• Schema- und Tabellennamen folgen den standardmäßigen Namensbeschränkungen des Unity-Katalogs. Azure Databricks unterstützt keine Namen, die einen Punkt (.), Leerraum ( ) oder Vorwärtsschrägstrich (/) enthalten. Siehe Benennungsanforderungen für sicherungsfähige Objekte.