Herstellen einer Verbindung mit Infoworks

Wichtig

Dieses Feature befindet sich in der Public Preview.

Infoworks DataFoundry ist ein automatisiertes System für Vorgänge an und die Orchestrierung von Unternehmensdaten, das nativ in Azure Databricks ausgeführt wird und die volle Leistungsfähigkeit von Azure Databricks nutzt, um eine einfache Lösung für das Onboarding von Daten bereitzustellen – ein wichtiger erster Schritt bei der Operationalisierung Ihres Data Lake. DataFoundry automatisiert nicht nur die Datenerfassung, sondern auch die wichtigsten Funktionen, die mit der Erfassung einhergehen müssen, um eine Grundlage für Analysen zu schaffen. Das Onboarding von Daten mit DataFoundry automatisiert:

• Datenerfassung: aus allen Unternehmensdatenquellen und externen Datenquellen
• Datensynchronisierung: CDC zum Synchronisieren von Daten mit der Quelle
• Datengovernance: Katalogisierung, Datenherkunft, Metadatenverwaltung, Überprüfung und Verlauf

Hier finden Sie die Schritte für die Verwendung von Infoworks mit Azure Databricks.

Schritt 1: Generieren eines persönlichen Databricks-Zugriffstokens

Infoworks authentifiziert sich bei Azure Databricks mithilfe eines persönlichen Azure Databricks-Zugriffstokens.

Hinweis

Als bewährte Methode für die Sicherheit empfiehlt Databricks, dass Sie bei der Authentifizierung mit automatisierten Tools, Systemen, Skripten und Anwendungen persönliche Zugriffstoken verwenden, die zu Dienstprinzipalen und nicht zu Benutzern des Arbeitsbereichs gehören. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter Verwalten von Token für einen Dienstprinzipal.

Schritt 2: Einrichten eines Clusters zur Unterstützung von Integrationsanforderungen

Infoworks schreibt Daten in einen Azure Data Lake Storage-Pfad, und der Azure Databricks-Integrationscluster liest Daten von diesem Speicherort. Daher erfordert der Integrationscluster sicheren Zugriff auf den Azure Data Lake Storage-Pfad.

Sicherer Zugriff auf einen Azure Data Lake Storage-Pfad

Nutzen Sie für einen sicheren Zugriff auf Daten in Azure Data Lake Storage (ADLS) einen Zugriffsschlüssel für das Azure-Speicherkonto (empfohlen) oder einen Microsoft Entra ID-Dienstprinzipal.

Verwenden eines Zugriffsschlüssels für das Azure-Speicherkonto

Sie können einen Zugriffsschlüssel für das Speicherkonto auf dem Integrationscluster als Teil der Spark-Konfiguration konfigurieren. Stellen Sie sicher, dass das Speicherkonto Zugriff auf den ADLS-Container und das Dateisystem besitzt, die für das Staging von Daten verwendet werden, sowie auf den ADLS-Container und das Dateisystem, in denen Sie die Delta Lake-Tabellen schreiben möchten. Führen Sie die unter Herstellen einer Verbindung zu Azure Data Lake Storage Gen2 und Blob Storage beschriebenen Schritte aus, um den Integrationscluster für die Verwendung des Schlüssels zu konfigurieren.

Verwenden eines Microsoft Entra ID-Dienstprinzipals

Im Rahmen der Spark-Konfiguration können Sie einen Dienstprinzipal auf dem Azure Databricks-Integrationscluster konfigurieren. Stellen Sie sicher, dass der Dienstprinzipal Zugriff auf den ADLS-Container besitzt, der für das Staging von Daten verwendet wird, sowie auf den ADLS-Container, in den Sie die Delta-Tabellen schreiben möchten. Führen Sie die unter Zugreifen auf Azure Data Lake Storage Gen2 mit einem Dienstprinzipal beschriebenen Schritte aus, um den Integrationscluster für die Verwendung des Dienstprinzipals zu konfigurieren.

Angeben der Clusterkonfiguration

1. Legen Sie den Clustermodus auf Standard fest.

2. Legen Sie die Databricks Runtime-Version auf eine Databricks Runtime-Version fest.

3. Aktivieren Sie optimierte Schreibvorgänge und automatische Verdichtung, indem Sie Ihrer Spark-Konfiguration die folgenden Eigenschaften hinzufügen:

   spark.databricks.delta.optimizeWrite.enabled true
   spark.databricks.delta.autoCompact.enabled true
   

4. Konfigurieren Sie Ihren Cluster je nach Ihren Integrations- und Skalierungsanforderungen.

Ausführliche Informationen zur Clusterkonfiguration finden Sie unter Computekonfigurationsreferenz.

Weitere Informationen zum Abrufen der JDBC-URL und des HTTP-Pfads finden Sie unter Abrufen von Verbindungsdetails für eine Azure Databricks-Computeressource.

Schritt 3: Abrufen der JDBC- und ODBC-Verbindungsdetails zum Herstellen einer Verbindung mit einem Cluster

Zum Verbinden eines Azure Databricks-Clusters mit Infoworks benötigen Sie die folgenden JDBC/ODBC-Verbindungseigenschaften:

• JDBC-URL
• HTTP-Pfad

Schritt 4: Abrufen von Infoworks für Azure Databricks

Wechseln Sie zu Infoworks, um mehr zu erfahren und eine Demo zu erhalten.

Zusätzliche Ressourcen

Unterstützung