Herstellen einer Verbindung mit Qlik Replicate

Wichtig

Dieses Feature befindet sich in der Public Preview.

Mit Qlik Replicate können Sie Daten aus mehreren Datenquellen (Oracle, Microsoft SQL Server, SAP, Mainframe und mehr) in den Delta Lake pullen. Mithilfe der automatisierten Change Data Capture (CDC) von Replicate vermeiden Sie das mühsame manuelle Extrahieren von Daten, das Übertragen mithilfe eines API-Skripts, Aufteilen, Staging und Importieren. Qlik Compose automatisiert CDC in den Delta Lake.

Hinweis

Weitere Informationen zu Qlik Sense, einer Lösung, mit der Sie Daten in Delta Lake analysieren können, finden Sie unter Herstellen einer Verbindung mit Qlik Sense.

Eine allgemeine Demonstration von Qlik Replicate finden Sie im folgenden YouTube-Video (14 Minuten).

Eine Demonstration von Datenpipelines mit Qlik Replicate finden Sie im folgenden YouTube-Video (6 Minuten).

Hier finden Sie die Schritte für die Verwendung von Qlik Replicate mit Azure Databricks.

Schritt 1: Generieren eines persönlichen Databricks-Zugriffstokens

Qlik Replicate authentifiziert sich bei Azure Databricks mithilfe eines persönlichen Azure Databricks-Zugriffstokens.

Hinweis

Als bewährte Methode für die Sicherheit empfiehlt Databricks, dass Sie bei der Authentifizierung mit automatisierten Tools, Systemen, Skripten und Anwendungen persönliche Zugriffstoken verwenden, die zu Dienstprinzipalen und nicht zu Benutzern des Arbeitsbereichs gehören. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter Verwalten von Token für einen Dienstprinzipal.

Schritt 2: Einrichten eines Clusters zur Unterstützung von Integrationsanforderungen

Qlik Replicate schreibt Daten in einen Azure Data Lake Storage-Pfad, und der Azure Databricks-Integrationscluster liest Daten von diesem Speicherort. Daher erfordert der Integrationscluster sicheren Zugriff auf den Azure Data Lake Storage-Pfad.

Sicherer Zugriff auf einen Azure Data Lake Storage-Pfad

Nutzen Sie für einen sicheren Zugriff auf Daten in Azure Data Lake Storage (ADLS) einen Zugriffsschlüssel für das Azure-Speicherkonto (empfohlen) oder einen Microsoft Entra ID-Dienstprinzipal.

Verwenden eines Zugriffsschlüssels für das Azure-Speicherkonto

Sie können einen Zugriffsschlüssel für das Speicherkonto auf dem Integrationscluster als Teil der Spark-Konfiguration konfigurieren. Stellen Sie sicher, dass das Speicherkonto Zugriff auf den ADLS-Container und das Dateisystem besitzt, die für das Staging von Daten verwendet werden, sowie auf den ADLS-Container und das Dateisystem, in denen Sie die Delta Lake-Tabellen schreiben möchten. Führen Sie die unter Herstellen einer Verbindung zu Azure Data Lake Storage Gen2 und Blob Storage beschriebenen Schritte aus, um den Integrationscluster für die Verwendung des Schlüssels zu konfigurieren.

Verwenden eines Microsoft Entra ID-Dienstprinzipals

Im Rahmen der Spark-Konfiguration können Sie einen Dienstprinzipal auf dem Azure Databricks-Integrationscluster konfigurieren. Stellen Sie sicher, dass der Dienstprinzipal Zugriff auf den ADLS-Container besitzt, der für das Staging von Daten verwendet wird, sowie auf den ADLS-Container, in den Sie die Delta-Tabellen schreiben möchten. Führen Sie die unter Zugreifen auf Azure Data Lake Storage Gen2 mit einem Dienstprinzipal beschriebenen Schritte aus, um den Integrationscluster für die Verwendung des Dienstprinzipals zu konfigurieren.

Angeben der Clusterkonfiguration

1. Legen Sie den Clustermodus auf Standard fest.

2. Legen Sie die Databricks Runtime-Version auf eine Databricks Runtime-Version fest.

3. Aktivieren Sie optimierte Schreibvorgänge und automatische Verdichtung, indem Sie Ihrer Spark-Konfiguration die folgenden Eigenschaften hinzufügen:

   spark.databricks.delta.optimizeWrite.enabled true
   spark.databricks.delta.autoCompact.enabled true
   

4. Konfigurieren Sie Ihren Cluster je nach Ihren Integrations- und Skalierungsanforderungen.

Ausführliche Informationen zur Clusterkonfiguration finden Sie unter Computekonfigurationsreferenz.

Weitere Informationen zum Abrufen der JDBC-URL und des HTTP-Pfads finden Sie unter Abrufen von Verbindungsdetails für eine Azure Databricks-Computeressource.

Schritt 3: Abrufen der JDBC- und ODBC-Verbindungsdetails zum Herstellen einer Verbindung mit einem Cluster

Zum Verbinden eines Azure Databricks-Clusters mit Qlik Replicate benötigen Sie die folgenden JDBC/ODBC-Verbindungseigenschaften:

• JDBC-URL
• HTTP-Pfad

Schritt 4: Konfigurieren von Qlik Replicate mit Azure Databricks

Wechseln Sie zur Qlik-Anmeldeseite, und befolgen Sie die Anweisungen.

Zusätzliche Ressourcen

Unterstützung