Delen via

Verbinding maken naar Qlik Repliceren

  • Artikel

Belangrijk

Deze functie is beschikbaar als openbare preview.

Qlik Replicate helpt u bij het ophalen van gegevens uit meerdere gegevensbronnen (Oracle, Microsoft SQL Server, SAP, mainframe en meer) in Delta Lake. Met de geautomatiseerde wijzigingsgegevensopname (CDC) van repliceren kunt u het zware werk voorkomen van het handmatig extraheren van gegevens, het overdragen met behulp van een API-script, het hakken, faseren en importeren. Qlik Compose automatiseert het CDC in Delta Lake.

Notitie

Zie Verbinding maken naar Qlik Sense voor informatie over Qlik Sense, een oplossing waarmee u gegevens in Delta Lake kunt analyseren.

Bekijk de volgende YouTube-video (14 minuten) voor een algemene demonstratie van Qlik Replicate Repliceren.

Zie de volgende YouTube-video (6 minuten) voor een demonstratie van gegevenspijplijnen met Qlik Repliceren.

Hier volgen de stappen voor het gebruik van Qlik Replicate met Azure Databricks.

Stap 1: Een persoonlijk databricks-toegangstoken genereren

Qlik Replicate verifieert met Azure Databricks met behulp van een persoonlijk toegangstoken van Azure Databricks.

Notitie

Als best practice voor beveiliging, wanneer u zich verifieert met geautomatiseerde hulpprogramma's, systemen, scripts en apps, raadt Databricks u aan om persoonlijke toegangstokens te gebruiken die behoren tot service-principals in plaats van werkruimtegebruikers. Zie Tokens voor een service-principal beheren om tokens voor service-principals te maken.

Stap 2: Een cluster instellen ter ondersteuning van integratiebehoeften

Qlik Replicate schrijft gegevens naar een Azure Data Lake Storage-pad en het Azure Databricks-integratiecluster leest gegevens van die locatie. Daarom vereist het integratiecluster beveiligde toegang tot het Azure Data Lake Storage-pad.

Beveiligde toegang tot een Azure Data Lake Storage-pad

Als u de toegang tot gegevens in Azure Data Lake Storage (ADLS) wilt beveiligen, kunt u een toegangssleutel voor een Azure-opslagaccount (aanbevolen) of een Service-principal voor Microsoft Entra ID gebruiken.

Een toegangssleutel voor een Azure-opslagaccount gebruiken

U kunt een toegangssleutel voor een opslagaccount configureren in het integratiecluster als onderdeel van de Spark-configuratie. Zorg ervoor dat het opslagaccount toegang heeft tot de ADLS-container en het bestandssysteem dat wordt gebruikt voor faseringsgegevens en de ADLS-container en het bestandssysteem waar u de Delta Lake-tabellen wilt schrijven. Als u het integratiecluster wilt configureren voor het gebruik van de sleutel, volgt u de stappen in Verbinding maken naar Azure Data Lake Storage Gen2 en Blob Storage.

Een Microsoft Entra ID-service-principal gebruiken

U kunt een service-principal configureren in het Azure Databricks-integratiecluster als onderdeel van de Spark-configuratie. Zorg ervoor dat de service-principal toegang heeft tot de ADLS-container die wordt gebruikt voor faseringsgegevens en de ADLS-container waar u de Delta-tabellen wilt schrijven. Als u het integratiecluster wilt configureren voor het gebruik van de service-principal, volgt u de stappen in Access ADLS Gen2 met een service-principal.

De clusterconfiguratie opgeven

  1. Stel de clustermodus in op Standard.

  2. Stel databricks Runtime-versie in op een Databricks Runtime-versie.

  3. Geoptimaliseerde schrijfbewerkingen en automatische compressie inschakelen door de volgende eigenschappen toe te voegen aan uw Spark-configuratie:

    spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true

  4. Configureer uw cluster, afhankelijk van uw integratie- en schaalbehoeften.

Zie de referentie voor compute-configuratie voor meer informatie over de clusterconfiguratie.

Zie Verbindingsgegevens ophalen voor een Azure Databricks-rekenresource voor de stappen voor het verkrijgen van de JDBC-URL en het HTTP-pad.

Stap 3: JDBC- en ODBC-verbindingsgegevens verkrijgen om verbinding te maken met een cluster

Als u een Azure Databricks-cluster wilt verbinden met Qlik Replicate, hebt u de volgende eigenschappen van de JDBC-/ODBC-verbinding nodig:

  • JDBC-URL
  • HTTP-pad

Stap 4: Qlik-replicatie configureren met Azure Databricks

Ga naar de aanmeldingspagina van Qlik en volg de instructies.

Aanvullende bronnen

Ondersteuning