Conexión a Qlik Replicate

  • Artículo

Importante

Esta característica está en versión preliminar pública.

Qlik Replicate le ayuda a extraer datos de varios orígenes de datos (Oracle, Microsoft SQL Server, SAP, sistema central, etc.) a Delta Lake. La captura de datos modificados (CDC) automatizada de Replicate ayuda a evitar el trabajo pesado de extraer manualmente los datos, transferirlos mediante un script de API, dividirlos, almacenarlos provisionalmente e importarlos. Qlik Compose automatiza la CDC a Delta Lake.

Nota:

Para obtener información sobre Qlik Sense, una solución que le ayuda a analizar datos en Delta Lake, consulte Conexión a Qlik Sense.

Para ver una demostración general de Qlik Replicate, vea el siguiente vídeo de YouTube (14 minutos).

Para ver una demostración de las canalizaciones de datos con Qlik Replicate, consulte el siguiente vídeo de YouTube (6 minutos).

Estos son los pasos para usar Qlik Replicate con Azure Databricks.

Paso 1: Generación de un token de acceso personal de Databricks

Qlik Replicate se autentica con Azure Databricks mediante un token de acceso personal de Azure Databricks.

Nota:

Como procedimiento recomendado de seguridad, cuando se autentique con herramientas, sistemas, scripts y aplicaciones automatizados, Databricks recomienda usar los tokens de acceso personal pertenecientes a las entidades de servicio en lugar de a los usuarios del área de trabajo. Para crear tokens para entidades de servicio, consulte Administración de tokens de acceso para una entidad de servicio.

Paso 2: Configuración de un clúster para admitir las necesidades de integración

Qlik Replicate escribirá datos en una ruta de acceso de Azure Data Lake Storage y el clúster de integración de Azure Databricks leerá los datos de esa ubicación. Por lo tanto, el clúster de integración requiere acceso seguro a la ruta de acceso de Azure Data Lake Storage.

Acceso seguro a una ruta de acceso de Azure Data Lake Storage

Para proteger el acceso a los datos en Azure Data Lake Storage (ADLS), use una clave de acceso de una cuenta de almacenamiento de Azure (recomendado) o una entidad de servicio de Microsoft Entra ID.

Uso de una clave de acceso de una cuenta de almacenamiento de Azure

Puede configurar una clave de acceso de una cuenta de almacenamiento en el clúster de integración como elemento de configuración de Spark. Asegúrese de que la cuenta de almacenamiento tiene acceso al contenedor de ADLS y al sistema de archivos usados para el almacenamiento provisional de los datos y al contenedor de ADLS y al sistema de archivos donde desea escribir las tablas de Delta Lake. Para configurar el clúster de integración de forma que este pueda usar la clave, siga los pasos que se describen en Conexión a Azure Data Lake Storage Gen2 y Blob Storage.

Uso de una entidad de servicio de Microsoft Entra ID

Puede configurar una entidad de servicio en el clúster de integración de Azure Databricks como elemento de la configuración de Spark. Asegúrese de que la entidad de servicio tiene acceso al contenedor de ADLS que se usa para los datos de almacenamiento provisional y al contenedor de ADLS donde desea escribir las tablas Delta. Para configurar el clúster de integración de forma que este pueda usar la entidad de servicio, siga los pasos que se describen en Acceso a ADLS Gen2 mediante la entidad de servicio.

Especificación de la configuración de clúster

  1. Establezca Cluster Mode (Modo de clúster) en Standard (Estándar).

  2. Establezca Databricks Runtime Version (Versión de Databricks Runtime) en una versión de Databricks Runtime.

  3. Habilite las escrituras optimizadas y la compactación automática, para ello, agregue las siguientes propiedades a la configuración de Spark:

    spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true

  4. Configure el clúster en función de sus necesidades de escalado e integración.

Para obtener más información sobre la configuración del clúster, consulte referencia de configuración de proceso.

Vea Obtención de los detalles de conexión de un recurso de proceso de Azure Databricks a fin de conocer los pasos para obtener la dirección URL de JDBC y la ruta de acceso HTTP.

Paso 3: Obtener los detalles de conexión de JDBC y ODBC para conectarse a un clúster

Para conectar un clúster de Azure Databricks a Qlik Replicate, necesita las siguientes propiedades de conexión JDBC/ODBC:

  • JDBC URL
  • HTTP Path

Paso 4: Configurar Qlik Replicate con Azure Databricks

Vaya a la página de inicio de sesión de Qlik y siga las instrucciones.

Recursos adicionales

Soporte técnico