Conexión a Syncsort
Importante
Esta característica está en versión preliminar pública.
Syncsort ayuda a dividir los silos de datos mediante la integración de datos heredados, de sistema central y de IBM con Azure Databricks. Puede extraer fácilmente datos de estos orígenes en Delta Lake.
Estos son los pasos para usar Syncsort con Azure Databricks.
Paso 1: Generación de un token de acceso personal de Databricks
Syncsort se autentica con Azure Databricks mediante un token de acceso personal de Azure Databricks.
Nota:
Como procedimiento recomendado de seguridad, cuando se autentique con herramientas, sistemas, scripts y aplicaciones automatizados, Databricks recomienda usar los tokens de acceso personal pertenecientes a las entidades de servicio en lugar de a los usuarios del área de trabajo. Para crear tokens para entidades de servicio, consulte Administración de tokens de acceso para una entidad de servicio.
Paso 2: Configuración de un clúster para admitir las necesidades de integración
Syncsort escribirá datos en una ruta de acceso de Azure Data Lake Storage y el clúster de integración de Azure Databricks leerá los datos de esa ubicación. Por lo tanto, el clúster de integración requiere acceso seguro a la ruta de acceso de Azure Data Lake Storage.
Acceso seguro a una ruta de acceso de Azure Data Lake Storage
Para proteger el acceso a los datos en Azure Data Lake Storage (ADLS), use una clave de acceso de una cuenta de almacenamiento de Azure (recomendado) o una entidad de servicio de Microsoft Entra ID.
Uso de una clave de acceso de una cuenta de almacenamiento de Azure
Puede configurar una clave de acceso de una cuenta de almacenamiento en el clúster de integración como elemento de configuración de Spark. Asegúrese de que la cuenta de almacenamiento tiene acceso al contenedor de ADLS y al sistema de archivos usados para el almacenamiento provisional de los datos y al contenedor de ADLS y al sistema de archivos donde desea escribir las tablas de Delta Lake. Para configurar el clúster de integración de forma que este pueda usar la clave, siga los pasos que se describen en Conexión a Azure Data Lake Storage Gen2 y Blob Storage.
Uso de una entidad de servicio de Microsoft Entra ID
Puede configurar una entidad de servicio en el clúster de integración de Azure Databricks como elemento de la configuración de Spark. Asegúrese de que la entidad de servicio tiene acceso al contenedor de ADLS que se usa para los datos de almacenamiento provisional y al contenedor de ADLS donde desea escribir las tablas Delta. Para configurar el clúster de integración de forma que este pueda usar la entidad de servicio, siga los pasos que se describen en Acceso a ADLS Gen2 mediante la entidad de servicio.
Especificación de la configuración de clúster
Establezca Cluster Mode (Modo de clúster) en Standard (Estándar).
Establezca Databricks Runtime Version (Versión de Databricks Runtime) en una versión de Databricks Runtime.
Habilite las escrituras optimizadas y la compactación automática, para ello, agregue las siguientes propiedades a la configuración de Spark:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueConfigure el clúster en función de sus necesidades de escalado e integración.
Para obtener más información sobre la configuración del clúster, consulte referencia de configuración de proceso.
Vea Obtención de los detalles de conexión de un recurso de proceso de Azure Databricks a fin de conocer los pasos para obtener la dirección URL de JDBC y la ruta de acceso HTTP.
Paso 3: Obtener los detalles de conexión de JDBC y ODBC para conectarse a un clúster
Para conectar un clúster Azure Databricks a Syncsort, necesita las siguientes propiedades de conexión JDBC/ODBC:
- URL de JDBC
- HTTP Path
Paso 4: Configurar Syncsort con Azure Databricks
Vaya a la página de inicio de sesión Databricks and Connect for Big Data (Databricks y conexión de macrodatos) y siga las instrucciones.