Conexión a StreamSets
Importante
Esta característica está en versión preliminar pública.
StreamSets le ayuda a administrar y supervisar el flujo de datos a lo largo de su ciclo de vida. La integración nativa de StreamSets con Azure Databricks y Delta Lake permite extraer datos de varios orígenes y administrar las canalizaciones fácilmente.
Para ver una demostración general de StreamSets, vea el siguiente vídeo de YouTube (10 minutos).
Estos son los pasos para usar StreamSets con Azure Databricks.
Paso 1: Generación de un token de acceso personal de Databricks
StreamSets se autentica con Azure Databricks mediante un token de acceso personal de Azure Databricks.
Nota:
Como procedimiento recomendado de seguridad, cuando se autentique con herramientas, sistemas, scripts y aplicaciones automatizados, Databricks recomienda usar los tokens de acceso personal pertenecientes a las entidades de servicio en lugar de a los usuarios del área de trabajo. Para crear tokens para entidades de servicio, consulte Administración de tokens de acceso para una entidad de servicio.
Paso 2: Configuración de un clúster para admitir las necesidades de integración
StreamSets escribirá datos en una ruta de acceso de Azure Data Lake Storage y el clúster de integración de Azure Databricks leerá los datos de esa ubicación. Por lo tanto, el clúster de integración requiere acceso seguro a la ruta de acceso de Azure Data Lake Storage.
Acceso seguro a una ruta de acceso de Azure Data Lake Storage
Para proteger el acceso a los datos en Azure Data Lake Storage (ADLS), use una clave de acceso de una cuenta de almacenamiento de Azure (recomendado) o una entidad de servicio de Microsoft Entra ID.
Uso de una clave de acceso de una cuenta de almacenamiento de Azure
Puede configurar una clave de acceso de una cuenta de almacenamiento en el clúster de integración como elemento de configuración de Spark. Asegúrese de que la cuenta de almacenamiento tiene acceso al contenedor de ADLS y al sistema de archivos usados para el almacenamiento provisional de los datos y al contenedor de ADLS y al sistema de archivos donde desea escribir las tablas de Delta Lake. Para configurar el clúster de integración de forma que este pueda usar la clave, siga los pasos que se describen en Conexión a Azure Data Lake Storage Gen2 y Blob Storage.
Uso de una entidad de servicio de Microsoft Entra ID
Puede configurar una entidad de servicio en el clúster de integración de Azure Databricks como elemento de la configuración de Spark. Asegúrese de que la entidad de servicio tiene acceso al contenedor de ADLS que se usa para los datos de almacenamiento provisional y al contenedor de ADLS donde desea escribir las tablas Delta. Para configurar el clúster de integración de forma que este pueda usar la entidad de servicio, siga los pasos que se describen en Acceso a ADLS Gen2 mediante la entidad de servicio.
Especificación de la configuración de clúster
Establezca Modo de clúster en Estándar.
Establezca Versión de Databricks Runtime en Runtime 6.3 o posterior.
Habilite las escrituras optimizadas y la compactación automática, para ello, agregue las siguientes propiedades a la configuración de Spark:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueConfigure el clúster en función de sus necesidades de escalado e integración.
Para obtener más información sobre la configuración del clúster, consulte referencia de configuración de proceso.
Vea Obtención de los detalles de conexión de un recurso de proceso de Azure Databricks a fin de conocer los pasos para obtener la dirección URL de JDBC y la ruta de acceso HTTP.
Paso 3: Obtener los detalles de conexión de JDBC y ODBC para conectarse a un clúster
Para conectar un clúster de Azure Databricks a StreamSets, necesita las siguientes propiedades de conexión de JDBC/ODBC:
- JDBC URL
- HTTP Path
Paso 4: Obtener StreamSets para Azure Databricks
Regístrese en StreamSets para Databricks, si aún no tiene una cuenta de StreamSets. Puede empezar de forma gratuita y actualizar la versión cuando quiera. Consulte los precios de StreamSets DataOps Platform.
Paso 5: Aprenda a usar StreamSets para cargar datos en Delta Lake
Comience con una canalización de ejemplo o consulte soluciones de StreamSets para aprender a crear una canalización que ingiera datos en Delta Lake.