Conexión a Fivetran

  • Artículo

La integración de datos automatizada de Fivetran se adapta a los cambios de los esquemas y las API, lo que garantiza un acceso confiable a los datos y un análisis simplificado con esquemas listos para consultar.

Con Fivetran, puede integrar los almacenes de Databricks SQL (anteriormente conocidos como puntos de conexión de Databricks SQL) y los clústeres de Azure Databricks. La integración de Fivetran con Azure Databricks ayuda a centralizar los datos de orígenes de datos dispares en Delta Lake.

Conexión a Fivetran con Partner Connect

En esta sección se describe cómo conectarse a Fivetran mediante Partner Connect. Cada usuario crea su propia conexión.

Nota:

La experiencia de conexión por usuario está en versión preliminar pública. Puede deshabilitar la capacidad de crear conexiones por usuario poniéndose en contacto con el equipo de cuenta de Azure Databricks.

Antes de conectarse mediante Partner Connect

Antes de conectarse a Fivetran mediante Partner Connect, asegúrese de que tiene lo siguiente:

  • Rol de usuario administrador del área de trabajo o los permisos siguientes:

  • Para los datos administrados por Unity Catalog, los siguientes privilegios de objeto de metastore para el catálogo en el que desea que Fivetran escriba:

    -USE CATALOG y CREATE SCHEMA en el catálogo.

    • (Opcional) Para especificar una ubicación de destino, CREE UNA TABLA EXTERNA en la ubicación externa y el acceso a los datos del almacenamiento de objetos en la nube.

  • Para los datos administrados por el metastore de Hive heredado, los siguientes privilegios de objeto de metastore para el catálogo en el que desea que Fivetran escriba:

    • USAGE y CREATE en el catálogo.
    • (Opcional) Para especificar una ubicación de destino, acceda a los datos en el almacenamiento de objetos en la nube.

Un administrador del metastore, el propietario de un objeto o el propietario del catálogo o del esquema que contiene el objeto pueden conceder privilegios para objetos del metastore de Unity Catalog. Para obtener más información, consulte Privilegios y objetos protegibles de Unity Catalog.

Un administrador del área de trabajo o el propietario del objeto pueden conceder privilegios para objetos del metastore de Hive heredado. Para obtener más información, consulte Privilegios y objetos protegibles en el metastore de Hive (heredado).

Un administrador del área de trabajo debe configurar el acceso a los datos del almacenamiento de objetos en la nube con permisos suficientes en la cuenta de almacenamiento de objetos en la nube. Para obtener más información, consulte Habilitación de la configuración de acceso a datos.

Pasos de Partner Connect

Para conectar el área de trabajo de Azure Databricks a Fivetran mediante Partner Connect, haga lo siguiente:

  1. En la barra lateral, haga clic en Partner Connect.

  2. Haga clic en el icono de Fivetran.

    Los pasos de esta sección crean una cuenta de prueba de Fivetran de nivel de usuario. Para iniciar sesión en una cuenta de prueba de Fivetran de nivel de área de trabajo existente, haga clic en Usar conexión existente, complete las instrucciones en pantalla para iniciar sesión en Fivetran y omita el resto de los pasos de este artículo.

  3. Seleccione un almacén de SQL. Si el almacén de SQL está detenido, haga clic en Iniciar.

  4. Si el área de trabajo está habilitada para Unity Catalog, seleccione un catálogo en el que Fivetran escribirá y, a continuación, haga clic en Siguiente.

    Partner Connect genera un token de acceso personal de Azure Databricks asociado al usuario.

  5. Haga clic en Conexión a Fivetran.

    Se abre una nueva pestaña en el explorador web que muestra el sitio web de Fivetran.

  6. Complete las instrucciones en pantalla en el sitio web de Fivetran para crear su cuenta de asociado de prueba.

Conexión manual a Fivetran

Para obtener información general sobre el procedimiento de conexión manual, vea este vídeo de YouTube (2 minutos).

Nota:

Para conectarse a un almacén de SQL con Fivetran más rápido, use Partner Connect.

Antes de conectarse manualmente

Antes de conectarse a Fivetran manualmente, debe tener lo siguiente:

  • Un clúster o almacén SQL en el área de trabajo de Azure Databricks.

  • Los detalles de la conexión del clúster o almacén SQL, concretamente los valores Nombre de host del servidor, Puerto y Ruta de acceso HTTP.

  • Un token de acceso personal de Azure Databricks o un token de Microsoft Entra ID (anteriormente, Azure Active Directory). Para crear un token de acceso personal, haga lo siguiente:

    1. En el área de trabajo de Azure Databricks, haga clic en el nombre de usuario en la barra superior y seleccione Configuración de usuario en la lista desplegable.
    2. Haga clic en Desarrollador.
    3. Junto a Tokens de acceso, haga clic en Administrar.
    4. Haga clic en Generate new token (Generar nuevo token).
    5. (Opcional) Escriba un comentario que le ayude a identificar este token en el futuro y cambie la duración predeterminada del token de 90 días. Para crear un token sin duración (no recomendado), deje el cuadro Duración (días) vacío (en blanco).
    6. Haga clic en Generar.
    7. Copie el token mostrado en una ubicación segura y, a continuación, haga clic en Listo.

    Nota:

    Asegúrese de guardar el token copiado en una ubicación segura. No comparta el token copiado con otros usuarios. Si pierde el token copiado, no podrá volver a generar ese mismo token. Debe repetir el procedimiento para crear un nuevo token. Si pierde el token copiado o cree que el token se ha visto comprometido, Databricks recomienda eliminar inmediatamente ese token del área de trabajo haciendo clic en el icono de papelera (Revocar) situado junto al token en la página Tokens de acceso.

    Si no puede crear o usar tokens en el área de trabajo, puede deberse a que el administrador del área de trabajo tiene tokens deshabilitados o no le ha concedido permiso para crear o usar tokens. Consulte el administrador del área de trabajo o lo siguiente:

    Nota:

    Como procedimiento recomendado de seguridad, cuando se autentique con herramientas, sistemas, scripts y aplicaciones automatizados, Databricks recomienda usar los tokens de acceso personal pertenecientes a las entidades de servicio en lugar de a los usuarios del área de trabajo. Para crear tokens para entidades de servicio, consulte Administración de tokens para una entidad de servicio.

Sugerencia

Si el icono de Fivetran en Partner Connect en el área de trabajo tiene una marca de verificación dentro, puede obtener los detalles de conexión del almacén de SQL conectado haciendo clic en el icono y expandiendo Detalles de la conexión. El token de acceso personal está oculto; debe crear un token de acceso personal de reemplazo y especificarlo cuando Fivetran se lo solicite.

Pasos manuales

Para conectarse a Fivetran manualmente, haga lo siguiente:

  1. Inicie sesión en su cuenta de Fivetran o cree una nueva cuenta de Fivetran en https://fivetran.com/login.

    Importante

    Si inicia sesión en la cuenta de Fivetran de la organización, puede aparecer una página Choose Destination (Elegir destino) en la que se enumeran una o varias entradas de destino existentes con el logotipo de Databricks. Estas entradas pueden contener detalles de conexión para recursos de proceso de áreas de trabajo distintas de la suya. Si todavía quiere reutilizar una de estas conexiones y confía en el recurso de proceso y tiene acceso a él, elija ese destino y, después, vaya directamente a Pasos siguientes. De lo contrario, elija cualquier destino disponible para pasar esta página.

  2. En la página Panel de Fivetran, haga clic en la pestaña Destinos.

  3. Haga clic en Add Destination (Agregar destino).

  4. Escriba un nombre de destino y haga clic en Add (Agregar).

  5. En la página Fivetran is modern ELT (Fivetran es ELT moderno), haga clic en Set up a connector (Configurar un conector).

  6. Haga clic en un origen de datos y, luego, haga clic en Next (Siguiente).

  7. Siga las instrucciones en pantalla de la guía de configuración de Fivetran para terminar de configurar el conector.

  8. Haga clic en Guardar y probar.

  9. Cuando la prueba termine correctamente, haga clic en Continue (Continuar).

  10. En la página Select your data’s destination (Seleccionar el destino de los datos), haga clic en Databricks on Azure (Databricks en Azure).

  11. Haga clic en Continue Setup (Continuar configuración).

  12. Siga las instrucciones en pantalla de Fivetran para especificar los detalles de conexión del recurso de proceso de Azure Databricks existente, específicamente los valores de los campos Server Hostname (Nombre de host del servidor) y HTTP Path (Ruta de acceso HTTP), y el token que generó anteriormente.

  13. Haga clic en Guardar y probar.

  14. Cuando la prueba termine correctamente, haga clic en Continue (Continuar).

  15. Continúe con los pasos siguientes.

Recursos adicionales

Explore uno o varios de los siguientes recursos en el sitio web de Fivetran: