Conexión a orígenes de ingesta administrados

Obtenga información sobre cómo crear conexiones en el Explorador de catálogos que almacenan los detalles de autenticación de los orígenes de ingesta administrados de Lakeflow Connect. Cualquier usuario con privilegios USE CONNECTION o ALL PRIVILEGES en la conexión puede crear canalizaciones de ingesta administradas a partir de orígenes como Salesforce y SQL Server.

Un usuario administrador debe completar los pasos descritos en este artículo si los usuarios que crearán canalizaciones:

• son usuarios que no son administradores.
• usará las API de Databricks, los SDK de Databricks, la CLI de Databricks o los conjuntos de recursos de Databricks.

Estas interfaces requieren que los usuarios especifiquen una conexión existente al crear una canalización.

Como alternativa, los usuarios administradores pueden crear una conexión y una canalización al mismo tiempo en la interfaz de usuario de ingesta de datos. Consulte Conectores administrados en Lakeflow Connect.

Lakeflow Connect frente a Lakehouse Federation

La Federación de Lakehouse permite consultar orígenes de datos externos sin mover los datos. Cuando tenga que elegir entre Lakeflow Connect y Federación de Lakehouse, elija Federación de Lakehouse para informes ad hoc o trabajo de prueba de concepto en las canalizaciones de ETL. Consulte ¿Qué es la Federación Lakehouse?

Requisitos de privilegios

Los privilegios de usuario necesarios para conectarse a un origen de ingesta administrado dependen de la interfaz que elija:

• Interfaz de usuario de ingesta de datos

  Los usuarios administradores pueden crear una conexión y una canalización al mismo tiempo. Este asistente de ingesta de un extremo a otro solo está disponible en la interfaz de usuario. No todos los conectores de ingesta administrados admiten la creación de canalizaciones basadas en la interfaz de usuario.

• Explorador de catálogos

  El uso del Explorador de catálogos separa la creación de conexiones de la creación de la canalización. Esto permite a los administradores crear conexiones para que los usuarios que no son administradores creen canalizaciones con.

  Si los usuarios que crearán canalizaciones son usuarios que no son administradores o planean usar las API de Databricks, los SDK de Databricks, la CLI de Databricks o Los conjuntos de recursos de Databricks, un administrador debe crear primero la conexión en el Explorador de catálogos. Estas interfaces requieren que los usuarios especifiquen una conexión existente al crear una canalización.

Escenario	Interfaces admitidas	Privilegios de usuario necesarios
Un usuario administrador crea una conexión y una canalización de ingesta al mismo tiempo.	Interfaz de usuario de ingesta de datos	CREATE CONNECTION en la metastore USE CATALOG en el catálogo de destino (Aplicaciones SaaS) USE SCHEMA y CREATE TABLE en un esquema existente o CREATE SCHEMA en el catálogo de destino (Bases de datos) USE SCHEMA, CREATE TABLEy CREATE VOLUME en un esquema existente o CREATE SCHEMA en el catálogo de destino
Un usuario administrador crea una conexión para que los usuarios que no son administradores creen canalizaciones con.	Admin: Explorador de catálogos No es administrador: Interfaz de usuario de ingesta de datos API de Databricks SDK de Databricks CLI de Databricks Conjuntos de recursos de Databricks	Admin: CREATE CONNECTION en la metastore No es administrador: USE CONNECTION o ALL PRIVILEGES en una conexión existente. USE CATALOG en el catálogo de destino (Aplicaciones SaaS) USE SCHEMA y CREATE TABLE en un esquema existente o CREATE SCHEMA en el catálogo de destino (Bases de datos) USE SCHEMA, CREATE TABLEy CREATE VOLUME en un esquema existente o CREATE SCHEMA en el catálogo de destino

Confluencia

Para crear una conexión de Confluence en el Explorador de catálogos, haga lo siguiente:

1. Complete la configuración de origen. Use los detalles de autenticación que obtenga para crear la conexión.

2. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Datos externos > Conexiones > Crear conexión.

3. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , escriba un nombre de conexión único.

4. En el menú desplegable Tipo de conexión , seleccione Confluence.

5. En el menú desplegable Tipo de autenticación , seleccione OAuth.

6. (Opcional) Agregue un comentario.

7. Haga clic en Next.

8. En la página Autenticación , escriba las siguientes credenciales:

   • Dominio: el nombre de dominio de la instancia de Confluence (por ejemplo, your-domain.atlassian.net). No incluya https:// ni www.
   • Secreto de cliente: secreto de cliente de la configuración de origen.
   • Id. de cliente: identificador de cliente de la configuración de origen.

9. Haga clic en Iniciar sesión con Confluence.

   Se le redirigirá a la página de autorización de Atlassian.

10. Escriba las credenciales de Confluence y complete el proceso de autenticación.

    Se le redirigirá al área de trabajo de Azure Databricks.

11. Haga clic en Crear conexión.

Datos sin procesar de Google Analytics

La interfaz de usuario de Databricks solo admite OAuth para conexiones GA4. Puede usar la autenticación básica en su lugar mediante la creación de la conexión mediante las API de Databricks.

Interfaz de usuario de Databricks

1. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Ubicaciones externas > Conexiones > Crear conexión.
2. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.
3. En el menú desplegable Tipo de conexión , seleccione Datos sin procesar de Google Analytics.
4. (Opcional) Agregue un comentario.
5. Haga clic en Next.
6. En la página Autenticación , haga clic en Iniciar sesión en Google e inicie sesión con sus credenciales de cuenta de Google.
7. En el símbolo del sistema para permitir que Lakeflow Connect acceda a su cuenta de Google, haga clic en Permitir.
8. Haga clic en Crear conexión.

API de Databricks

En el ejemplo siguiente se muestra cómo crear una conexión a GA4 mediante la autenticación básica con una clave JSON de cuenta de servicio. Databricks recomienda ejecutar el código siguiente localmente para evitar tener el token de acceso personal y la cuenta de servicio registradas en la runCommand acción de los registros de auditoría. Si se habilitan registros de auditoría detallados, la creación de la conexión en un cuaderno de Azure Databricks con credenciales de texto no cifrado podría hacer que sean visibles para cualquier persona con acceso a la system.access.audit tabla o a los registros de auditoría sin procesar.

curl -X POST \
 "${DATABRICKS_INSTANCE}/api/2.1/unity-catalog/connections" \
 -H "Authorization: Bearer ${TOKEN}" \
 -H "Content-Type: application/json" \
 -d "{
\"name\": \"YOUR_CONNECTION_NAME\",
\"connection_type\": \"GA4_RAW_DATA\",
\"options\": {
\"service_account_json\": $(jq -Rs '.' service_account.json)
},
\"comment\": \"GA4 Raw Data connection for managed ingestion\"
}"

Meta Ads

Prerrequisitos

Configure Meta Ads como origen de datos.

Crear una conexión

1. En el Explorador de catálogos, haga clic en Agregar y seleccione Agregar una conexión.
2. En el menú desplegable Tipo de conexión , seleccione Meta Marketing.
3. Escriba un nombre para la conexión.
4. En el campo App ID, escriba el App ID de su aplicación de Meta.
5. En el campo Secreto de la aplicación, escriba el secreto de la aplicación de tu aplicación de Meta.
6. Haga clic en Autenticar y crear conexión.
7. En la ventana Autenticación meta, inicie sesión con su cuenta meta y conceda los permisos solicitados.
8. Una vez que la autenticación se realiza correctamente, se crea la conexión.

MySQL

Prerrequisitos

Complete la configuración de origen. Usará los detalles de autenticación que obtenga para crear la conexión.

Creación de una conexión

1. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Ubicaciones externas > Conexiones > Crear conexión.

2. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.

3. En el menú desplegable Tipo de conexión , seleccione MySQL.

4. (Opcional) Agregue un comentario.

5. Haga clic en Next.

6. En la página Autenticación , escriba lo siguiente:

   • Host: especifique el nombre de dominio de MySQL.
   • Usuario y contraseña: escriba las credenciales de inicio de sesión de MySQL del usuario de replicación.

7. Haga clic en Crear conexión.

El botón Probar conexión produce un error actualmente para los usuarios creados con caching_sha2_password o sha256_password incluso cuando las credenciales son correctas. Se trata de un problema conocido.

PostgreSQL

Prerrequisitos

Configuración de PostgreSQL para la ingesta en Azure Databricks

Creación de una conexión

1. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Ubicaciones externas > Conexiones > Crear conexión.
2. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.
3. En el menú desplegable Tipo de conexión , seleccione PostgreSQL.
4. (Opcional) Agregue un comentario.
5. Haga clic en Next.
6. En la página Autenticación , en Host, especifique el nombre de dominio de PostgreSQL.
7. En Usuario y contraseña, escriba las credenciales de inicio de sesión de PostgreSQL del usuario de replicación.
8. Haga clic en Crear conexión.

Salesforce

Lakeflow Connect admite la ingesta de datos de la plataforma salesforce. Databricks también ofrece un conector de copia cero en Lakehouse Federation para ejecutar consultas federadas en Salesforce Data 360 (anteriormente Data Cloud).

Prerrequisitos

Salesforce aplica restricciones de uso a las aplicaciones conectadas. Los permisos de la tabla siguiente son necesarios para una autenticación correcta por primera vez. Si no tiene estos permisos, Salesforce bloquea la conexión y requiere que un administrador instale la aplicación conectada de Databricks.

Condición	Permiso necesario
El control de acceso de API está habilitado.	Customize Application y o Modify All Data o Manage Connected Apps
El control de acceso de API no está habilitado.	Approve Uninstalled Connected Apps

Para obtener información general, consulte Preparación del cambio de restricciones de uso de aplicaciones conectadas en la documentación de Salesforce.

Crear una conexión

Para crear una conexión de ingesta de Salesforce en el Explorador de catálogos, haga lo siguiente:

1. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Ubicaciones externas > Conexiones > Crear conexión.

2. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.

3. En el menú desplegable Tipo de conexión , seleccione Salesforce.

4. (Opcional) Agregue un comentario.

5. Haga clic en Next.

6. Si va a realizar la ingesta desde una cuenta de espacio aislado de Salesforce, establezca Es espacio aislado en true.

7. Haga clic en Iniciar sesión con Salesforce.

   Se le redirigirá a Salesforce.

8. Si va a ingerir desde un espacio aislado de Salesforce, haga clic en Usar dominio personalizado, proporcione la dirección URL del espacio aislado y, a continuación, haga clic en Continuar.

   

   

9. Escriba sus credenciales de Salesforce y haga clic en Iniciar sesión. Databricks recomienda iniciar sesión como usuario de Salesforce dedicado a la ingesta de Databricks.

   Importante

   Para fines de seguridad, solo se autentica si hace clic en un vínculo de OAuth 2.0 en la interfaz de usuario de Azure Databricks.

10. Después de volver al Asistente para ingesta, haga clic en Crear conexión.

ServiceNow

Los pasos para crear una conexión de ServiceNow en el Explorador de catálogos dependen del método OAuth que elija. Se admiten los métodos siguientes:

• U2M OAuth (recomendado)
• Credenciales de contraseña del propietario del recurso de OAuth (ROPC)

Databricks recomienda usar OAuth U2M porque es el enfoque más seguro.

U2M OAuth (recomendado)

1. Complete la configuración de origen. Usará los detalles de autenticación que obtenga para crear la conexión.

2. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Ubicaciones externas > Conexiones > Crear conexión.

3. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.

4. En el menú desplegable Tipo de conexión , seleccione ServiceNow.

5. En el menú desplegable Tipo de autenticación, seleccione OAuth (recomendado).

6. (Opcional) Agregue un comentario.

7. Haga clic en Next.

8. En la página Autenticación , escriba lo siguiente:

   • Dirección URL de instancia: dirección URL de la instancia de ServiceNow.
   • Ámbito de OAuth: deje el valor useraccountpredeterminado .
   • Secreto de Cliente: El Secreto de Cliente que obtuvo en la configuración de origen.
   • ID de cliente: el identificador de cliente que obtuvo en la configuración de origen.

9. Haga clic en Iniciar sesión con ServiceNow.

10. Inicie sesión con sus credenciales de ServiceNow.

    Se le redirigirá al área de trabajo de Azure Databricks.

11. Haga clic en Crear conexión.

ROPC

1. Complete la configuración de origen. Use los detalles de autenticación que obtenga para crear la conexión.

2. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Ubicaciones externas > Conexiones > Crear conexión.

3. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.

4. En el menú desplegable Tipo de conexión , seleccione ServiceNow.

5. En el menú desplegable Tipo de autenticación , seleccione Contraseña del propietario del recurso de OAuth.

6. (Opcional) Agregue un comentario.

7. Haga clic en Next.

8. En la página Autenticación , escriba lo siguiente:

   • Usuario: nombre de usuario de ServiceNow.
   • Contraseña: contraseña de ServiceNow.
   • Dirección URL de instancia: dirección URL de la instancia de ServiceNow.
   • ID de cliente: el identificador de cliente que obtuvo en la configuración de origen.
   • Secreto de Cliente: El Secreto de Cliente que obtuvo en la configuración de origen.

9. Haga clic en Crear conexión.

Netsuite

El conector netSuite usa la autenticación basada en tokens.

Prerrequisitos

Complete la configuración de origen. Usará los detalles de autenticación que obtenga para crear la conexión.

Crear una conexión

Para crear una conexión de ingesta de NetSuite en el Explorador de catálogos, haga lo siguiente:

1. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Ubicaciones externas > Conexiones > Crear conexión.

2. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.

3. En el menú desplegable Tipo de conexión , seleccione NetSuite.

4. (Opcional) Agregue un comentario.

5. Haga clic en Next.

6. En la página Autenticación , escriba las siguientes credenciales:

   • Clave de consumidor: la clave de consumidor de OAuth de la integración de NetSuite.
   • Secreto del consumidor: el secreto del consumidor de la integración OAuth de NetSuite.
   • ID del token: el identificador del token de acceso para el usuario de NetSuite.
   • Token Secret: el secreto del token de acceso para el usuario de NetSuite.
   • Role ID: el identificador interno del Rol Integrador de Almacenamiento de Datos en NetSuite.
   • Host: el nombre de host de la dirección URL de JDBC de NetSuite.
   • Puerto: número de puerto de la dirección URL de JDBC de NetSuite.
   • ID de cuenta: la ID de cuenta de la dirección URL de JDBC de NetSuite.

7. Haga clic en Probar conexión para comprobar que puede conectarse a Netsuite.

8. Haga clic en Crear conexión.

SharePoint (en inglés)

Se admiten los siguientes métodos de autenticación:

• OAuth M2M (versión preliminar pública)
• OAuth U2M
• OAuth con actualización manual del token

En la mayoría de los escenarios, Databricks recomienda OAuth de máquina a máquina (M2M). M2M limita los permisos del conector a un sitio específico. Sin embargo, si desea definir el ámbito de los permisos a los que pueda acceder el usuario autenticado, elija OAuth de usuario a máquina (U2M) en su lugar. Ambos métodos ofrecen actualización automatizada de tokens y mayor seguridad.

M2M

1. Complete la configuración de origen. Usará los detalles de autenticación que obtenga para crear la conexión.

2. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Datos externos > Conexiones > Crear conexión.

3. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.

4. En el menú desplegable Tipo de conexión , seleccione Microsoft SharePoint.

5. En el menú desplegable Tipo de autenticación, seleccione OAuth de Máquina a Máquina.

6. (Opcional) Agregue un comentario.

7. Haga clic en Next.

8. En la página Autenticación , escriba las siguientes credenciales para la aplicación microsoft Entra ID:

   • Secreto de Cliente: el secreto de cliente que recuperó en la configuración de origen.
   • Identificación de cliente: la identificación del cliente que recuperó en la configuración de origen.
   • Dominio: la dirección URL de la instancia de SharePoint con el formato siguiente: https://MYINSTANCE.sharepoint.com
   • ID de inquilino: el identificador de inquilino que obtuvo en la configuración original.

9. Haga clic en Iniciar sesión con Microsoft SharePoint.

   Se abre una nueva ventana. Después de iniciar sesión con las credenciales de SharePoint, se muestran los permisos que concede a la aplicación Entra ID.

10. Haga clic en Aceptar.

    Se muestra un mensaje autorizado correctamente y se le redirige al área de trabajo de Azure Databricks.

11. Haga clic en Crear conexión.

U2M

1. Complete la configuración de origen. Usará los detalles de autenticación que obtenga para crear la conexión.

2. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Datos externos > Conexiones > Crear conexión.

3. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.

4. En el menú desplegable Tipo de conexión , seleccione Microsoft SharePoint.

5. En el menú desplegable Tipo de autenticación , seleccione OAuth.

6. (Opcional) Agregue un comentario.

7. Haga clic en Next.

8. En la página Autenticación , escriba las siguientes credenciales para la aplicación microsoft Entra ID:

   • Secreto de Cliente: el secreto de cliente que recuperó en la configuración de origen.
   • Identificación de cliente: la identificación del cliente que recuperó en la configuración de origen.
   • Ámbito de OAuth: deje el ámbito de OAuth establecido en el valor rellenado previamente: https://graph.microsoft.com/Sites.Read.All offline_access
   • Dominio: la dirección URL de la instancia de SharePoint con el formato siguiente: https://MYINSTANCE.sharepoint.com
   • ID de inquilino: el identificador de inquilino que obtuvo en la configuración original.

   

9. Haga clic en Iniciar sesión con Microsoft SharePoint.

   Se abre una nueva ventana. Después de iniciar sesión con las credenciales de SharePoint, se muestran los permisos que concede a la aplicación Entra ID.

10. Haga clic en Aceptar.

    Se muestra un mensaje autorizado correctamente y se le redirige al área de trabajo de Azure Databricks.

11. Haga clic en Crear conexión.

Token de actualización manual

1. Complete la configuración de origen. Usará los detalles de autenticación que obtenga para crear la conexión.

2. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Datos externos > Conexiones > Crear conexión.

3. En la página Aspectos básicos de conexión del Asistente para configurar conexiones , especifique un nombre de conexión único.

4. En el menú desplegable Tipo de conexión , seleccione Microsoft SharePoint.

5. En el menú desplegable Tipo de autenticación , seleccione Token de actualización de OAuth.

6. (Opcional) Agregue un comentario.

7. Haga clic en Next.

8. En la página Autenticación , escriba las siguientes credenciales para la aplicación microsoft Entra ID:

   • ID de inquilino: el identificador de inquilino que obtuvo en la configuración original.
   • Identificación de cliente: la identificación del cliente que recuperó en la configuración de origen.
   • Secreto de Cliente: el secreto de cliente que recuperó en la configuración de origen.
   • Token de actualización: el token de actualización que recuperó en la configuración de la fuente.

   

9. Haga clic en Crear conexión.

Servidor SQL

Para crear una conexión de Microsoft SQL Server en el Explorador de catálogos, haga lo siguiente:

1. En las áreas de trabajo de Azure Databricks, haga clic en Catálogo > Datos externos > Conexiones.
2. Haga clic en Crear conexión.
3. Escriba un Nombre de conexión único.
4. Para Tipo de conexión seleccione SQL Server.
5. Para Host, especifique el nombre de dominio de SQL Server.
6. Para Usuario y contraseña, escriba las credenciales de inicio de sesión de SQL Server.
7. Haga clic en Crear.

Informes de Workday

Para crear una conexión de informes de Workday en el Explorador de catálogos, haga lo siguiente:

1. Cree credenciales de acceso de Workday. Para obtener instrucciones, consulte Configuración de informes de Workday para la ingesta.
2. En el área de trabajo de Azure Databricks, haga clic en Catálogo > Ubicaciones externas > Conexiones > Crear conexión.
3. En Nombre de la conexión, escriba un nombre único para la conexión de Workday.
4. En Tipo de conexión, seleccione Workday Reports.
5. En Tipo de autenticación, seleccione Token de actualización de OAuth o Nombre de usuario y contraseña (autenticación básica) y haga clic en Siguiente.
6. (Token de actualización de OAuth) En la página Autenticación , escriba el identificador de cliente, el secreto de cliente y el token de actualización que obtuvo en la configuración de origen.
7. (Autenticación básica) Escriba el nombre de usuario y la contraseña de Workday.
8. Haga clic en Crear conexión.

Paso siguiente

Después de crear una conexión al origen de ingesta administrado en el Explorador de catálogos, cualquier usuario con USE CONNECTION privilegios o ALL PRIVILEGES en la conexión puede crear una canalización de ingesta de las maneras siguientes:

• Asistente para ingesta (solo conectores admitidos)
• Conjuntos de recursos de Databricks
• API de Databricks
• SDK de Databricks
• CLI de Databricks

Para obtener instrucciones para crear una canalización, consulte la documentación del conector administrado.