Configure Delta Sharing para su cuenta (para proveedores)

En esta página se describe cómo configurar Delta Sharing en Azure Databricks para proveedores de datos (organizaciones que quieren usar Delta Sharing para compartir datos de forma segura).

Si es un destinatario de datos (una organización que recibe datos compartidos mediante el uso compartido de Delta), consulte Lectura de datos compartidos mediante El uso compartido de Databricks a Databricks Delta Sharing (para destinatarios).

Importante

El uso compartido Delta requiere un área de trabajo habilitada para el Catálogo de Unity. Puede crear un área de trabajo habilitada para Unity Catalog para la administración de recursos compartidos. En algunas cuentas, las nuevas áreas de trabajo se habilitan automáticamente para Unity Catalog. Consulte Habilitación automática de Unity Catalog.

Si la creación de un área de trabajo habilitada para catálogos de Unity no es una opción, puede usar el proyecto delta sharing de código abierto para implementar su propio servidor delta sharing para compartir tablas Delta desde cualquier plataforma.

La configuración inicial del proveedor incluye los pasos siguientes:

1. Habilite Delta Sharing en un metastore de Unity Catalog.
2. (Opcional) Instale la CLI del catálogo de Unity.
3. Conceda privilegios para crear y administrar recursos compartidos y destinatarios.
4. Configure las auditorías de la actividad Delta Sharing.
5. Configurar el tiempo de vida (TTL) de la materialización de datos.
6. Configure el acceso a la red de almacenamiento.

Requisitos

Como proveedor de datos que configura la cuenta de Azure Databricks para poder compartir datos, debe tener:

• Al menos un área de trabajo de Azure Databricks habilitada para Unity Catalog.

  No es necesario migrar todas las áreas de trabajo a Unity Catalog para aprovechar la compatibilidad de Databricks con proveedores de Delta Sharing. Consulte ¿Necesito Unity Catalog para usar Delta Sharing?.

  Los destinatarios no necesitan tener un área de trabajo habilitada para Unity Catalog.

• Rol de administrador de cuentas para habilitar el uso compartido delta para el metastore del catálogo de Unity y habilitar el registro de auditoría.

• Rol de administrador de metastore o los privilegios CREATE SHARE y CREATE RECIPIENT. Vea Roles de administrador.

  Nota:

  Si el área de trabajo se ha habilitado automáticamente para Unity Catalog, es posible que no tenga un administrador de metastore. Sin embargo, los administradores del área de trabajo de estas áreas de trabajo tienen los privilegios CREATE SHARE y CREATE RECIPIENT en la metastore de forma predeterminada.

  Para obtener más información, consulte Habilitación automática de Unity Catalog y Privilegios de administrador del área de trabajo cuando las áreas de trabajo se habilitan para Unity Catalog automáticamente.

• Una configuración de almacenamiento en la nube que permite el acceso de red desde el destinatario.

Habilitación de Delta Sharing en un metastore

No es necesario habilitar el uso compartido de Delta en su metastore si tiene intención de usar Delta Sharing solo para compartir datos con usuarios de otros metastores del catálogo de Unity de su cuenta. El uso compartido de metastore a metastore dentro de una sola cuenta de Azure Databricks está habilitado de manera predeterminada.

De lo contrario, siga estos pasos para cada metastore de Unity Catalog que administra los datos que tiene previsto compartir a través de Delta Sharing.

1. Como administrador de la cuenta de Azure Databricks, inicie sesión en la consola de la cuenta.

2. En la barra lateral, haga clic en Catálogo.

3. Haga clic en el nombre de un metastore para abrir la página de detalles.

4. Haga clic en la casilla situada junto a Habilitar Delta Sharing para permitir que un usuario de Databricks comparta datos fuera de su organización.

5. Configure la duración del token de destinatario.

   Esta configuración establece el período de tiempo tras el cual expiran todos los tokens de destinatario y se deben volver a regenerar. Los tokens de destinatario solo se usan en el protocolo de uso compartido abierto. Databricks recomienda configurar una duración de token predeterminada en lugar de permitir que los tokens duren indefinidamente.

   Nota:

   La duración del token de destinatario para los destinatarios existentes no se actualiza automáticamente cuando se cambia la duración predeterminada del token de destinatario para un metastore. Para aplicar una nueva duración de token a un destinatario determinado, debe rotar su token. Consulte Administración de tokens de destinatarios.

   Para establecer la duración predeterminada del token de destinatario:

   1. Confirme que la expiración establecida esté habilitada (este es el valor predeterminado).

      Si desactiva esta casilla, los tokens nunca expirarán. Databricks recomienda configurar tokens para que expiren.

   2. Escriba un número de segundos, minutos, horas o días y seleccione la unidad de medida.

   3. Haga clic en Habilitar.

   Para obtener más información, consulte Consideraciones de seguridad para tokens.

6. Si lo desea, escriba un nombre para su organización que un destinatario pueda usar para identificar quién comparte con ellos.

7. Haga clic en Habilitar.

(Opcional) Instale la CLI de Unity Catalog

Para administrar recursos compartidos y destinatarios, puede usar Catalog Explorer, comandos SQL o la CLI de Unity Catalog. La CLI se ejecuta en el entorno local y no requiere recursos de proceso de Azure Databricks.

Para instalar la CLI, consulte ¿Qué es la CLI de Databricks?.

Permitir crear y administrar comparticiones y destinatarios

Los administradores de Metastore tienen la capacidad de crear y administrar recursos compartidos y destinatarios, incluida la concesión de recursos compartidos a los destinatarios. Un administrador de metastore puede delegar muchas tareas de proveedor mediante los privilegios siguientes:

• CREATE SHARE en el metastore concede la capacidad de crear recursos compartidos.
• CREATE RECIPIENT en el metastore concede la capacidad de crear destinatarios.
• USE RECIPIENT en el metastore concede la capacidad de enumerar y ver los detalles de todos los destinatarios de metastore.
• USE SHARE en el metastore concede la capacidad de enumerar y ver los detalles de todos los recursos compartidos de la metastore.
• USE RECIPIENT, USE SHARE, y SET SHARE PERMISSION combinados proporcionan a un usuario la capacidad de conceder acceso compartido a los destinatarios.
• USE SHARE y SET SHARE PERMISSION combinados proporcionan a un usuario la capacidad de transferir la propiedad de cualquier recurso compartido.
• Los propietarios de recursos compartidos y destinatarios pueden actualizar esos objetos y conceder recursos compartidos a los destinatarios. A los creadores de objetos se les concede la propiedad de manera predeterminada, pero se puede transferir la propiedad.
• Los propietarios de recursos compartidos pueden agregar tablas y volúmenes a recursos compartidos, siempre y cuando tengan acceso SELECT a las tablas y READ VOLUME acceso a los volúmenes.

Para obtener más información, consulte Privilegios del catálogo de Unity y objetos protegibles y los permisos enumerados para las tareas de uso compartido delta descritas.

Habilitar el registro de auditoría

Como administrador de cuentas de Azure Databricks, debe habilitar el registro de auditoría para capturar eventos de Delta Sharing, como:

• Cuando alguien crea, modifica, actualiza o elimina un recurso compartido o un destinatario
• Cuando un destinatario accede a un vínculo de activación y descarga la credencial (solo uso compartido abierto)
• Cuando un destinatario accede a datos
• Cuando se rota o expira la credencial de un destinatario (solo uso compartido abierto)

Importante

La actividad de Delta Sharing se registra en el nivel de cuenta. Al configurar la entrega de registros, no escriba un valor para workspace_ids_filter.

Para habilitar el registro de auditoría, siga las instrucciones de Referencia del registro de diagnóstico.

Para obtener información detallada sobre cómo se registran los eventos de uso compartido de Delta, consulte Auditoría y supervisión del uso compartido de datos.

Configuración de TTL de materialización de datos

Como cuenta de Azure Databricks o administrador de metastore, puede configurar el TTL de materialización de datos, que determina cuánto tiempo se almacena en caché un resultado materializado. Las materializaciones se producen cuando un destinatario consulta vistas dinámicas compartidas, vistas materializadas y tablas de streaming. De forma predeterminada, el TTL es de ocho horas. La propia memoria caché se evitará mediante la materialización después de tres horas adicionales, lo que proporciona tiempo adicional para que finalicen las consultas existentes.

Para cambiar este valor, haga lo siguiente:

1. En el área de trabajo de Azure Databricks, haga clic en Catálogo para abrir el Explorador de catálogos.

2. En la parte superior del panel Catálogo, haga clic en el y seleccione Delta Sharing.

   Como alternativa, en la página Acceso rápido, haga clic en el botón Delta Sharing>.

3. En la pestaña Compartido conmigo , haga clic en el nombre de la organización en la esquina superior derecha.

4. Haga clic en Ver configuración de uso compartido Delta Sharing.

5. Para Materialization TTL, introduzca el valor TTL deseado.

Permitir el acceso de red al almacenamiento

Si el almacenamiento en la nube subyacente está configurado con controles de acceso, agregue la red del destinatario a la lista de permitidos para que puedan leer tablas compartidas.

Para más información, consulte Configuración de firewalls y redes virtuales de Azure Storage yConfiguración de un firewall para el acceso a proceso sin servidor.