Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
En esta página se presenta el uso compartido delta en Azure Databricks, la plataforma de uso compartido de datos seguro que le permite compartir datos y recursos de inteligencia artificial en Azure Databricks con usuarios externos a su organización, independientemente de si usan Azure Databricks. Delta Sharing también es la base de Databricks Marketplace, un foro abierto para intercambiar productos de datos y Salas limpias, un entorno seguro y protegido por la privacidad en el que varias partes pueden trabajar conjuntamente en datos empresariales confidenciales.
Delta Sharing también está disponible como un proyecto de código abierto que puede usar para compartir tablas Delta desde otras plataformas.
¿Cómo funciona Delta Sharing?
Delta Sharing es un protocolo abierto desarrollado por Databricks para proteger el uso compartido de datos con otras organizaciones, independientemente de las plataformas informáticas que usen.
Hay varias maneras de compartir datos mediante delta sharing:
El protocolo de compartición Databricks-to-Databricks, que permite compartir datos y recursos de inteligencia artificial desde un área de trabajo con catálogo de Unity habilitado con usuarios que también tienen acceso a un área de trabajo de Databricks con catálogo de Unity habilitado.
Este enfoque usa el servidor de Delta Sharing integrado en Azure Databricks. Admite algunas características de uso compartido delta que no se admiten en los otros protocolos, como el uso compartido de cuadernos, el uso compartido de volúmenes del catálogo de Unity, el uso compartido de modelos de Unity Catalog AI, la gobernanza de datos del catálogo de Unity, la auditoría y el seguimiento de uso para proveedores y destinatarios. La integración con el Catálogo Unity simplifica la configuración y la gobernanza, tanto para los proveedores como para los destinatarios, y mejora el rendimiento.
El protocolo de uso compartido abierto de Databricks, que permite compartir datos tabulares que administra en un área de trabajo de Databricks habilitada para el catálogo de Unity con usuarios en cualquier plataforma informática.
Este enfoque usa el servidor delta Sharing integrado en Azure Databricks y resulta útil cuando administra datos mediante el catálogo de Unity y quiere compartirlos con usuarios que no usan Databricks o que no tienen acceso a un área de trabajo de Databricks habilitada para el catálogo de Unity. La integración con el catálogo de Unity por parte del proveedor simplifica la configuración y la gobernanza para los proveedores.
Consulte Uso compartido de datos mediante el protocolo de intercambio abierto (para proveedores).
Una implementación administrada por el cliente del servidor de código abierto Delta Sharing, que le permite compartir desde cualquier plataforma a cualquier plataforma, ya sea Databricks o no.
La documentación de Azure Databricks no incluye instrucciones para configurar su propio servidor Delta Sharing. Consulte github.com/delta-io/delta-sharing.
El conector de SAP Business Data Cloud (BDC) para Azure Databricks, que permite compartir datos entre el área de trabajo habilitada para el catálogo de Unity y una cuenta de SAP BDC.
Este enfoque usa el conector de SAP BDC, que usa Delta Sharing para el acceso directo y de copia cero a los productos de datos de SAP BDC.
Consulte ¿Qué es el conector de SAP BDC para Azure Databricks?.
Recursos compartidos, proveedores y destinatarios
Los conceptos principales subyacentes a Delta Sharing en Azure Databricks son recursos compartidos, proveedores y destinatarios.
¿Qué es un recurso compartido?
En Delta Sharing, un recurso compartido es una colección de solo lectura de tablas y particiones de tablas que un proveedor desea compartir con uno o más destinatarios. Si el destinatario usa un área de trabajo de Databricks habilitada para el catálogo de Unity, también puede incluir archivos de cuaderno, vistas (incluidas vistas dinámicas que restringen el acceso en el nivel de fila y columna), volúmenes de Catálogo de Unity y modelos de Catálogo de Unity en un recurso compartido.
Puede agregar o quitar tablas, tablas de streaming, tablas Iceberg administradas, vistas, vistas materializadas, volúmenes, modelos y archivos de notas de un recurso compartido en cualquier momento, y puede asignar o revocar el acceso de un destinatario de datos a un recurso compartido en cualquier momento.
En un área de trabajo de Azure Databricks con Unity Catalog habilitado, un recurso compartido es un objeto securable registrado en Unity Catalog. Si quita un recurso compartido del metastore de Unity Catalog, todos los destinatarios de ese recurso compartido pierden la capacidad de acceder a él.
Consulte Creación y administración de recursos compartidos de Delta Sharing.
¿Qué es un proveedor?
Un proveedor es una entidad que comparte datos con un destinatario. Si es un proveedor y quiere aprovechar el servidor integrado Databricks Delta Sharing y administrar recursos compartidos y destinatarios mediante el catálogo de Unity, necesita al menos un área de trabajo de Azure Databricks habilitada para el catálogo de Unity. No es necesario migrar todas las áreas de trabajo existentes al catálogo de Unity. Simplemente puede crear un área de trabajo habilitada para catálogos de Unity para sus necesidades de uso compartido delta.
Si un destinatario está en un área de trabajo de Databricks habilitada para el catálogo de Unity, el proveedor también es un objeto protegible del catálogo de Unity que representa la organización del proveedor y asocia esa organización con un conjunto de recursos compartidos.
¿Qué es un destinatario?
Un destinatario es una entidad que recibe acciones de un proveedor. En el catálogo de Unity, un recurso compartido es un objeto protegible que representa una organización y lo asocia a una credencial o identificador de uso compartido seguro que permite a esa organización acceder a uno o varios recursos compartidos.
Como proveedor de datos (quien comparte), puede definir varios destinatarios para cualquier metastore de Unity Catalog determinado, pero, si desea compartir datos de varios metastores con un usuario o grupo de usuarios determinado, debe definir el destinatario por separado para cada metastore. Un destinatario puede tener acceso a varios recursos compartidos.
Si un proveedor elimina un destinatario de su metastore del catálogo de Unity, ese destinatario pierde el acceso a todos los recursos compartidos a los que podía acceder anteriormente.
Uso compartido abierto frente a uso compartido de Databricks a Databricks
En esta sección se describen los dos protocolos para compartir desde un área de trabajo de Databricks habilitada para el catálogo de Unity.
Note
En esta sección se supone que el proveedor está en un área de trabajo de Azure Databricks habilitada para Unity Catalog. Para obtener información sobre cómo configurar un servidor delta sharing de código abierto para compartirlo desde una plataforma que no sea de Databricks o un área de trabajo de catálogo que no sea de Unity, consulte github.com/delta-io/delta-sharing.
La forma en que un proveedor utiliza Delta Sharing en Azure Databricks depende de con quién comparta los datos:
- El uso compartido abierto le permite compartir datos con cualquier usuario, tanto si tiene acceso a Azure Databricks como si no.
- El uso compartido de Databricks a Databricks le permite compartir datos con usuarios de Azure Databricks cuya área de trabajo está asociada a un metastore de Unity Catalog diferente del suyo. Databricks a Databricks también admite el uso compartido de cuadernos, volúmenes y modelos que no está disponible en el uso compartido abierto.
¿Qué es Delta Sharing abierto?
Si quiere compartir datos con usuarios que están fuera de su área de trabajo de Azure Databricks, independientemente de si usan Databricks o no, puede usar Delta Sharing abierto para compartir los datos de forma segura. Como proveedor de datos, gestionas la autenticación con el destinatario del contenido compartido utilizando cualquiera de los siguientes métodos:
- Genera un token de portador de larga duración y lo comparte de forma segura con el destinatario. Usan el token para autenticarse y obtener permiso de lectura para las tablas incluidas en los recursos compartidos a los que les has concedido acceso.
- La federación de Open ID Connect (OIDC), que concede tokens de OAuth de Databricks de corta duración al destinatario a cambio de tokens JWT que el IdP del destinatario pasa a Databricks.
Los destinatarios pueden acceder a los datos compartidos mediante muchas plataformas y herramientas informáticas, entre las que se incluyen:
- Azure Databricks
- Apache Spark
- Pandas
- Power BI
Para obtener una lista completa de los conectores de Delta Sharing y información sobre cómo usarlos, consulte la documentación de Delta Sharing.
Consulte también Compartición de datos mediante el protocolo Delta Sharing de compartición abierta (para proveedores).
¿Qué es Delta Sharing de Databricks a Databricks?
Si desea compartir datos con usuarios que tienen un área de trabajo de Databricks con Unity Catalog activado, puede usar Databricks-to-Databricks Delta Sharing. El uso compartido de Databricks a Databricks le permite compartir datos con usuarios de otras cuentas de Databricks, ya sea en AWS, Azure o GCP. También es una excelente manera de compartir datos de forma segura a través de diferentes metastores de Unity Catalog en su propia cuenta de Databricks. Tenga en cuenta que no es necesario usar Delta Sharing para compartir datos entre áreas de trabajo asociadas al mismo metastore del catálogo de Unity, ya que en ese escenario puede usar el propio Catálogo de Unity para administrar el acceso a los datos entre áreas de trabajo.
Una de las ventajas del uso compartido de Databricks a Databricks es que el destinatario de la compartición no necesita un token para acceder a ella, y el proveedor no tiene que administrar los tokens del destinatario. La seguridad de la conexión de uso compartido, incluidas la comprobación de identidades, la autenticación y la auditoría, se administra completamente a través de Delta Sharing y la plataforma Databricks. Otra ventaja es la capacidad de compartir archivos de cuadernos de Databricks, volúmenes de Catálogo de Unity y modelos de Catálogo de Unity.
Consulte también el artículo Compartir datos mediante el protocolo Delta Sharing Databricks-to-Databricks (para proveedores).
¿Cómo configuran los administradores del proveedor de uso compartido Delta?
En esta sección se proporciona información general sobre cómo los proveedores pueden habilitar Delta Sharing e iniciar el uso compartido desde un área de trabajo de Azure Databricks habilitada para el catálogo de Unity. Para consultar el código abierto de Delta Sharing, consulte github.com/delta-io/delta-sharing.
El uso compartido de Databricks a Databricks entre metastores del catálogo de Unity en la misma cuenta siempre está habilitado. Si eres un proveedor que desea habilitar Delta Sharing para compartir datos con áreas de trabajo de Databricks en otras cuentas o clientes que no son de Databricks, un administrador de cuenta de Azure Databricks o un administrador de metastore realiza los siguientes pasos de configuración (a alto nivel):
Habilite Delta Sharing para el metastore del catálogo de Unity que administra los datos que desea compartir.
Note
No es necesario habilitar Delta Sharing en su almacén de metadatos si piensa usar Delta Sharing para compartir datos solo con usuarios de otros almacenes de metadatos de Unity Catalog en su cuenta. El uso compartido de metastore a metastore dentro de una sola cuenta de Azure Databricks está habilitado de manera predeterminada.
Consulte Habilitar Delta Sharing en un metastore.
Cree un recurso compartido que incluya recursos de datos registrados en el metastore del catálogo de Unity.
Si comparte con un destinatario que no es de Databricks (conocido como uso compartido abierto), puede incluir tablas en formato Delta. Si tiene previsto usar Uso compartido de Databricks a Databricks, también puede agregar vistas, volúmenes de Catálogo de Unity, modelos de Catálogo de Unity y archivos de cuaderno a un recurso compartido.
Consulte Creación y administración de recursos compartidos de Delta Sharing.
Crea un destinatario.
Si el destinatario no es un usuario de Databricks o no tiene acceso a un área de trabajo de Databricks habilitada para el catálogo de Unity, debe usar el uso compartido abierto. Puede generar credenciales basadas en tokens de portador para ese destinatario o usar la federación de OIDC.
Si el destinatario tiene acceso a un área de trabajo de Databricks habilitada para Unity Catalog, puede utilizar el uso compartido de Databricks a Databricks y no se requieren credenciales basadas en tokens. Se solicita un identificador de uso compartido del destinatario y se usa para establecer la conexión segura.
Tip
Pruebe el proceso de configuración con usted como destinatario de prueba.
Conceda al destinatario acceso a uno o varios recursos compartidos.
Consulte Administración del acceso a recursos compartidos de datos de Delta Sharing (para proveedores).
Note
Este paso también se puede realizar mediante un usuario que no sea administrador con los privilegios
USE SHARE,USE RECIPIENTySET SHARE PERMISSION. Consulte Privilegios de Unity Catalog y objetos protegibles.Envía al destinatario la información que necesita para conectarse al recurso compartido (solo para el uso compartido abierto).
Para el uso compartido abierto mediante tokens de portador, use un canal seguro para enviar al destinatario un vínculo de activación que les permita descargar sus credenciales basadas en tokens. Consulte Envío de la información de conexión al destinatario.
Para abrir el uso compartido mediante la federación de tokens de OIDC, envíe la dirección URL del portal generada. Consulte Uso de la federación de Open ID Connect (OIDC) para habilitar la autenticación en recursos compartidos Delta Sharing (uso compartido abierto).
Para el uso compartido de Databricks a Databricks, los datos incluidos en el recurso compartido estarán disponibles en el área de trabajo de Databricks del destinatario en cuanto se les conceda acceso al recurso compartido.
El destinatario ya puede acceder a los datos compartidos.
¿Cómo acceden los destinatarios a los datos compartidos?
Los destinatarios acceden a los recursos de datos compartidos en formato de solo lectura. Los archivos de cuaderno compartidos son de solo lectura, pero se pueden clonar y luego modificar y ejecutar en el área de trabajo del destinatario igual que cualquier otro cuaderno.
El acceso seguro depende del modelo de uso compartido:
El uso compartido abierto (el destinatario no tiene un área de trabajo de Databricks habilitada para el catálogo de Unity) tiene dos opciones:
- En el flujo de tokens de portador, el destinatario proporciona la credencial cada vez que accede a los datos de su herramienta que prefiera, incluidos Apache Spark, pandas, Power BI, Databricks y muchos más. Consulte Lectura de datos compartidos mediante el uso compartido abierto de Delta Sharing con tokens de portador (para destinatarios).
- En el flujo de federación de tokens de OIDC, el destinatario o la aplicación cliente del destinatario accede a los datos mediante su propio IdP. Consulte Reciba acciones de Delta Sharing con la federación Open ID Connect (OIDC) en un flujo de usuario a máquina (uso compartido abierto) y Reciba acciones de Delta Sharing con un cliente de Python y la federación Open ID Connect (OIDC) en un flujo de máquina a máquina (uso compartido abierto).
Databricks a Databricks (el área de trabajo del destinatario está habilitada para Unity Catalog): El destinatario accede a los datos utilizando Databricks. Pueden usar el Catálogo de Unity para conceder y denegar el acceso a otros usuarios en su cuenta de Databricks. Consulte Lectura de datos compartidos mediante el uso de Delta de Databricks a Databricks Delta Sharing (para destinatarios).
Cada vez que el proveedor de datos actualiza tablas o volúmenes de datos en su propia cuenta de Databricks, las actualizaciones aparecen casi en tiempo real en el sistema del destinatario. Para obtener información sobre cómo acceder a los datos que se han compartido con el uso compartido de Delta, consulte Acceso a datos compartidos con usted mediante El uso compartido delta (para destinatarios).
¿Cómo se hace un seguimiento de quién comparte datos y quién accede a los datos compartidos?
Los proveedores de datos en áreas de trabajo de Azure Databricks habilitadas para el catálogo de Unity pueden usar el registro de auditoría de Azure Databricks y las tablas del sistema para supervisar la creación y modificación de recursos compartidos y destinatarios, y pueden supervisar la actividad de los destinatarios en recursos compartidos. Consulte Auditoría y supervisión del uso compartido de datos.
Los destinatarios de datos que usan datos compartidos en un área de trabajo de Databricks pueden usar el registro de auditoría de Databricks y las tablas del sistema para comprender quién accede a los datos. Consulte Auditoría y supervisión del uso compartido de datos.
Uso compartido de volúmenes
Puede compartir volúmenes mediante el flujo de uso compartido de Databricks a Databricks. Consulte Añadir volúmenes a un recurso compartido (para proveedores) y Leer datos compartidos mediante Databricks-to-Databricks Delta Sharing (para destinatarios).
Uso compartido de modelos
Puede compartir modelos mediante el flujo de uso compartido de Databricks a Databricks. Consulte Adición de modelos a un recurso compartido (para proveedores) y Lectura de datos compartidos mediante Delta Sharing de Databricks a Databricks (para destinatarios) (para destinatarios).
Uso compartido de cuadernos
Puede usar Delta Sharing para compartir archivos de cuaderno mediante el flujo de uso compartido de Databricks a Databricks. Consulte Agregar archivos de cuaderno a un recurso compartido (para proveedores) y Leer cuadernos compartidos (para destinatarios).
Restricción del acceso en el nivel de fila y columna al compartir vistas
Puede compartir vistas dinámicas que restrinjan el acceso a determinados datos de tabla en función de las propiedades del destinatario. Consulte Adición de vistas dinámicas a un recurso compartido para filtrar filas y columnas.
Compartición y streaming de Delta
Delta Sharing admite Apache Spark Structured Streaming. Un proveedor puede compartir una tabla con historial o una tabla de streaming para que un destinatario pueda usarlo como origen de Structured Streaming, procesando los datos compartidos de forma incremental con baja latencia. Los destinatarios también pueden realizar Consultas de viaje en el tiempo de Delta Lake en tablas compartidas con el historial.
Para obtener información sobre cómo compartir tablas con el historial, consulte Agregar tablas a un recurso compartido. Para obtener información sobre cómo usar tablas compartidas como orígenes de streaming, consulte Consulta de una tabla mediante Apache Spark Structured Streaming (para destinatarios del uso compartido de Databricks a Databricks) o Acceso a una tabla compartida mediante Spark Structured Streaming (para destinatarios de datos de uso compartido abierto).
Para obtener información sobre cómo compartir tablas de streaming, consulte Adición de tablas de streaming a un recurso compartido.
Consulte también conceptos de Structured Streaming.
Matriz de compatibilidad de características de Delta Lake
Delta Sharing admite la mayoría de las características de Delta Lake al compartir una tabla. Esta matriz de soporte enumera lo siguiente:
- características Delta que requieren versiones específicas de Databricks Runtime, el conector Spark de código abierto de Delta Sharing o el conector Python de código abierto de Delta Sharing.
- Características parcialmente soportadas.
| Feature | Provider | Destinatario de Databricks | Destinatario de código abierto |
|---|---|---|---|
| Vectores de eliminación |
|
|
|
| Asignación de columnas |
|
|
|
| Formato uniforme |
|
|
|
| Punto de comprobación V2 | Se admite con limitaciones | Se admite con limitaciones | Se admite con limitaciones |
| TimestampNTZ | Supported | Databricks Runtime 14.1+ | Conector Spark de Delta Sharing 3.3+ |
| Agrupación en clústeres líquidos | Se admite con limitaciones | Se admite con limitaciones | Se admite con limitaciones |
Preguntas frecuentes sobre Delta Sharing
A continuación se muestran las preguntas más frecuentes acerca de Delta Sharing.
¿Necesito unity Catalog para usar Delta Sharing?
No, no necesita Unity Catalog para compartir (como proveedor) o consumir datos compartidos (como destinatario). Sin embargo, Unity Catalog ofrece ventajas como compatibilidad con el uso compartido de recursos de inteligencia artificial y no tabulares, gobernanza inmediata, simplicidad y rendimiento de las consultas.
Los proveedores pueden compartir datos de dos maneras:
Ponga los activos a compartir bajo la administración de Unity Catalog y compártalos utilizando el servidor Azure Databricks Delta Sharing incorporado.
No es necesario migrar todos los activos al Catálogo de Unity. Solo necesita un área de trabajo de Azure Databricks habilitada para Unity Catalog para administrar los activos que desea compartir. En algunas cuentas, las nuevas áreas de trabajo se habilitan automáticamente para Unity Catalog. Consulte Habilitación automática de Unity Catalog.
Implemente el servidor abierto Delta Sharing para compartir datos, sin utilizar necesariamente su cuenta Azure Databricks.
Los destinatarios pueden consumir los datos de dos maneras:
Sin un área de trabajo de Databricks. Utilice conectores de código abierto de Delta Sharing que están disponibles para muchas plataformas de datos, como Power BI, pandas y Apache Spark de código abierto. Consulte Leer datos compartidos mediante el uso compartido abierto de Delta Sharing con tokens portadores (para destinatarios) y el proyecto de código abierto Delta Sharing.
En un área de trabajo Databricks. No se necesita habilitar las áreas de trabajo de los destinatarios para el Catálogo de Unity, pero hay ventajas en términos de gobernanza, simplicidad y rendimiento si están habilitadas.
Las organizaciones de destinatarios que desean estas ventajas no necesitan migrar todos los recursos al catálogo de Unity. Solo necesita un área de trabajo de Azure Databricks que esté habilitada para Unity Catalog para administrar los activos que se comparten con usted. En algunas cuentas, las nuevas áreas de trabajo se habilitan automáticamente para Unity Catalog. Consulte Habilitación automática de Unity Catalog.
Consulte Leer datos compartidos mediante el uso compartido abierto de Delta Sharing con tokens portadores (para destinatarios) y Lectura de datos compartidos mediante Databricks a Databricks Delta Sharing (para destinatarios).
¿Necesito ser cliente de Databricks para utilizar Delta Sharing?
No, Delta Sharing es un protocolo abierto. Puede compartir datos que no sean de Databricks con destinatarios de cualquier plataforma de datos. Los proveedores pueden configurar un servidor Delta Sharing abierto para compartir desde cualquier plataforma informática. Los destinatarios pueden consumir los datos compartidos utilizando conectores de código abierto de Delta Sharing para muchos productos de datos, incluidos Power BI, pandas y Spark de código abierto.
Sin embargo, el uso de Delta Sharing en Azure Databricks, especialmente el uso compartido desde un área de trabajo habilitada para Unity Catalog, tiene muchas ventajas.
Para más detalles, consulte la primera pregunta de esta FAQ.
¿Cómo incurro y compruebo los gastos de Delta Sharing?
Los costes de Delta Sharing se generan al compartir y acceder a vistas, vistas materializadas y tablas de streaming. Estas son las posibles fuentes de costo para compartir:
- Costo de proceso, cargado por Azure Databricks.
- Costo de transferencia de almacenamiento y red (salida), que cobra el proveedor de almacenamiento.
- Costo de cómputo de fuente externa, cuando se comparten esquemas y tablas externas.
El método por el que se realiza el proceso y quién paga por él depende de varios factores:
- Tipo de computación de receptor
- Si el uso compartido se produce dentro de la misma cuenta de Azure Databricks o entre cuentas
En la tabla siguiente se describe el método de facturación para compartir y acceder a vistas mediante Delta Sharing.
| Proceso de destinatarios | Relación de cuenta | Quién paga | SKU usada para la facturación | Método de acceso |
|---|---|---|---|---|
| Databricks Serverless | Any | Recipient* | Infraestructura sin servidor del destinatario | El destinatario recibe acceso directo a los datos subyacentes. |
| Databricks Clásico | Misma cuenta | Recipient* | El clásico del destinatario | El destinatario recibe acceso directo a los datos subyacentes. |
| Databricks Clásico | Cuenta diferente | Recipient | Sin servidor interactivo del proveedor | El proveedor realiza el filtrado |
| Apertura de conectores de Delta Sharing | Any | Provider | Sin servidor interactivo del proveedor | El proveedor realiza el filtrado |
* Cuando usas Delta Sharing con un destinatario que utiliza cómputo sin servidor en una cuenta diferente, o con un destinatario en la misma cuenta, no se aplica ningún cargo incremental. Esto significa que no hay ningún costo adicional para materializar el recurso de datos.
Cuando se comparten tablas externas (Beta), el filtrado siempre se realiza y se almacena en el lado del proveedor. Es posible que los proveedores vean un cargo adicional que se atribuye al almacenamiento predeterminado usado para la materialización de datos. No hay ningún costo de proceso de filtrado durante la versión beta.
La atribución de facturación también se puede consultar mediante la referencia de la tabla del sistema de uso facturable y la referencia de la tabla del sistema de historial de materialización de Delta Sharing. Si el destinatario paga por la atribución, solo el destinatario puede ver el registro asociado en la tabla del sistema. Para ver consultas de ejemplo, consulte Consultas de ejemplo.
¿Delta Sharing incurre en costos de salida?
Delta Sharing dentro de una región no incurre en costes de salida. A diferencia de otras plataformas de uso compartido de datos, Delta Sharing no necesita replicación de datos. Este modelo tiene muchas ventajas, pero significa que el proveedor de la nube puede cobrar tarifas de salida de datos al compartir datos entre nubes o regiones. Azure Databricks admite el uso compartido desde Cloudflare R2, que no incurre en cuotas de salida y proporciona otras herramientas y recomendaciones para supervisar y evitar tarifas de salida. Vea Supervisión y administración de los costos de salida de Delta Sharing (para proveedores).
¿Los destinatarios tienen acceso directo a los datos subyacentes en vistas compartidas, vistas materializadas y tablas de streaming?
En el caso de las vistas compartidas, las tablas de streaming y las vistas materializadas, el destinatario de los datos tiene acceso directo si se cumple una de las siguientes condiciones:
- El destinatario usa proceso sin servidor o proceso clásico no dedicado en la misma cuenta de Azure Databricks.
- El destinatario utiliza computación sin servidor en una cuenta diferente de Azure Databricks.
De lo contrario, los datos se materializan y filtran en el lado del proveedor.
La materialización de datos se almacena en la ubicación de almacenamiento matriz del recurso de datos compartido.
Cuando se comparten activos materializados, el proceso computacional trata la solicitud aplicando los filtros necesarios y creando una materialización temporal en caché en el almacenamiento del proveedor. Estos datos filtrados se entregan a los destinatarios mediante direcciones URL de corta duración firmadas previamente, lo que garantiza un acceso seguro al tiempo que se mantiene el control de acceso de proveedor a destinatario.
¿Los proveedores pueden revocar el acceso de destinatarios?
Sí, el acceso de los destinatarios puede revocarse a petición y a niveles específicos de granularidad. Puede denegar el acceso de destinatarios a recursos compartidos específicos y direcciones IP específicas, filtrar datos tabulares para un destinatario, revocar tokens de destinatarios y eliminar destinatarios por completo. Consulte Revocar el acceso de un destinatario a un recurso compartido y Crear y administrar destinatarios de datos para Delta Sharing (Uso compartido de Databricks a Databricks).
¿No es seguro usar direcciones URL firmadas previamente?
Delta Sharing utiliza URL firmadas previamente para proporcionar acceso temporal a un archivo en el almacenamiento de objetos. Solo se entregan a destinatarios que ya tienen acceso a los datos compartidos. Son seguros porque son de corta duración y no amplían el nivel de acceso más allá de lo que ya se han concedido a los destinatarios.
¿Son seguros los tokens utilizados en el protocolo de uso compartido abierta Delta Sharing?
Dado que Delta Sharing permite compartir datos entre plataformas -a diferencia de otras plataformas de intercambio de datos disponibles-, el protocolo de intercambio requiere un token abierto. Los proveedores pueden garantizar la seguridad de los tokens configurando su vida útil, estableciendo controles de red y revocando el acceso bajo demanda. Además, el token no amplía el nivel de acceso más allá de lo que ya se ha concedido a los destinatarios. Consulte Consideraciones de seguridad para los tokens.
Si prefiere no utilizar tokens para administrar el acceso a los recursos compartidos de los destinatarios, debe utilizar el Uso compartido de Databricks a Databricks o ponerse en contacto con el equipo de su cuenta de Databricks para conocer otras alternativas.
¿Cuál es la diferencia entre Lakeflow Connect y Delta Sharing?
Delta Sharing permite compartir datos activos de forma segura entre plataformas, nubes y regiones. Databricks recomienda la ingesta usando conectores administrados porque se escalan para acomodar grandes volúmenes de datos, consultas de baja latencia y límites de API de terceros. Sin embargo, es posible que quiera consultar los datos sin moverlos.
Cuando tenga una opción entre conectores administrados y Delta Sharing, elija Delta Sharing para los escenarios siguientes:
- Limitar la duplicación de datos.
- Consultar los datos más recientes posibles.
Limitaciones
- Los datos tabulares deben estar en formato de tabla Delta o managed Iceberg. Puede convertir fácilmente tablas de Parquet en Delta—y volver a volver. Vea CONVERT TO DELTA.
- Los proveedores no pueden compartir tablas que usan clústeres líquidos y punto de control V2 con filtrado de particiones.
- Los proveedores no pueden compartir tablas R2 con clústeres de Liquid y el punto de control V2.
- Las restricciones de clave externa no están disponibles en las tablas compartidas.
- Las vistas compartidas deben definirse en las tablas Delta u otras vistas compartibles. Consulte Agregar vistas a un recurso compartido (para proveedores) y Leer vistas compartidas (para destinatarios).
- El uso compartido de cuadernos solo se admite en el uso compartido de Databricks a Databricks. Vea Adición de archivos de cuaderno a un recurso compartido y Lectura de datos compartidos mediante Delta Sharing de Databricks a Databricks (para destinatarios).
- El uso compartido de volúmenes solo se admite en el uso compartido de Databricks a Databricks. Consulte Adición de volúmenes a un recurso compartido (para proveedores) y Lectura de datos compartidos mediante Databricks-to-Databricks Delta Sharing (para destinatarios).
- El uso compartido de modelos solo se admite en el uso compartido de Databricks a Databricks. Consulte Adición de modelos a un recurso compartido (para proveedores) y Lectura de datos compartidos mediante Databricks-to-Databricks Delta Sharing (para destinatarios).
- Hay límites en cuanto al número de archivos de metadatos que se permiten para una tabla compartida. Para obtener más información, consulte Superación del límite de recursos.
- Los esquemas denominados
information_schemano se pueden importar en un metastore de Unity Catalog, ya que ese nombre de esquema está reservado en Unity Catalog. - El
SHALLOW CLONEuso compartido de tablas no es compatible con Delta Sharing. Azure Databricks no admite la asignación previa de direcciones URL para los registros Delta que hacen referencia a rutas de acceso absolutas. - El uso compartido de tablas con intercalaciones habilitadas no es compatible con Delta Sharing.
- Delta Sharing solo puede leer tablas UniForm como tablas Delta.
- Delta Sharing no admite el cambio en tiempo real de
responseFormatpara fuentes de streaming y al reiniciar el streaming.
Consulte también Matriz de compatibilidad de características de Delta Lake.
Cuotas de recursos
Azure Databricks aplica cuotas de recursos en todos los objetos protegibles de Delta Sharing. Estas cuotas se muestran en Límites de recursos. Si espera superar estos límites de recursos, póngase en contacto con el equipo de la cuenta de Azure Databricks.
Puede supervisar el uso de la cuota mediante las API de cuotas de recursos de Unity Catalog. Vea Supervisión del uso de cuotas de recursos de Unity Catalog.
Pasos siguientes
- Habilitación de la cuenta de Databricks para Delta Sharing
- Crear recursos compartidos
- Creación de destinatarios
- Obtenga más información sobre el uso compartido abierto y los modelos de uso compartido de Databricks a Databricks
- Obtenga información sobre cómo los destinatarios acceden a los datos compartidos