Leer datos compartidos mediante Databricks-to-Databricks OpenSharing (para destinatarios)

Como destinatario, lees los datos y cuadernos compartidos contigo usando el protocolo OpenSharing de Databricks-to-Databricks , donde Databricks gestiona una conexión segura para el intercambio de datos. A diferencia del protocolo OpenSharing open sharing , el protocolo Databricks-to-Databricks no requiere un archivo de credenciales (seguridad basada en tokens).

El uso compartido de Databricks a Databricks requiere que, como destinatario, cumpla los dos requisitos siguientes:

  • Tiene acceso a un área de trabajo de Databricks con Unity Catalog habilitado.
  • El proveedor usa el protocolo Databricks-to-Databricks OpenSharing, no el protocolo databricks-to-Open sharing, que proporciona un archivo de credenciales.

Si el proveedor usa el uso compartido abierto (que proporciona un archivo de credenciales), pero tiene un área de trabajo habilitada para el catálogo de Unity, puede importar el proveedor y leer los datos compartidos en Azure Databricks. Consulte Importación de un proveedor y lectura de datos compartidos en Azure Databricks. Si no tiene un área de trabajo habilitada para Unity Catalog, consulte Leer datos compartidos con tokens de portador.

¿Cómo hago que los datos compartidos estén disponibles para mi equipo?

Para leer datos y cuadernos que se han compartido con usted mediante el protocolo Databricks-to-Databricks, debe ser un usuario en un área de trabajo de Databricks habilitada para Catálogo de Unity. Un miembro del equipo proporciona al proveedor de datos un identificador único para el metastore del catálogo de Unity y el proveedor de datos usa ese identificador para crear una conexión de uso compartido seguro con su organización. A continuación, los datos compartidos estarán disponibles para el acceso de lectura en el área de trabajo. Las actualizaciones que realiza el proveedor de datos en las tablas compartidas, vistas, volúmenes y particiones se reflejan en el área de trabajo casi en tiempo real. Las actualizaciones que realiza el proveedor de datos a las habilidades compartidas del agente del Catálogo Unity llegan a tu espacio de trabajo de forma asíncrona.

Note

Es posible que los cambios de columna, como agregar, cambiar el nombre o eliminar, no aparezcan en el Explorador de catálogos hasta un minuto. Del mismo modo, los nuevos recursos compartidos y las actualizaciones de los recursos compartidos, incluida la adición de nuevas tablas, se almacenan en caché durante un minuto antes de que estén disponibles para ver y consultar.

Note

Las tablas de information_schema un catálogo compartido reflejan los metadatos almacenados en el catálogo de Unity. Estos metadatos se actualizan desde el proveedor solo cuando consultas directamente la tabla compartida o ejecutas un comando como DESCRIBE. Hasta entonces, information_schema puede aparecer obsoleto en comparación con los datos del proveedor.

Para leer los datos que se han compartido con usted:

  1. Un usuario de tu equipo encuentra el recurso compartido (el contenedor de las tablas, vistas, volúmenes y cuadernos que se han compartido contigo) y utiliza ese recurso para crear un catálogo (el contenedor principal para todos los datos en el Catálogo Unity de Databrick).
  2. Un usuario del equipo concede o deniega el acceso al catálogo y a los objetos del catálogo (esquemas, tablas, vistas y volúmenes) a los miembros del equipo.
  3. Usted lee los datos en las tablas, vistas y volúmenes a los que se le haya concedido acceso igual que cualquier recurso de datos en Databricks al que tenga acceso de solo lectura (SELECT o READ VOLUME).
  4. Puede obtener una vista previa y clonar cuadernos en el recurso compartido, siempre y cuando tenga el privilegio USE CATALOG en el catálogo.

Se requieren permisos

Para poder enumerar y ver detalles sobre todos los proveedores y recursos compartidos de proveedores, debe tener el USE PROVIDER privilegio . Otros usuarios solo tienen acceso a los proveedores y recursos compartidos de los que son propietarios.

Para crear un catálogo a partir de un recurso compartido de proveedor, debe ser un administrador de metastore, un usuario que tenga los privilegios CREATE CATALOG y USE PROVIDER para el metastore de Unity Catalog, o un usuario que tenga tanto el privilegio CREATE CATALOG como la propiedad del objeto de proveedor.

La capacidad de conceder acceso de solo lectura a los esquemas (bases de datos), tablas, vistas y volúmenes del catálogo creados a partir del recurso compartido sigue la jerarquía de privilegios típica de Unity Catalog. La capacidad de ver cuadernos en el catálogo creado a partir del recurso compartido requiere el privilegio USE CATALOG en el catálogo. Consulte Administración de permisos para los esquemas, tablas y volúmenes en un catálogo de OpenSharing.

Acceder a los datos en una tabla o volumen compartido

Para leer datos en una tabla o volumen compartido:

  1. Un usuario con privilegios debe crear un catálogo a partir del recurso compartido que contiene la tabla o volumen. Puede ser un administrador de metastore, un usuario que tenga los privilegios CREATE CATALOG y USE PROVIDER para el metastore de Unity Catalog, o un usuario que tenga tanto el privilegio como la propiedad CREATE CATALOG del objeto de proveedor.
  2. Ese usuario o un usuario con los mismos privilegios deben concederle acceso a la tabla o volumen compartido.
  3. Puede acceder a la tabla o volumen igual que haría con cualquier otro recurso de datos registrado en el metastore de Unity Catalog.

Crea un catálogo a partir de un recurso compartido

Para que los datos de un recurso compartido sean accesibles para su equipo, debe crear un catálogo a partir del recurso compartido o montarlo en un catálogo compartido existente. Para crear un catálogo a partir de un recurso compartido, puede usar el Explorador de catálogos, la CLI del catálogo de Databricks unity o los comandos SQL de un cuaderno de Azure Databricks o el editor de consultas SQL de Databricks. Para montar el recurso compartido en un catálogo compartido existente, puede usar el explorador de catálogos.

Permisos necesarios para crear un catálogo: un administrador de metastore, un usuario que tenga tanto los CREATE CATALOG privilegios y USE PROVIDER para tu metastore de Unity Catalog, o un usuario que tenga tanto el CREATE CATALOG privilegio como la propiedad del objeto proveedor.

Permisos necesarios para montar el compartir en un catálogo existente: Un usuario debe tener el USE PROVIDER privilegio o la propiedad del objeto proveedor, y también debe ser propietario del catálogo compartido existente o tener el MANAGE privilegio sobre el catálogo compartido existente.

Note

Si va a crear un catálogo a partir de un recurso compartido de SAP BDC , los metadatos semánticos de SAP (comentarios de tabla y columna, claves principales, claves externas y etiquetas de gobernanza) se sincronizan automáticamente en el catálogo. No es necesario realizar ninguna acción adicional. Para más información, consulte Metadatos semánticos de SAP BDC.

Note

Si el recurso compartido incluye vistas, debe usar un nombre de catálogo distinto del nombre del catálogo que contiene la vista en el metastore del proveedor.

Explorador de catálogos

  1. En el área de trabajo de Azure Databricks, haga clic en Data icon.Catalog para abrir el Explorador de catálogos.

  2. En la parte superior del panel Catálogo, haga clic en el icono de engranaje. y seleccione OpenSharing.

    Como alternativa, en la esquina superior derecha, haga clic en Compartir > openSharing.

  3. En la pestaña Compartidos conmigo, busque el proveedor y selecciónelo.

  4. Busque el recurso compartido deseado y haga clic en Montar en el catálogo en la fila del recurso compartido.

  5. Seleccione Crear un nuevo catálogo o Montar en el catálogo existente para agregar el recurso de datos a un catálogo existente.

  6. Escriba un nombre para el nuevo catálogo o elija el catálogo existente al que agregar el recurso compartido.

  7. Haga clic en Crear o montar.

Como alternativa, al abrir el Explorador de catálogos, puede hacer clic en + > Crear catálogo en la esquina superior derecha para crear un catálogo compartido. Consulte Creación de catálogos.

SQL

Ejecute el siguiente comando en un cuaderno o en el editor de consultas de Databricks SQL.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;

CLI

databricks catalogs create <catalog-name> /
--provider-name <provider-name> /
--share-name <share-name>

El catálogo creado a partir de un recurso compartido tiene un tipo de catálogo "OpenSharing". Puede ver el tipo en la página de detalles del catálogo en el Explorador de catálogos o ejecutando el comando DESCRIBE CATALOG SQL en un cuaderno o una consulta SQL de Databricks. Todos los catálogos compartidos aparecen en Catálogo > compartido en el panel izquierdo del Explorador de catálogos.

Un catálogo de OpenSharing se puede administrar de la misma manera que los catálogos normales en un metastore de catálogos de Unity. Puede ver, actualizar y eliminar un catálogo de OpenSharing con Catalog Explorer, la CLI de Databricks y los comandos SQL SHOW CATALOGS, DESCRIBE CATALOG, ALTER CATALOG y DROP CATALOG.

La estructura de espacio de nombres de 3 niveles bajo un catálogo OpenSharing creado a partir de un recurso compartido es la misma que la que existe bajo un catálogo regular en Unity Catalog: catalog.schema.table, catalog.schema.volume, o catalog.schema.skill.

Los datos de tabla y volumen de un catálogo compartido son de solo lectura, lo que significa que puede realizar operaciones de lectura como:

  • DESCRIBE, SHOW, y SELECT para tablas.
  • DESCRIBE VOLUME, LIST <volume-path>, SELECT * FROM <format>.'<volume_path>', y COPY INTO para volúmenes.

Los cuadernos de un catálogo compartido pueden obtener una vista previa y clonarse por cualquier usuario con USE CATALOG en el catálogo.

Los modelos de un catálogo compartido se pueden leer y cargar para la inferencia por parte de cualquier usuario con los siguientes privilegios: EXECUTE privilegios en el modelo registrado, además de USE SCHEMA y privilegios de USE CATALOG en el esquema y catálogo que contiene el modelo.

Gestionar permisos para los esquemas, tablas y volúmenes en un catálogo OpenSharing

De forma predeterminada, el creador del catálogo es el propietario de todos los objetos de datos de un catálogo openSharing y puede administrar permisos para cualquiera de ellos.

Los privilegios se heredan de manera descendente, aunque es posible que algunas áreas de trabajo todavía estén en el modelo de seguridad heredado, ya que no ofrecía herencia. Consulte Herencia de privilegios. Cualquier usuario que haya concedido el privilegio SELECT en el catálogo tendrá el privilegio SELECT en todos los esquemas y tablas del catálogo a menos que se revoque ese privilegio. Del mismo modo, cualquier usuario que tenga concedido el privilegio READ VOLUME en el catálogo tendrá el privilegio READ VOLUME en todos los volúmenes del catálogo, a menos que se revoque ese privilegio. No se pueden conceder privilegios que otorguen acceso de escritura o de actualización a un catálogo de OpenSharing o a objetos de un catálogo de OpenSharing.

El propietario del catálogo puede delegar la propiedad de los objetos de datos a otros usuarios o grupos, lo que concede a esos usuarios la capacidad de administrar los permisos de objeto y los ciclos de vida.

Para obtener información detallada sobre cómo administrar privilegios en objetos de datos mediante Unity Catalog, consulte Administración de privilegios en Unity Catalog.

Lectura de datos en una tabla compartida

Puede leer datos en una tabla compartida mediante cualquiera de las herramientas disponibles como usuario de Azure Databricks: Catalog Explorer, cuadernos, consultas SQL, la CLI de Databricks y las API de REST de Databricks. Debe tener el privilegio SELECT en la tabla.

Si el proveedor ha compartido la tabla WITH HISTORY, puede ejecutar transacciones en la tabla. Para obtener más información sobre los requisitos y las limitaciones de las transacciones, consulte Transacciones.

Lee datos en una tabla externa compartida o en un esquema externo

Puede leer datos en una tabla externa compartida o un esquema externo mediante cualquiera de las herramientas disponibles como usuario de Azure Databricks: Explorador de catálogos, cuadernos, consultas SQL, cli de Databricks y API rest de Databricks. Debe tener el privilegio SELECT sobre la tabla externa compartida o el esquema externo.

Puede ejecutar transacciones en tablas externas compartidas. Consulte los requisitos y las limitaciones de las transacciones.

Hay costos adicionales al acceder a una tabla externa compartida o un esquema externo. Para obtener información sobre cómo se calculan los costos de uso compartido, consulte ¿Cómo incurre y comprué los costos de OpenSharing?.

Limitaciones: No puedes saltarte la restricción del clúster para leer tablas extranjeras compartidas, aunque el proveedor lo permita.

Lee datos en una tabla compartida de Iceberg externa

Puede leer datos en una tabla externa compartida de Iceberg mediante cualquiera de las herramientas disponibles como usuario de Azure Databricks: Explorador de Catálogos, cuadernos, consultas SQL, la CLI de Databricks y las REST APIs de Databricks. En el Explorador de catálogos, una tabla externa Iceberg compartida se muestra con un tipo de tabla Externa y un formato de origen de datos Iceberg.

Tiene acceso a la ubicación del origen de Iceberg, pero solo puede realizar los siguientes tipos de consultas:

  • Consultas de instantáneas
  • Consultas de streaming

Requisitos:

  • Debe tener el privilegio SELECT sobre la tabla externa Iceberg compartida.
  • Debe usar Databricks Runtime 15.4 LTS o superior.

Lee datos en una tabla Delta externa compartida

Puedes leer datos en una tabla Delta extranjera compartida usando cualquiera de las herramientas disponibles para ti como usuario de Azure Databricks: Catalog Explorer, notebooks, consultas SQL, la CLI de Databricks y las APIs REST de Databricks. En Catalog Explorer, una tabla Delta externa compartida se muestra con un tipo de tabla de Extranjero y un formato de origen de datos de Delta.

En el intercambio Databricks a Databricks, las tablas Delta extranjeras siempre se comparten con historial completo y sin filtro de partición, por lo que siempre lees los archivos Delta de origen directamente usando tokens en la nube.

Requisitos:

  • Debe disponer del privilegio SELECT sobre la tabla Delta externa compartida.
  • Debes usar Databricks Runtime 16.4 LTS o superior.

Lee datos en un volumen compartido

Puede leer datos en un volumen compartido mediante cualquiera de las herramientas disponibles como usuario de Azure Databricks: Catalog Explorer, cuadernos, consultas SQL, la CLI de Databricks y las API REST de Databricks. Debe tener el privilegio READ VOLUME en el volumen.

Utiliza las habilidades de agente compartido

Importante

Esta característica se encuentra en su versión beta. Los administradores de cuentas pueden administrar el acceso a esta característica desde la página Vista previa de la consola de la cuenta. Consulte Gestionar previsualizaciones a nivel de cuenta.

Para usar las habilidades de agente, incluidas las compartidas, tu cuenta debe tener activada la vista previa de Enhanced Unity AI Gateway . No necesitas la vista previa de Intercambio de Habilidades para Agentes .

Las habilidades de agente compartido aparecen en el catálogo que crees a partir de share, junto a las tablas y volúmenes compartidos del proveedor. El nombre, comentario y contenido de la habilidad provienen del proveedor, y la habilidad se mantiene sincronizada con la original. Los cambios llegan a tu espacio de trabajo de forma asíncrona. Para usar una habilidad compartida, necesitas una subvención en el catálogo compartido, igual que para tablas y volúmenes compartidos. Para aprender cómo los agentes cargan habilidades, consulta el Tutorial: Descubre y usa Unity Gateway Skills.

Las habilidades compartidas son de solo lectura. No puedes editar una habilidad compartida, subir archivos a ella, comentarla o eliminarla. Catalog Explorer oculta estas acciones en habilidades compartidas. Tampoco puedes añadir una habilidad compartida a otro recurso compartido.

Para conocer los requisitos y limitaciones del proveedor, consulte Añadir habilidades de agente a un recurso compartido.

Lee datos protegidos por ABAC y aplica las políticas ABAC

El control de acceso basado en atributos (ABAC) es un modelo de gobernanza de datos que proporciona un control de acceso flexible, escalable y centralizado a través de Azure Databricks.

Crea políticas ABAC sobre tablas compartidas, vistas (Beta), vistas materializadas, tablas de streaming, esquemas y catálogos creados a partir de un share. Las vistas materializadas y las tablas de streaming están soportadas con limitaciones. Para crear políticas ABAC sobre vistas compartidas, activa la vista previa ABAC sobre vistas (Beta). No puedes aplicar políticas ABAC a vistas métricas. Para configurar directivas de ABAC, consulte Creación y administración de directivas de filtro de fila y máscara de columna.

Leer las columnas de seguimiento de filas en tablas compartidas

Si el proveedor de datos ha habilitado el seguimiento de filas en una tabla compartida, puede consultar las columnas de metadatos de seguimiento de filas. Consulte Seguimiento de filas en Azure Databricks para obtener una lista de columnas disponibles.

El acceso a estas columnas depende del tipo de tabla compartida:

  • Tablas compartidas con historial y sin filtros de partición: Puedes consultar columnas de seguimiento de filas sin restricciones.

  • Tablas con filtros de partición o tablas compartidas sin historial: Debes usar Scala Spark y establecer explícitamente la responseFormat opción como delta.

    spark.read.option(“responseformat”, “delta”).table(“shared_table”).select(“_metadata.row_id”).show()
    

Carga de un modelo compartido para la inferencia

Para más información sobre cómo cargar un modelo compartido y usarlo para la inferencia por lotes, consulte Versión del modelo de carga por alias para cargas de trabajo de inferencia.

Consulta de los datos del historial de una tabla

Si el historial se comparte junto con la tabla, puede consultar los datos de la tabla a partir de una versión o marca de tiempo. Requiere Databricks Runtime 12.2 LTS o superior.

Por ejemplo:

SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution VERSION AS OF 3;
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution TIMESTAMP AS OF "2023-01-01 00:00:00";

Además, si el flujo de datos de cambios (CDF) está habilitado con la tabla, puede consultar el CDF. Se admiten la versión y la marca de tiempo:

SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', 0, 3);
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', "2023-01-01 00:00:00", "2022-02-01 00:00:00");

Para obtener más información sobre la fuente de distribución de datos modificados, consulte Uso de la fuente de distribución de datos modificados en Azure Databricks.

Consulta una tabla usando Apache Spark Structured Streaming

Si una tabla se comparte con el historial, puede usarla como origen de Spark Structured Streaming. Requiere Databricks Runtime 12.2 LTS o superior.

Opciones admitidas:

  • ignoreDeletes: Ignorar las transacciones que eliminan datos.
  • ignoreChanges: Reprocesar actualizaciones si los archivos se reescribieron en la tabla fuente debido a una operación de cambio de datos como UPDATE, MERGE INTO, DELETE (dentro de particiones) o OVERWRITE. Todavía se pueden emitir filas sin cambios. Por tanto, los consumidores de nivel inferior deben ser capaces de controlar los duplicados. Las eliminaciones no se propagan hacia abajo. ignoreChanges absorbe ignoreDeletes. Por lo tanto, si usa ignoreChanges, el flujo no se interrumpirá mediante eliminaciones o actualizaciones de la tabla de origen.
  • startingVersion: La versión de tabla compartida desde la que empezar. El origen de streaming leerá todos los cambios de tabla a partir de esta versión (inclusive).
  • startingTimestamp: La marca temporal desde la que empezar. El origen de streaming leerá todos los cambios de tabla confirmados en o después de la marca de tiempo (inclusive). Ejemplo: "2023-01-01 00:00:00.0"
  • maxFilesPerTrigger: El número de archivos nuevos a considerar en cada microlote.
  • maxBytesPerTrigger: La cantidad de datos que se procesan en cada microlote. Esta opción establece un "máximo flexible", lo que significa que un lote procesa aproximadamente esta cantidad de datos y puede procesar más allá del límite para que la consulta en streaming avance en los casos en que la unidad de entrada más pequeña supere este límite.
  • readChangeFeed: Lee la fuente de cambios de datos de la tabla compartida.

Desencadenadores admitidos:

  • Trigger.ProcessingTime: El disparador por defecto, usado cuando no se especifica ningún disparador explícito. Los datos se procesan en microprocesos continuos.
  • Trigger.AvailableNow: La consulta captura la versión del lado servidor de la tabla compartida al inicio, procesa el backlog como múltiples microlotes que respetan maxFilesPerTrigger y maxVersionsPerRpc, y termina cuando se agota la versión capturada. Requiere Databricks Runtime 18.0 o superior para responseFormat=delta; además, responseFormat=parquet requiere que el archivo JAR incluido delta-sharing-client sea la versión 1.4.0 o superior (las versiones anteriores recurren a un envoltorio Trigger.AvailableNow que no respeta maxVersionsPerRpc).
  • Trigger.Once: En desuso; use Trigger.AvailableNow en su lugar. En Databricks Runtime 17.3 y versiones posteriores, Trigger.AvailableNow se convierte automáticamente en Trigger.Once porque la compatibilidad nativa Trigger.AvailableNow requiere Databricks Runtime 18.0 o superior.

Ejemplos de consultas de Structured Streaming

Scala
spark.readStream.format("deltaSharing")
.option("startingVersion", 0)
.option("ignoreChanges", true)
.option("maxFilesPerTrigger", 10)
.table("vaccine.vaccine_us.vaccine_us_distribution")
Python
spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.table("vaccine.vaccine_us.vaccine_us_distribution")

Si se habilita el flujo de datos de cambios (CDF) en la tabla, puede realizar una lectura en streaming del CDF.

spark.readStream.format("deltaSharing")
.option("readChangeFeed", "true")
.table("vaccine.vaccine_us.vaccine_us_distribution")

Aplicar filtros de fila y máscaras de columna

Para aplicar filtros de fila y máscaras de columna en tablas y tablas externas compartidas por el proveedor de datos, consulte Aplicar manualmente filtros de fila y máscaras de columna. No se pueden aplicar máscaras de columnas a tablas de streaming ni vistas materializadas.

Leer tablas con vectores de eliminación o mapeo de columnas activados

Los vectores de eliminación son una característica de optimización de almacenamiento que el proveedor puede habilitar en tablas Delta compartidas. Consulte Vectores de eliminación en Databricks.

Azure Databricks también admite la asignación de columnas para las tablas Delta. Consulte Renombrar y eliminar columnas con el mapeo de columnas de Delta Lake.

Si su proveedor compartió una tabla con vectores de eliminación o asignación de columnas habilitados, puede realizar lecturas por lotes en la tabla usando un almacén SQL o un clúster que ejecute Databricks Runtime 14.1 o superior. Las consultas de CDF y streaming requieren Databricks Runtime 14.2 o superior.

Puede realizar consultas por lotes tal como están, ya que pueden resolver automáticamente responseFormat en función de las características de tabla de la tabla compartida.

Para leer un feed de datos de cambio (CDF) o para realizar consultas en streaming en tablas compartidas con vectores de eliminación o mapeo de columnas activados, establezca la opción responseFormat=deltaadicional .

Sin embargo, responseFormat=delta es opcional en los siguientes casos:

  • Estás en Databricks Runtime 16.4 o superior y ejecutando una consulta CDF o una consulta de streaming normal en tablas compartidas con vectores de eliminación o mapeo de columnas activados.
  • Estás usando Databricks Runtime 17.3 o posterior y estás ejecutando una consulta de streaming de CDF.

En los siguientes ejemplos se muestran consultas por lotes, CDF y streaming:

import org.apache.spark.sql.SparkSession

// Batch query
spark.read.format("deltaSharing").table(<tableName>)

// CDF query
spark.read.format("deltaSharing")
  .option("readChangeFeed", "true")
  .option("responseFormat", "delta")
  .option("startingVersion", 1)
  .table(<tableName>)

// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").table(<tableName>)

Lee tablas de Iceberg gestionadas compartidas

La lectura de tablas Iceberg compartidas es la misma que la lectura de tablas compartidas, con estas excepciones:

Soporte en el intercambio de Databricks a Open Sharing:

Las instrucciones de este artículo se centran en leer datos compartidos mediante las interfaces de usuario de Azure Databricks, específicamente la sintaxis y las interfaces del Catálogo de Unity. Debido a las limitaciones de compatibilidad con funcionalidades avanzadas de Delta en los conectores OpenSharing, no se admite la consulta de tablas Iceberg administradas compartidas con Python, Tableau y Power BI.

Fuente de cambios de datos:

La alimentación de datos de cambio no está soportada para las tablas Iceberg gestionadas.

Azure Databricks Iceberg limitations:

Se aplican las limitaciones de la tabla de Iceberg y de la tabla de Iceberg gestionada. Consulte Limitaciones.

Leer vistas compartidas

La lectura de vistas compartidas es la misma que la lectura de tablas compartidas, con estas excepciones:

Restricciones de vistas compartidas:

  • Las vistas compartidas solo admiten un subconjunto de funciones y operadores integrados en Databricks. Consulte Funciones compatibles con el uso compartido de vistas de Databricks a Databricks.
  • Los destinatarios no pueden consultar más de 20 vistas compartidas en una consulta en el uso compartido de Databricks a Databricks. Las vistas compartidas no pueden proceder de más de cinco proveedores compartidos diferentes.
  • Cuando el proveedor procede de la misma cuenta o cuando se usa un proceso sin servidor en otra cuenta, no se pueden consultar varias vistas dependientes del mismo proveedor en una sola consulta. Por ejemplo, si view1 depende de view2 del lado del proveedor y ambas vistas se comparten con usted, no puede hacer referencia a view1 y view2 en la misma consulta.
  • Puede ejecutar transacciones en vistas compartidas. Consulte los requisitos y las limitaciones de las transacciones.

Requisitos de nomenclatura:

El nombre del catálogo que se usa para el catálogo compartido que contiene la vista no puede ser el mismo que cualquier catálogo de proveedores que contenga una tabla a la que hace referencia la vista. Por ejemplo, si la vista compartida está contenida en test el catálogo y una de las tablas del proveedor a las que se hace referencia en esa vista se encuentra en el catálogo del test proveedor, la consulta producirá un error de conflicto de espacio de nombres. Vea Creación de un catálogo a partir de un recurso compartido.

Tiempo de espera del resultado de la consulta:

Si no dispone de acceso directo a los datos subyacentes, Azure Databricks realiza una materialización sobre la marcha al consultar la vista. Cuando esta materialización tarda más de 5 minutos, la consulta expira. Cambie a proceso sin servidor para evitar esta limitación.

Historia y streaming:

No puede consultar el historial ni usar una vista como origen de streaming.

Compatibilidad con vistas en el uso compartido de Databricks a Open:

Las instrucciones de este artículo se centran en leer datos compartidos mediante las interfaces de usuario de Azure Databricks, específicamente la sintaxis y las interfaces del Catálogo de Unity. También puede consultar vistas compartidas mediante Apache Spark, Python y herramientas de BI como Tableau y Power BI.

Costes:

Para obtener información sobre cómo se calculan los costos de uso compartido, consulte ¿Cómo incurre y comprué los costos de OpenSharing?.

Lee tablas de streaming compartidas y vistas materializadas

Leer tablas de streaming compartidas y vistas materializadas es lo mismo que leer tablas compartidas, con estas excepciones:

Soporte en el intercambio de Databricks a Open Sharing:

Las instrucciones de esta página se centran en leer datos compartidos mediante las interfaces de usuario de Azure Databricks, específicamente la sintaxis y las interfaces de Unity Catalog. También puede consultar tablas de streaming compartidas y vistas materializadas mediante Apache Spark, Python y herramientas de BI como Tableau y Power BI. Véase Leer datos compartidos con tokens de portador.

Transacciones:

Limitaciones de SQL:

  • No se admite el uso de la función current_recipient.
  • No se admite el DESCRIBE EXTENDED comando.

Mapeo de columnas:

Si utiliza computación clásica al recibir un recurso compartido de otra cuenta de Azure Databricks, debe especificar el responseFormat como se indica a continuación al consultar una vista materializada o tablas de streaming con asignación de columnas.

spark.read.option("responseFormat", "delta").table("catalog_name.schema_name.mv_name")

Si usa computación clásica al compartir dentro de la misma cuenta de Azure Databricks o computación sin servidor en cualquier escenario, puede realizar consultas sin restricciones.

Costes:

Para obtener información sobre cómo se calculan los costos de uso compartido, consulte ¿Cómo incurre y comprué los costos de OpenSharing?.

Excepciones específicas de la vista materializada

Historial:

No se puede consultar el historial.

Refrescar:

No puede acceder al estado de actualización y a la programación de actualización de la vista materializada.

Visualización y creación de mesa en streaming:

No se pueden crear tablas de streaming en vistas materializadas compartidas.

Excepciones específicas de la tabla de streaming

Historial:

El historial de consultas está disponible en las siguientes circunstancias de uso compartido de Databricks a Databricks:

  • Estás utilizando computación sin servidor al compartir con una cuenta diferente de Azure Databricks.

  • Estás usando computación sin servidor o clásica cuando compartes recursos dentro de la misma cuenta de Azure Databricks.

Para obtener más información sobre los distintos procesos, consulte Proceso.

Actualización:

No puede acceder al estado de actualización y a la programación de actualización de la tabla de streaming.

Lee vistas compartidas de métricas

Leer vistas de métricas compartidas es lo mismo que leer vistas compartidas, con estas limitaciones:

  • Solo puedes consultar una vista compartida de métricas mediante cómputo sin servidor.
  • No tienes acceso a la definición de vista métrica ni a YAML.
  • Los parámetros de las vistas métricas parametrizadas compartidas se pueden usar en consultas, pero no se pueden descubrir mediante comandos de metadatos ni las API. Para saber qué parámetros acepta una vista de métrica compartida, contacte con el proveedor de datos.
  • No puedes consultar una vista métrica que haga referencia a tablas con filtros de fila o máscaras de columna. Contacta con el proveedor de datos si necesitas acceso.
  • No se puede consultar una vista métrica que haga referencia a tablas gobernadas por políticas ABAC. Contacta con el proveedor de datos si necesitas acceso.

Lee UDFs compartidos en Python

Leer las UDF de Python compartidas es igual que leer tablas compartidas. Después de crear un nuevo catálogo para el recurso compartido o montarlo en un catálogo existente, puede acceder y usar la UDF de Python.

Utiliza características compartidas FeatureSpecs y modelos con búsqueda automática de características

Después de crear un nuevo catálogo para el recurso compartido o de montar el recurso compartido en un catálogo existente, puedes poner a disposición cualquiera de las siguientes opciones:

En ambos escenarios de servicio, el catálogo del destinatario puede tener un nombre diferente al del catálogo del proveedor. Azure Databricks resuelve automáticamente las dependencias de características compartidas a través del catálogo de destinatarios.

Por ejemplo, supongamos que un modelo compartido FeatureSpec o modelo con consulta automática de características hace referencia a la tabla prod_features.customer_features.customer_profilede características . Si asignas al catálogo destinatario el nombre shared_features, Azure Databricks resuelve la dependencia como shared_features.customer_features.customer_profile.

Requisitos y limitaciones para el servicio de funcionalidades y modelos

Los siguientes requisitos y limitaciones se aplican tanto a un modelo compartido FeatureSpec como a uno compartido con consulta automática de funcionalidades:

  • Un modelo o FeatureSpec compartido y todas sus dependencias deben estar en el mismo recurso compartido. Si las dependencias cambian, el proveedor debe añadir el conjunto completo de dependencias actualizado al conjunto existente. Si el proveedor utiliza un nuevo recurso compartido, debe incluir FeatureSpec o el modelo y todas las dependencias antiguas y nuevas.
  • Un modelo compartido FeatureSpec o modelo no puede usar dependencias creadas por el destinatario. Esta restricción se aplica a las tablas de características y a las funciones del Catálogo de Unity creadas por el destinatario.
  • Cree tiendas online y puntos de conexión de servicio en cada región. Antes de servir un modelo compartido FeatureSpec a través de Feature Serving o un modelo compartido a través de Model Serving, crea una tienda online y publica las tablas dependientes en tu espacio de trabajo. Crea el punto de conexión de servicio correspondiente en cada región donde uses el FeatureSpec compartido o el modelo. Para información sobre cómo crear tiendas online y publicar tablas, consulte Databricks Online Feature Stores.

Lee cuadernos compartidos

Para obtener una vista previa y clonar archivos de cuaderno compartidos, puede usar Catalog Explorer.

Limitación de almacenamiento: Si tu almacenamiento utiliza puntos finales privados, no puedes leer cuadernos compartidos.

Permisos requeridos: Propietario del catálogo o usuario con privilegio USE CATALOG sobre el catálogo creado a partir del recurso compartido.

  1. En el área de trabajo de Azure Databricks, haga clic en Data icon.Catalog.

  2. En el panel izquierdo, expanda el menú Catálogo, busque y seleccione el catálogo creado a partir del recurso compartido.

  3. En la pestaña Otros recursos , verá los archivos de bloc de notas compartidos.

  4. Haga clic en el nombre de un archivo de cuaderno compartido para obtener una vista previa.

  5. (Opcional) Haga clic en el botón Clonar para importar el archivo de cuaderno compartido en el área de trabajo.

    1. En el cuadro de diálogo Clonar en, escriba un Nuevo nombre y seleccione la carpeta del área de trabajo en la que quiere clonar el archivo de cuaderno.
    2. Haga clic en Clonar.
    3. Una vez clonado el cuaderno, aparece un cuadro de diálogo para informarle de que se ha clonado correctamente. Haga clic en Mostrar en el editor de cuadernos del cuadro de diálogo para verlo en el editor de cuadernos.

    Ver Cuadernos de Databricks.

Desmontar un recurso compartido

Desmonte un recurso compartido para eliminar el activo de datos de su catálogo.

Permisos requeridos: Usuario con privilegio MANAGE en el catálogo compartido.

  1. En el área de trabajo de Azure Databricks, haga clic en Data icon.Catalog para abrir el Explorador de catálogos.

  2. En la parte superior del panel Catálogo, haga clic en el icono de engranaje. y seleccione OpenSharing.

    Como alternativa, en la esquina superior derecha, haga clic en Compartir > openSharing.

  3. En la pestaña Compartidos conmigo, busque el proveedor y selecciónelo.

  4. Haga clic en Icono de menú Kebab en la fila del recurso compartido.

  5. Haga clic en Desmontar recurso compartido.

  6. Haga clic en Desmontar.