¿Qué es Unity Catalog?

En este artículo se presenta Unity Catalog, una solución de gobernanza unificada para los recursos de datos e inteligencia artificial en Azure Databricks. Se explican los conceptos clave y se proporciona información general sobre cómo usar el catálogo de Unity para controlar los datos.

Nota:

El Unity Catalog también está disponible como una implementación de código abierto. Consulte el blog de anuncios y el repositorio de GitHub público de Unity Catalog.

Introducción a Unity Catalog

Unity Catalog es un catálogo de datos centralizado que proporciona funcionalidades de control de acceso, auditoría, linaje, supervisión de calidad y detección de datos en áreas de trabajo de Azure Databricks.

Las principales características de Unity Catalog incluyen:

• Definir una vez, proteger en todas partes: El catálogo de Unity ofrece un único lugar para administrar directivas de acceso a datos que se aplican en todas las áreas de trabajo de una región.
• Modelo de seguridad compatible con estándares: el modelo de seguridad de Unity Catalog se basa en ANSI SQL estándar y permite a los administradores conceder permisos en su lago de datos existente mediante una sintaxis conocida.
• Auditoría integrada y linaje: Unity Catalog captura automáticamente los registros de auditoría de nivel de usuario que registran el acceso a los datos. El Catálogo Unity también captura datos de linaje que rastrean cómo se crean y utilizan los activos de datos en todos los idiomas.
• Detección de datos: Unity Catalog permite etiquetar y documentar recursos de datos y proporciona una interfaz de búsqueda para ayudar a los consumidores de datos a encontrar datos.
• Tablas del sistema: El catálogo de Unity le permite acceder y consultar fácilmente los datos operativos de su cuenta, incluidos los registros de auditoría, el uso facturable y el linaje.

Tienda de metadatos

El metastore es el contenedor de nivel superior para los metadatos en Unity Catalog. Registra metadatos sobre activos de IA y datos y los permisos que rigen el acceso a los mismos. Para que un área de trabajo use Unity Catalog, debe tener un metastore de Unity Catalog asociado. Debe tener una tienda de metadatos para cada región en la que tenga áreas de trabajo.

A diferencia del metastore de Hive, el metastore de Catálogo de Unity no es un límite de servicio: se ejecuta en un entorno multiinquilino y representa un límite lógico para la segregación de datos por región para una cuenta de Azure Databricks determinada.

El modelo de objetos de Catálogo de Unity

En un metastore de Unity Catalog, la jerarquía de objetos de base de datos de tres niveles consta de catálogos que contienen esquemas, que a su vez contienen datos y objetos de inteligencia artificial, como tablas y modelos. Esta jerarquía se representa como un espacio de nombres de tres niveles (catalog.schema.table-etc) al hacer referencia a tablas, vistas, volúmenes, modelos y funciones.

Nivel uno:

• Los catálogos se usan para organizar los recursos de datos y normalmente se usan como nivel superior en el esquema de aislamiento de datos. Los catálogos suelen reflejar las unidades organizativas o los ámbitos del ciclo de vida de desarrollo de software. Consulte ¿Qué son los catálogos en Azure Databricks?.
• Los objetos que no son protegibles de datos, como las credenciales de almacenamiento y las ubicaciones externas, se usan para administrar el modelo de gobernanza de datos en el catálogo de Unity. También se encuentran directamente en la tienda de metadatos. Se describen con más detalle en objetos protegibles que unity Catalog usa para administrar el acceso a orígenes de datos externos.

Nivel dos:

• Los esquemas (también conocidos como bases de datos) contienen tablas, vistas, volúmenes, modelos de IA y funciones. Los esquemas organizan los datos y los recursos de IA en categorías lógicas que son más granulares que los catálogos. Normalmente, un esquema representa un único caso de uso, proyecto o espacio aislado de equipo. Consulte ¿Qué son los esquemas en Azure Databricks?.

Nivel tres:

• Las tablas son colecciones de datos organizados por filas y columnas. Las tablas se pueden administrar, con Unity Catalog gestionando el ciclo de vida completo de la tabla o ser externas, con Unity Catalog administrando el acceso a los datos desde Azure Databricks, pero sin gestionar el acceso a los datos del almacenamiento en la nube desde otros clientes. Consulte Introducción a las tablas de Azure Databricks y Tablas administradas frente a tablas y volúmenes externos.
• Las vistas son consultas guardadas en relación con una o varias tablas. Consulte ¿Qué es una vista?
• Los volúmenes representan volúmenes lógicos de datos en el almacenamiento de objetos en la nube. Puede usar volúmenes para almacenar y organizar archivos en cualquier formato, incluidos datos estructurados, semiestructurados y no estructurados, así como acceder a ellos. Normalmente se usan para datos no tabulares. Los volúmenes pueden ser administrados, con Unity Catalog gestionando el ciclo de vida completo y el diseño de los datos en el almacenamiento, o externos, con Unity Catalog gestionando el acceso a los datos desde Azure Databricks, pero sin gestionar el acceso a los datos en la nube desde otros clientes. Vea ¿Qué son los volúmenes de Unity Catalog? y Administrado frente a tablas y volúmenes externos.
• Las funciones son unidades de lógica guardada que devuelven un valor escalar o un conjunto de filas. Consulte Funciones definidas por el usuario (UDF) en el catálogo de Unity.
• Los modelos son modelos de IA empaquetados con MLflow y registrados en el catálogo de Unity como funciones. Consulte Administración del ciclo de vida del modelo en el catálogo de Unity.

Objetos protegibles que usa Unity Catalog para administrar el acceso a orígenes de datos externos

Además de los objetos de base de datos y los recursos de inteligencia artificial contenidos en esquemas, El catálogo de Unity también usa los siguientes objetos protegibles para administrar el acceso al almacenamiento en la nube y a otros orígenes de datos y servicios externos:

• Credenciales de almacenamiento, que encapsulan una credencial de nube a largo plazo que proporciona acceso al almacenamiento en la nube. Consulte Creación de una credencial de almacenamiento para conectarse a Azure Data Lake Storage.
• Ubicaciones externas, que hacen referencia a una ruta de acceso de almacenamiento en la nube y a la credencial de almacenamiento necesaria para acceder a ella. Las ubicaciones externas se pueden usar para crear tablas externas o para asignar una ubicación de almacenamiento administrada para tablas y volúmenes administrados. Consulte Creación de una ubicación externa para conectar el almacenamiento en la nube a Azure Databricks, almacenamiento en la nube y aislamiento de datos y Especificar una ubicación de almacenamiento administrada en el catálogo de Unity.
• Conexiones, que representan credenciales que proporcionan acceso de solo lectura a una base de datos externa en un sistema de base de datos como MySQL mediante la federación de Lakehouse. Consulte ¿Qué es la federación de Lakehouse?.
• Credenciales de servicio, que encapsulan una credencial de nube a largo plazo que proporciona acceso a un servicio externo. Consulte Creación de credenciales de servicio.

Objetos protegibles que usa Unity Catalog para administrar el acceso a recursos compartidos

El catálogo de Unity usa los siguientes objetos protegibles para administrar el uso compartido de recursos de inteligencia artificial y datos en los límites de metastore o de la organización:

• Salas limpias, que representan un entorno administrado por Databricks en el que varios participantes pueden colaborar en proyectos sin compartir datos subyacentes entre sí. Consulte ¿Qué es Azure Databricks Clean Rooms?.
• Recursos compartidos, que son objetos Delta Sharing que representan una colección de datos y recursos de inteligencia artificial de solo lectura que un proveedor de datos comparte con uno o varios destinatarios.
• Destinatarios, que son objetos de Delta Sharing que representan una entidad que recibe participaciones de un proveedor de datos.
• Proveedores, que son objetos delta sharing que representan una entidad que comparte datos con un destinatario.

Para obtener más información sobre los objetos protegibles de uso compartido delta, consulte ¿Qué es el uso compartido delta?.

Roles de administración

Los siguientes roles de administrador de Azure Databricks tienen muchos privilegios de Catálogo de Unity de forma predeterminada:

• Administradores de cuentas: pueden crear metastores, vincular áreas de trabajo a metastores, agregar usuarios y asignar privilegios en metastores.
• Administradores del área de trabajo: pueden agregar usuarios a un área de trabajo y administrar muchos objetos específicos del área de trabajo, como trabajos y cuadernos. En función del área de trabajo, los administradores del área de trabajo también pueden tener muchos privilegios en el metastore que está asociado al área de trabajo.
• Administradores de metastore: este rol opcional es necesario si desea administrar el almacenamiento de tablas y volúmenes en el nivel de metastore. También es conveniente si desea administrar datos de forma centralizada en varias áreas de trabajo de una región.

Para obtener más información, consulte Privilegios de administrador en el catálogo de Unity.

Conceder y revocar el acceso a objetos protegibles

Los usuarios con privilegios pueden conceder y revocar el acceso a objetos protegibles en cualquier nivel de la jerarquía, incluido el propio metastore. El acceso a un objeto concede implícitamente el mismo acceso a todos los elementos secundarios de ese objeto, a menos que se revoque el acceso.

Puede usar comandos de ANSI SQL típicos para conceder y revocar el acceso a objetos en Unity Catalog. Por ejemplo:

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

También puede usar el Explorador de catálogos, la CLI de Databricks y las API de REST para administrar los permisos de objetos.

Los administradores del metastore, los propietarios de un objeto y los usuarios con MANAGE privilege en un objeto pueden conceder y revocar el acceso. Para obtener información sobre cómo administrar privilegios en el catálogo de Unity, consulte Administración de privilegios en el catálogo de Unity.

Acceso predeterminado a objetos de base de datos en Unity Catalog

Unity Catalog funciona en el principio de privilegios mínimos, donde los usuarios tienen el acceso mínimo que necesitan para realizar sus tareas necesarias. Cuando se crea un área de trabajo, los usuarios que no son administradores solo tienen acceso al catálogo de áreas de trabajo aprovisionadas automáticamente, lo que hace que este catálogo sea un lugar cómodo para que los usuarios prueben el proceso de creación y acceso a objetos de base de datos en el catálogo de Unity. Consulte Privilegios del catálogo del área de trabajo.

Trabajar con objetos de base de datos en Unity Catalog

Trabajar con objetos de base de datos en el catálogo de Unity es muy similar a trabajar con objetos de base de datos registrados en un metastore de Hive, con la excepción de que un metastore de Hive no incluye catálogos en el espacio de nombres de objeto. Puede usar la sintaxis ANSI conocida para crear objetos de base de datos, administrar objetos de base de datos, administrar permisos y trabajar con datos en Unity Catalog. También puede crear objetos de base de datos, administrar objetos de base de datos y administrar permisos en objetos de base de datos mediante la interfaz de usuario del Explorador de catálogos.

Para más información, consulte Objetos de base de datos en Azure Databricks.

Administrado frente a tablas y volúmenes externos

Las tablas y volúmenes se pueden administrar o externas.

• El catálogo de Unity administra completamente las tablas administradas, lo que significa que Unity Catalog administra tanto la gobernanza como los archivos de datos subyacentes para cada tabla administrada. Las tablas administradas se almacenan en una ubicación administrada por Unity Catalog en el almacenamiento en la nube. Las tablas administradas siempre usan el formato Delta Lake. Puede almacenar tablas administradas en los niveles de metastore, catálogo o esquema.
• Las tablas externas son tablas cuyo acceso desde Azure Databricks está administrado por Unity Catalog, pero cuyo ciclo de vida de datos y diseño de archivos se administran mediante el proveedor de nube y otras plataformas de datos. Normalmente, se usan tablas externas para registrar grandes cantidades de datos existentes en Azure Databricks, o si también necesita acceso de escritura a los datos mediante herramientas fuera de Azure Databricks. Las tablas externas se admiten en varios formatos de datos. Una vez registrada una tabla externa en un metastore de Catálogo de Unity, puede administrar y auditar el acceso de Azure Databricks a ella--- y trabajar con ella---juste como puede con las tablas administradas.
• El catálogo de Unity administra completamente los volúmenes administrados, lo que significa que Unity Catalog administra el acceso a la ubicación de almacenamiento del volumen en la cuenta del proveedor de nube. Al crear un volumen administrado, se almacena automáticamente en la ubicación de almacenamiento administrada asignada al esquema contenedor.
• Los volúmenes externos representan datos existentes en ubicaciones de almacenamiento que se administran fuera de Azure Databricks, pero registrados en el Catálogo de Unity para controlar y auditar el acceso desde Azure Databricks. Cuando se crea un volumen externo en Azure Databricks, se especifica su ubicación, que debe estar en una ruta de acceso definida en una ubicación externa del catálogo de Unity.

Databricks recomienda tablas y volúmenes administrados para la mayoría de los casos de uso, ya que permiten aprovechar al máximo las funcionalidades de gobernanza del catálogo de Unity y las optimizaciones de rendimiento. Para obtener información sobre los casos de uso típicos de tablas y volúmenes externos, consulte Tablas administradas y externas y volúmenes administrados y externos.

Consulte también:

• Tablas gestionadas por Unity Catalog en Azure Databricks para Delta Lake y Apache Iceberg
• Trabajar con tablas externas
• Volúmenes administrados frente a externos.

Almacenamiento en la nube y aislamiento de datos

El catálogo de Unity usa el almacenamiento en la nube de dos maneras principales:

• Almacenamiento administrado: ubicaciones predeterminadas para tablas administradas y volúmenes administrados (datos no estructurados y no tabulares) que se crean en Azure Databricks. Estas ubicaciones de almacenamiento administradas se pueden definir en el nivel de metastore, catálogo o esquema. Puede crear ubicaciones de almacenamiento administradas en el proveedor de nube, pero su ciclo de vida es totalmente administrado por El catálogo de Unity.
• Ubicaciones de almacenamiento donde se almacenan tablas y volúmenes externos. Se trata de tablas y volúmenes cuyo acceso desde Azure Databricks está administrado por Unity Catalog, pero cuyo ciclo de vida de datos y diseño de archivos se administran mediante el proveedor de nube y otras plataformas de datos. Normalmente, se usan tablas o volúmenes externos para registrar grandes cantidades de datos existentes en Azure Databricks, o si también necesita acceso de escritura a los datos mediante herramientas fuera de Azure Databricks.

Gobernanza del acceso al almacenamiento en la nube mediante ubicaciones externas

Tanto las ubicaciones de almacenamiento administradas como las ubicaciones de almacenamiento donde se almacenan tablas y volúmenes externos usan objetos protegibles de ubicación externa para administrar el acceso desde Azure Databricks. Los objetos de ubicación externa hacen referencia a una ruta de acceso de almacenamiento en la nube y a la credencial de almacenamiento necesaria para acceder a él. Las credenciales de almacenamiento son objetos protegibles del catálogo de Unity que registran las credenciales necesarias para acceder a una ruta de acceso de almacenamiento determinada. Juntos, estos elementos protegibles garantizan que el acceso al almacenamiento se controla y se realiza su seguimiento mediante el catálogo de Unity.

El diagrama siguiente representa la jerarquía del sistema de archivos de un único contenedor de almacenamiento en la nube, con cuatro ubicaciones externas que comparten una credencial de almacenamiento.

Para obtener más información, consulte ¿Cómo controla Unity Catalog el acceso al almacenamiento en la nube?.

Jerarquía de ubicación de almacenamiento administrado

El nivel en el que se define el almacenamiento administrado en el Catálogo de Unity depende del modelo de aislamiento de datos preferido. Es posible que su organización requiera que determinados tipos de datos se almacenen dentro de cuentas o depósitos específicos en el inquilino en la nube.

Unity Catalog ofrece la capacidad de configurar ubicaciones de almacenamiento administradas en el nivel de metastore, catálogo o esquema para satisfacer estos requisitos.

Por ejemplo, supongamos que su organización tiene una política de cumplimiento de la empresa que requiere que los datos de producción relacionados con los recursos humanos residan en el contenedor abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net. En el catálogo de Unity, puede lograr este requisito estableciendo una ubicación en un nivel de catálogo, creando un catálogo denominado, por ejemplo hr_prod, y asignando la ubicación abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog a él. Esto significa que las tablas o volúmenes administrados creados en el hr_prod catálogo (por ejemplo, mediante CREATE TABLE hr_prod.default.table …) almacenan sus datos en abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog. Opcionalmente, puede optar por proporcionar ubicaciones de nivel de esquema para organizar los datos en hr_prod catalog en un nivel más granular.

Si el aislamiento de almacenamiento no es necesario para algunos catálogos, puede establecer opcionalmente una ubicación de almacenamiento en el nivel de metastore. Esta ubicación sirve como ubicación predeterminada para tablas y volúmenes administrados en catálogos y esquemas que no tienen asignado almacenamiento. Sin embargo, normalmente, Databricks recomienda asignar ubicaciones de almacenamiento administradas independientes para cada catálogo.

El sistema evalúa la jerarquía de las ubicaciones de almacenamiento del esquema al catálogo en el metastore.

Por ejemplo, si se crea una tabla myCatalog.mySchema.myTable en my-region-metastore, la ubicación de almacenamiento de tablas se determina según la siguiente regla:

1. Si se ha proporcionado una ubicación para mySchema, se almacenará allí.
2. Si no es así, y se ha proporcionado una ubicación en myCatalog, se almacenará allí.
3. Por último, si no se ha proporcionado ninguna ubicación en myCatalog, se almacenará en la ubicación asociada a my-region-metastore.

Para obtener más información, consulte Especificar una ubicación de almacenamiento administrada en el catálogo de Unity.

Aislamiento del entorno mediante la vinculación del catálogo del área de trabajo

De forma predeterminada, los propietarios de catálogos (y los administradores de metastore, si están definidos para la cuenta) pueden hacer que un catálogo sea accesible para los usuarios de varias áreas de trabajo asociadas al mismo metastore de Unity Catalog.

Los requisitos de cumplimiento y organizativos suelen especificar que se mantengan determinados datos, como los datos personales, accesibles solo en determinados entornos. También puede que desee mantener los datos de producción aislados de los entornos de desarrollo o asegurarse de que ciertos conjuntos de datos y dominios nunca se unen.

En Azure Databricks, el área de trabajo es el entorno de procesamiento de datos principal y los catálogos son el dominio de datos principal. El catálogo de Unity permite a los administradores de metastore, los propietarios de catálogos y los usuarios con el permiso de MANAGE asignar o "enlazar" catálogos a áreas de trabajo específicas. Estos enlaces compatibles con el entorno permiten asegurarse de que solo determinados catálogos están disponibles en un área de trabajo, independientemente de los privilegios específicos de los objetos de datos concedidos a un usuario. Sin embargo, si usa áreas de trabajo para aislar el acceso a datos de usuario, es posible que desee limitar el acceso de catálogo a áreas de trabajo específicas de su cuenta, para asegurarse de que determinados tipos de datos solo se procesan en esas áreas de trabajo. Es posible que desee separar áreas de trabajo de producción y desarrollo, por ejemplo, o un área de trabajo independiente para procesar datos personales. Esto se conoce como enlace de catálogos del área de trabajo. Consulte Limitar el acceso de catálogo a áreas de trabajo específicas.

Nota:

Para un mayor aislamiento de datos, también puede enlazar el acceso al almacenamiento en la nube y el acceso al servicio en la nube a áreas de trabajo específicas. Consulte (Opcional) Asignar una credencial de almacenamiento a áreas de trabajo específicas, (opcional) Asignar una ubicación externa a áreas de trabajo específicas y (opcional) Asignar una credencial de servicio a áreas de trabajo específicas.

Cómo configurar el catálogo de Unity para mi organización?

Para usar Unity Catalog, el área de trabajo de Azure Databricks debe estar habilitada para Unity Catalog, lo que significa que el área de trabajo está asociada a un metastore de Unity Catalog.

¿Cómo se adjunta un área de trabajo a una metastore? Depende de la cuenta y del área de trabajo:

• Normalmente, cuando se crea un área de trabajo de Azure Databricks en una región por primera vez, el metastore se crea automáticamente y se adjunta al área de trabajo.
• Para algunas cuentas anteriores, un administrador de cuenta debe crear el metastore y asignar las áreas de trabajo de esa región a la metastore. Para obtener instrucciones, consulte Crear un metastore de Unity Catalog.
• Si una cuenta ya tiene asignada una metastore para una región, un administrador de cuenta puede decidir si desea adjuntar automáticamente la metastore a todas las áreas de trabajo nuevas de esa región. Consulte Habilitar una metastore para que se asigne automáticamente a nuevas áreas de trabajo.

Tanto si el área de trabajo se ha habilitado automáticamente para Unity Catalog, también se requieren los pasos siguientes para empezar a trabajar con Unity Catalog:

• Cree catálogos y esquemas para contener objetos de base de datos como tablas y volúmenes.
• Cree ubicaciones de almacenamiento administradas para almacenar las tablas y volúmenes administrados en estos catálogos y esquemas.
• Conceda al usuario acceso a catálogos, esquemas y objetos de base de datos.

Las áreas de trabajo que están habilitadas automáticamente para el catálogo de Unity aprovisionan un catálogo de áreas de trabajo con privilegios amplios concedidos a todos los usuarios del área de trabajo. Este catálogo es un punto de partida conveniente para probar el Unity Catalog.

Para obtener instrucciones detalladas sobre la configuración, consulte Introducción al catálogo de Unity.

Actualización de un área de trabajo existente al catálogo de Unity

Para obtener información sobre cómo actualizar un área de trabajo que no es de Unity Catalog a Unity Catalog, consulte Actualización de áreas de trabajo de Azure Databricks al catálogo de Unity.

Requisitos y restricciones de Unity Catalog

Unity Catalog requiere tipos específicos de formatos de proceso y archivo, que se describen a continuación. A continuación también se enumeran algunas características de Azure Databricks que no son totalmente compatibles con el Unity Catalog en todas las versiones de Databricks Runtime.

Regiones admitidas

Todas las regiones admiten Unity Catalog. Para más información, consulte Regiones de Azure Databricks.

Requisitos de proceso

Unity Catalog es compatible con clústeres que ejecutan Databricks Runtime 11.3 LTS o posteriores. Unity Catalog es compatible de forma predeterminada en todas las versiones de computación de SQL Warehouse.

Los clústeres que se ejecutan en versiones anteriores de Databricks Runtime no proporcionan compatibilidad con todas las características y funcionalidades de GA del catálogo de Unity.

Para acceder a los datos en el Catálogo de Unity, los clústeres deben configurarse con el modo de acceso correcto. Unity Catalog es seguro de forma predeterminada. Si un clúster no está configurado con el modo de acceso estándar o dedicado, el clúster no puede acceder a los datos en el Catálogo de Unity. Consulte Modos de acceso.

Para obtener información detallada sobre los cambios de funcionalidad del catálogo del Unity en cada versión de Databricks Runtime, consulte las notas de lanzamiento.

Las limitaciones de Unity Catalog varían según el modo de acceso y la versión de Databricks Runtime. Consulte Limitaciones del modo de acceso de cómputo para el Catálogo de Unity.

Compatibilidad con el formato de archivo

El catálogo de Unity admite los siguientes formatos de tabla:

• Las tablas administradas deben usar el formato de delta tabla.
• Las tablas externas pueden usar delta, CSV, JSON, avro, parquet, ORCo text.

Limitaciones

El catálogo de Unity tiene las siguientes limitaciones. Algunas de ellas son específicas de las versiones anteriores de Databricks Runtime y los modos de acceso de proceso.

Las cargas de trabajo de Structured Streaming tienen limitaciones adicionales, en función del entorno de ejecución y el modo de acceso de Databricks. Consulte Limitaciones del modo de acceso de cómputo para el Catálogo de Unity.

Databricks publica nuevas funcionalidades que reducen esta lista periódicamente.

• Los grupos que se crearon anteriormente en un área de trabajo (es decir, los grupos de nivel de área de trabajo) no se pueden usar en las instrucciones GRANT Unity Catalog. Esto es para garantizar una vista coherente de los grupos que pueden abarcar áreas de trabajo. Para utilizar grupos en las GRANdeclaraciones T, cree sus grupos a nivel de cuenta y actualice cualquier automatización para la administración de entidades de seguridad o grupos (como SCIM, conectores de ID de Okta y Microsoft Entra, y Terraform) para hacer referencia a puntos de conexión de cuentas en lugar de puntos de conexión de áreas de trabajo. Consulte Fuentes de grupo.
• Las cargas de trabajo no admiten el uso de vistas dinámicas para la seguridad en el nivel de fila o de columna en el proceso que ejecuta Databricks Runtime 15.3 y versiones anteriores.

Use un recurso de proceso dedicado que ejecute Databricks Runtime 15.4 LTS o superior para cargas de trabajo en R que consultan vistas dinámicas. Estas cargas de trabajo también requieren un área de trabajo habilitada para el proceso sin servidor. Para más información, consulte Control de acceso detallado en cómputo dedicado.

• Los clones poco profundos no se admiten en Unity Catalog en el proceso que ejecuta Databricks Runtime 12.2 LTS y versiones posteriores. Puede usar clones poco profundos para crear tablas administradas en Databricks Runtime 13.3 LTS y versiones posteriores. No se pueden usar para crear tablas externas, independientemente de la versión de Databricks Runtime. Consulte Clonación superficial para las tablas de Unity Catalog.

• No se admite la creación de cubos para las tablas Unity Catalog. Si ejecuta comandos que intentan crear una tabla en cubo en Unity Catalog, se producirá una excepción.

• Escribir en la misma ruta de acceso o tabla de Delta Lake desde áreas de trabajo de varias regiones puede provocar un rendimiento poco confiable si algunos clústeres acceden a Unity Catalog y otros no.

• La manipulación de particiones para tablas externas mediante comandos como ALTER TABLE ADD PARTITION requiere que se habilite el registro de metadatos de partición. Consulte Detección de particiones para tablas externas.

• Cuando se usa el modo de sobrescritura para tablas que no están en formato Delta, el usuario debe tener el CREATE TABLE privilegio en el esquema primario y debe ser el propietario del objeto existente O tener el privilegio MODIFY en el objeto.

• Las UDF de Python no se admiten en Databricks Runtime 12.2 LTS y versiones posteriores. Esto incluye UDAFs, UDTFs y Pandas en Spark (applyInPandas y mapInPandas). Las UDF escalares de Python se admiten en Databricks Runtime 13.3 LTS y versiones posteriores.

• Las UDFs de Scala no se admiten en Databricks Runtime 14.1 y versiones anteriores en cómputo con modo de acceso estándar. Las UDF escalares de Scala se admiten en Databricks Runtime 14.2 y versiones posteriores en procesos con el modo de acceso estándar.

• No se admiten los grupos de subproceso estándar de Scala. En su lugar, utilice los grupos de subprocesos especiales en org.apache.spark.util.ThreadUtils, por ejemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Sin embargo, los siguientes grupos de procesos en ThreadUtils no son compatibles: ThreadUtils.newForkJoinPool y cualquier grupo de procesos ScheduledExecutorService.

• El registro de auditoría solo se admite para eventos del Catálogo Unity a nivel de área de trabajo. Los eventos que tienen lugar a nivel de cuenta sin referencia a un área de trabajo, como la creación de un metastore, no se registran.

Los modelos registrados en Unity Catalog tienen limitaciones adicionales. Consulte limitaciones de .

Cuotas de recursos

Unity Catalog aplica cuotas de recursos en todos los objetos protegibles. Estas cuotas se enumeran en Límites de recursos. Si espera superar estos límites de recursos, póngase en contacto con el equipo de la cuenta de Azure Databricks.

Puede supervisar el uso de la cuota mediante las API de cuotas de recursos de Unity Catalog. Consulte Supervisión del uso de cuotas de recursos del catálogo de Unity.

Recursos adicionales

• Gobernanza de datos con Azure Databricks
• Actualización de áreas de trabajo de Azure Databricks al catálogo de Unity
• Procedimientos recomendados de Unity Catalog