¿Qué es Unity Catalog?

  • Artículo

En este artículo se presenta Unity Catalog, una solución de gobernanza unificada para datos y recursos de IA del almacén de lago de Databricks.

Introducción a Unity Catalog

Unity Catalog proporciona capacidades centralizadas de control de acceso, auditoría, linaje y descubrimiento de datos en todas las áreas de trabajo de Azure Databricks.

Diagrama de Unity Catalog

Las principales características de Unity Catalog incluyen:

  • Defina una vez y esté seguro en todas partes: Unity Catalog ofrece un único lugar para administrar las directivas de acceso a datos que se aplican en todas las áreas de trabajo y roles.
  • Modelo de seguridad compatible con estándares: el modelo de seguridad de Unity Catalog se basa en ANSI SQL estándar y permite a los administradores conceder permisos en su lago de datos existente mediante una sintaxis conocida, en el nivel de catálogos, bases de datos (también denominados esquemas), tablas y vistas.
  • Auditoría y linaje incorporados: Unity Catalog captura automáticamente registros de auditoría a nivel de usuario que registran el acceso a sus datos. El Catálogo Unity también captura datos de linaje que rastrean cómo se crean y utilizan los activos de datos en todos los idiomas.
  • Descubrimiento de datos: Unity Catalog le permite etiquetar y documentar los activos de datos, y proporciona una interfaz de búsqueda para ayudar a los consumidores de datos a encontrarlos.
  • Tablas del sistema (versión preliminar pública): Unity Catalog le permite acceder y consultar fácilmente los datos operativos de su cuenta, incluidos los registros de auditoría, el uso facturable y el linaje.

¿Cómo controla Unity Catalog el acceso a los datos y los recursos de IA en el almacenamiento de objetos en la nube?

Databricks recomienda configurar todo el acceso al almacenamiento de objetos en la nube mediante Unity Catalog. Consulte Conexión al almacenamiento de objetos en la nube mediante Unity Catalog.

Unity Catalog presenta los siguientes conceptos para administrar las relaciones entre los datos de Azure Databricks y el almacenamiento de objetos en la nube:

Nota:

Lakehouse Federation proporciona integraciones a los datos de otros sistemas externos. Estos objetos no están respaldados por el almacenamiento de objetos en la nube.

El modelo de objetos de Unity Catalog

En el Catálogo Unity, la jerarquía de objetos de datos primarios fluye desde el metaalmacén a la tabla o volumen:

  • Metastore: contenedor de nivel superior para metadatos. Cada metastore expone un espacio de nombres de tres niveles (catalog.schema.table) que organiza los datos.
  • Catálogo: la primera capa de la jerarquía de objetos. Se usa para organizar los recursos de datos.
  • Esquema: también conocido como bases de datos, los esquemas son la segunda capa de la jerarquía de objetos y contienen tablas y vistas.
  • Tablas, vistas y volúmenes: en el nivel más bajo de la jerarquía de objetos de datos se encuentran las tablas, las vistas y los volúmenes. Los volúmenes proporcionan gobernanza para datos no tabulares.
  • Modelos: Aunque no son, estrictamente hablando, los recursos de datos, los modelos registrados también se pueden administrar en Unity Catalog y residir en el nivel más bajo de la jerarquía de objetos.

Diagrama del modelo de objetos del catálogo de Unity

Se trata de una vista simplificada de objetos de catálogo de Unity protegibles. Para más detalles, consulte Objetos protegibles en Unity Catalog.

Puede hacer referencia a todos los datos de Unity Catalog mediante un espacio de nombres de tres niveles: catalog.schema.asset, donde asset puede ser una tabla, una vista, un volumen o un modelo.

Metastores

Un metastore es el contenedor de nivel superior de los objetos de Unity Catalog. Registra metadatos sobre activos de IA y datos y los permisos que rigen el acceso a los mismos. Los administradores de cuentas de Azure Databricks pueden crear un metastore para cada región en la que operen y asignarlos a las áreas de trabajo de Azure Databricks en la misma región. Para que un área de trabajo use Unity Catalog, debe tener un metastore de Unity Catalog asociado.

Un metastore se puede configurar opcionalmente con una ubicación de almacenamiento administrada en un contenedor de Azure Data Lake Storage Gen2 o Cloudflare R2 en una cuenta de almacenamiento propia. Ver Almacenamiento gestionado.

Nota:

Este metastore es distinto del metastore Hive incluido en las áreas de trabajo de Azure Databricks que no se han habilitado para Unity Catalog. Si el área de trabajo incluye un metastore Hive heredado, los datos de ese metastore seguirán estando disponibles junto con los datos definidos en Unity Catalog, en un catálogo denominado hive_metastore. Tenga en cuenta que el catálogo hive_metastore no está administrado por Unity Catalog y no se beneficia del mismo conjunto de características que los catálogos definidos en Unity Catalog.

Consulte Creación de un metastore de Unity Catalog.

Catálogos

Un catálogo es la primera capa del espacio de nombres de tres niveles de Unity Catalog. Se usa para organizar los recursos de datos. Los usuarios pueden ver todos los catálogos en los que se les ha asignado el permiso de datosUSE CATALOG.

En función de cómo se haya creado y habilitado el área de trabajo para Unity Catalog, los usuarios pueden tener permisos predeterminados en catálogos aprovisionados automáticamente, incluido el catálogo main o el catálogo de área de trabajo (<workspace-name>). Para obtener más información, consulte Privilegios de usuario predeterminados.

Consulte Creación y administración de catálogos.

Esquemas

Un esquema (denominado también base de datos) es la segunda capa del espacio de nombres de tres niveles de Unity Catalog. Los esquemas organizan tablas y vistas. Los usuarios pueden ver todos los esquemas en los que se les ha asignado el permiso USE SCHEMA, junto con el permiso USE CATALOG en el catálogo principal del esquema. Para acceder o listar una tabla o vista en un esquema, los usuarios también deben tener permiso SELECT sobre la tabla o vista.

Si el área de trabajo se ha habilitado para Unity Catalog manualmente, incluye un esquema predeterminado, denominado default, en el catálogo main, que es accesible para todos los usuarios del área de trabajo. Si el área de trabajo se ha habilitado de forma automática para Unity Catalog e incluye un catálogo <workspace-name>, ese catálogo contendrá un esquema denominado default accesible para todos los usuarios del área de trabajo.

Consulte Creación y administración de esquemas (bases de datos).

Tablas

Las tablas residen en la tercera capa del espacio de nombres de tres niveles de Unity Catalog. Contiene filas de datos. Para crear una tabla, los usuarios deben tener los permisos CREATE y USE SCHEMA en el esquema, y el permiso USE CATALOG en su catálogo principal. Para consultar una tabla, los usuarios deben tener el permiso SELECT sobre la tabla, el permiso USE SCHEMA sobre su esquema principal y el permiso USE CATALOG sobre su catálogo principal.

Una tabla puede ser administrada o externa.

Tablas administradas

Las tablas administradas son la manera predeterminada de crear tablas en Unity Catalog. Unity Catalog administra el ciclo de vida y el diseño de archivos para estas tablas. No debe utilizar herramientas fuera de Azure Databricks para manipular archivos en estas tablas directamente. Las tablas administradas siempre utilizan el formato de tabla Delta.

Para las áreas de trabajo que se han habilitado manualmente para Unity Catalog, las tablas administradas se almacenan en la ubicación de almacenamiento raíz que se configura al crear un metastore. Puede especificar opcionalmente ubicaciones de almacenamiento de tablas administradas en los niveles de catálogo o esquema, anulando la ubicación de almacenamiento raíz.

Para las áreas de trabajo que se han habilitado automáticamente para Unity Catalog, la ubicación de almacenamiento raíz del metastore es opcional y las tablas administradas normalmente se almacenan en los niveles de catálogo o esquema.

Cuando se elimina una tabla administrada, sus datos subyacentes se eliminan del inquilino en la nube a los 30 días.

Consulte Tablas administradas.

Tablas externas

Las tablas externas son tablas cuyo ciclo de vida de datos y disposición de archivos no son administrados por Unity Catalog. Utilice tablas externas para registrar grandes cantidades de datos existentes en Unity Catalog, o si necesita acceso directo a los datos mediante herramientas fuera de los clústeres de Azure Databricks o los almacenes SQL de Databricks.

Cuando se anula una tabla externa, Unity Catalog no elimina los datos subyacentes. Los privilegios se pueden administrar en tablas externas y usarlos en consultas de la misma manera que las tablas administradas.

Las tablas externas pueden usar los siguientes formatos de archivo:

  • DELTA
  • CSV
  • JSON
  • AVRO
  • PARQUET
  • ORC
  • TEXT

Consulte Tablas externas.

Vistas

Una vista es un objeto de solo lectura creado a partir de una o varias tablas y vistas de un metastore. Se encuentra en la tercera capa del espacio de nombres de tres niveles de Unity Catalog. Una vista se puede crear a partir de tablas y otras vistas de varios esquemas y catálogos. Puede crear vistas dinámicas para habilitar los permisos de nivel de fila y de columna.

Consulte Creación de una vista dinámica.

Volúmenes

Un volumen reside en la tercera capa del espacio de nombres de tres niveles del Catálogo Unity. Los volúmenes son relacionados con tablas, vistas y otros objetos organizados en un esquema en el catálogo de Unity.

Los volúmenes contienen directorios y archivos para los datos almacenados en cualquier formato. Los volúmenes proporcionan acceso no tabular a los datos, lo que significa que los archivos de volúmenes no se pueden registrar como tablas.

  • Para crear una tabla, los usuarios deben tener los permisos CREATE VOLUME y USE SCHEMA en el esquema, y el permiso USE CATALOG en su catálogo principal.
  • Para leer archivos y directorios almacenados dentro de un volumen, los usuarios deben tener el permiso READ VOLUME, el permiso USE SCHEMA sobre su esquema primario y el permiso USE CATALOG sobre su catálogo primario.
  • Para agregar, retirar o modificar archivos y directorios almacenados dentro de un volumen, los usuarios deben tener el permiso WRITE VOLUME, el permiso USE SCHEMA sobre su esquema primario y el permiso USE CATALOG sobre su catálogo primario.

Un volumen puede ser administrada o externa.

Nota:

Al definir un volumen, el acceso URI de nube a los datos de la ruta de acceso del volumen se rige por los permisos del volumen.

Volúmenes administrados

Los volúmenes administrados son una solución cómoda cuando se quiere aprovisionar una ubicación regulada para trabajar con archivos no tabulares.

Los volúmenes administrados almacenan archivos en la ubicación de almacenamiento predeterminada del catálogo de Unity para el esquema en el que se encuentran. Para las áreas de trabajo que se han habilitado manualmente para Unity Catalog, los volúmenes administrados se almacenan en la ubicación de almacenamiento raíz que se configura al crear un metastore. Opcionalmente puede especificar ubicaciones de almacenamiento de volúmenes administrados en los niveles de catálogo o esquema, si anula la ubicación de almacenamiento raíz. Para las áreas de trabajo que se han habilitado automáticamente para Unity Catalog, la ubicación de almacenamiento raíz del metastore es opcional y los volúmenes administrados normalmente se almacenan en los niveles de catálogo o esquema.

La prioridad siguiente rige qué ubicación se usa para un volumen administrado:

  • Ubicación del esquema
  • Ubicación de catálogo
  • Ubicación de almacenamiento raíz del metastore de Unity Catalog

Al eliminar un volumen administrado, los archivos almacenados en este volumen también se eliminan del inquilino en la nube en un plazo de 30 días.

Consulta ¿Qué es un volumen gestionado?.

Volúmenes externos

Un volumen externo se registra en una ubicación externa del catálogo de Unity y proporciona acceso a los archivos existentes en el almacenamiento en la nube sin necesidad de la migración de datos. Los usuarios deben tener el CREATE EXTERNAL VOLUME permiso en la ubicación externa para crear un volumen externo.

Los volúmenes externos admiten escenarios en los que otros sistemas generan archivos y se almacenan provisionalmente para el acceso desde Azure Databricks mediante el almacenamiento de objetos o donde las herramientas fuera de Azure Databricks requieren acceso directo a archivos.

El catálogo de Unity no administra el ciclo de vida ni el diseño de los archivos en volúmenes externos. Cuando se anula una tabla externa, Unity Catalog no elimina los datos subyacentes.

Consulte ¿Qué es un volumen externo?.

Models

Los modelos residen en la tercera capa del espacio de nombres de tres niveles de Unity Catalog. En este contexto, "model" hace referencia a un modelo de aprendizaje automático registrado en el Registro de modelos de MLflow. Para crear un modelo en Unity Catalog, los usuarios deben tener el privilegio CREATE MODEL para el catálogo o esquema. El usuario también debe tener el privilegio USE CATALOG en su catálogo principal yUSE SCHEMA en el esquema principal.

Almacenamiento administrado

Puede almacenar tablas administradas y volúmenes administrados en cualquiera de estos niveles en la jerarquía de objetos de Unity Catalog: metastore, catálogo o esquema. El almacenamiento en niveles inferiores de la jerarquía invalida el almacenamiento definido en niveles superiores.

Cuando un administrador de cuentas crea manualmente un metastore, tiene la opción de asignar una ubicación de almacenamiento en un contenedor de Azure Data Lake Storage Gen2 o Cloudflare R2 en una cuenta de almacenamiento en la nube propia a fin de usarlo como almacenamiento de nivel de metastore para tablas y volúmenes administrados. Si se ha asignado una ubicación de almacenamiento administrada a nivel de metastore, las ubicaciones de almacenamiento administradas a nivel de catálogo y de esquema son opcionales. Dicho esto, el almacenamiento a nivel de metastore es opcional y Databricks recomienda asignar almacenamiento administrado a nivel de catálogo para el aislamiento de datos lógicos. Consulte Bloques de creación de gobernanza de datos y aislamiento de datos.

Importante

Si el área de trabajo se ha habilitado automáticamente para Unity Catalog, el metastore de Unity Catalog se habrá creado sin almacenamiento administrado de nivel de metastore. Puede optar por agregar almacenamiento a nivel de metastore, si bien Databricks recomienda asignar almacenamiento administrado a nivel de catálogo y de esquema. Para obtener ayuda para decidir si necesita almacenamiento a nivel de metastore, consulte (Opcional) Creación de almacenamiento a nivel de metastore y Los datos están separados físicamente en el almacenamiento.

El almacenamiento administrado tiene las siguientes propiedades:

  • Las tablas administradas y los volúmenes administrados almacenan datos y archivos de metadatos en el almacenamiento administrado.
  • Las ubicaciones de almacenamiento administradas no se pueden superponer con tablas externas o volúmenes externos.

En la tabla siguiente se describe cómo se declara el almacenamiento administrado y se asocia con los objetos catalog de Unity:

Objeto catalog de Unity asociado Cómo definir Relación con ubicaciones externas
Metastore Lo configura el administrador de cuenta durante la creación del metastore o lo agrega después de la creación del metastore si en dicho momento no se especificó ningún almacenamiento. No se puede superponer una ubicación externa.
Catálogo Se especifica durante la creación del catálogo mediante la MANAGED LOCATION palabra clave. Debe estar contenido dentro de una ubicación externa.
Esquema Se especifica durante la creación del catálogo mediante la MANAGED LOCATION palabra clave. Debe estar contenido dentro de una ubicación externa.

La ubicación de almacenamiento administrada que se usa para almacenar datos y metadatos para tablas administradas y volúmenes administrados usa las reglas siguientes:

  • Si el esquema contenedor tiene una ubicación administrada, los datos se almacenan en la ubicación administrada del esquema.
  • Si el esquema contenedor no tiene una ubicación administrada, pero el catálogo tiene una ubicación administrada, los datos se almacenan en la ubicación administrada del catálogo.
  • Si ni el esquema contenedor ni el catálogo contenedor tienen una ubicación administrada, los datos se almacenan en la ubicación administrada de metastore.

Credenciales de almacenamiento y ubicaciones externas

Para gestionar el acceso al almacenamiento en la nube subyacente para las tablas externas, los volúmenes externos y el almacenamiento gestionado, Unity Catalog usa los siguientes tipos de objetos:

Consulte Conexión al almacenamiento de objetos en la nube mediante Unity Catalog.

Administración de identidades para Unity Catalog

Unity Catalog usa las identidades de la cuenta de Azure Databricks para resolver usuarios, entidades de servicio y grupos, y para aplicar permisos.

Para configurar identidades en la cuenta, siga las instrucciones que encontrará en Administración de usuarios, entidades de servicio y grupos. Consulte esos usuarios, entidades de servicio y grupos cuando cree directivas de control de acceso en Unity Catalog.

Los usuarios, las entidades de servicio y los grupos de Unity Catalog también deben agregarse a las áreas de trabajo para acceder a los datos de Unity Catalog en un cuaderno, una consulta SQL de Databricks, Catalog Explorer o un comando de API de REST. La asignación de usuarios, entidades de servicio y grupos a áreas de trabajo se denomina federación de identidades.

Todas las áreas de trabajo que tienen una metastore de Unity Catalog asociada están habilitadas para la federación de identidades.

Consideraciones especiales para grupos

Los grupos que ya existen en el área de trabajo se etiquetan como Área de trabajo local en la consola de la cuenta. Estos grupos locales del área de trabajo no se pueden usar Unity Catalog para definir directivas de acceso. Debe usar grupos de nivel de cuenta. Si se hace referencia a un grupo local del área de trabajo en un comando, ese comando devolverá un error que indica que no se encontró el grupo. Si anteriormente usaba grupos locales del área de trabajo para administrar el acceso a cuadernos y otros artefactos, estos permisos permanecen en vigor.

Consulte Administración de grupos.

Roles de administración para Unity Catalog

Los administradores de cuentas, de metastores y de áreas de trabajo participan en la administración de Unity Catalog:

Consulte Privilegios de administrador en Unity Catalog.

Permisos de datos en Unity Catalog

En Unity Catalog, los datos están protegidos de forma predeterminada. En principio, los usuarios no tienen acceso a los datos de un metastore. El acceso puede ser concedido por un administrador de metastore, el propietario de un objeto, o el propietario del catálogo o esquema que contiene el objeto. Los objetos protegibles en el catálogo de Unity son jerárquicos y los privilegios se heredan hacia abajo.

Los permisos se pueden asignar y revocar mediante Catalog Explorer, comandos SQL o API de REST.

Consulte Administración de privilegios en Unity Catalog.

Modos de acceso a los procesos y a los clústeres admitidos para Unity Catalog

Unity Catalog es compatible con clústeres que ejecutan Databricks Runtime 11.3 LTS o posteriores. Unity Catalog es admitido de forma predeterminada en todas las versiones de proceso de almacenamiento SQL.

Los clústeres que se ejecutan en versiones anteriores de Databricks Runtime no proporcionan compatibilidad con todas las características y funcionalidades de GA del catálogo de Unity.

Para acceder a los datos de Unity Catalog, los clústeres deben configurarse con el modo de acceso correcto. Unity Catalog es seguro de forma predeterminada. Si un clúster no está configurado con uno de los modos de acceso compatibles con Unity-Catalog (es decir, usuario único o compartido), el clúster no puede acceder a los datos de Unity Catalog. Consulte Modos de acceso.

Para obtener información detallada sobre los cambios en las funciones de Unity Catalog en cada versión de Databricks Runtime, vea las notas de la versión.

Las limitaciones de Unity Catalog varían según el modo de acceso y la versión de Databricks Runtime. Vea Limitaciones del modo de acceso de proceso para Unity Catalog.

Linaje de datos para el catálogo de Unity

Puede usar el catálogo de Unity para capturar el linaje de datos en tiempo de ejecución entre las consultas de cualquier lenguaje que se ejecuten en un clúster de Azure Databricks o un almacén de SQL. El linaje se captura hasta el nivel de columna e incluye cuadernos, flujos de trabajo y paneles relacionados con la consulta. Para obtener más información, consulte Captura y visualización del linaje de datos mediante el catálogo de Unity.

Federación de Lakehouse y catálogo de Unity

La federación de Lakehouse es la plataforma de federación de consultas para Azure Databricks. El término federación de consultas describe una colección de características que permiten a los usuarios y sistemas ejecutar consultas en varios orígenes de datos en silos sin necesidad de migrar todos los datos a un sistema unificado.

Azure Databricks usa Unity Catalog para administrar la federación de consultas. El catálogo de Unity se usa para configurar conexiones de solo lectura a sistemas de bases de datos externos populares y crear catálogos externos que reflejen bases de datos externas. Las herramientas de gobernanza de datos y linaje de datos de Unity Catalog garantizan que el acceso a los datos se administre y audite para todas las consultas federadas realizadas por los usuarios en las áreas de trabajo de Azure Databricks.

Consulte ¿Qué es la federación de Lakehouse?.

¿Cómo configurar Unity Catalog para una organización?

Para obtener información sobre cómo configurar Unity Catalog, consulte Configuración y administración de Unity Catalog.

Regiones admitidas

Todas las regiones admiten Unity Catalog. Para obtener más información, consulte Regiones de Azure Databricks.

Formatos de archivos datos compatibles

El catálogo de Unity admite los siguientes formatos de tabla:

Limitaciones de Unity Catalog

El catálogo de Unity tiene las siguientes limitaciones.

Nota:

Si el clúster se ejecuta en una versión de Databricks Runtime inferior a 11.3 LTS, puede haber limitaciones adicionales, no enumeradas aquí. Unity Catalog es compatible con Databricks Runtime 11.3 LTS o posteriores.

Las limitaciones de Unity Catalog varían según Databricks Runtime y el modo de acceso. Las cargas de trabajo de flujo estructurado tienen limitaciones adicionales basadas en Databricks Runtime y el modo de acceso. Vea Limitaciones del modo de acceso de proceso para Unity Catalog.

  • Las cargas de trabajo no admiten el uso de vistas dinámicas para la seguridad en el nivel de fila o de columna.

  • En Databricks Runtime 13.3 LTS y versiones posteriores, se admiten clones superficiales para crear tablas administradas de Unity Catalog a partir de tablas administradas de Unity Catalog existentes. En Databricks Runtime 12.2 LTS y versiones posteriores, no hay compatibilidad con clones superficiales en Unity Catalog. Consulte Clonación superficial para tablas de Unity Catalog.

  • No se admite la creación de cubos para las tablas Unity Catalog. Si ejecuta comandos que intentan crear una tabla en cubo en Unity Catalog, se producirá una excepción.

  • Escribir en la misma ruta de acceso o tabla de Delta Lake desde áreas de trabajo de varias regiones puede provocar un rendimiento poco confiable si algunos clústeres acceden a Unity Catalog y otros no.

  • Los esquemas de partición personalizados creados mediante comandos como ALTER TABLE ADD PARTITION no se admiten para tablas en Unity Catalog. Unity Catalog puede acceder a tablas que utilizan particiones de estilo directorio.

  • El modo de sobrescritura para las operaciones de escritura de DataFrame en Unity Catalog solo es compatible con las tablas Delta, no con otros formatos de archivo. El usuario debe tener el privilegio CREATE en el esquema primario y debe ser el propietario del objeto existente o tener el privilegio MODIFY en el objeto.

  • En Databricks Runtime 13.3 LTS y versiones posteriores, se admiten los UDF escalares de Python. En Databricks Runtime 12.2 LTS y versiones anteriores, no puede usar UDF de Python, incluidos UDAF, UDTF y Pandas en Spark (applyInPandas y mapInPandas).

  • En Databricks Runtime 14.2 y versiones posteriores, las UDF escalares de Scala se admiten en clústeres compartidos. En Databricks Runtime 14.1 y versiones posteriores, no se admiten todas las UDF de Scala en clústeres compartidos.

  • Los grupos que se crearon previamente en un área de trabajo (es decir, los grupos de nivel de área de trabajo) no se pueden utilizar en las instrucciones GRANT del Catálogo Unity. Esto es para garantizar una vista coherente de los grupos que pueden abarcar áreas de trabajo. Para usar grupos en instrucciones GRANT, cree los grupos en el nivel de cuenta y actualice cualquier automatización de la administración de entidades de servicio o grupos, como, por ejemplo, conectores SCIM, Okta y Microsoft Entra ID (antes Azure Active Directory) y Terraform, para hacer referencia a los puntos de conexión de la cuenta, en lugar de a los puntos de conexión del área de trabajo. Consulte Diferencia entre grupos de cuenta y grupos de área de trabajo local.

  • No se admiten los grupos de subproceso estándar de Scala. En su lugar, utilice los grupos de subprocesos especiales en org.apache.spark.util.ThreadUtils, por ejemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Sin embargo, los siguientes grupos de procesos en ThreadUtils no son compatibles: ThreadUtils.newForkJoinPool y cualquier grupo de procesos ScheduledExecutorService.

  • El registro de auditoría solo se admite para eventos del Catálogo Unity a nivel de área de trabajo. Los eventos que tienen lugar a nivel de cuenta sin referencia a un área de trabajo, como la creación de un metastore, no se registran.

Las siguientes limitaciones se aplican a todos los nombres de objeto en el catálogo de Unity:

  • Los nombres de equipo no pueden superar los 255 caracteres.
  • No se permiten los siguientes caracteres especiales:
    • Periodo (.)
    • Área ( )
    • Barra diagonal(/)
    • Todos los caracteres de control ASCII (hexadecimal 00-1F)
    • El carácter DELETE (hexadecimal 7F)
  • El catálogo de Unity almacena todos los nombres de objeto en minúsculas.
  • Al hacer referencia a nombres UC en SQL, debe usar acentos versos para escape de nombres que contengan caracteres especiales, como guiones (-).

Nota:

Los nombres de columna pueden usar caracteres especiales, pero el nombre debe escaparse con acentos versos en todas las instrucciones SQL si se usan caracteres especiales. El catálogo de Unity conserva el uso de mayúsculas y minúsculas, pero las consultas en las tablas del catálogo de Unity no distinguen mayúsculas de minúsculas.

Existen limitaciones adicionales para los modelos en Unity Catalog. Consulte Limitaciones de la compatibilidad con Unity Catalog.

Cuotas de recursos

Unity Catalog aplica cuotas de recursos en todos los objetos protegibles. Los límites respetan la misma organización jerárquica en todo Unity Catalog. Si espera superar estos límites de recursos, póngase en contacto con el equipo de la cuenta de Azure Databricks.

Los valores de cuota siguientes se expresan en relación con el objeto primario (o abuelo) en el catálogo de Unity.

Object Parent Valor
table esquema 10 000
table metastore 100000
volumen esquema 10 000
function esquema 10 000
Modelo registrado esquema 1 000
Modelo registrado metastore 5000
versión del modelo Modelo registrado 10 000
versión del modelo metastore 100000
esquema catalog 10 000
catalog metastore 1000
conexión metastore 1000
credencial de almacenamiento metastore 200
Ubicación externa metastore 500

Para conocer los límites de uso compartido de Delta, consulte Cuotas de recursos.