O que é Catálogo do Unity?

Este artigo apresenta o Catálogo do Unity, uma solução de governança unificada para dados e ativos de IA no Databricks Lakehouse.

Visão geral do Catálogo do Unity

O Unity Catalog fornece recursos centralizados de controle de acesso, auditoria, linhagem e descoberta de dados em workspaces do Azure Databricks.

Unity Catalog diagram

Os principais recursos do Catálogo do Unity incluem:

  • Definir uma vez, proteger em todos os lugares: o Catálogo do Unity oferece um só local para administrar as políticas de acesso a dados que se aplicam a todos os workspaces.
  • Modelo de segurança em conformidade com padrões: o modelo de segurança do Catálogo do Unity baseia-se no padrão ANSI SQL e permite que os administradores concedam permissões no data lake existente deles usando uma sintaxe conhecida no nível de catálogos, bancos de dados (também chamados de esquemas), tabelas e exibições.
  • Auditoria e linhagem de dados integradas: o Unity Catalog captura automaticamente os logs de auditoria de nível do usuário que registram o acesso aos seus dados. O Unity Catalog também captura dados de linhagem que rastreiam como os ativos de dados são criados e usados em todas os idiomas.
  • Descoberta de dados: o Unity Catalog permite marcar e documentar ativos de dados e fornece uma interface de pesquisa para ajudar os consumidores de dados a encontrar esses dados.
  • Tabelas do sistema (Visualização Pública): o Catálogo do Unity permite acessar e consultar facilmente os dados operacionais da sua conta, incluindo logs de auditoria, uso faturável e linhagem.

Como o Catálogo do Unity rege o acesso aos dados e ativos de IA no armazenamento de objetos na nuvem?

O Databricks recomenda que você configure todo o acesso ao armazenamento de objetos de nuvem usando o Catálogo do Unity. Consulte Conectar-se ao armazenamento de objetos de nuvem usando o Catálogo do Unity.

O Catálogo do Unity apresenta os seguintes conceitos para gerenciar relações entre dados no Azure Databricks e no armazenamento de objetos na nuvem:

Observação

A Federação do Lakehouse fornece integrações a dados em outros sistemas externos. Esses objetos não são apoiados pelo armazenamento de objetos na nuvem.

O modelo de objeto do Catálogo do Unity

No Catálogo do Unity, a hierarquia de objetos de dados primários flui do metastore para a tabela ou volume:

  • Metastore: o contêiner de nível superior para metadados. Cada metastore expõe um namespace de três níveis (catalog.schema.table) que organiza seus dados.
  • Catálogo: a primeira camada da hierarquia de objetos usada para organizar seus ativos de dados.
  • Esquema: também conhecidos como bancos de dados, os esquemas são a segunda camada da hierarquia de objetos e contêm tabelas e exibições.
  • Tabelas, exibições e volumes: no nível mais baixo da hierarquia de objetos de dados estão as tabelas, exibições e volumes. Os volumes fornecem governança para dados não tabulares.
  • Modelos: embora não sejam, estritamente falando, ativos de dados, os modelos registrados também podem ser gerenciados no Catálogo do Unity e residem no nível mais baixo na hierarquia de objetos.

Unity Catalog object model diagram

Essa é uma exibição simplificada de objetos protegíveis do Unity Catalog. Para obter mais detalhes, confira Objetos protegíveis no Unity Catalog.

Referencie todos os dados no Catálogo do Unity usando um namespace de três níveis: catalog.schema.asset, em que asset pode ser uma tabela, exibição, volume ou modelo.

Metastores

Um metastore é o contêiner de nível superior de objetos no Catálogo do Unity. Ele registra metadados sobre dados e ativos de IA e as permissões que controlam o acesso a eles. Os administradores de conta do Azure Databricks devem criar um metastore para cada região em que operam e atribuí-los a workspaces do Azure Databricks na mesma região. Para um workspace usar o Catálogo do Unity, ele deve ter um metastore do Catálogo do Unity anexado.

Opcionalmente, um metastore pode ser configurado com um local de armazenamento gerenciado em um contêiner Azure Data Lake Storage Gen2 ou bucket Cloudflare R2 em sua própria conta de armazenamento em nuvem. Confira Armazenamento gerenciado.

Observação

Esse metastore é diferente do metastore do Hive incluído nos workspaces do Azure Databricks que não foram habilitados no Unity Catalog. Se o workspace incluir um metastore herdado do Hive, os dados desse metastore ainda estarão disponíveis junto com os dados definidos no Unity Catalog em um catálogo chamado hive_metastore. Observe que o catálogo hive_metastore não é gerenciado pelo Unity Catalog e não se beneficia do mesmo conjunto de recursos que os catálogos definidos no Unity Catalog.

Consulte Criar um metastore do Catálogo do Unity.

Catálogos

Um catálogo é a primeira camada do namespace de três níveis do Catálogo do Unity. Ele é usado para organizar seus ativos de dados. Os usuários podem ver todos os catálogos nos quais receberam a USE CATALOGpermissão de dados.

Dependendo de como seu workspace foi criado e habilitado para o Catálogo do Unity, os usuários podem ter permissões padrão em catálogos provisionados automaticamente, incluindo o catálogo main ou o catálogo de workspaces (<workspace-name>). Para obter mais informações, consulte Privilégios de usuário padrão.

Consulte Criar e gerenciar catálogos.

Esquemas

Um esquema (também chamado de banco de dados) é a segunda camada do namespace de três níveis do Catálogo do Unity. Um esquema organiza tabelas e exibições. Os usuários podem ver todos os esquemas nos quais receberam a permissão USE SCHEMA, juntamente com a permissão USE CATALOG no catálogo primário do esquema. Para acessar ou listar uma tabela ou exibição em um esquema, os usuários também devem ter permissão SELECT na tabela ou exibição.

Se seu espaço de trabalho foi habilitado manualmente para o Catálogo do Unity, ele incluirá um esquema padrão, chamado default, no catálogo main, que estará acessível a todos os usuários no seu espaço de trabalho. Se seu espaço de trabalho foi habilitado para o Catálogo do Unity automaticamente e inclui um catálogo <workspace-name>, esse catálogo contém um esquema chamado default acessível a todos os usuários em seu espaço de trabalho.

Consulte Criar e gerenciar esquemas (bancos de dados).

Tabelas

Uma tabela reside na terceira camada do namespace de três níveis do Catálogo do Unity. Ela contém linhas de dados. Para criar uma tabela, os usuários precisam ter as permissões CREATE e USE SCHEMA no esquema e a permissão USE CATALOG no catálogo pai. Para consultar uma tabela, os usuários devem ter a permissão SELECT na tabela, a permissão USE SCHEMA no esquema primários e a permissão USE CATALOG no catálogo primário.

Uma tabela pode ser gerenciada ou externa.

Tabelas gerenciadas

As tabelas gerenciadas são a maneira padrão de criar tabelas no Catálogo do Unity. O Catálogo do Unity gerencia o ciclo de vida e o layout de arquivo dessas tabelas. Você não deve usar ferramentas fora do Azure Databricks para manipular arquivos diretamente nessas tabelas. As tabelas gerenciadas sempre usam o formato de tabela Delta.

Para espaços de trabalho que foram habilitados manualmente para o Catálogo do Unity, as tabelas gerenciadas são armazenadas no local de armazenamento raiz que você configura ao criar um metastore. Opcionalmente, você pode especificar locais de armazenamento de tabela gerenciada nos níveis de catálogo ou esquema, substituindo o local de armazenamento raiz.

Para espaços de trabalho que foram ativados automaticamente para o Catálogo do Unity, o local de armazenamento raiz do metastore é opcional e as tabelas gerenciadas geralmente são armazenadas nos níveis de catálogo ou esquema.

Quando uma tabela gerenciada é removida, os dados subjacentes dela são excluídos do seu locatário de nuvem dentro de 30 dias.

Consulte Tabelas gerenciadas.

Tabelas externas

Tabelas externas são tabelas cujo ciclo de vida de dados e layout de arquivo não são gerenciados pelo Unity Catalog. Use tabelas externas para registrar grandes quantidades de dados existentes no Unity Catalog ou se você precisar de acesso direto aos dados usando ferramentas fora dos clusters do Azure Databricks ou warehouses SQL do Databricks.

Quando você remove uma tabela externa, o Catálogo do Unity não exclui os dados subjacentes. Você pode gerenciar privilégios em tabelas externas e usá-los em consultas da mesma maneira que as tabelas gerenciadas.

As tabelas externas podem usar os seguintes formatos de arquivos:

  • DELTA
  • CSV
  • JSON
  • AVRO
  • PARQUET
  • ORC
  • TEXT

Consulte Tabelas externas.

Exibições

Uma exibição é um objeto somente leitura composto por uma ou mais tabelas e exibições em um metastore. Uma tabela reside na terceira camada do namespace de três níveis do Catálogo do Unity. Uma exibição pode ser composta por tabelas e exibições em vários esquemas ou catálogos. Você pode criar exibições dinâmicas para habilitar permissões do nível da linha e coluna.

Confira Criar uma exibição dinâmica.

Volumes

Importante

Esse recurso está em uma versão prévia.

Um volume reside na terceira camada do namespace de três níveis do Catálogo do Unity. Os volumes são irmãos de tabelas, exibições e outros objetos organizados em um esquema no Catálogo do Unity.

Os volumes contêm diretórios e arquivos para dados armazenados em qualquer formato. Os volumes fornecem acesso não tabular aos dados, o que significa que os arquivos em volumes não podem ser registrados como tabelas.

  • Para criar um volume, os usuários precisam ter as permissões CREATE VOLUME e USE SCHEMA no esquema e a permissão USE CATALOG no catálogo pai.
  • Para ler arquivos e diretórios armazenados em um volume, os usuários devem ter a permissão READ VOLUME, a permissão USE SCHEMA em seu esquema pai e a permissão USE CATALOG em seu catálogo pai.
  • Para adicionar, remover ou modificar arquivos e diretórios armazenados dentro de um volume, os usuários devem ter a permissão WRITE VOLUME, a permissão USE SCHEMA em seu esquema pai e a permissão USE CATALOG em seu catálogo pai.

Um volume pode ser gerenciada ou externa.

Observação

Ao definir um volume, o acesso de URI de nuvem aos dados no caminho do volume é regido pelas permissões do volume.

Volumes gerenciados

Os volumes gerenciados são uma solução conveniente quando você deseja provisionar um local controlado para trabalhar com arquivos não tabulares.

Os volumes gerenciados armazenam arquivos no local de armazenamento padrão do Catálogo do Unity para o esquema no qual estão contidos. Para espaços de trabalho que foram ativados manualmente para o Catálogo do Unity, os volumes gerenciados são armazenados no local de armazenamento raiz que você configura ao criar um metastore. Opcionalmente, você pode especificar locais de armazenamento de volumes gerenciados nos níveis de catálogo ou esquema, substituindo o local de armazenamento raiz. Para espaços de trabalho que foram ativados automaticamente para o Catálogo do Unity, o local de armazenamento raiz do metastore é opcional e os volumes gerenciados normalmente são armazenados nos níveis de catálogo ou esquema.

A seguinte precedência rege qual local é usado para um volume gerenciado:

  • Local do esquema
  • Localização do catálogo
  • Local de armazenamento raiz do metastore do Unity Catalog

Quando você exclui um volume gerenciado, os arquivos armazenados nesse volume também são excluídos do locatário de nuvem dentro de 30 dias.

Confira O que é um volume gerenciado?.

Volumes externos

Um volume externo é registrado em um local externo do Catálogo do Unity e fornece acesso a arquivos existentes no armazenamento em nuvem sem a necessidade de migração de dados. Os usuários devem ter a CREATE EXTERNAL VOLUME permissão no local externo para criar um volume externo.

Volumes externos dão suporte a cenários em que os arquivos são produzidos por outros sistemas e preparados para acesso de dentro do Azure Databricks usando o armazenamento de objetos ou onde as ferramentas fora do Azure Databricks exigem acesso direto a arquivos.

O Catálogo do Unity não gerencia o ciclo de vida e o layout dos arquivos em volumes externos. Quando você remove um volume externo, o Catálogo do Unity não exclui os dados subjacentes.

Confira O que é um volume externo?.

Modelos

Um modelo reside na terceira camada do namespace de três níveis do Catálogo do Unity. Nesse contexto, "model" refere-se a um modelo de machine learning registrado no Registro de Modelo do MLflow. Para criar um modelo no Catálogo do Unity, os usuários devem ter o privilégio CREATE MODEL para o catálogo ou esquema. O usuário também deve ter o privilégio USE CATALOG no catálogo pai e USE SCHEMA no esquema pai.

Armazenamento gerenciado

Você pode armazenar tabelas gerenciadas e volumes gerenciados em qualquer um desses níveis na hierarquia de objetos do Catálogo do Unity: metastore, catálogo ou esquema. O armazenamento em níveis inferiores na hierarquia substitui o armazenamento definido em níveis superiores.

Quando um administrador de conta cria um metastore manualmente, ele tem a opção de atribuir um local de armazenamento em um contêiner Azure Data Lake Storage Gen2 ou bucket Cloudflare R2 em sua própria conta de armazenamento em nuvem para usar como armazenamento em nível de metastore para tabelas e volumes gerenciados. Se um local de armazenamento gerenciado no nível do metastore tiver sido atribuído, os locais de armazenamento gerenciados no catálogo e nos níveis de esquema serão opcionais. Dito isto, o armazenamento no nível do metastore é opcional e o Databricks recomenda atribuir armazenamento gerenciado no nível do catálogo para isolamento de dados lógicos. Consulte Blocos de criação de governança de dados e isolamento de dados.

Importante

Se seu espaço de trabalho foi habilitado para o Catálogo do Unity automaticamente, o metastore do Catálogo do Unity foi criado sem o armazenamento gerenciado no nível do metastore. Você pode adicionar armazenamento no nível do metastore, mas o Databricks recomenda atribuir armazenamento gerenciado nos níveis de catálogo e esquema. Para obter ajuda para decidir se você precisa de armazenamento no nível do metastore, consulte (opcional) Criar armazenamento no nível do metastore e Os dados estão fisicamente separados no armazenamento.

O armazenamento gerenciado tem as seguintes propriedades:

  • Tabelas gerenciadas e volumes gerenciados armazenam dados e arquivos de metadados no armazenamento gerenciado.
  • Os locais de armazenamento gerenciado não podem se sobrepor a tabelas externas ou volumes externos.

A tabela a seguir descreve como o armazenamento gerenciado é declarado e associado aos objetos do Catálogo do Unity:

Objeto Catálogo do Unity associado Como definir Relação com locais externos
Metastore Configurado pelo administrador da conta durante a criação do metastore ou adicionado após a criação do metastore se nenhum armazenamento foi especificado na criação. Não é possível sobrepor um local externo.
Catálogo Especificado durante a criação do catálogo usando MANAGED LOCATION palavra-chave. Deve estar contido em um local externo.
Esquema Especificado durante a criação do esquema usando MANAGED LOCATION palavra-chave. Deve estar contido em um local externo.

O local de armazenamento gerenciado usado para armazenar dados e metadados para tabelas gerenciadas e volumes gerenciados usa as seguintes regras:

  • Se o esquema que contém tiver um local gerenciado, os dados serão armazenados no local gerenciado pelo esquema.
  • Se o esquema que contém não tiver um local gerenciado, mas o catálogo tiver um local gerenciado, os dados serão armazenados no local gerenciado do catálogo.
  • Se o esquema que contém nem o catálogo que contém tiver um local gerenciado, os dados serão armazenados no local gerenciado do metastore.

Locais externos e credenciais de armazenamento

Para gerenciar o acesso ao armazenamento em nuvem subjacente para tabelas externas, volumes externos e armazenamento gerenciador, o Catálogo do Unity utiliza os seguintes tipos de objetos:

Consulte Conectar-se ao armazenamento de objetos de nuvem usando o Catálogo do Unity.

Gerenciamento de identidades para o Catálogo do Unity

O Catálogo do Unity usa as identidades na conta do Azure Databricks para resolver usuários, entidades de serviço e grupos e para impor permissões.

Para configurar identidades na conta, siga as instruções em Gerenciar usuários, entidades de serviço e grupos. Consulte esses usuários, entidades de serviço e grupos ao criar políticas de controle de acesso no Catálogo do Unity.

Os usuários, entidades de serviço e grupos do Catálogo do Unity também devem ser adicionados aos espaços de trabalho para acessar os dados do Catálogo do Unity em um bloco de anotações, uma consulta SQL do Databricks, o Gerenciador de Catálogos ou um comando da API REST. A atribuição de usuários, entidades de serviço e grupos a workspaces é chamada federação de identidade.

Todos os workspaces que têm um metastore do Catálogo do Unity anexado a eles estão habilitados para federação de identidade.

Considerações especiais para grupos

Todos os grupos que já existem no workspace são rotulados como Workspace local no console da conta. Esses grupos locais de workspace não podem ser usados no Catálogo do Unity para definir políticas de acesso. Você deve usar grupos no nível da conta. Se um grupo local de workspace for referenciado em um comando, esse comando retornará um erro informando que o grupo não foi encontrado. Se você usou grupos locais de workspace anteriormente para gerenciar o acesso a notebooks e outros artefatos, essas permissões permanecerão em vigor.

Confira Gerenciar grupos.

Funções de administrador para o Catálogo do Unity

Os administradores de conta, administradores de metastore e administradores do espaço de trabalho estão envolvidos no gerenciamento do Catálogo do Unity:

Confira Privilégios administrativos no Catálogo do Unity.

Permissões de dados no Catálogo do Unity

No Catálogo do Unity, os dados são seguros por padrão. Inicialmente, os usuários não têm acesso aos dados de um metastore. O acesso pode ser concedido por um administrador de metastore, pelo proprietário de um objeto ou pelo proprietário do catálogo ou esquema que contém o objeto. Os objetos protegíveis no Catálogo do Unity são hierárquicos e os privilégios são herdados para baixo.

Você pode atribuir e revogar permissões usando o Gerenciador de Catálogos, comandos SQL ou APIs REST.

Consulte Gerenciar privilégios no Catálogo do Unity.

Modos de acesso de computação e cluster com suporte para o Catálogo do Unity

O Unity Catalog tem suporte em clusters que executam o Databricks Runtime 11.3 LTS ou superior. O Catálogo do Unity tem suporte por padrão em todas as versões de computação do warehouse de SQL.

Os clusters em execução em versões anteriores do Databricks Runtime não oferecem suporte para todos os recursos e funcionalidades em GA do Catálogo do Unity.

Para acessar dados no Catálogo do Unity, os clusters devem ser configurados com o modo de acesso correto. O Catálogo do Unity é seguro por padrão. Se um cluster não estiver configurado com um dos modos de acesso compatíveis com o Unity-Catalog (ou seja, compartilhado ou atribuído), o cluster não poderá acessar os dados no Unity Catalog. Consulte Modos de acesso.

Para obter informações sobre a funcionalidade atualizada do Catálogo do Unity em versões posteriores do Databricks Runtime, confira as notas de versão.

As limitações do Catálogo do Unity variam de acordo com o modo de acesso e a versão do Databricks para o Databricks Runtime. Confira Limitações do modo de acesso de computação para o Catálogo do Unity.

Linhagem de dados para o Catálogo do Unity

Você pode usar o Catálogo do Unity para capturar a linhagem de dados de runtime em consultas em qualquer linguagem executadas em um cluster do Azure Databricks ou no SQL Warehouse. A linhagem é capturada até o nível da coluna e inclui notebooks, fluxos de trabalho e painéis relacionados à consulta. Para saber mais, confira Capturar e exibir a linhagem de dados usando o Catálogo do Unity.

Federação do Lakehouse e Catálogo do Unity

A Federação de Lakehouse é a plataforma de federação de consultas do Azure Databricks. O termo federação de consulta descreve uma coleção de recursos que permitem que usuários e sistemas executem consultas em várias fontes de dados em silos sem a necessidade de migrar todos os dados para um sistema unificado.

O Azure Databricks usa o Catálogo do Unity para gerenciar a federação de consultas. Você usa o Catálogo do Unity para configurar conexões somente leitura para sistemas de banco de dados externos populares e criar catálogos estrangeiros que espelho bancos de dados externos. As ferramentas de linhagem de dados e governança de dados do Catálogo do Unity garantem que o acesso aos dados seja gerenciado e auditado para todas as consultas federadas feitas pelos usuários em seus workspaces do Azure Databricks.

Veja O que é a Federação Lakehouse.

Como configurar o Catálogo do Unity para minha organização?

Para saber como configurar o Catálogo do Unity, confira Configurar e gerenciar o Catálogo do Unity.

Regiões com suporte

Todas as regiões dão suporte para o Catálogo do Unity. Para obter detalhes, confira Regiões do Azure Databricks.

Formatos de arquivo de dados compatíveis

O Catálogo do Unity é compatível com os seguintes formatos de tabela:

Limitações do Catálogo do Unity

O Catálogo do Unity tem as seguintes limitações.

Observação

Se o cluster estiver em execução em uma versão do Databricks Runtime abaixo da 11.3 LTS, poderá haver outras limitações que são estão listadas aqui. O Unity Catalog tem suporte no Databricks Runtime 11.3 LTS ou superior.

As limitações do Catálogo do Unity variam de acordo com o Databricks Runtime e o modo de acesso. As cargas de trabalho de fluxo estruturado têm limitações adicionais com base no Databricks Runtime e no modo de acesso. Confira Limitações do modo de acesso de computação para o Catálogo do Unity.

  • As cargas de trabalho no R não dão suporte ao uso de exibições dinâmicas para segurança em nível de linha ou de coluna.

  • No Databricks Runtime 13.1 e superior, clones superficiais são suportados para criar as tabelas gerenciadas do Catálogo do Unity a partir de tabelas gerenciadas do Catálogo do Unity existentes. No Databricks Runtime 13.0 e inferior, não há suporte para clones rasos no Catálogo do Unity. Confira Clone superficial para tabelas do Catálogo do Unity.

  • Não há suporte para o particionamento de memória em tabelas do Catálogo do Unity. Se você executar comandos que tentem criar uma tabela em bucket no Catálogo do Unity, uma exceção será gerada.

  • A gravação no mesmo caminho ou na tabela Delta Lake de workspaces em várias regiões pode resultar em um desempenho não confiável se alguns clusters acessarem o Catálogo do Unity e outros não.

  • Os esquemas de partição personalizados que foram criados usando comandos como ALTER TABLE ADD PARTITION não têm suporte para tabelas no Unity Catalog. O Unity Catalog pode acessar tabelas que usam o particionamento em estilo de diretório.

  • O modo de substituição para operações de gravação de DataFrame no Catálogo do Unity tem suporte apenas para tabelas Delta e não para outros formatos de arquivo. O usuário deve ter o privilégio CREATE no esquema pai e deve ser o proprietário do objeto existente ou ter o privilégio MODIFY no objeto.

  • No Databricks Runtime 13.2 e superior, as UDFs escalares do Python têm suporte para isso. No Databricks Runtime 13.1 e inferior, você não pode usar UDFs do Python, incluindo UDAFs, UDTFs e Pandas no Spark (applyInPandas e mapInPandas).

  • No Databricks Runtime 14.2 e superior, as UDFs escalares do Scala têm suporte para clusters compartilhados. No Databricks Runtime 14.1 e abaixo, não há suporte para todos os UDFs do Scala em clusters compartilhados.

  • Os grupos que foram criados anteriormente em um workspace (ou seja, grupos de nível de workspace) não podem ser usados em instruções GRANT do Catálogo do Unity. Isso serve para garantir uma exibição consistente de grupos que podem se estender entre workspaces. Para usar os grupos em instruções GRANT, crie seus grupos no nível da conta e atualize qualquer automação para o gerenciamento de entidades ou de grupos (como os conectores do SCIM, do Okta, do Microsoft Entra ID, antigo Azure Active Directory e do Terraform), a fim de referenciar os pontos de extremidade de conta em vez dos pontos de extremidade de workspace. Confira Diferença entre os grupos de contas e os grupos locais de workspace.

  • Não há suporte para pools de threads em Escala Padrão. Em vez disso, use os pools de threads especiais em org.apache.spark.util.ThreadUtils, por exemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. No entanto, não há suporte para os seguintes pools de threads em ThreadUtils : ThreadUtils.newForkJoinPool e qualquer pool de threads ScheduledExecutorService.

  • O log de auditoria tem suporte apenas para eventos do Unity Catalog no nível do workspace. Os eventos que ocorrem no nível da conta sem referência a um workspace, como a criação de um metastore, não são registrados.

As seguintes limitações se aplicam a todos os nomes de objeto no Catálogo do Unity:

  • Os nomes de objetos não podem exceder 255 caracteres.
  • Os seguintes caracteres especiais não são permitidos:
    • Período (.)
    • Space ( )
    • Barra (/)
    • Todos os caracteres de controle ASCII (00-1F hex)
    • O caractere DELETE (7F hex)
  • O Catálogo do Unity armazena todos os nomes de objeto como minúsculas.
  • Ao referenciar nomes UC no SQL, você deve usar backticks para escapar de nomes que contêm caracteres especiais, como hifens (-).

Observação

Os nomes de coluna podem usar caracteres especiais, mas o nome deve ser escapado com backticks em todas as instruções SQL se caracteres especiais forem usados. O Catálogo do Unity preserva o uso de maiúsculas e minúsculas de nome de coluna, mas as consultas em tabelas do Catálogo do Unity não diferenciam maiúsculas de minúsculas.

Existem limitações adicionais para os modelos no Catálogo do Unity. Consulte Limitações no suporte do Catálogo do Unity.

Cotas de recursos

O Catálogo do Unity impõe cotas de recursos em todos os objetos protegíveis. Os limites respeitam a mesma organização hierárquica em todo o Catálogo do Unity. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.

Os valores de cota abaixo são expressos em relação ao objeto pai (ou avô) no Unity Catalog.

Objeto Pai Valor
tabela esquema 10000
tabela metastore 100000
volume esquema 10000
function esquema 10000
modelo registrado esquema 1000
modelo registrado metastore 5000
versão de modelo modelo registrado 10000
versão de modelo metastore 100000
esquema catálogo 10000
catálogo metastore 1000
connection metastore 1000
credencial de armazenamento metastore 200
local externo metastore 500

Para saber os limites do Delta Sharing, veja Cotas de recursos.