Compartilhar via

O que é Catálogo do Unity?

Este artigo apresenta o Catálogo do Unity, uma solução de governança unificada para ativos de dados e de IA no Azure Databricks. Ele explica os principais conceitos e fornece uma visão geral de como usar o Catálogo do Unity para controlar os dados.

Observação

O Catálogo do Unity também está disponível como uma implementação de código aberto. Consulte o blog de anúncios e o repositório público do GitHub do Unity Catalog.

Visão geral do Catálogo do Unity

O Catálogo do Unity é um catálogo de dados centralizado que fornece controle de acesso, auditoria, linhagem, monitoramento de qualidade e recursos de descoberta de dados em workspaces do Azure Databricks.

Os principais recursos do Catálogo do Unity incluem:

  • Definir uma vez, proteger em todos os lugares: o Catálogo do Unity oferece um único local para administrar políticas de acesso a dados que se aplicam a todos os workspaces em uma região.
  • Modelo de segurança compatível com padrões: o modelo de segurança do Catálogo do Unity é baseado no SQL ANSI padrão e permite que os administradores concedam permissões em seu data lake existente usando sintaxe familiar.
  • Auditoria e linhagem de dados integradas: o Unity Catalog captura automaticamente os logs de auditoria em nível de usuário que registram o acesso aos seus dados. O Unity Catalog também captura dados de linhagem que rastreiam como os ativos de dados são criados e usados em todas os idiomas.
  • Descoberta de dados: o Unity Catalog permite marcar e documentar ativos de dados e fornece uma interface de pesquisa para ajudar os consumidores de dados a encontrar esses dados.
  • Tabelas do sistema: o Catálogo do Unity permite acessar e consultar facilmente os dados operacionais da sua conta, incluindo logs de auditoria, uso faturável e linhagem.

Metastore

O metastore é o contêiner de nível superior para metadados no Catálogo do Unity. Ele registra metadados sobre dados e ativos de IA e as permissões que controlam o acesso a eles. Para um workspace usar o Catálogo do Unity, ele deve ter um metastore do Catálogo do Unity anexado. Você deve ter um metastore para cada região em que você tenha espaços de trabalho.

Ao contrário do metastore do Hive, o metastore do Catálogo do Unity não é um limite de serviço: ele é executado em um ambiente multilocatário e representa um limite lógico para a segregação de dados por região para uma determinada conta do Azure Databricks.

O modelo de objeto do Catálogo do Unity

Em um metastore do Catálogo do Unity, a hierarquia de objetos de banco de dados de três níveis consiste em catálogos que contêm esquemas, que, por sua vez, contêm objetos de dados e IA, como tabelas e modelos. Essa hierarquia é representada como um namespace de três níveis (catalog.schema.table-etc) quando você faz referência a tabelas, exibições, volumes, modelos e funções.

Diagrama de modelo de objeto do Catálogo do Unity

Nível um:

Nível dois:

  • Esquemas (também conhecidos como bancos de dados) contêm tabelas, exibições, volumes, modelos de IA e funções. Esquemas organizam ativos de IA e dados em categorias lógicas mais granulares do que catálogos. Normalmente, um esquema representa um único caso de uso, projeto ou área restrita da equipe. Veja O que são esquemas no Azure Databricks?.

Nível três:

  • Tabelas são coleções de dados organizadas por linhas e colunas. As tabelas podem ser gerenciadas, com o Catálogo do Unity gerenciando todo o ciclo de vida da tabela ou externas, com o Catálogo do Unity gerenciando o acesso aos dados de dentro do Azure Databricks, mas não gerenciando o acesso aos dados no armazenamento em nuvem de outros clientes. Consulte Introdução às tabelas do Azure Databricks e Tabelas e volumes gerenciados versus externos.
  • Exibições são consultas salvas em uma ou mais tabelas. Confira O que é uma exibição?.
  • Os volumes representam volumes lógicos de dados no armazenamento de objetos de nuvem. Você pode usar volumes para armazenar, organizar e acessar arquivos em qualquer formato, incluindo dados estruturados, semiestruturados e não estruturados. Normalmente, eles são usados para dados não tabulares. Os volumes podem ser gerenciados, com o Catálogo do Unity gerenciando todo o ciclo de vida e o layout dos dados no armazenamento ou externos, com o Catálogo do Unity gerenciando o acesso aos dados de dentro do Azure Databricks, mas não gerenciando o acesso aos dados no armazenamento em nuvem de outros clientes. Veja O que são os volumes do Catálogo do Unity? e Volumes e tabelas gerenciados versus externos.
  • Funções são unidades de lógica salva que retornam um valor escalar ou um conjunto de linhas. Consulte UDFs (funções definidas pelo usuário) no Catálogo do Unity.
  • Modelos são modelos de IA empacotados com MLflow e registrados no Catálogo do Unity como funções. Consulte Gerenciar o ciclo de vida do modelo no Catálogo Unity.

Objetos protegíveis que o Catálogo do Unity usa para gerenciar o acesso a fontes de dados externas

Além dos objetos de banco de dados e dos ativos de IA contidos em esquemas, o Catálogo do Unity também usa os seguintes objetos protegíveis para gerenciar o acesso ao armazenamento em nuvem e a outras fontes de dados e serviços externos:

Objetos protegíveis que o Catálogo do Unity usa para gerenciar o acesso a ativos compartilhados

O Catálogo do Unity usa os objetos de segurança a seguir para gerenciar dados e o compartilhamento de ativos de IA através de limites de metastore ou organizacionais.

  • Clean Rooms representam um ambiente gerenciado pelo Databricks onde múltiplos participantes podem colaborar em projetos sem compartilhar os dados subjacentes entre si. Confira O que é o Azure Databricks Clean Rooms?.
  • Compartilhamentos, que são objetos do Delta Sharing e representam uma coleção de ativos de dados e de inteligência artificial, somente para leitura, que um provedor de dados compartilha com um ou mais destinatários.
  • Destinatários, que são objetos de Compartilhamento Delta que representam uma entidade que recebe compartilhamentos de um provedor de dados.
  • Provedores, que são objetos Delta Sharing que representam uma entidade que compartilha dados com um destinatário.

Para obter mais informações sobre os objetos protegíveis do Compartilhamento Delta, consulte O que é Compartilhamento Delta?.

Funções de administrador

As seguintes funções de administrador do Azure Databricks têm muitos privilégios do Catálogo do Unity por padrão:

  • Administradores de conta: podem criar metastores, vincular workspaces a metastores, adicionar usuários e atribuir privilégios em metastores.
  • Administradores de workspace: podem adicionar usuários a um workspace e gerenciar muitos objetos específicos do workspace, como trabalhos e notebooks. Dependendo do espaço de trabalho, os administradores do espaço de trabalho também podem ter muitos privilégios no metastore anexado ao espaço de trabalho.
  • Administradores do Metastore: essa função opcional será necessária se você quiser gerenciar o armazenamento de tabela e volume no nível do metastore. Também é conveniente se você quiser gerenciar dados centralmente em vários workspaces em uma região.

Para obter mais informações, consulte privilégios de administrador no Catálogo do Unity.

Concedendo e revogando o acesso a objetos protegíveis

Usuários privilegiados podem conceder e revogar o acesso a objetos protegíveis em qualquer nível na hierarquia, incluindo o metastore em si. O acesso a um objeto concede implicitamente o mesmo acesso a todos os filhos desse objeto, a menos que o acesso seja revogado.

Você pode usar comandos típicos do SQL ANSI para conceder e revogar o acesso a objetos no Catálogo do Unity. Por exemplo:

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

Você também pode usar o Catalog Explorer, a CLI do Databricks e as APIs REST para gerenciar permissões de objeto.

Conceder privilégio usando o Gerenciador de Catálogos

Administradores do metastore, proprietários de um objeto e usuários com o MANAGE privilege em um objeto podem conceder e revogar o acesso. Para saber como gerenciar privilégios no Catálogo do Unity, confira Gerenciar privilégios no Catálogo do Unity.

Acesso padrão a objetos de banco de dados no Catálogo do Unity

O Catálogo do Unity opera com o princípio de privilégios mínimos, em que os usuários têm o acesso mínimo necessário para executar as tarefas necessárias. Quando um espaço de trabalho é criado, os usuários não administradores têm acesso somente ao catálogo de espaço de trabalho provisionado automaticamente, o que torna esse catálogo um lugar conveniente para os usuários experimentarem o processo de criação e acesso a objetos de banco de dados no Catálogo do Unity. Veja Privilégios do catálogo do workspace.

Trabalhando com objetos de banco de dados no Catálogo do Unity

Trabalhar com objetos de banco de dados no Catálogo do Unity é muito semelhante a trabalhar com objetos de banco de dados registrados em um metastore do Hive, com exceção de que um metastore do Hive não inclui catálogos no namespace de objeto. Você pode usar uma sintaxe ANSI familiar para criar objetos de banco de dados, gerenciar objetos de banco de dados, gerenciar permissões e trabalhar com dados no Catálogo do Unity. Você também pode criar objetos de banco de dados, gerenciar objetos de banco de dados e gerenciar permissões em objetos de banco de dados usando a interface do usuário do Catalog Explorer.

Para obter mais informações, consulte objetos de banco de dados no Azure Databricks.

Volumes e tabelas gerenciados versus externos

As tabelas e volumes podem ser gerenciados ou externos.

  • Tabelas gerenciadas são totalmente gerenciadas pelo Catálogo do Unity, o que significa que o Catálogo do Unity gerencia a governança e os arquivos de dados subjacentes para cada tabela gerenciada. As tabelas gerenciadas são armazenadas em um local gerenciado pelo Catálogo do Unity no armazenamento em nuvem. As tabelas gerenciadas sempre usam o formato Delta Lake. Você pode armazenar tabelas gerenciadas nos níveis de metastore, catálogo ou esquema.
  • Tabelas externas são tabelas cujo acesso do Azure Databricks é gerenciado pelo Catálogo do Unity, mas cujo ciclo de vida de dados e layout de arquivo são gerenciados usando seu provedor de nuvem e outras plataformas de dados. Normalmente, você usa tabelas externas para registrar grandes quantidades de seus dados existentes no Azure Databricks ou se também precisar de acesso de gravação aos dados usando ferramentas fora do Azure Databricks. Há suporte para tabelas externas em vários formatos de dados. Depois que uma tabela externa é registrada em um metastore do Catálogo do Unity, você pode gerenciar e auditar o acesso do Azure Databricks a ela---e trabalhar com ela--- da mesma forma que você pode com tabelas gerenciadas.
  • Os volumes gerenciados são totalmente gerenciados pelo Catálogo do Unity, o que significa que o Catálogo do Unity gerencia o acesso ao local de armazenamento do volume em sua conta de provedor de nuvem. Quando você cria um volume gerenciado, ele é armazenado automaticamente no local de armazenamento gerenciado atribuído ao esquema que contém.
  • Volumes externos representam dados existentes em locais de armazenamento gerenciados fora do Azure Databricks, mas registrados no Catálogo do Unity para controlar e auditar o acesso de dentro do Azure Databricks. Ao criar um volume externo no Azure Databricks, especifique a localização, que deve estar em um caminho definido em um local externo do Catálogo do Unity.

O Databricks recomenda tabelas gerenciadas e volumes para a maioria dos casos de uso, pois eles permitem que você aproveite ao máximo os recursos de governança do Catálogo do Unity e as otimizações de desempenho. Para obter informações sobre casos de uso típicos para tabelas e volumes externos, consulte tabelas gerenciadas e externas e volumes gerenciados e externos.

Veja também:

Armazenamento em nuvem e isolamento de dados

O Catálogo do Unity usa o armazenamento em nuvem de duas maneiras principais:

  • Armazenamento gerenciado: locais padrão para tabelas gerenciadas e volumes gerenciados (dados não estruturados e não tabulares) criados no Azure Databricks. Esses locais de armazenamento gerenciado podem ser definidos no nível do metastore, do catálogo ou do esquema. Você cria locais de armazenamento gerenciados em seu provedor de nuvem, mas seu ciclo de vida é totalmente gerenciado pelo Catálogo do Unity.
  • Locais de armazenamento onde tabelas e volumes externos são armazenados. Essas são tabelas e volumes cujo acesso do Azure Databricks é gerenciado pelo Unity Catalog, mas cujo ciclo de vida dos dados e organização de arquivo são gerenciados usando seu provedor de nuvem e outras plataformas de dados. Normalmente, você usa tabelas ou volumes externos para registrar grandes quantidades de seus dados existentes no Azure Databricks ou se você também precisa de acesso de gravação aos dados usando ferramentas fora do Azure Databricks.

Controlar o acesso ao armazenamento em nuvem usando locais externos

Os locais de armazenamento gerenciado e os locais de armazenamento em que tabelas e volumes externos são armazenados usam objetos protegíveis de localização externa para gerenciar o acesso do Azure Databricks. Objetos de localização externos fazem referência a um caminho de armazenamento em nuvem e à credencial de armazenamento necessária para acessá-lo. As credenciais de armazenamento são objetos protegíveis do Catálogo do Unity que registram as credenciais necessárias para acessar um caminho de armazenamento específico. Juntos, esses recursos de segurança garantem que o acesso ao armazenamento seja controlado e acompanhado pelo Unity Catalog.

O diagrama abaixo representa a hierarquia do sistema de arquivos de um único contêiner de armazenamento em nuvem, com quatro locais externos que compartilham uma credencial de armazenamento.

Locais externos

Para obter mais informações, consulte Como o Catálogo do Unity controla o acesso ao armazenamento em nuvem?.

Hierarquia de local de armazenamento gerenciado

O nível no qual você define o armazenamento gerenciado no Catálogo do Unity depende do modelo de isolamento de dados preferido. Sua organização pode exigir que determinados tipos de dados sejam armazenados em contas ou buckets específicos em seu locatário de nuvem.

O Catálogo do Unity oferece a capacidade de configurar locais de armazenamento gerenciado no nível de metastore, catálogo ou esquema para atender a esses requisitos.

Por exemplo, digamos que sua organização tenha uma política de conformidade da empresa que exija que os dados de produção relacionados aos recursos humanos residam no contêiner abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net. No Catálogo do Unity, você pode atingir esse requisito definindo um local em um nível de catálogo, criando um catálogo chamado, por exemplo hr_prod, e atribuindo o local abfss://mycompany/hr-prod@storage-account.dfs.core.windows.netunity-catalog a ele. Isso significa que as tabelas gerenciadas ou os volumes criados no catálogo hr_prod (por exemplo, usando CREATE TABLE hr_prod.default.table …) armazenam seus dados em abfss://mycompany-hr-prod@storage-account.dfs.core.windows.net/unity-catalog. Opcionalmente, você pode optar por fornecer locais no nível do esquema para organizar dados dentro do hr_prod catalog em um nível mais granular.

Se o isolamento de armazenamento não for necessário para alguns catálogos, opcionalmente, você poderá definir um local de armazenamento no nível do metastore. Esse local serve como um local padrão para tabelas gerenciadas e volumes em catálogos e esquemas que não têm armazenamento atribuído. Normalmente, no entanto, o Databricks recomenda que você atribua locais de armazenamento gerenciado separados para cada catálogo.

O sistema avalia a hierarquia de locais de armazenamento de esquema para catálogo para metastore.

Por exemplo, se uma tabela myCatalog.mySchema.myTable for criada em my-region-metastore, o local de armazenamento da tabela será determinado de acordo com a seguinte regra:

  1. Se um local tiver sido fornecido para mySchema, ele será armazenado lá.
  2. Se não, e um local tiver sido fornecido em myCatalog, ele será armazenado lá.
  3. Por fim, se nenhum local tiver sido fornecido em myCatalog, ele será armazenado no local associado ao my-region-metastore.

Hierarquia de armazenamento do Catálogo do Unity

Para obter mais informações, consulte Especificar um local de armazenamento gerenciado no Catálogo do Unity.

Isolamento de ambiente usando vinculação espaço de trabalho-catálogo

Por padrão, os proprietários de catálogo (e administradores de metastore, se definidos para a conta) podem tornar um catálogo acessível aos usuários em vários espaços de trabalho anexados ao mesmo metastore do Catálogo do Unity.

Os requisitos organizacionais e de conformidade geralmente especificam que você mantenha determinados dados, como dados pessoais, acessíveis apenas em determinados ambientes. Talvez você também queira manter os dados de produção isolados dos ambientes de desenvolvimento ou garantir que determinados conjuntos de dados e domínios nunca sejam unidos.

No Azure Databricks, o workspace é o ambiente de processamento de dados principal e os catálogos são o domínio de dados primário. O Catálogo do Unity permite que administradores do metastore, proprietários de catálogo e usuários com a MANAGE permissão atribuam ou "associem" catálogos para workspaces específicos. Essas associações com reconhecimento de ambiente oferecem a capacidade de garantir que apenas determinados catálogos estejam disponíveis em um workspace, independentemente dos privilégios específicos nos objetos de dados concedidos a um usuário. No entanto, se você usar espaços de trabalho para isolar o acesso a dados do usuário, convém limitar o acesso ao catálogo a espaços de trabalho específicos em sua conta para garantir que determinados tipos de dados sejam processados apenas nesses espaços de trabalho. Talvez você queira espaços de trabalho separados para produção e desenvolvimento, por exemplo, ou um espaço de trabalho separado para o processamento de dados pessoais. É conhecido como workspace-catálogo. Consulte Limitar acesso do catálogo a espaços de trabalho específicos.

Catálogos do Catálogo do Unity

Observação

Para aumentar o isolamento de dados, você também pode associar o acesso ao armazenamento em nuvem e o acesso ao serviço de nuvem a workspaces específicos. Consulte (Opcional) Atribuir uma credencial de armazenamento a espaços de trabalho específicos, (Opcional) Atribuir um local externo a espaços de trabalho específicos e (Opcional) Atribuir uma credencial de serviço a espaços de trabalho específicos.

Como configuro o Catálogo do Unity para minha organização?

Para usar o Catálogo do Unity, o espaço de trabalho do Azure Databricks deve estar habilitado para o Catálogo do Unity, o que significa que o espaço de trabalho está anexado a um metastore do Catálogo do Unity.

Como um workspace é anexado a um metastore? Depende da conta e do espaço de trabalho:

  • Normalmente, quando você cria um workspace do Azure Databricks em uma região pela primeira vez, o metastore é criado automaticamente e anexado ao workspace.
  • Para algumas contas mais antigas, um administrador de conta deve criar o metastore e atribuir os espaços de trabalho nessa região ao metastore. Para obter instruções, veja Criar um metastore do Catálogo do Unity.
  • Se uma conta já tiver um metastore atribuído a uma região, um administrador de conta poderá decidir se deseja anexar o metastore automaticamente a todos os novos workspaces nessa região. Veja Habilitar um metastore a ser atribuído automaticamente a novos workspaces.

Se o espaço de trabalho foi habilitado ou não para o Catálogo do Unity automaticamente, as seguintes etapas também são necessárias para começar a usar o Catálogo do Unity:

  • Crie catálogos e esquemas para conter objetos de banco de dados, como tabelas e volumes.
  • Crie locais de armazenamento gerenciado para armazenar as tabelas e volumes gerenciados nesses catálogos e esquemas.
  • Conceda ao usuário acesso a catálogos, esquemas e objetos de banco de dados.

Espaços de trabalho habilitados automaticamente para o Catálogo do Unity provisionam um catálogo de espaços de trabalho com privilégios amplos concedidos a todos os usuários do workspace. Esse catálogo é um ponto de partida conveniente para experimentar o Catálogo do Unity.

Para obter instruções detalhadas de instalação, consulte Introdução ao Catálogo do Unity.

Atualizar um espaço de trabalho existente para o Catálogo do Unity

Para saber como atualizar um workspace sem Unity Catalog para o Unity Catalog, consulte Atualizar um workspace do Azure Databricks para o Unity Catalog.

Requisitos e restrições do Catálogo do Unity

O Catálogo do Unity requer tipos específicos de computação e formatos de arquivo, descritos abaixo. Também estão listados abaixo alguns recursos do Azure Databricks que não têm suporte total no Catálogo do Unity em todas as versões do Databricks Runtime.

Suporte à região

Todas as regiões dão suporte para o Catálogo do Unity. Para obter detalhes, confira Regiões do Azure Databricks.

Requisitos de computação

O Unity Catalog tem suporte em clusters que executam o Databricks Runtime 11.3 LTS ou superior. O Catálogo Unity tem suporte por padrão em todas as versões de computação do SQL warehouse.

Os clusters em execução em versões anteriores do Databricks Runtime não oferecem suporte para todos os recursos e funcionalidades em GA do Catálogo do Unity.

Para acessar dados no Catálogo do Unity, os clusters devem ser configurados com o modo de acesso correto. O Catálogo do Unity é seguro por padrão. Se um cluster não estiver configurado com o modo de acesso padrão ou dedicado, o cluster não poderá acessar dados no Catálogo do Unity. Consulte Modos de acesso.

Para obter informações detalhadas sobre as mudanças na funcionalidade do Unity Catalog em cada versão do Databricks Runtime, consulte as notas de versão.

As limitações do Catálogo do Unity variam de acordo com o modo de acesso e a versão do Databricks Runtime. Confira Limitações do modo de acesso ao cálculo para Unity Catalog.

Suporte ao formato de arquivo

O Catálogo do Unity é compatível com os seguintes formatos de tabela:

Limitações

O Catálogo do Unity tem as seguintes limitações. Alguns deles são específicos para versões mais antigas do Databricks Runtime e modos de acesso computacional.

Cargas de trabalho de streaming estruturadas têm limitações adicionais, dependendo do Databricks Runtime e do modo de acesso. Confira Limitações do modo de acesso ao cálculo para Unity Catalog.

O Databricks lança uma nova funcionalidade que reduz essa lista regularmente.

  • Os grupos que foram criados anteriormente em um workspace (ou seja, grupos de nível de workspace) não podem ser usados em instruções GRANT do Catálogo do Unity. Isso serve para garantir uma visualização consistente de grupos que podem se estender entre áreas de trabalho. Para usar grupos em instruções GRANT, crie seus grupos no nível da conta e atualize uma automação para gerenciamento de entidades de segurança ou grupo (como os conectores SCIM, Okta e Microsoft Entra ID, e Terraform) para referenciar pontos de extremidade de conta em vez de pontos de extremidade de workspace. Consulte fontes de grupo.
  • As cargas de trabalho no R não dão suporte ao uso de exibições dinâmicas para segurança em nível de linha ou de coluna na computação executando o Databricks Runtime 15.3 e abaixo.

Use um recurso de computação dedicado executando o Databricks Runtime 15.4 LTS ou superior para cargas de trabalho no R que consultam exibições dinâmicas. Essas cargas de trabalho também exigem um espaço de trabalho habilitado para computação sem servidor. Para obter detalhes, consulte o controle de acesso refinado na computação dedicada.

  • Os clones superficiais não têm suporte no Catálogo do Unity em uma computação que execute o Databricks Runtime 12.2 LTS e versões anteriores. Você pode usar clones rasos para criar tabelas gerenciadas no Databricks Runtime 13.3 LTS e versões posteriores. Você não pode usá-los para criar tabelas externas, independentemente da versão do Databricks Runtime. Veja Clone superficial para as tabelas do Catálogo do Unity.

  • Não há suporte para o particionamento por bucket em tabelas do Catálogo do Unity. Se você executar comandos que tentem criar uma tabela em bucket no Catálogo do Unity, uma exceção será gerada.

  • A gravação no mesmo caminho ou na tabela Delta Lake de workspaces em várias regiões pode resultar em um desempenho não confiável se alguns clusters acessarem o Catálogo do Unity e outros não.

  • A manipulação de partições para tabelas externas usando comandos como ALTER TABLE ADD PARTITION requer que o log de metadados de partição esteja habilitado. Consulte Descoberta de partição para tabelas externas.

  • Ao usar o modo de substituição para as tabelas que não estão no formato Delta, o usuário deve ter o privilégio CREATE TABLE no esquema pai e deve ser o proprietário do objeto existente OU ter o privilégio MODIFY no objeto.

  • Não há suporte para UDFs do Python no Databricks Runtime 12.2 LTS e versões posteriores. Isso inclui UDAFs, UDTFs e Pandas no Spark (applyInPandas e mapInPandas). UDFs escalares do Python têm suporte no Databricks Runtime 13.3 LTS e versões posteriores.

  • Não há suporte para UDFs do Scala no Databricks Runtime 14.1 e abaixo na computação com o modo de acesso padrão. As UDFs escalares Scala têm suporte no Databricks Runtime 14.2 e superior em computação com o modo de acesso padrão.

  • Os pools de threads Scala padrão não são suportados. Use os pools de threads especiais em org.apache.spark.util.ThreadUtils, por exemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. No entanto, não há suporte para os seguintes pools de threads em ThreadUtils : ThreadUtils.newForkJoinPool e qualquer pool de threads ScheduledExecutorService.

  • O registro de auditoria é suportado apenas para eventos do Unity Catalog no nível do espaço de trabalho. Os eventos que ocorrem no nível da conta sem referência a um workspace, como a criação de um metastore, não são registrados.

Os modelos registrados no Catálogo do Unity têm limitações adicionais. Confira Limitações.

Cotas de recursos

O Catálogo do Unity impõe cotas de recursos em todos os objetos protegíveis. Essas cotas são listadas em Limites de recursos. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.

Você pode monitorar o uso da cota usando as APIs de cotas de recursos do Catálogo do Unity. Veja Monitorar o uso de cotas de recursos do Catálogo do Unity.

Recursos adicionais