Requisitos e limitações do Catálogo do Unity

Esta página descreve os requisitos de computação, formatos de arquivo com suporte, restrições de nomenclatura e limitações conhecidas para o Catálogo do Unity.

Suporte à região

Todas as regiões dão suporte para o Catálogo do Unity. Para obter detalhes, confira Regiões do Azure Databricks.

Requisitos de computação

O Unity Catalog tem suporte em clusters que executam o Databricks Runtime 11.3 LTS ou superior. O Catálogo Unity tem suporte por padrão em todas as versões de computação do SQL warehouse.

Os clusters em execução em versões anteriores do Databricks Runtime não oferecem suporte para todos os recursos e funcionalidades em GA do Catálogo do Unity.

Para acessar dados no Catálogo do Unity, os clusters devem ser configurados com o modo de acesso correto. O Catálogo do Unity é seguro por padrão. Se um cluster não estiver configurado com o modo de acesso padrão ou dedicado, o cluster não poderá acessar dados no Catálogo do Unity. Consulte Modos de acesso.

Para obter informações detalhadas sobre as mudanças na funcionalidade do Unity Catalog em cada versão do Databricks Runtime, consulte as notas de versão.

Limitações

O Catálogo do Unity tem as seguintes limitações. Alguns deles são específicos para versões mais antigas do Databricks Runtime e modos de acesso computacional.

Cargas de trabalho de streaming estruturadas têm limitações adicionais, dependendo do Databricks Runtime e do modo de acesso. Consulte requisitos e limitações de computação padrão e requisitos e limitações de computação dedicados.

O Databricks lança uma nova funcionalidade que reduz essa lista regularmente.

• Os grupos que foram criados anteriormente em um workspace (ou seja, grupos de nível de workspace) não podem ser usados em instruções GRANT do Catálogo do Unity. Isso serve para garantir uma visualização consistente de grupos que podem se estender entre áreas de trabalho. Para usar grupos em GRANT declarações, crie seus grupos no nível da conta e atualize qualquer automação para o gerenciamento de principais ou grupos (como SCIM, conectores do Okta e Microsoft Entra ID, e Terraform) para fazer referência a pontos de extremidade de conta em vez de pontos de extremidade de workspace. Consulte fontes de grupo.
• As cargas de trabalho no R não dão suporte ao uso de exibições dinâmicas para segurança em nível de linha ou de coluna na computação executando o Databricks Runtime 15.3 e abaixo.
  • Use um recurso de computação dedicado executando o Databricks Runtime 15.4 LTS ou superior para cargas de trabalho no R que consultam exibições dinâmicas. Essas cargas de trabalho também exigem um espaço de trabalho habilitado para computação sem servidor. Para obter detalhes, consulte o controle de acesso refinado na computação dedicada.
• Uma tabela gerenciada pode ser clonada superficialmente para outra tabela gerenciada no Databricks Runtime 13.3 LTS e superior. Uma tabela externa pode ser clonada superficialmente para outra tabela externa no Databricks Runtime 14.2 ou superior. Uma tabela gerenciada não pode ser clonada superficialmente em uma tabela externa. Além disso, uma tabela externa não pode ser clonada superficialmente em uma tabela gerenciada. Para obter mais informações, consulte Clone superficial para tabelas do Catálogo do Unity.
• Não há suporte para o particionamento por bucket em tabelas do Catálogo do Unity. Se você executar comandos que tentem criar uma tabela em bucket no Catálogo do Unity, uma exceção será gerada.
• A gravação no mesmo caminho ou na tabela Delta Lake de workspaces em várias regiões pode resultar em um desempenho não confiável se alguns clusters acessarem o Catálogo do Unity e outros não.
• A manipulação de partições para tabelas externas usando comandos como ALTER TABLE ADD PARTITION requer que o log de metadados de partição esteja habilitado. Consulte Descoberta de partição para tabelas externas.
• Ao usar o modo de substituição para as tabelas que não estão no formato Delta, o usuário deve ter o privilégio CREATE TABLE no esquema pai e deve ser o proprietário do objeto existente OU ter o privilégio MODIFY no objeto.
• Não há suporte para UDFs do Python no Databricks Runtime 12.2 LTS e versões posteriores. Isso inclui UDAFs, UDTFs e Pandas no Spark (applyInPandas e mapInPandas). UDFs escalares do Python têm suporte no Databricks Runtime 13.3 LTS e versões posteriores.
• Não há suporte para UDFs do Scala no Databricks Runtime 14.1 e abaixo na computação com o modo de acesso padrão. UDFs escalares são suportados no Databricks Runtime 14.2 e versões posteriores em ambientes de computação com modo de acesso padrão.
• Os pools de threads Scala padrão não são suportados. Use os pools de threads especiais em org.apache.spark.util.ThreadUtils, por exemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. No entanto, não há suporte para os seguintes pools de threads em ThreadUtils : ThreadUtils.newForkJoinPool e qualquer pool de threads ScheduledExecutorService.

• Os logs de diagnóstico do Azure registram apenas eventos do Catálogo do Unity no nível do workspace. Para exibir ações no nível da conta, você deve usar a tabela do sistema de log de auditoria. Confira Tabela de referência do sistema de logs de auditoria.

Os modelos registrados no Catálogo do Unity têm limitações adicionais. Confira Limitações.

Cotas de recursos

O Catálogo do Unity impõe cotas de recursos em todos os objetos protegíveis. Essas cotas são listadas em Limites de recursos. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.

Você pode monitorar o uso da cota usando as APIs de cotas de recursos do Catálogo do Unity. Consulte Monitorar o uso de cotas de recursos do Catálogo do Unity.