Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Importante
As atualizações automáticas para esquemas existentes estão na Visualização Pública. Para se inscrever, preencha este formulário com a ID da conta. Nenhuma alteração de código ou configuração adicional é necessária após o registro.
Atualizações automáticas para novos esquemas geralmente estão disponíveis.
Para tabelas gerenciadas do Unity Catalog, o Databricks as atualiza automaticamente para usar recursos recomendados de disponibilidade geral, sem exigir alterações no código nem comandos manuais ALTER TABLE. As atualizações automáticas também verificam se os clientes são compatíveis antes de ativar novos recursos.
As atualizações automáticas fornecem os seguintes benefícios:
- Reduza o esforço administrativo necessário para validar os requisitos de compatibilidade individuais para cada tabela e combinação de recursos em seus workspaces. Isso é especialmente útil se você tiver catálogos com milhares de tabelas.
- Obtenha automaticamente as melhorias mais recentes de desempenho e confiabilidade em suas tabelas gerenciadas.
- Atualize tabelas com segurança. As atualizações automáticas só ativam os recursos depois de verificar a compatibilidade da carga de trabalho.
Como funcionam as atualizações automáticas
As atualizações automáticas monitoram os padrões de acesso do Catálogo do Unity nos níveis de tabela e de esquema e usam uma janela de observação para verificar se os padrões de acesso são compatíveis antes de ativar qualquer recurso. A janela de observação é de 50 dias para recursos na Visualização Pública e 100 dias para recursos disponíveis em geral.
As atualizações automáticas usam a computação sem servidor para atualizar tabelas em segundo plano.
Esquemas e tabelas
O comportamento das atualizações automáticas depende se esquemas e tabelas existiam antes de você ativar atualizações automáticas. A tabela a seguir fornece mais detalhes:
| Schema | Table | Behavior |
|---|---|---|
| Novo | Novo | As atualizações automáticas definem padrões de nível de esquema no momento da criação para que as tabelas herdem imediatamente todos os recursos com suporte sem um período de observação. |
| Existente | Novo | As atualizações automáticas ativam um recurso se apenas cargas de trabalho verificadas tiverem acessado a tabela dentro da janela de observação. Caso contrário, se uma única carga de trabalho não verificada tiver acessado a tabela, as atualizações automáticas ignorarão a tabela. Consulte cargas de trabalho verificadas. |
| Existente | Existente | As atualizações automáticas ativam um recurso quando todos os seguintes são verdadeiros:
|
Cargas de trabalho verificadas
Uma carga de trabalho será considerada verificada para um recurso específico se ele tiver acessado a tabela de um cluster do Databricks com uma versão do Databricks Runtime acima ou acima da versão mínima necessária do recurso.
As atualizações automáticas consideram as seguintes cargas de trabalho não verificadas:
- Clientes externos e serviços de terceiros, como Flink ou Presto. Confira integrações do Unity Catalog.
- Serviços do Azure Databricks com acesso direto à tabela no nível do kernel, como o Zerobus, que ignoram os padrões de acesso padrão do Databricks Runtime. Confira a visão geral do conector Zerobus Ingest.
Se qualquer tabela em um esquema tiver sido acessada dentro da janela de observação por uma versão do Databricks Runtime abaixo da versão mínima necessária do recurso ou por um cliente externo, as atualizações automáticas não ativarão o recurso correspondente em nenhuma tabela nesse esquema.
Recursos com suporte
As atualizações automáticas ativam recursos disponíveis automaticamente. No entanto, as atualizações não ativam os recursos na Visualização Pública, a menos que você se registre na visualização.
As atualizações automáticas dão suporte aos seguintes recursos:
| Característica | O que faz | Status de liberação | Versão mínima compatível do Databricks Runtime |
|---|---|---|---|
| Acompanhamento de linhas | Mantém IDs de linha ocultas para processamento incremental com feed de dados de alteração. | Geralmente disponível para novas tabelas em novos esquemas. Visualização pública para todas as tabelas em esquemas existentes. | 14,1 |
| Ponto de verificação V2 | Permite que o Delta Lake ofereça suporte a mais gravações simultâneas e reduz os conflitos de gravação em tabelas grandes ou atualizadas com frequência. | Geralmente disponível para novas tabelas em novos esquemas. Versão prévia pública para todas as tabelas dos esquemas existentes. | 13.3 |
| Agrupamento líquido automático | Organiza automaticamente os dados da tabela com base em colunas consultadas com frequência para melhorar o desempenho da consulta sem particionamento manual. | Geralmente disponível para novas tabelas em novos esquemas. Visualização pública para novas tabelas em esquemas existentes. As atualizações automáticas para esse recurso ignoram tabelas existentes. | 13.3 |
| Confirmações de catálogo | Centraliza commits no Unity Catalog para permitir transações em várias tabelas, melhorar a interoperabilidade para escritas externas e permitir políticas de governança em diferentes mecanismos. | Visualização pública para todas as tabelas em todos os esquemas. | 16.4 |
| Mapeamento de coluna | Permite renomear e remover colunas sem reescrever dados. | Visualização pública para todas as tabelas em todos os esquemas. | 15,3 |
A disponibilidade do recurso pode ser diferente por região.
Requirements
- A computação sem servidor deve estar disponível em sua região.
- As tabelas devem ser tabelas gerenciadas do Catálogo do Unity nos formatos Delta Lake ou Apache Iceberg.
Observar recursos habilitados
Para verificar se as atualizações automáticas habilitaram um recurso em uma tabela, procure a operação SET TBLPROPERTIES na guia Histórico do Catalog Explorer ou use DESCRIBE HISTORY <table_name>. Se as atualizações automáticas executarem a operação, o campo nome de usuário mostrará um valor de hash em vez de um nome de usuário, como 4d137f29-62. Veja o que é o Gerenciador de Catálogos? e exibir o histórico de tabelas.
Depois que as atualizações automáticas ativam os recursos em tabelas em um novo esquema, exiba os padrões de esquema na guia Propriedades no Gerenciador de Catálogos. Por exemplo, um esquema com controle de linha ativado mostra uma propriedade como catalog.schema.enableRowTracking: "true". Os esquemas existentes não têm propriedades de observabilidade de atualizações automáticas.
Gerenciar recursos recomendados
Os administradores podem gerenciar o comportamento e as operações de atualizações com vários controles.
Reverter as alterações
Use RESTORE para reverter os dados e metadados de uma tabela para uma versão antes de o recurso ser ativado:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Consulte Restaurar uma tabela em um estado anterior para obter mais informações sobre o histórico e a restauração da tabela.
Desativar funcionalidades para tabelas
Para desativar um recurso em uma tabela individual:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
As atualizações automáticas não ativam um recurso novamente depois que você o desativa manualmente.
Limitações
- As tabelas compartilhadas pelo Delta Lake Sharing, tanto Databricks-to-Open quanto Databricks-to-Databricks, são excluídas dos upgrades automáticos. Confira O que é o Compartilhamento Delta?.
- As atualizações automáticas não têm um mecanismo de reversão em lote para desativar um recurso em todas as tabelas em uma conta. Consulte Gerenciar atualizações automáticas de recursos recomendados.
- Não há suporte para exibições materializadas e tabelas de streaming.
- As cargas de trabalho que contornam o Unity Catalog e acessam tabelas diretamente pelo caminho não são rastreadas pelas atualizações automáticas. Se suas cargas de trabalho usarem acesso baseado em caminho, entre em contato com sua equipe de conta para discutir a compatibilidade.
- As tabelas externas normalmente são acessadas por caminho de arquivo, ignorando o Catálogo do Unity e com cargas de trabalho não verificadas de clientes externos. O Catálogo do Unity não pode acompanhar de forma confiável esses padrões de acesso, portanto, as tabelas externas são excluídas das atualizações automáticas. Consulte Trabalhar com tabelas externas.