Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Importante
As atualizações automáticas para esquemas existentes estão disponíveis em Pré-visualização Pública. Para se inscrever, preencha este formulário com o seu ID de conta. Não são necessárias alterações de código nem configurações adicionais após a inscrição.
As atualizações automáticas para novos esquemas estão geralmente disponíveis.
Para tabelas geridas pelo Unity Catalog, o Databricks atualiza-as automaticamente para usar funcionalidades recomendadas geralmente disponíveis, sem necessidade de alterações de código ou instruções manuais ALTER TABLE . As atualizações automáticas também verificam se os clientes são compatíveis antes de ativarem novas funcionalidades.
As atualizações automáticas proporcionam os seguintes benefícios:
- Reduza o esforço administrativo necessário para validar requisitos individuais de compatibilidade para cada combinação de tabelas e características nos seus espaços de trabalho. Isto é especialmente útil se tiveres catálogos com milhares de tabelas.
- Obtenha automaticamente as melhorias mais recentes de desempenho e fiabilidade nas suas tabelas geridas.
- Atualize tabelas com segurança. As atualizações automáticas só ativam as funcionalidades depois de verificarem a compatibilidade da carga de trabalho.
Como funcionam as atualizações automáticas
As atualizações automáticas monitorizam os padrões de acesso do Catálogo Unity tanto ao nível da tabela como do esquema e utilizam uma janela de observação para verificar se os padrões de acesso são compatíveis antes de ativar qualquer funcionalidade. A janela de observação é de 50 dias para as funcionalidades em Pré-visualização Pública e de 100 dias para as funcionalidades geralmente disponíveis.
As atualizações automáticas utilizam computação serverless para atualizar tabelas em segundo plano.
Esquemas e tabelas
O comportamento das atualizações automáticas depende de existirem esquemas e tabelas antes de ativares as atualizações automáticas. A tabela seguinte fornece mais detalhes:
| Schema | Table | Behavior |
|---|---|---|
| Novo | Novo | As atualizações automáticas definem os padrões ao nível do esquema no momento da criação, de modo que as tabelas herdam imediatamente todas as funcionalidades suportadas sem um período de observação. |
| Existente | Novo | As atualizações automáticas ativam uma funcionalidade se apenas cargas de trabalho verificadas tiverem acedido à tabela dentro da janela de observação. Caso contrário, se uma única carga de trabalho não verificada aceder à tabela, as atualizações automáticas ignoram a tabela. Ver cargas de trabalho verificadas. |
| Existente | Existente | As atualizações automáticas ativam uma funcionalidade quando todas as seguintes condições são verdadeiras:
|
Cargas de trabalho verificadas
Uma carga de trabalho é considerada verificada para uma funcionalidade específica se aceder à tabela a partir de um cluster Databricks com uma versão Databricks Runtime igual ou acima da versão mínima exigida da funcionalidade.
As atualizações automáticas consideram as seguintes cargas de trabalho não verificadas:
- Clientes externos e serviços de terceiros como Flink ou Presto. Veja integrações do Catálogo Unity.
- Serviços do Azure Databricks com acesso direto a nível de tabela ou kernel, como o Zerobus, que contornam os padrões de acesso ao Databricks em tempo de execução. Consulte Visão geral do conector Zerobus Ingest.
Se qualquer tabela num esquema foi acedida dentro da janela de observação por uma versão Databricks Runtime abaixo da versão mínima exigida da funcionalidade ou por um cliente externo, as atualizações automáticas não ativam a funcionalidade correspondente em nenhuma tabela desse esquema.
Funcionalidades suportadas
As atualizações automáticas ativam automaticamente as funcionalidades geralmente disponíveis. No entanto, as atualizações não ativam funcionalidades na Pré-visualização Pública a menos que se inscreva na pré-visualização.
As atualizações automáticas suportam as seguintes funcionalidades:
| Feature | O que faz | Estado de disponibilização | Versão de execução do Databricks mínimamente compatível |
|---|---|---|---|
| Rastreamento de linha | Mantém IDs ocultos de linhas para processamento incremental com feed de dados de alteração. | Geralmente disponível para novas tabelas em novos esquemas. Pré-visualização pública para todas as tabelas em esquemas existentes. | 14,1 |
| Checkpoint V2 | Permite que a Delta Lake suporte mais escritores em simultâneo e reduz conflitos de escrita em tabelas grandes ou frequentemente atualizadas. | Disponível de forma geral para novas tabelas em novos esquemas. Pré-visualização pública para todas as tabelas em esquemas existentes. | 13.3 |
| Agrupamento automático de líquidos | Organiza automaticamente os dados das tabelas com base nas colunas frequentemente consultadas para melhorar o desempenho das consultas sem particionamento manual. | Disponível de um modo geral para novas tabelas em novos esquemas. Pré-visualização pública para novas tabelas em esquemas existentes. As atualizações automáticas desta funcionalidade ignoram tabelas existentes. | 13.3 |
| Catálogo de commits | Centraliza as confirmações no Unity Catalog para permitir transações entre várias tabelas, melhorar a interoperabilidade para gravações externas e permitir políticas de governação em diferentes motores. | Pré-visualização pública para todas as tabelas em todos os esquemas. | 16,4 |
| Mapeamento de colunas | Permite-te renomear e eliminar colunas sem reescrever dados. | Pré-visualização pública para todas as tabelas em todos os esquemas. | 15.3 |
A disponibilidade de funcionalidades pode variar consoante a região.
Requirements
- A computação serverless deve estar disponível na sua região.
- As tabelas devem ser tabelas geridas pelo Unity Catalog em formatos Delta Lake ou Apache Iceberg.
Observar funcionalidades ativadas
Para verificar se as atualizações automáticas ativaram alguma funcionalidade numa tabela, procure uma SET TBLPROPERTIES operação no separador Histórico do Explorador de Catálogos, ou use DESCRIBE HISTORY <table_name>. Se atualizações automáticas realizarem a operação, o campo do nome de utilizador mostra um valor de hash em vez de um nome de utilizador, como 4d137f29-62.
Veja O que é o Explorador de Catálogo? e Veja o histórico da tabela.
Após as atualizações automáticas ativarem funcionalidades nas tabelas de um novo esquema, veja os valores predefinidos do esquema no separador de Propriedades no Explorador de Catálogo. Por exemplo, um esquema com o rastreamento de linhas ativado mostra uma propriedade como catalog.schema.enableRowTracking: "true". Os esquemas existentes não têm propriedades automáticas de observabilidade de atualização.
Gerir as funcionalidades recomendadas
Os administradores podem gerir o comportamento e as operações das atualizações com vários controlos.
Reverter alterações
Use RESTORE para reverter os dados e metadados de uma tabela para uma versão anterior à funcionalidade ativada:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Consulte Restaurar uma tabela a um estado anterior para mais informações sobre o histórico da tabela e restaurar.
Desligue as funcionalidades das tabelas
Para desligar uma funcionalidade numa tabela individual:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
As atualizações automáticas não voltam a ativar uma funcionalidade depois de a desligar manualmente.
Limitações
- As tabelas partilhadas através da Delta Lake Sharing, tanto de Databricks para Open como de Databricks para Databricks, ficam excluídas das atualizações automáticas. Consulte O que é Delta Sharing?.
- As atualizações automáticas não têm um mecanismo de reversão em lote para desativar uma funcionalidade em todas as tabelas de uma conta. Consulte Gerir atualizações automáticas e funcionalidades recomendadas.
- Não há suporte para visualizações materializadas e tabelas de streaming.
- As cargas de trabalho que contornam o Unity Catalog e acedem diretamente às tabelas através do respetivo caminho não são rastreadas pelas atualizações automáticas. Se as suas cargas de trabalho usarem acesso baseado em caminhos, contacte a sua equipa de contas para discutir a compatibilidade.
- As tabelas externas são normalmente acedidas pelo caminho do ficheiro, contornando o Unity Catalog, e com cargas de trabalho não verificadas de clientes externos. O Unity Catalog não consegue rastrear de forma fiável estes padrões de acesso, pelo que tabelas externas são excluídas das atualizações automáticas. Consulte Trabalhar com tabelas externas.