O que vem por aí?

Saiba mais sobre recursos e alterações comportamentais nas próximas versões do Azure Databricks.

As URLs públicas para downloads de driver ODBC serão desabilitadas

Em uma versão futura, as URLs públicas para downloads automatizados de driver ODBC do Apache Spark serão desabilitadas. Após essa alteração, todos os downloads de driver, incluindo processos automatizados, exigirão autenticação. Isso interromperá processos automatizados que baixam drivers ODBC do Apache Spark usando links públicos diretos sem autenticação.

Atualizações de navegação do Gerenciador de Catálogos

Em breve, o Catalog Explorer receberá melhorias de navegação para simplificar os fluxos de trabalho e ajudá-lo a descobrir e gerenciar ativos de dados com mais eficiência.

Navegação simplificada:

A guia de Catálogos duplicada é removida para reduzir a redundância e para se concentrar em uma única interface de navegação de catálogo. As ações DBFS e Enviar comentários são movidas para o para um layout mais limpo.

Nova seção Sugerida:

Uma nova aba Sugerida na página inicial do Catalog Explorer destaca objetos usados com frequência, objetos de exemplo para usuários iniciantes e favoritos do usuário. Isso ajuda você a se reconectar rapidamente com ativos importantes ou encontrar pontos de partida úteis.

Pontos de entrada consolidados:

Os recursos relacionados são agrupados em categorias mais claras para reduzir o ruído visual e melhorar a localização:

• Governe – Ponto de entrada para tags sob gestão, administração do metastore e classificação de dados
• Conectar – Pontos de entrada para locais externos, dados externos, credenciais e conexões
• Compartilhamento – Pontos de entrada para Delta Sharing e Clean Rooms

Esses agrupamentos substituem subtarefas dispersas e criam uma arquitetura de informações mais intuitiva e escalonável.

Alterações para acessar tokens de destinatários do Delta Sharing

O Delta Sharing para recipientes abertos fará a transição para um novo formato de URL específico de recipiente, que é usado para se conectar ao servidor Delta Sharing. Essa alteração melhora a segurança de rede e as configurações de firewall, alinhando-se às práticas recomendadas para compartilhar endpoints.

Tokens de destinatário criados em ou após 9 de março de 2026:

A partir de 9 de março de 2026, novos tokens de destinatário aberto usarão um novo formato de URL específico do destinatário para melhorar a segurança e a filtragem de rede. Essa alteração se aplica aos tokens emitidos em ou após esta data; Os tokens anteriores podem continuar a usar o formato de URL mais antigo até expirarem. Consulte a nova política de tempo de vida de expiração do token na seção a seguir.

Para o Azure China, a transição será anunciada mais tarde.

Para o OIDC, os destinatários devem fazer a transição para o novo formato de URL até 9 de março de 2027. A partir de 9 de março de 2026, os provedores poderão exibir o novo formato de URL para destinatários existentes na página Compartilhamento Delta para compartilhar com destinatários.

As novas URLs estarão no seguinte formato:

https://2d4b0370-9d5c-4743-9297-72ba0f5caa8d.delta-sharing.westus.azuredatabricks.net

Nova política de tempo de vida de expiração de token:

A partir de 8 de dezembro de 2025, todos os novos tokens de destinatário de compartilhamento aberto serão emitidos com um vencimento máximo de um ano a partir da data de criação. Tokens com validade mais longa ou ilimitada não podem mais ser criados.

Para tokens criados usando o formato de URL do destinatário anterior entre 8 de dezembro de 2025 e 9 de março de 2026, cada token expira automaticamente um ano após sua criação. Ao renovar tokens, os provedores podem definir uma janela de inatividade para permitir que os destinatários migrem. Durante essa janela, as URLs de destinatário antigas e novas continuam funcionando.

Se você atualmente usa tokens de destinatário com tempo de vida longo ou ilimitado, examine suas integrações e lembre-se de girar tokens anualmente conforme necessário, pois os tokens expirarão em 8 de dezembro de 2026.

Viagens no tempo e VACUUM mudanças de comportamento para tabelas gerenciadas do Unity Catalog

Em janeiro de 2026, a viagem no tempo e as alterações de comportamento introduzidas no Databricks Runtime 18.0 serão estendidas para a computação sem servidor, o Databricks SQL, e o Databricks Runtime 12.2 e superiores, aplicando-se às tabelas gerenciadas do Catálogo Unity.

Essas alterações incluem:

• As consultas de viagem no tempo serão bloqueadas se excederem delta.deletedFileRetentionDuration.
• delta.logRetentionDuration deve ser maior ou igual a delta.deletedFileRetentionDuration.

Notificações por email para tokens de acesso pessoal que estão prestes a expirar

Em breve, o Azure Databricks enviará notificações por email aos usuários do workspace aproximadamente sete dias antes de seus tokens de acesso pessoal expirarem. As notificações são enviadas somente para usuários do espaço de trabalho (não entidades de serviço) com nomes de usuário baseados em email. Todos os tokens expirados no mesmo workspace são agrupados em um único email.

Consulte Monitorar e revogar tokens de acesso pessoal.

O modo de agente da Genie Research pode usar em breve modelos servidos através da Amazon Bedrock

Em breve, o modo de agente do Genie Research poderá usar modelos servidos por meio da Amazon Bedrock quando os recursos de IA acionados por parceiros estiverem ativados.

Atualização da linha do tempo de fim do suporte para painéis legados

• O suporte oficial para a versão herdada dos painéis terminou em 7 de abril de 2025. Somente problemas críticos de segurança e interrupções de serviço serão resolvidos.
• 3 de novembro de 2025: o Databricks começou a apresentar aos usuários uma caixa de diálogo de aviso dispensável ao acessar qualquer painel herdado. A caixa de diálogo lembra aos usuários que o acesso aos painéis herdados terminará em 12 de janeiro de 2026 e fornece uma opção de um clique para migrar para IA/BI.
• 12 de janeiro de 2026: Painéis herdados e APIs não estarão mais diretamente acessíveis. No entanto, eles ainda fornecerão a capacidade de atualização direta para IA/BI. A página de migração estará disponível até 2 de março de 2026.

Para ajudar na transição para painéis de IA/BI, as ferramentas de atualização estão disponíveis na interface do usuário e na API. Para obter instruções sobre como usar a ferramenta de migração embutida na interface, consulte Clonar um painel herdado em um painel de IA/BI. Para obter tutoriais sobre como criar e gerenciar dashboards usando a API REST, consulte Usar APIs do Azure Databricks para gerenciar dashboards.

Federação Lakehouse: compartilhamento e armazenamento padrão

O Compartilhamento Delta na Federação do Lakehouse está em Beta, permitindo que os provedores de dados do Compartilhamento Delta compartilhem catálogos e tabelas externas. Por padrão, os dados devem ser materializados temporariamente e armazenados no armazenamento padrão (Versão Prévia Privada). Atualmente, os usuários devem habilitar manualmente o recurso Delta Sharing para Armazenamento Padrão – Acesso Expandido no console da conta para usar o compartilhamento do Lakehouse Federation.

Depois que o Compartilhamento Delta para Armazenamento Padrão – Acesso Expandido for habilitado por padrão para todos os usuários do Azure Databricks, o Compartilhamento Delta no Lakehouse Federation estará disponível automaticamente em regiões em que há suporte para armazenamento padrão.

Consulte o armazenamento padrão no Databricks e adicione esquemas ou tabelas estrangeiras a um compartilhamento.

Recarregar alerta nos espaços de trabalho

Em uma versão futura, uma mensagem para recarregar a aba do espaço de trabalho será exibida se a aba do espaço de trabalho estiver aberta por muito tempo sem ser atualizada. Isso ajudará a garantir que você esteja sempre usando a versão mais recente do Databricks com os recursos e correções mais recentes.

O Conector do SAP Business Data Cloud (BDC) para Azure Databricks estará disponível em breve

O Conector do SAP Business Data Cloud (BDC) para Azure Databricks é um novo recurso que permite compartilhar dados do SAP BDC para o Azure Databricks e do Azure Databricks para o SAP BDC usando o Compartilhamento Delta. Esse recurso estará disponível no final de setembro.

O Compartilhamento Delta para tabelas no armazenamento padrão em breve será habilitado por padrão (Beta)

Essa atualização de armazenamento padrão para o Compartilhamento Delta expandiu os recursos de compartilhamento, permitindo que os provedores compartilhem tabelas apoiadas pelo armazenamento padrão para qualquer destinatário do Delta Sharing (aberto ou Azure Databricks), incluindo destinatários que usam computação clássica. Esse recurso está atualmente em Beta e exige que os provedores habilitem manualmente o Compartilhamento Delta para Armazenamento Padrão – Acesso Expandido no console da conta. Em breve, isso será habilitado por padrão para todos os usuários.

Confira Limitações.

Atualizações para os IPs públicos do plano de controle de saída

O Azure Databricks está atualizando os IPs públicos do painel de controle de saída e as marcas de serviço do Azure para melhorar a segurança e a disponibilidade da zona. Essas alterações fazem parte de uma atualização do plano de controle que começou a ser distribuída em 20 de maio de 2025.

Se a sua organização utilizar firewalls de recursos para controlar o acesso de entrada:

• Se as regras de firewall fizerem referência à marca de serviço do Azure Databricks, nenhuma ação será necessária.
• Se você permitir IPs públicos específicos do painel de controle, deverá adicionar todos os IPs do painel de controle de saída até 26 de setembro de 2025.

Os IPs anteriores do plano de controle de saída continuam a ser suportados.

Alteração de comportamento para a opção de listagem de diretório incremental do Carregador Automático

Observação

A opção Carregador Automático cloudFiles.useIncrementalListing está obsoleta. Embora esta observação discuta uma alteração no valor padrão das opções e como continuar a usá-lo após essa alteração, o Databricks recomenda não usar essa opção em favor do modo de notificação de arquivo com eventos de arquivo.

Em uma versão futura do Databricks Runtime, o valor da opção de carregamento automático preterido cloudFiles.useIncrementalListing, por padrão, será definido como false. Definir esse valor para false faz com que o Auto Loader execute uma listagem completa do diretório sempre que for executado. Atualmente, o valor padrão da opção cloudFiles.useIncrementalListing é auto, instruindo o Carregador Automático a fazer uma tentativa de melhor esforço para detectar se uma listagem incremental pode ser usada com um diretório.

Para continuar usando o recurso de listagem incremental, defina a opção cloudFiles.useIncrementalListing para auto. Quando você define esse valor como auto, o Carregador Automático faz uma melhor tentativa de fazer uma listagem completa uma vez a cada sete listagens incrementais, o que corresponde ao comportamento dessa opção antes dessa alteração.

Para saber mais sobre a listagem de diretórios do Auto Loader, consulte streams do Auto Loader com o modo de listagem de diretórios.

Alteração de comportamento quando as definições do conjunto de dados são removidas dos Pipelines Declarativos do Spark do Lakeflow

Uma versão futura do Lakeflow Spark Declarative Pipelines alterará o comportamento quando uma exibição materializada ou uma tabela de streaming for removida de um pipeline. Com essa alteração, a exibição materializada removida ou a tabela de streaming não serão excluídas automaticamente quando a próxima atualização de pipeline for executada. Em vez disso, você poderá usar o comando DROP MATERIALIZED VIEW para excluir uma exibição materializada ou o comando DROP TABLE para excluir uma tabela de streaming. Depois de remover um objeto, a execução de uma atualização de pipeline não recuperará o objeto automaticamente. Um novo objeto será criado se uma visão materializada ou uma tabela de streaming com a mesma definição for adicionada novamente ao pipeline. No entanto, você pode recuperar um objeto usando o comando UNDROP.

O campo sourceIpAddress nos logs de auditoria não incluirá mais um número de porta

Devido a um bug, determinados registros de auditoria de autorização e autenticação incluem um número de porta além do IP no campo sourceIPAddress (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante dos registros de auditoria do Databricks. Para melhorar a consistência dos registros de auditoria, a Databricks planeja alterar o formato do endereço IP para esses eventos de logs de auditoria. Essa alteração será implementada gradualmente a partir do início de agosto de 2024.

Se o registro de auditoria contiver um sourceIpAddress de 0.0.0.0, o Databricks poderá parar de registrá-lo.