O que vem por aí?

Saiba mais sobre recursos e alterações comportamentais nas próximas versões do Azure Databricks.

Gerenciamento de estatísticas habilitado por padrão com otimização preditiva

A partir de 21 de janeiro, o Databricks começará a habilitar o gerenciamento de estatísticas para todas as contas com otimização preditiva habilitada. O gerenciamento de estatísticas expande a funcionalidade de otimização preditiva existente adicionando a coleta de estatísticas durante a gravação e executando automaticamente comandos ANALYZE para tabelas gerenciadas do Unity Catalog. Para obter mais informações sobre otimização preditiva, consulte Otimização preditiva para tabelas gerenciadas do Catálogo do Unity.

Alteração de comportamento quando as definições do conjunto de dados são removidas de um pipeline de Delta Live Tables

Uma versão futura do Delta Live Tables alterará o comportamento quando uma exibição materializada ou uma tabela de streaming for removida de um pipeline. Com essa alteração, a exibição materializada removida ou a tabela de streaming não serão excluídas automaticamente quando a próxima atualização de pipeline for executada. Em vez disso, você poderá usar o comando DROP MATERIALIZED VIEW para excluir uma exibição materializada ou o comando DROP TABLE para excluir uma tabela de streaming. Depois de remover um objeto, a execução de uma atualização de pipeline não recuperará o objeto automaticamente. Um novo objeto será criado se uma visão materializada ou uma tabela de streaming com a mesma definição for adicionada novamente ao pipeline. No entanto, você pode recuperar um objeto usando o comando UNDROP.

Os notebooks IPYNB passar a ser o formato de notebook padrão para o Azure Databricks

Atualmente, o Databricks cria todos os novos notebooks no "formato de origem do Databricks" por padrão, que captura apenas o código. Em janeiro de 2025, o novo formato de notebook padrão será IPYNB (.ipynb), que também captura o ambiente do notebook, as definições de visualização e os widgets do notebook. Esse novo padrão pode ser alterado no painel Configurações do usuário do espaço de trabalho. Para obter mais detalhes sobre formatos de bloco de anotações, consulte formatos de bloco de anotações.

Os arquivos de workspace serão habilitados para todos os workspaces do Azure Databricks em 1º de fevereiro de 2025

O Databricks habilitará arquivos de workspace para todos os workspaces do Azure Databricks em 1º de fevereiro de 2025. Essa alteração libera os usuários do workspace para usar novos recursos de arquivos do workspace. Após 1º de fevereiro de 2025, você não poderá desabilitar arquivos de workspace usando a propriedade enableWorkspaceFilesystem com a API REST do Azure Databricks para habilitar e desabilitar recursos de workspace. Para obter mais detalhes sobre arquivos de workspace, confira O que são arquivos de workspace?.

As tabelas são compartilhadas com o histórico por padrão no Compartilhamento Delta

O Databricks planeja alterar a configuração padrão das tabelas compartilhadas usando o Compartilhamento Delta para incluir o histórico por padrão. Antes, o compartilhamento de histórico era desabilitado por padrão. O compartilhamento do histórico de tabelas melhora o desempenho de leitura e dá suporte automático para otimizações delta avançadas.

Custo reduzido e mais controle sobre o desempenho versus o custo de sua computação sem servidor para cargas de trabalho de fluxos de trabalho

Além das otimizações automáticas de desempenho com suporte no momento, os aprimoramentos nos recursos de otimização de computação sem servidor para fluxos de trabalho fornecerão mais controle sobre se as cargas de trabalho são otimizadas para desempenho ou custo. Para saber mais, consulte Economia de custos na computação sem servidor para Notebooks, Trabalhos e Pipelines.

Alterações no suporte à versão herdada do painel

O Databricks recomenda o uso de painéis de IA/BI (anteriormente painéis do Lakeview). As versões anteriores dos painéis, anteriormente conhecidas como painéis SQL do Databricks, agora são chamadas de painéis herdados. O Databricks não recomenda a criação de novos dashboards herdados. Os painéis de IA/BI oferecem recursos aprimorados em comparação com a versão herdada, incluindo criação assistida por IA, modos de rascunho e publicados e filtragem cruzada.

Linha do tempo do fim do suporte para painéis herdados

• 7 de abril de 2025: o suporte oficial à versão herdada dos painéis será encerrado. Somente problemas críticos de segurança e interrupções de serviço serão resolvidos.
• 3 de novembro de 2025: o Databricks começará a arquivar dashboards herdados que não foram acessados nos últimos seis meses. Os dashboards arquivados não estarão mais acessíveis e o processo de arquivamento ocorrerá sem interrupção. O acesso a painéis usados ativamente permanecerá inalterado.

O Databricks trabalhará com os clientes para desenvolver planos de migração para dashboards herdados ativos após 3 de novembro de 2025.

Para ajudar na transição para painéis de IA/BI, as ferramentas de atualização estão disponíveis na interface do usuário e na API. Para obter instruções sobre como usar a ferramenta de migração embutida na interface, consulte Clonar um painel herdado em um painel de IA/BI. Para obter tutoriais sobre como criar e gerenciar painéis usando a API REST em Usar APIs do Azure Databricks para gerenciar painéis.

Alterações na atribuição de carga de trabalho de computação sem servidor

Atualmente, a tabela do sistema de uso faturável pode incluir registros de cobrança de SKU sem servidor com valores nulos para run_as, job_id, job_run_id e notebook_id. Esses registros representam custos associados a recursos compartilhados que não são diretamente atribuíveis a nenhuma carga de trabalho específica.

Para ajudar a simplificar o relatório de custos, o Databricks em breve atribuirá esses custos compartilhados às cargas de trabalho específicas que os incorreram. Você não verá mais registros de cobrança com valores nulos nos campos do identificador de carga de trabalho. À medida que você aumenta o uso da computação sem servidor e adiciona mais cargas de trabalho, a proporção desses custos compartilhados em sua conta diminuirá à medida que eles forem compartilhados em mais cargas de trabalho.

Para obter mais informações sobre como monitorar custos de computação sem servidor, confira Monitorar o custo da computação sem servidor.

O campo sourceIpAddress nos logs de auditoria não incluirá mais um número de porta

Devido a um bug, determinados registros de auditoria de autorização e autenticação incluem um número de porta além do IP no campo sourceIPAddress (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante dos registros de auditoria do Databricks. Para melhorar a consistência dos registros de auditoria, a Databricks planeja alterar o formato do endereço IP para esses eventos de logs de auditoria. Essa alteração será implementada gradualmente a partir do início de agosto de 2024.

Se o registro de auditoria contiver um sourceIpAddress de 0.0.0.0, o Databricks poderá parar de registrá-lo.

O JDK8 e JDK11 não serão suportados

O Azure Databricks planeja remover o suporte ao JDK 8 com a próxima versão principal do Databricks Runtime, quando o Spark 4.0 for lançado. O Azure Databricks planeja remover o suporte ao JDK 11 com a próxima versão LTS do Databricks Runtime 14.x.

Ativação automática do Catálogo do Unity para novos espaços de trabalho

O Databricks começou a habilitar o Catálogo do Unity automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores de conta configurarem o Catálogo do Unity depois que um espaço de trabalho é criado. A implementação está ocorrendo gradualmente em todas as contas.

Atualização do sqlite-jdbc

O Databricks Runtime planeja atualizar a versão do sqlite-jdbc de 3.8.11.2 a 3.42.0.0 em todas as versões de manutenção do Databricks Runtime. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a versão 3.8.11.2. Confirme se seus métodos e tipo de retorno usam a versão 3.42.0.0.

Se estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade sqlite-jdbc.