O que vem por aí?
Saiba mais sobre as próximas versões do Azure Databricks.
Otimização preditiva habilitada por padrão em todas as novas contas do Azure Databricks
Em 11 de novembro, o Databricks habilitará a otimização preditiva como padrão para todas as novas contas do Azure Databricks. Anteriormente, ele estava desabilitado por padrão e podia ser habilitado pelo administrador da sua conta. Quando a otimização preditiva está habilitada, o Azure Databricks executa automaticamente operações de manutenção para tabelas gerenciadas do Catálogo do Unity. Para obter mais informações sobre otimização preditiva, consulte Otimização preditiva para tabelas gerenciadas do Catálogo do Unity.
Custo reduzido e mais controle sobre o desempenho versus o custo de sua computação sem servidor para cargas de trabalho de fluxos de trabalho
Além das otimizações automáticas de desempenho com suporte no momento, os aprimoramentos nos recursos de otimização de computação sem servidor para fluxos de trabalho fornecerão mais controle sobre se as cargas de trabalho são otimizadas para desempenho ou custo. Para saber mais, consulte Economia de custos na computação sem servidor para Notebooks, Trabalhos e Pipelines.
Alterações nos padrões de ativação para AI/BI Genie
Em 14 de novembro de 2024, a alternância para aceitar a Visualização Pública do Genie será ativada por padrão. Para gerenciar versões prévias, confira Gerenciar visualizações do Azure Databricks. O AI/BI Genie estará disponível em 9 de dezembro de 2024, quando os usuários com privilégios elevados, como administradores de conta e workspace, poderão controlar o acesso ao Genie usando a alternância que controla o acesso aos recursos assistivos de IA da plataforma de serviços de IA do Azure. Consulte Usar o Assistente do Databricks.
Alterações no suporte à versão herdada do painel
O Databricks recomenda o uso de painéis de IA/BI (anteriormente painéis do Lakeview). As versões anteriores dos painéis, anteriormente conhecidas como painéis SQL do Databricks, agora são chamadas de painéis herdados. O Databricks não recomenda a criação de novos dashboards herdados. Os painéis de IA/BI oferecem recursos aprimorados em comparação com os painéis herdados, incluindo criação assistida por IA, modos de rascunho e publicação e filtragem cruzada.
Para ajudar na transição para a versão mais recente, as ferramentas de atualização estão disponíveis na interface do usuário e na API. Para obter instruções sobre como usar a ferramenta de migração integrada na interface do usuário, consulte Clonar um painel herdado em um painel de IA/BI. Para obter tutoriais sobre como criar e gerenciar painéis usando a API REST em Usar APIs do Azure Databricks para gerenciar painéis.
Alterações na atribuição de carga de trabalho de computação sem servidor
Atualmente, a tabela do sistema de uso faturável pode incluir registros de cobrança de SKU sem servidor com valores nulos para run_as, job_id, job_run_id e notebook_id. Esses registros representam custos associados a recursos compartilhados que não são diretamente atribuíveis a nenhuma carga de trabalho específica.
Para ajudar a simplificar o relatório de custos, o Databricks em breve atribuirá esses custos compartilhados às cargas de trabalho específicas que os incorreram. Você não verá mais registros de cobrança com valores nulos nos campos do identificador de carga de trabalho. À medida que você aumenta o uso da computação sem servidor e adiciona mais cargas de trabalho, a proporção desses custos compartilhados em sua conta diminuirá à medida que eles forem compartilhados em mais cargas de trabalho.
Para obter mais informações sobre como monitorar custos de computação sem servidor, confira Monitorar o custo da computação sem servidor.
O campo sourceIpAddress nos logs de auditoria não incluirá mais um número de porta
Devido a um bug, determinados registros de auditoria de autorização e autenticação incluem um número de porta além do IP no campo sourceIPAddress (por exemplo, "sourceIPAddress":"10.2.91.100:0"). O número da porta, que é registrado como 0, não fornece nenhum valor real e é inconsistente com o restante dos registros de auditoria do Databricks. Para melhorar a consistência dos registros de auditoria, a Databricks planeja alterar o formato do endereço IP para esses eventos de logs de auditoria. Essa alteração será implementada gradualmente a partir do início de agosto de 2024.
Se o registro de auditoria contiver um sourceIpAddress de 0.0.0.0, o Databricks poderá parar de registrá-lo.
A integração legada do Git termina EOL em 31 de janeiro
Após 31 de janeiro de 2024, o Databricks removerá as integrações herdadas de notebook com Git. Esse recurso está em status herdado há mais de dois anos, e um aviso de depreciação foi exibido na interface do usuário do produto desde novembro de 2023.
Para obter detalhes sobre a migração para pastas Databricks Git (anteriormente Repos) da integração herdada do Git, veja Mudando para Databricks Repos da integração herdada do Git. Se essa remoção afetar você e precisar de uma extensão, entre em contato com a equipe de conta do Databricks.
O JDK8 e JDK11 não serão suportados
O Azure Databricks planeja remover o suporte ao JDK 8 com a próxima versão principal do Databricks Runtime, quando o Spark 4.0 for lançado. O Azure Databricks planeja remover o suporte ao JDK 11 com a próxima versão LTS do Databricks Runtime 14.x.
Ativação automática do Catálogo do Unity para novos espaços de trabalho
O Databricks começou a habilitar o Catálogo do Unity automaticamente para novos espaços de trabalho. Isso elimina a necessidade de os administradores de conta configurarem o Catálogo do Unity depois que um espaço de trabalho é criado. A implementação está ocorrendo gradualmente em todas as contas.
Atualização do sqlite-jdbc
O Databricks Runtime planeja atualizar a versão do sqlite-jdbc de 3.8.11.2 a 3.42.0.0 em todas as versões de manutenção do Databricks Runtime. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a versão 3.8.11.2. Confirme se seus métodos e tipo de retorno usam a versão 3.42.0.0.
Se estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade sqlite-jdbc.