Notas de versão dos pipelines do Lakeflow e o processo de atualização de versão

Este artigo explica o processo de lançamento dos pipelines Lakeflow, como o runtime é gerenciado e fornece links para as notas de versão de cada lançamento.

Versões atuais do canal do Databricks Runtime

As versões atuais do Databricks Runtime para cada canal são:

Para obter a lista de pacotes instalados em cada runtime — bibliotecas Python, R e Java — consulte as notas de versão do Databricks Runtime correspondentes vinculadas acima.

Notas de versão de pipelines do Lakeflow

As notas de versão são organizadas por mês. Como os pipelines não têm versão, as alterações de workspace e de runtime ocorrem automaticamente. As notas sobre a versão a seguir fornecem uma visão geral das alterações e correções de bugs em cada versão:

Anteriormente, as notas de versão eram organizadas por ano e semana do ano.

Notas sobre versões antigas

Canais de runtime de pipelines do Lakeflow

Os clusters de pipeline usam runtimes com base nas versões e compatibilidade das notas de versão do Databricks Runtime. Azure Databricks atualiza automaticamente os runtimes de pipeline para dar suporte a aprimoramentos e atualizações para a plataforma. Você pode usar o channel campo nas configurações de pipeline para controlar a versão de runtime que executa o pipeline. Os valores com suporte são:

  • current para usar a versão atual do runtime.
  • preview para testar seu pipeline com as próximas alterações na versão do runtime.

Por padrão, seus pipelines são executados usando a versão current do runtime. A Databricks recomenda usar o runtime current para cargas de trabalho de produção. Para saber como usar a preview configuração para testar seus pipelines com a próxima versão de runtime, consulte Automatizar o teste de seus pipelines com a próxima versão de runtime.

Important

Os recursos marcados como disponíveis para o público em geral ou Versão preliminar pública estão disponíveis no canal current.

Para obter mais informações sobre canais de pipeline, consulte o channel campo nas configurações do pipeline.

Para entender como as atualizações são gerenciadas para cada versão, confira Como funcionam as atualizações de pipeline do Lakeflow?.

Como posso encontrar a versão do Databricks Runtime para uma atualização de pipeline?

Você pode consultar o log de eventos do pipeline para localizar a versão do Databricks Runtime para uma atualização de pipeline específica. Confira as informações do Runtime.

Como funcionam as atualizações de pipeline do Lakeflow?

Os pipelines do Lakeflow são sem versão, o que significa que Azure Databricks atualiza automaticamente o runtime para dar suporte a aprimoramentos e atualizações para a plataforma. O Databricks recomenda limitar dependências externas.

O Databricks funciona proativamente para impedir que atualizações automáticas introduzam erros ou problemas em pipelines de produção. Consulte o processo de atualização de pipelines do Lakeflow.

Especialmente para usuários que implantam pipelines com dependências externas, a Databricks recomenda testar os pipelines de forma proativa com os canais preview. Consulte Automatizar o teste dos seus pipelines com a próxima versão de runtime.

Processo de atualização de pipelines do Lakeflow

Azure Databricks gerencia o Databricks Runtime usado pelos recursos de computação de pipeline. Ele atualiza automaticamente o runtime em seus workspaces do Azure Databricks e monitora a integridade dos pipelines após a atualização.

Se Azure Databricks detectar que um pipeline não pode ser iniciado devido a uma atualização, a versão de runtime do pipeline será revertida para a versão anterior conhecida como estável e as seguintes etapas serão disparadas automaticamente:

  • O ambiente de execução do pipeline está fixado na versão anterior comprovadamente estável.
  • O suporte da Databricks é notificado sobre o problema.
    • Se o problema estiver relacionado a uma regressão no runtime, o Databricks resolverá o problema.
    • Se o problema for causado por uma biblioteca ou pacote personalizado usado pelo pipeline, o Databricks entrará em contato com você para resolver o problema.
  • Quando o problema é resolvido, Azure Databricks inicia a atualização novamente.

Important

O Azure Databricks só reverte pipelines em execução no modo de produção com o canal definido como current.

Automatizar o teste dos seus pipelines com a próxima versão do runtime

Para garantir que as alterações na próxima versão de runtime não afetem seus pipelines, use o recurso de canais de pipeline:

  1. Crie um pipeline de preparo e defina o canal como preview.
  2. Na IU do pipeline, crie um agendamento para executar o pipeline semanalmente e ative os alertas para receber uma notificação por e-mail em caso de falhas no pipeline. A Databricks recomenda o agendamento de execuções de teste semanais de pipelines, especialmente se você usar dependências de pipeline personalizadas.
  3. Se você receber uma notificação de uma falha e não conseguir resolvê-la, abra um tíquete de suporte na Databricks.

Note

Se você modificar o pipeline enquanto resolve falhas no canal da versão preliminar, valide essas alterações no canal current antes de implantar na produção em execução em current. Uma alteração que funciona em preview pode se comportar de forma diferente em current.

Dependências do pipeline

Os pipelines dão suporte a dependências externas; por exemplo, você pode instalar qualquer pacote Python usando o %pip install comando. Eles também dão suporte ao uso de scripts de inicialização globais e com escopo de cluster. No entanto, essas dependências externas, principalmente os scripts de inicialização, aumentam o risco de problemas com atualizações de runtime. Para mitigar esses riscos, minimize o uso de scripts de inicialização em seus pipelines. Se o processamento exigir scripts de inicialização, automatize o teste do pipeline para detectar problemas antecipadamente; consulte Automatizar o teste de seus pipelines com a próxima versão de runtime. Se você usa scripts de inicialização, a Databricks recomenda aumentar sua frequência de teste.

  • Last updated on