Política de manutenção do Databricks Runtime ML

O Databricks Runtime ML inclui uma variedade de bibliotecas populares de ML e DL. As bibliotecas são atualizadas a cada versão para incluir novos recursos e correções. Este artigo descreve as bibliotecas de camada superior suportadas, sua cadência de atualização e os cenários para quando as bibliotecas são preteridas.

Política de apoio à biblioteca

O Databricks designou um subconjunto das bibliotecas suportadas como bibliotecas de camada superior. Para essas bibliotecas, o Databricks fornece uma cadência de atualização mais rápida, atualizando para as versões de pacotes mais recentes com cada release da execução (exceto em casos de conflitos de dependência). O Databricks também fornece suporte avançado, testes e otimizações incorporadas para bibliotecas de nível superior. As bibliotecas de camada superior são adicionadas ou removidas apenas com as versões principais.

A lista completa das bibliotecas de nível superior é:

• conjuntos de dados
• GraphFrames
• MLflow
• PyTorch
• Scikit-aprender
• Streaming
• TensorBoard
• transformadores

Para ver uma lista de todas as bibliotecas incluídas em cada versão do runtime, consulte as notas de versão para Databricks Runtime ML.

Observação

A partir do Databricks Runtime 18.0 ML, TensorFlow e spark-tensorflow-connector deixaram de ser bibliotecas de topo.

Política de obsolescência da biblioteca

O Databricks pode remover uma biblioteca da lista de camada superior nas seguintes situações:

• Se a biblioteca não tiver novos compromissos em dois meses e nenhum novo lançamento em mais de seis meses. O Databricks pode adicionar de volta a biblioteca removida quando a manutenção ativa for retomada.
• Se o uso da biblioteca cair significativamente.
• As bibliotecas são substituídas se novos pacotes tiverem sido adicionados para preencher as principais lacunas.

O Databricks removerá uma biblioteca pré-instalada quando a biblioteca atingir qualquer uma das seguintes condições:

• A biblioteca não é mais mantida ativamente. Considera-se que uma biblioteca não é mantida ativamente quando qualquer uma das seguintes condições é atendida:
  • Nenhum novo compromisso em três meses e nenhum novo lançamento em mais de nove meses.
  • O repositório da biblioteca é arquivado.
  • Uma parada anunciada na manutenção dessa biblioteca.
• Nenhuma versão estável é considerada funcional para o novo tempo de execução.

Quando uma biblioteca é planejada para remoção, o Databricks executa as seguintes etapas para notificar os clientes:

• Um aviso de depreciação é adicionado nas notas de lançamento do runtime, indicando que a biblioteca será removida na próxima grande versão do Databricks Runtime ML.
• Uma notificação é exibida ao importar a biblioteca, indicando que a biblioteca será removida na próxima versão principal do Databricks Runtime ML.
• A documentação do Databricks que faz referência à biblioteca é atualizada para indicar que a biblioteca está planejada para remoção.

Para continuar a usar uma biblioteca depois que ela for removida, você pode instalá-la manualmente ou usar uma versão anterior do Databricks Runtime ML.