Criteri di manutenzione di Databricks Runtime ML

Databricks Runtime ML include un'ampia gamma di librerie di Machine Learning e DL più diffuse. Le librerie vengono aggiornate con ogni versione per includere nuove funzionalità e correzioni. Questo articolo descrive le librerie di livello superiore supportate, la frequenza di aggiornamento e gli scenari per i casi in cui le librerie sono deprecate.

Politica di supporto della biblioteca

Databricks ha designato un subset delle librerie supportate come librerie di livello superiore. Per queste librerie, Databricks offre una cadenza di aggiornamento più veloce, aggiornando alle versioni più recenti dei pacchetti con ogni versione di runtime, tranne in caso di conflitti di dipendenza. Databricks offre anche supporto avanzato, test e ottimizzazioni incorporate per le librerie di livello superiore. Le librerie di primo livello vengono aggiunte o rimosse solo con le versioni principali.

L'elenco completo delle librerie di livello superiore è:

• set di dati
• graphframe
• MLflow
• PyTorch
• Scikit-learn
• di streaming
• TensorBoard
• trasformatori

Per un elenco di tutte le librerie incluse in ogni versione di runtime, consultare le note di rilascio per Databricks Runtime ML.

Annotazioni

A partire da Databricks Runtime 18.0 ML, TensorFlow e spark-tensorflow-connector non sono più librerie di livello superiore.

Politica di deprecazione della libreria

Databricks potrebbe rimuovere una libreria dall'elenco di livello superiore nelle situazioni seguenti:

• Se la libreria non riceve nuovi commit da due mesi e non ha nuovi rilasci da più di sei mesi. Databricks potrebbe aggiungere nuovamente la libreria rimossa quando viene ripresa la manutenzione attiva.
• Se l'utilizzo della libreria diminuisce significativamente.
• Le librerie vengono sostituite se sono stati aggiunti nuovi pacchetti per colmare le lacune principali.

Databricks rimuoverà una libreria preinstallata quando la libreria raggiunge una delle condizioni seguenti:

• La libreria non viene più gestita attivamente. Una libreria viene considerata non gestita attivamente quando vengono soddisfatte le condizioni seguenti:
  • Nessun commit nuovo in tre mesi e nessuna versione nuova da più di nove mesi.
  • Il repository della libreria è archiviato.
  • Interruzione annunciata alla manutenzione per quella libreria.
• Non viene trovata alcuna versione stabile che sia funzionale per il nuovo runtime.

Quando una libreria è pianificata per la rimozione, Databricks esegue i passaggi seguenti per notificare ai clienti:

• Nelle note sulla versione di runtime viene aggiunto un avviso di deprecazione che indica che la libreria verrà rimossa nella prossima versione principale di Databricks Runtime ML.
• Quando si importa la libreria, viene visualizzata una notifica che indica che la libreria verrà rimossa nella prossima versione principale di Databricks Runtime ML.
• La documentazione di Databricks che fa riferimento alla libreria viene aggiornata per indicare che la libreria è pianificata per la rimozione.

Per continuare a usare una libreria dopo la rimozione, è possibile installare la libreria manualmente o usare una versione precedente di Databricks Runtime ML.