Cicli di vita del supporto di Databricks

Nell'ambito dell'impegno di Azure Databricks per l'innovazione, le funzionalità della piattaforma e del runtime potrebbero essere ritirati e sostituiti da nuove funzionalità. Anche le versioni di Databricks Runtime vengono ritirate e sostituite in base a una pianificazione regolare. Questa pagina elenca le fasi di ritiro e i dettagli sul supporto corrispondente per le funzionalità della piattaforma e le versioni di Databricks Runtime. Include anche query SQL per rilevare cluster e processi usando versioni legacy di Databricks Runtime.

Per informazioni sulle anteprime e sui tipi di versione, vedere Versioni di anteprima di Azure Databricks.

Ciclo di vita delle funzionalità della piattaforma

Le fasi di ritiro delle funzionalità della piattaforma Azure Databricks sono descritte nella tabella seguente:

Fase	Descrizione	Supporto tecnico	Note sulla migrazione
Eredità	La funzionalità è ancora disponibile, ma esiste una funzionalità più recente, migliore o un modo per eseguire le attività fornite da questa funzionalità. Questa etichetta è indicativa di una data di ritiro futura.	Completo. Sono disponibili supporto e documentazione.	È consigliabile eseguire la migrazione a una nuova funzionalità di sostituzione o a un nuovo modo per eseguire l'attività, ma non immediatamente necessario.
Deprecato	La funzionalità non viene più sviluppata in modo attivo. Gli aggiornamenti non vengono più rilasciati. La funzionalità verrà presto ritirata, quindi è necessario sviluppare un piano per interrompere l'uso della funzionalità e passare a un'alternativa.	Completo. La funzionalità non viene più aggiornata, ma il supporto e la documentazione sono ancora disponibili.	È altamente consigliabile eseguire la migrazione a una nuova funzionalità di sostituzione o a un nuovo modo per eseguire l'attività, perché gli aggiornamenti importanti non vengono più applicati.
Fine del supporto (EoS)	La funzionalità non è più in fase di sviluppo attivo e il supporto non è ufficialmente disponibile.	Nessuno. La documentazione potrebbe ancora esistere, ma è stata archiviata e non viene più mantenuta.	La migrazione a una nuova funzionalità di sostituzione o un nuovo modo per eseguire l'attività è urgente, perché gli aggiornamenti importanti non vengono più applicati e il supporto per i problemi che potrebbero verificarsi non è più disponibile.
Fine del ciclo di vita (EoL)	La funzionalità è stata completamente rimossa dal prodotto Databricks.	Nessuno	È necessaria la migrazione a una nuova funzionalità di sostituzione o a un nuovo modo per eseguire l'attività, perché la funzionalità non è più utilizzabile. A questo punto potrebbe essere molto difficile eseguire la migrazione.

Cicli di vita del supporto di Databricks Runtime

Le tabelle seguenti descrivono le fasi del supporto e dei criteri di supporto per le versioni di Databricks Runtime. Azure Databricks rilascia i runtime come versioni Beta e GA. Azure Databricks supporta le versioni GA per sei mesi, a meno che la versione di runtime non sia una versione LTS (Long-Term Support). Per informazioni sulle versioni supportate di Databricks Runtime, si veda Versioni e compatibilità delle versioni di Databricks Runtime.

I carichi di lavoro nelle versioni di Databricks Runtime non supportate potrebbero continuare a essere eseguiti, ma Azure Databricks non fornisce supporto o correzioni.

Ciclo di vita della versione LTS di Databricks Runtime

Fase	Descrizione
Versione Beta	I contratti di servizio di supporto non sono applicabili. Per altre informazioni, consultare le versioni di Databricks Runtime.
Disponibilità generale, supporto completo per la versione LTS	Le principali correzioni di stabilità e sicurezza sono backportate. Databricks rilascia le versioni LTS ogni sei mesi e le supporta per tre anni completi. Le versioni LTS supportate vengono pubblicate nelle versioni di Databricks Runtime LTS supportate.
Fine del supporto (EoS)	Se una versione non è supportata: I carichi di lavoro in esecuzione in queste versioni non ricevono alcun supporto di Databricks. Le correzioni non sono retroportate. Non è più selezionabile usando l'interfaccia utente quando si crea o si aggiorna una risorsa di calcolo. La data di fine del supporto è di tre anni dopo il rilascio. Le versioni non supportate vengono pubblicate nelle Note sulla versione end-of-support di Databricks Runtime.
Fine del ciclo di vita (EoL)	Quando una versione raggiunge la fine della vita, viene rimossa dall'ambiente Azure Databricks e diventa inutilizzabile. Non è possibile avviare nuovi carichi di lavoro e i carichi di lavoro esistenti in esecuzione in queste versioni hanno esito negativo. È necessario eseguire la migrazione dei carichi di lavoro a una versione di runtime supportata. Azure Databricks fa il massimo sforzo per garantire che la data di fine vita sia di sei mesi dopo la data di fine del supporto. Tuttavia, Databricks si riserva il diritto di rimuovere completamente una versione di rilascio in qualsiasi momento al termine del supporto, senza preavviso.

Ciclo di vita della versione non-LTS di Databricks Runtime

Fase	Descrizione
Versione Beta	I contratti di servizio di supporto non sono applicabili. Per altre informazioni, consultare le versioni di Databricks Runtime.
Disponibilità Generale, Supporto Completo	Le principali correzioni di stabilità e sicurezza sono backportate. Il supporto completo per le versioni di Databricks Runtime dura per sei mesi, ad eccezione delle versioni LTS (Long-Term Support). Le versioni supportate insieme alle date di fine del supporto vengono pubblicate in Tutte le versioni supportate di Databricks Runtime.
Fine del supporto (EoS)	Se una versione non è supportata: I carichi di lavoro in esecuzione in queste versioni non ricevono alcun supporto di Databricks. Le correzioni non sono retroportate. Non è più selezionabile usando l'interfaccia utente quando si crea o si aggiorna una risorsa di calcolo. Le versioni non supportate vengono pubblicate nelle Note sulla versione end-of-support di Databricks Runtime.
Fine del ciclo di vita (EoL)	Databricks si riserva il diritto di rimuovere completamente una versione di rilascio in qualsiasi momento al termine del supporto, senza preavviso.

Rilevare i cluster che usano versioni legacy di Databricks Runtime

Questa vista temporanea offre un riepilogo dell'utilizzo del cluster Databricks Runtime per i cluster che eseguono Databricks Runtime versioni 10.4 o precedenti. Aggrega l'utilizzo negli ultimi 90 giorni e include informazioni sull'area di lavoro, identificatori del cluster, versioni di Databricks Runtime, unità di utilizzo e utilizzo totale in unità di Databricks (DBU).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Per visualizzare l'utilizzo legacy di Databricks Runtime per ogni cluster, eseguire una query sulla vista appena creata.

SELECT * FROM legacy_dbrs;

Per visualizzare l'utilizzo aggregato del cluster tra aree di lavoro e versioni di Databricks Runtime, usare la query seguente. Ciò consente di identificare le versioni di Databricks Runtime ancora in uso, il numero di cluster che eseguono ogni versione e l'utilizzo totale nelle unità di database.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Rilevare i processi che usano versioni legacy di Databricks Runtime

Usare questa query per recuperare tutti i processi eseguiti negli ultimi 90 giorni in cui l'esecuzione più recente ha usato una versione di Databricks Runtime precedente alla 10.4. Ciò consente di identificare i carichi di lavoro che richiedono l'aggiornamento.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'