Sdílet prostřednictvím

Podpora životního cyklu Databricks

V rámci závazku Azure Databricks k inovacím se můžou funkce platformy a modulu runtime vyřadit a nahradit novými funkcemi. Verze Databricks Runtime jsou pravidelně vyřazovány a nahrazovány podle pravidelného plánu. Tato stránka uvádí fáze vyřazení z provozu a podrobnosti o odpovídající podpoře funkcí platformy a vydaných verzí Databricks Runtime. Zahrnuje také dotazy SQL k detekci clusterů a úloh pomocí starších verzí Databricks Runtime.

Informace o verzích preview a typech vydání najdete v Azure Databricks preview releases.

Životní cyklus funkcí platformy

Fáze vyřazení funkcí platformy Azure Databricks jsou popsané v následující tabulce:

Fáze Popis Technická podpora Poznámky k migraci
Odkaz Tato funkce je stále dostupná, ale existuje novější, lepší funkce nebo způsob, jak provádět úlohy, které tato funkce poskytuje. Tento popisek značí budoucí datum vyřazení z provozu. Úplná. K dispozici je podpora a dokumentace. Migrace na novou náhradní funkci nebo nový způsob provedení úkolu se doporučuje, ale není to okamžitě nutné.
Zastaralé Tato funkce už není v aktivním vývoji. Aktualizace již nejsou vydávány. Tato funkce bude brzy vyřazena, takže je potřeba vytvořit plán, který tuto funkci přestane používat, a přejít na alternativu. Úplná. Tato funkce se už neaktualizuje, ale podpora a dokumentace jsou stále k dispozici. Migrace na novou náhradní funkci nebo nový způsob provedení úkolu se důrazně doporučuje, protože se už nepoužívají důležité aktualizace.
Konec podpory (EoS) Tato funkce už není aktivní ve vývoji a podpora je oficiálně nedostupná. Žádný. Dokumentace může stále existovat, ale byla archivována a už se neudržuje. Migrace na novou náhradní funkci nebo nový způsob provedení úkolu je naléhavé, protože se už nepoužívají důležité aktualizace a podpora problémů, ke kterým může dojít, už není dostupná.
Konec životnosti (EoL) Tato funkce byla zcela odebrána z produktu Databricks. Nic Je potřeba provést migraci na novou náhradní funkci nebo nový způsob provedení úkolu, protože tato funkce už není použitelná. V tuto chvíli může být migrace velmi obtížná.

Životní cyklus podpory Databricks Runtime

Následující tabulky popisují fáze podpory a zásad podpory pro verze Databricks Runtime. Azure Databricks vydává moduly runtime jako verze Beta a GA. Azure Databricks podporuje verze GA po dobu šesti měsíců, pokud verze modulu runtime není dlouhodobá verze podpory (LTS). Informace o podporovaných verzích databricks Runtime najdete v poznámkách k verzi databricks Runtime a jejich kompatibilitě.

Úlohy v nepodporovaných verzích Databricks Runtime můžou i nadále běžet, ale Azure Databricks neposkytuje podporu ani opravy.

Životní cyklus verze Databricks Runtime LTS

Fáze Popis
Beta Smlouvy SLA podpory nejsou platné. Další informace najdete v vydání Databricks Runtime.
Obecná dostupnost, plná podpora pro verzi LTS Hlavní opravy stability a zabezpečení jsou přenesené zpětně.
Databricks vydává verze LTS každých šest měsíců a podporuje je po dobu tří celých let.
Podporované verze LTS jsou publikovány na Supported Databricks Runtime LTS releases.
Konec podpory (EoS) Pokud verze není podporována:
  • Úlohy spuštěné v těchto verzích nedostávají žádnou podporu Databricks.
  • Opravy nejsou zpětně přenášeny.
  • Při vytváření nebo aktualizaci výpočetního prostředku už není možné ho vybrat pomocí uživatelského rozhraní.

Datum ukončení podpory je tři roky po vydání.
Nepodporované verze se publikují v poznámkách k verzi Databricks Runtime na konci podpory.
Konec životnosti (EoL) Jakmile verze dosáhne konce životnosti, odebere se z prostředí Azure Databricks a stane se nepoužitelným. Nemůžete spustit nové úlohy a stávající úlohy spuštěné v těchto verzích selžou. Úlohy musíte migrovat do podporované verze modulu runtime.
Azure Databricks se snaží zajistit, aby datum ukončení životnosti bylo šest měsíců po datu ukončení podpory. Databricks si ale vyhrazuje právo zcela odebrat verzi verze kdykoli po ukončení podpory bez předchozího upozornění.

Životní cyklus verze Databricks Runtime bez LTS

Fáze Popis
Beta Smlouvy SLA podpory nejsou platné. Další informace najdete v vydání Databricks Runtime.
GA (Obecná dostupnost), plná podpora Hlavní opravy stability a zabezpečení jsou přenesené zpětně.
Úplná podpora verzí Databricks Runtime trvá šest měsíců, s výjimkou dlouhodobých verzí podpory (LTS).
Podporované verze spolu s daty ukončení podpory se publikují ve všech podporovaných verzích Databricks Runtime.
Konec podpory (EoS) Pokud verze není podporována:
  • Úlohy spuštěné v těchto verzích nedostávají žádnou podporu Databricks.
  • Opravy nejsou zpětně přenášeny.
  • Při vytváření nebo aktualizaci výpočetního prostředku už není možné ho vybrat pomocí uživatelského rozhraní.

Nepodporované verze se publikují v poznámkách k verzi Databricks Runtime na konci podpory.
Konec životnosti (EoL) Databricks si vyhrazuje právo zcela odebrat verzi vydané verze kdykoli po ukončení podpory bez předchozího upozornění.

Zjištění, které clustery používají starší verze Databricks Runtime

Toto dočasné zobrazení poskytuje souhrn využití clusteru Databricks Runtime pro clustery se systémem Databricks Runtime verze 10.4 nebo starší. Agreguje využití za posledních 90 dnů a zahrnuje informace o pracovním prostoru, identifikátory clusteru, verze Databricks Runtime, jednotky využití a celkové využití v jednotkách Databricks (DBU).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Pokud chcete zobrazit historické využití Databricks Runtime na clusteru, položte dotaz na zobrazení, které bylo právě vytvořeno.

SELECT * FROM legacy_dbrs;

Pokud chcete zobrazit agregované využití clusteru napříč pracovními prostory a verzemi Databricks Runtime, použijte následující dotaz. To pomáhá určit, které verze Databricks Runtime se stále používají, počet clusterů, na kterých běží každá verze, a celkové využití v DBU.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Zjištění, které úlohy používají starší verze Databricks Runtime

Tento dotaz použijte k načtení všech úloh, které se spustily za posledních 90 dnů, kdy poslední spuštění používalo verzi Databricks Runtime starší než 10.4. To pomáhá identifikovat úlohy, které vyžadují upgrade.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'
  • Last updated on