Dela via


Databricks stöder livscykeler

Som en del av Azure Databricks engagemang för innovation kan plattforms- och körningsfunktioner dras tillbaka och ersättas av nya funktioner. Databricks Runtime-versioner dras också tillbaka och ersätts enligt ett regelbundet schema. På den här sidan visas pensionsfaser och information om motsvarande stöd för plattformsfunktioner och Databricks Runtime-versioner. Den innehåller även SQL-frågor för att identifiera kluster och jobb med äldre Databricks Runtime-versioner.

Information om förhandsversioner och versionstyper finns i Förhandsversioner av Azure Databricks.

Livscykel för plattformsfunktioner

Azure Databricks-plattformens funktionsavdragningsfaser beskrivs i följande tabell:

Fas beskrivning Stöd Migreringsanteckningar
Arv Funktionen är fortfarande tillgänglig, men det finns en nyare, bättre funktion eller ett sätt att utföra de uppgifter som den här funktionen tillhandahåller. Den här etiketten är ett tecken på ett framtida pensionsdatum. Fullständig. Support och dokumentation är tillgängliga. Migrering till en ny ersättningsfunktion eller ett nytt sätt att utföra uppgiften uppmuntras, men inte omedelbart nödvändigt.
Inaktuell Funktionen är inte längre i aktiv utveckling. Uppdateringar släpps inte längre. Funktionen kommer snart att dras tillbaka, så du måste utveckla en plan för att sluta använda funktionen och övergå till ett alternativ. Fullständig. Funktionen uppdateras inte längre, men support och dokumentation är fortfarande tillgängliga. Migrering till en ny ersättningsfunktion eller ett nytt sätt att utföra uppgiften uppmuntras starkt eftersom viktiga uppdateringar inte längre tillämpas.
Slut på support (EoS) Funktionen är inte längre i aktiv utveckling och supporten är officiellt otillgänglig. Inga. Dokumentationen kanske fortfarande finns, men den har arkiverats och underhålls inte längre. Migrering till en ny ersättningsfunktion eller ett nytt sätt att utföra uppgiften är brådskande, eftersom viktiga uppdateringar inte längre tillämpas och stöd för problem som kan uppstå inte längre är tillgängligt.
Livets slut (EoL) Funktionen har tagits bort helt från Databricks-produkten. Ingen Migrering till en ny ersättningsfunktion eller ett nytt sätt att utföra uppgiften krävs, eftersom funktionen inte längre kan användas. I det här läget kan det vara mycket svårt att migrera.

Databricks Runtime stöder livscykeler

I följande tabeller beskrivs stegen i support- och supportprinciper för Databricks Runtime-versioner. Azure Databricks släpper körtider som Beta- och GA-versioner. Azure Databricks har stöd för GA-versioner i sex månader, såvida inte körningsversionen är en långsiktig supportversion (LTS). Information om databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Arbetsbelastningar på Databricks Runtime-versioner som inte stöds kan fortsätta att köras, men Azure Databricks tillhandahåller inte stöd eller korrigeringar.

Livscykel för Databricks Runtime LTS-version

Fas beskrivning
Beta-version Serviceavtal för support är inte tillämpliga. Mer information finns i Databricks Runtime-versioner.
GA, fullständigt stöd för LTS-versionen Viktiga stabilitets- och säkerhetskorrigeringar är bakåtporterade.
Databricks släpper LTS-versioner var sjätte månad och har stöd för dem i tre hela år.
Stödda LTS-versioner publiceras på Stödda Databricks Runtime LTS-versioner.
Slut på support (EoS) Om en version inte stöds:
  • Arbetsbelastningar som körs på dessa versioner får inget stöd från Databricks.
  • Korrigeringar är inte tillbakaporterade.
  • Det går inte längre att välja med hjälp av användargränssnittet när du skapar eller uppdaterar en beräkningsresurs.

Slutdatumet för supporten är tre år efter lanseringen.
Versioner som inte stöds publiceras under Viktig information om End-of-support Databricks Runtime-release.
Livets slut (EoL) När en version når Slutet av livet tas den bort från Azure Databricks-miljön och blir oanvändbar. Du kan inte starta nya arbetsbelastningar och befintliga arbetsbelastningar som körs på dessa versioner misslyckas. Du måste migrera dina arbetsbelastningar till en körningsversion som stöds.
Azure Databricks gör sitt bästa för att säkerställa att slutdatumet är sex månader efter supportens slutdatum. Databricks förbehåller sig dock rätten att ta bort en versionsversion när som helst när supporten har upphört, utan föregående meddelande.

Livscykel för Databricks Runtime Non-LTS-version

Fas beskrivning
Beta-version Serviceavtal för support är inte tillämpliga. Mer information finns i Databricks Runtime-versioner.
GA, fullständigt stöd Viktiga stabilitets- och säkerhetskorrigeringar är bakåtporterade.
Fullständigt stöd för Databricks Runtime-versioner varar i sex månader, med undantag för långsiktiga supportversioner (LTS).
Versioner som stöds tillsammans med deras slutdatum för support publiceras på Alla Databricks Runtime-versioner som stöds.
Slut på support (EoS) Om en version inte stöds:
  • Arbetsbelastningar som körs på dessa versioner får inget stöd från Databricks.
  • Korrigeringar är inte tillbakaporterade.
  • Det går inte längre att välja med hjälp av användargränssnittet när du skapar eller uppdaterar en beräkningsresurs.

Versioner som inte stöds publiceras under Viktig information om End-of-support Databricks Runtime-release.
Livets slut (EoL) Databricks förbehåller sig rätten att ta bort en versionsutgåva helt och hållet när som helst efter att supporten har upphört, utan föregående meddelande.

Identifiera vilka kluster som använder äldre Databricks Runtime-versioner

Den här tillfälliga vyn ger en sammanfattning av Databricks Runtime-klusteranvändning för kluster som kör Databricks Runtime version 10.4 eller tidigare. Den sammanställer användningen under de senaste 90 dagarna och innehåller information om arbetsytor, klusteridentifierare, Databricks Runtime-versioner, användningsenheter och total användning i Databricks-enheter (DBUs).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Om du vill se äldre Databricks Runtime-användning per kluster, kör du en fråga mot vyn som precis skapades.

SELECT * FROM legacy_dbrs;

Om du vill se den aggregerade klusteranvändningen mellan arbetsytor och Databricks Runtime-versioner använder du följande fråga. Detta hjälper dig att identifiera vilka Databricks Runtime-versioner som fortfarande används, antalet kluster som kör varje version och den totala användningen i DBU:er.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Identifiera vilka jobb som använder äldre Databricks Runtime-versioner

Använd den här frågan för att hämta alla jobb som har körts under de senaste 90 dagarna där den senaste körningen använde en Databricks Runtime-version tidigare än 10.4. Detta hjälper dig att identifiera arbetsbelastningar som kräver uppgradering.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'