Cykle życia pomocy technicznej usługi Databricks

W ramach zaangażowania Azure Databricks w innowacje funkcje platformy i środowiska uruchomieniowego mogą zostać wycofane i zastąpione nowymi funkcjami. Wersje środowiska Databricks Runtime są również wycofane i zastępowane zgodnie z regularnym harmonogramem. Na tej stronie wymieniono fazy wycofania i szczegółowe informacje o odpowiedniej obsłudze funkcji platformy i wydań środowiska Databricks Runtime. Obejmuje również zapytania SQL do wykrywania klastrów i zadań przy użyciu starszych wersji środowiska Databricks Runtime.

Aby uzyskać informacje o wersjach i typach wydań, zobacz wydania zapoznawcze Azure Databricks.

Cykl życia funkcji platformy

Fazy wycofywania funkcji platformy Azure Databricks opisano w poniższej tabeli:

Faza	opis	Pomoc	Uwagi dotyczące migracji
Dziedzictwo	Funkcja jest nadal dostępna, ale istnieje nowsza, lepsza funkcja lub sposób wykonywania zadań udostępnianych przez tę funkcję. Etykieta ta wskazuje na przyszłą datę wycofania.	Pełny. Dostępna jest pomoc techniczna i dokumentacja.	Migracja do nowej funkcji zastępczej lub nowego sposobu wykonania zadania jest zachęcana, ale nie jest natychmiast konieczna.
Przestarzałe	Funkcja nie jest już aktywna. Aktualizacje nie są już wydawane. Funkcja zostanie wkrótce wycofana, więc musisz opracować plan zaprzestania korzystania z funkcji i przejścia na alternatywę.	Pełny. Ta funkcja nie jest już aktualizowana, ale pomoc techniczna i dokumentacja są nadal dostępne.	Migracja do nowej funkcji zastępczej lub nowego sposobu wykonywania zadania jest zdecydowanie zachęcana, ponieważ ważne aktualizacje nie są już stosowane.
Koniec wsparcia technicznego (EoS)	Funkcja nie jest już aktywna, a obsługa techniczna jest oficjalnie niedostępna.	Brak. Dokumentacja może nadal istnieć, ale została zarchiwizowana i nie jest już utrzymywana.	Migracja do nowej funkcji zastępczej lub nowego sposobu wykonania zadania jest pilna, ponieważ ważne aktualizacje nie są już stosowane, a obsługa problemów, które mogą wystąpić, nie jest już dostępna.
Koniec życia (EoL)	Funkcja została całkowicie usunięta z produktu Databricks.	Brak	Migracja do nowej funkcji zastępczej lub nowego sposobu wykonania zadania jest wymagana, ponieważ ta funkcja nie jest już dostępna. W tym momencie migracja może być bardzo trudna.

Cykle życia wsparcia Databricks Runtime

Każda wersja środowiska Databricks Runtime jest początkowo udostępniana w wersji beta do wczesnej ewaluacji, a następnie staje się ogólnie dostępna (GA). W fazie rozwoju funkcji GA (około sześciu miesięcy) platforma Azure Databricks wydaje nowe funkcje i poprawki w ramach tego samego numeru wersji. Klastry otrzymują aktualizacje po ponownym uruchomieniu. Po fazie opracowywania funkcji wersja zostanie przeniesiona na długoterminową pomoc techniczną (LTS) przez trzy lata. Aby uzyskać informacje o obsługiwanych wersjach, zobacz Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Obciążenia w nieobsługiwanych wersjach środowiska Databricks Runtime mogą nadal działać, ale Azure Databricks nie zapewnia pomocy technicznej ani poprawek.

Uwaga / Notatka

Przed wersją Databricks Runtime 19 platforma Azure Databricks udostępniała środowiska uruchomieniowe jako pomniejsze wersje funkcjonalne (na przykład 18.0, 18.1, 18.2), z których każda miała własne wydanie beta i wydanie ogólnodostępne (GA).

Faza	opis
Beta	Dostępne do wcześniejszej oceny przed wydaniem GA. Nie zaleca się używania w środowisku produkcyjnym. Brak umowy SLA dotyczącej pomocy technicznej.
GA (rozwój funkcji)	Zapewniana jest duża stabilność i poprawki zabezpieczeń. Azure Databricks udostępnia nowe funkcje i poprawki w ramach tego samego numeru wersji na etapie rozwoju funkcji, trwającym około sześciu miesięcy. Obsługiwane wersje są publikowane na stronie Supported Databricks Runtime versions.
LTS	Po zakończeniu fazy opracowywania funkcji wersja zostanie przeniesiona do długoterminowej pomocy technicznej (LTS). Poważne poprawki stabilności i bezpieczeństwa są przywracane przez trzy lata. Obsługiwane wersje LTS są publikowane w artykule Obsługiwane wersje środowiska Databricks Runtime.
Koniec wsparcia technicznego (EoS)	Jeśli wersja jest nieobsługiwana: Obciążenia działające na tych wersjach nie otrzymują wsparcia od Databricks. Poprawki nie są przywracane. Nie można go już wybierać przy użyciu interfejsu użytkownika podczas tworzenia lub aktualizowania zasobu obliczeniowego. Data zakończenia wsparcia technicznego wynosi trzy lata po dacie wydania ogólnie dostępnego. Nieobsługiwane wersje są publikowane w uwagach do wydań kończących wsparcie dla środowiska Databricks Runtime.
Koniec życia (EoL)	Gdy wersja osiągnie koniec życia, zostanie usunięta ze środowiska Azure Databricks i staje się bezużyteczna. Nie można uruchomić nowych obciążeń, a istniejące obciążenia uruchomione w tych wersjach kończą się niepowodzeniem. Należy przeprowadzić migrację obciążeń do obsługiwanej wersji środowiska uruchomieniowego. Azure Databricks dokłada wszelkich starań, aby określić datę zakończenia okresu eksploatacji sześć miesięcy po dacie zakończenia wsparcia. Jednak Databricks zastrzega sobie prawo do usunięcia wersji w dowolnym momencie po zakończeniu wsparcia, bez wcześniejszego powiadomienia.

Wykrywanie starszych klastrów środowiska Databricks Runtime

Ten widok tymczasowy zawiera podsumowanie użycia klastra środowiska Databricks Runtime dla klastrów z uruchomionym środowiskiem Databricks Runtime w wersji 10.4 lub starszej. Agreguje użycie w ciągu ostatnich 90 dni i obejmuje informacje o obszarze roboczym, identyfikatory klastra, wersje środowiska Databricks Runtime, jednostki użycia i łączne użycie w jednostkach usługi Databricks (DBU).

Tworzenie widoku legacy_dbrs

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Aby wyświetlić starsze użycie środowiska Databricks Runtime na klaster, wykonaj zapytanie dotyczące właśnie utworzonego widoku.

SELECT * FROM legacy_dbrs;

Aby wyświetlić zagregowane użycie klastra między obszarami roboczymi i wersjami środowiska Databricks Runtime, użyj następującego zapytania. Pomaga to określić, które wersje środowiska Databricks Runtime są nadal używane, ile klastrów działa z każdą wersją, oraz całkowite użycie w DBU.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Wykrywanie starszych zadań środowiska Databricks Runtime

Użyj tego zapytania, aby pobrać wszystkie zadania, które zostały wykonane w ciągu ostatnich 90 dni, w których najnowszy przebieg używał środowiska Databricks Runtime w wersji starszej niż 10.4. Pomaga to zidentyfikować obciążenia wymagające uaktualnienia.

Wykonywanie zapytań dotyczących zadań przy użyciu starszych wersji DBR

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'