Megosztás:

A Databricks támogatja az életciklusokat

Az Azure Databricks innovációs elkötelezettségének részeként a platform- és futtatókörnyezeti funkciók megszűnhetnek, és új funkciók válthatók fel. A Databricks Runtime kiadásait is kivonjuk, és rendszeres időközönként lecseréljük. Ez az oldal felsorolja a kivonási fázisokat és a platformfunkciók és a Databricks Runtime-kiadások megfelelő támogatásának részleteit. SQL-lekérdezéseket is tartalmaz a fürtök és feladatok észleléséhez a régi Databricks Runtime-verziók használatával.

Az előzetes verziókkal és a kiadási típusokkal kapcsolatos információkért tekintse meg az Azure Databricks előzetes kiadásait.

Platformfunkciók életciklusa

Az Azure Databricks platform funkcióinak kivonási fázisait az alábbi táblázat ismerteti:

Fázis Leírás Támogatás Migrálási megjegyzések
Örökség A funkció továbbra is elérhető, de van egy újabb, jobb funkció, vagy a funkció által biztosított feladatok végrehajtásának módja. Ez a címke a jövőbeli nyugdíjazási dátumot jelzi. Telt A támogatás és a dokumentáció elérhető. Javasoljuk, hogy új cserefunkcióra vagy a feladat végrehajtásának új módjára migráljon, de nem szükséges azonnal.
Elavult A funkció már nem aktív fejlesztés alatt áll. A frissítések már nem jelennek meg. A funkció hamarosan megszűnik, ezért ki kell dolgoznia egy tervet a funkció használatának leállításához és egy alternatív verzióra való áttéréshez. Telt A funkció már nem frissül, de a támogatás és a dokumentáció továbbra is elérhető. Az új cserefunkciókra vagy a feladat végrehajtásának új módjára való migrálást erősen javasoljuk, mert a fontos frissítések már nem lesznek alkalmazva.
Támogatás megszűnése (EoS) A funkció már nem aktív fejlesztés alatt áll, és a támogatás hivatalosan nem érhető el. Nincs. Előfordulhat, hogy a dokumentáció továbbra is létezik, de archiválva lett, és a továbbiakban nem tart fenn. Az új helyettesítő funkcióra vagy a feladat végrehajtásának új módjára való migrálás sürgős, mert a fontos frissítések már nem lesznek alkalmazva, és a felmerülő problémák támogatása már nem érhető el.
Az élet vége (EoL) A funkció teljesen el lett távolítva a Databricks-termékből. Egyik sem Új cserefunkcióra vagy a feladat végrehajtásának új módjára való migrálásra van szükség, mert a funkció már nem használható. Ezen a ponton lehet, hogy nagyon nehéz migrálni.

A Databricks Runtime támogatja az életciklusokat

Az alábbi táblázatok a Databricks Runtime-verziók támogatási és támogatási szabályzatainak szakaszait ismertetik. Az Azure Databricks bétaverzióként és GA-verzióként is kiadja a futtatókörnyezeteket. Az Azure Databricks hat hónapig támogatja a GA-verziókat, kivéve, ha a futtatókörnyezet verziója hosszú távú támogatási (LTS) verzió. A Databricks Runtime támogatott verzióival kapcsolatos információkért lásd a Databricks Runtime kibocsátási megjegyzéseinek verzióit és kompatibilitását.

A nem támogatott Databricks Runtime-verziók számítási feladatai továbbra is futhatnak, de az Azure Databricks nem nyújt támogatást vagy javításokat.

Databricks Runtime LTS-verzió életciklusa

Fázis Leírás
Béta A támogatási SLA-k nem alkalmazhatók. További információ: Databricks Runtime-kiadások.
GA, az LTS-verzió teljes támogatása A főbb stabilitási és biztonsági javítások visszaportolva vannak.
A Databricks hathavonta kiadja az LTS-verziókat, és három teljes évig támogatja őket.
A támogatott LTS-kiadásokat a Támogatott Databricks Runtime LTS-kiadásokban tesszük közzé.
Támogatás megszűnése (EoS) Ha egy verzió nem támogatott:
  • Az ezeken a verziókon futó számítási feladatok nem kapnak Databricks-támogatást.
  • A javítások nincsenek visszajelentve.
  • Számítási erőforrás létrehozásakor vagy frissítésekor már nem választható ki a felhasználói felületen.

A támogatás megszűnésének dátuma a kiadást követő három év.
A nem támogatott kiadásokat a Databricks Runtime kiadási megjegyzéseiben tesszük közzé.
Az élet vége (EoL) Ha egy verzió eléri az Élettartam végét, az el lesz távolítva az Azure Databricks-környezetből, és használhatatlanná válik. Nem indíthat el új számítási feladatokat, és az ezeken a verziókon futó meglévő számítási feladatok meghiúsulnak. A számítási feladatokat egy támogatott futtatókörnyezeti verzióra kell migrálnia.
Az Azure Databricks mindent megtesz annak érdekében, hogy az élettartam lejárati dátuma a támogatás megszűnését követő hat hónap legyen. A Databricks azonban fenntartja a jogot arra, hogy a támogatás megszűnése után bármikor, előzetes értesítés nélkül teljesen eltávolítsa a kiadási verziót.

A Databricks Runtime nem hosszú távú támogatású (LTS) verzióinak életciklusa

Fázis Leírás
Béta A támogatási SLA-k nem alkalmazhatók. További információ: Databricks Runtime-kiadások.
GA, teljes támogatás A főbb stabilitási és biztonsági javítások visszaportolva vannak.
A Databricks Runtime-verziók teljes támogatása hat hónapig tart, a hosszú távú támogatási (LTS) verziók kivételével.
A támogatott kiadások és a támogatás megszűnésének dátumai minden támogatott Databricks Runtime-kiadásban megjelennek.
Támogatás megszűnése (EoS) Ha egy verzió nem támogatott:
  • Az ezeken a verziókon futó számítási feladatok nem kapnak Databricks-támogatást.
  • A javítások nincsenek visszajelentve.
  • Számítási erőforrás létrehozásakor vagy frissítésekor már nem választható ki a felhasználói felületen.

A nem támogatott kiadásokat a Databricks Runtime kiadási megjegyzéseiben tesszük közzé.
Az élet vége (EoL) A Databricks fenntartja a jogot arra, hogy a támogatás megszűnése után bármikor, előzetes értesítés nélkül teljesen eltávolítsa a kiadási verziót.

Az örökölt Databricks Runtime-verziókat használó fürtök észlelése

Ez az ideiglenes nézet összefoglalja a Databricks Runtime-fürthasználatot a Databricks Runtime 10.4-es vagy korábbi verzióit futtató fürtök esetében. Összesíti a használatot az elmúlt 90 napban, és tartalmazza a munkaterület adatait, a fürtazonosítókat, a Databricks Futtatókörnyezet verzióit, a használati egységeket és a Databricks Units (DBU-k) teljes használatát.

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Az örökölt Databricks Runtime-használat fürtönkénti megtekintéséhez kérdezze le az imént létrehozott nézetet.

SELECT * FROM legacy_dbrs;

A munkaterületek és a Databricks Runtime-verziók összesített fürthasználatának megtekintéséhez használja az alábbi lekérdezést. Ez segít azonosítani, hogy mely Databricks Runtime-verziók vannak még használatban, az egyes verziókat futtató fürtök száma és a dbU-k teljes kihasználtsága.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Az örökölt Databricks Runtime-verziókat használó feladatok észlelése

Ezzel a lekérdezéssel lekérheti az elmúlt 90 napban végrehajtott összes feladatot, ahol a legutóbbi futtatás a Databricks Runtime 10.4-nél korábbi verzióját használta. Ez segít azonosítani a frissítést igénylő számítási feladatokat.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'
  • Last updated on