A Databricks támogatja az életciklusokat

A Azure Databricks innovációs elkötelezettségének részeként a platform- és futtatókörnyezeti funkciók megszűnhetnek, és új funkciók válthatók fel. A Databricks Runtime kiadásait is kivonjuk, és rendszeres időközönként lecseréljük. Ez az oldal felsorolja a kivonási fázisokat és a platformfunkciók és a Databricks Runtime-kiadások megfelelő támogatásának részleteit. SQL-lekérdezéseket is tartalmaz a fürtök és feladatok észleléséhez a régi Databricks Runtime-verziók használatával.

Az előzetes verziókkal és a kiadási típusokkal kapcsolatos információkért lásd Azure Databricks előzetes kiadásokat.

Platformfunkciók életciklusa

Azure Databricks platformfunkciók kivonási fázisait az alábbi táblázat ismerteti:

Fázis Leírás Támogatás Migrálási megjegyzések
Örökség A funkció továbbra is elérhető, de van egy újabb, jobb funkció, vagy a funkció által biztosított feladatok végrehajtásának módja. Ez a címke a jövőbeli nyugdíjazási dátumot jelzi. Telt A támogatás és a dokumentáció elérhető. Javasoljuk, hogy új cserefunkcióra vagy a feladat végrehajtásának új módjára migráljon, de nem szükséges azonnal.
Elavult A funkció már nem aktív fejlesztés alatt áll. A frissítések már nem jelennek meg. A funkció hamarosan megszűnik, ezért ki kell dolgoznia egy tervet a funkció használatának leállításához és egy alternatív verzióra való áttéréshez. Telt A funkció már nem frissül, de a támogatás és a dokumentáció továbbra is elérhető. Az új cserefunkciókra vagy a feladat végrehajtásának új módjára való migrálást erősen javasoljuk, mert a fontos frissítések már nem lesznek alkalmazva.
Támogatás megszűnése (EoS) A funkció már nem aktív fejlesztés alatt áll, és a támogatás hivatalosan nem érhető el. Nincs. Előfordulhat, hogy a dokumentáció továbbra is létezik, de archiválva lett, és a továbbiakban nem tart fenn. Az új helyettesítő funkcióra vagy a feladat végrehajtásának új módjára való migrálás sürgős, mert a fontos frissítések már nem lesznek alkalmazva, és a felmerülő problémák támogatása már nem érhető el.
Az élet vége (EoL) A funkció teljesen el lett távolítva a Databricks-termékből. Egyik sem Új cserefunkcióra vagy a feladat végrehajtásának új módjára való migrálásra van szükség, mert a funkció már nem használható. Ezen a ponton lehet, hogy nagyon nehéz migrálni.

A Databricks Runtime támogatja az életciklusokat

Minden Databricks Runtime-verzió kezdeti bétaverzióval rendelkezik a korai értékeléshez, majd általánosan elérhetőként (GA) indul el. A GA-funkciók fejlesztési fázisában (körülbelül hat hónap) Azure Databricks új funkciókat és javításokat ad ki ugyanazon verziószám alatt. A klaszterek újraindításkor kapnak frissítéseket. A funkciófejlesztési fázis után a verzió három évig hosszú távú támogatásra (LTS) vált. A támogatott verziókért lásd a Databricks Runtime kibocsátási megjegyzéseinek verzióit és kompatibilitását.

Előfordulhat, hogy a nem támogatott Databricks Runtime-verziók számítási feladatai továbbra is futnak, de Azure Databricks nem nyújt támogatást vagy javításokat.

Megjegyzés:

A Databricks Runtime 19-et megelőzően az Azure Databricks a futtatókörnyezeteket mellékverziókként adta ki (például 18.0, 18.1 és 18.2), amelyek mindegyike saját béta- és GA-kiadással rendelkezett.

Fázis Leírás
Béta A GA bevezetése előtt korai kiértékelésre érhető el. Éles használathoz nem ajánlott. Nincs támogatási SLA.
GA (szolgáltatásfejlesztés) Jelentős stabilitási és biztonsági javítások állnak rendelkezésre.
Azure Databricks az új funkciókat és javításokat ugyanazon verziószám alatt adja ki a funkciófejlesztési fázisban, amely körülbelül hat hónapig tart.
A támogatott kiadásokat a Támogatott Databricks Runtime-verziókban tesszük közzé.
Hosszú távú támogatás (LTS) A funkciófejlesztési fázis befejeződése után a verzió hosszú távú támogatásra (LTS) vált. A nagyobb stabilitási és biztonsági javításokat három évre visszamenőleg telepítjük.
A támogatott LTS-kiadásokat a Támogatott Databricks Runtime-verziókban tesszük közzé.
Támogatás megszűnése (EoS) Ha egy verzió nem támogatott:
  • Az ezeken a verziókon futó számítási feladatok nem kapnak Databricks-támogatást.
  • A javítások nincsenek visszajelentve.
  • Számítási erőforrás létrehozásakor vagy frissítésekor már nem választható ki a felhasználói felületen.

A támogatás megszűnésének dátuma a GA megjelenési dátumát követő három év.
A nem támogatott kiadásokat a Databricks Runtime kiadási megjegyzéseiben tesszük közzé.
Az élet vége (EoL) Ha egy verzió eléri az Élettartam végét, az el lesz távolítva a Azure Databricks környezetből, és használhatatlanná válik. Nem indíthat el új számítási feladatokat, és az ezeken a verziókon futó meglévő számítási feladatok meghiúsulnak. A számítási feladatokat egy támogatott futtatókörnyezeti verzióra kell migrálnia.
Az Azure Databricks minden tőle telhetőt megtesz annak érdekében, hogy az életciklus végének dátumát a támogatás megszűnésének dátumát követő hat hónapra tűzze ki. A Databricks azonban fenntartja a jogot arra, hogy a támogatás megszűnése után bármikor, előzetes értesítés nélkül teljesen eltávolítsa a kiadási verziót.

Örökölt Databricks Runtime-fürtök észlelése

Ez az ideiglenes nézet összefoglalja a Databricks Runtime-fürthasználatot a Databricks Runtime 10.4-es vagy korábbi verzióit futtató fürtök esetében. Összesíti a használatot az elmúlt 90 napban, és tartalmazza a munkaterület adatait, a fürtazonosítókat, a Databricks Futtatókörnyezet verzióit, a használati egységeket és a Databricks Units (DBU-k) teljes használatát.

Legacy_dbrs nézet létrehozása 
CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Az örökölt Databricks Runtime-használat fürtönkénti megtekintéséhez kérdezze le az imént létrehozott nézetet.

SELECT * FROM legacy_dbrs;

A munkaterületek és a Databricks Runtime-verziók összesített fürthasználatának megtekintéséhez használja az alábbi lekérdezést. Ez segít azonosítani, hogy mely Databricks Runtime-verziók vannak még használatban, az egyes verziókat futtató fürtök száma és a dbU-k teljes kihasználtsága.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Régi Databricks Runtime-feladatok észlelése

Ezzel a lekérdezéssel lekérheti az elmúlt 90 napban végrehajtott összes feladatot, ahol a legutóbbi futtatás a Databricks Runtime 10.4-nél korábbi verzióját használta. Ez segít azonosítani a frissítést igénylő számítási feladatokat.

Feladatok lekérdezése régi DBR verziókkal 
%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'
  • Last updated on