Ondersteuningslevenscycli van Databricks

Als onderdeel van de toezegging van Azure Databricks voor innovatie, kunnen platform- en runtimefuncties buiten gebruik worden gesteld en vervangen door nieuwe functies. Databricks Runtime-releases worden ook buiten gebruik gesteld en vervangen volgens een normaal schema. Op deze pagina vindt u de buitengebruikstellingsfasen en details over de bijbehorende ondersteuning voor platformfuncties en Databricks Runtime-releases. Het bevat ook SQL-query's voor het detecteren van clusters en taken met verouderde Databricks Runtime-versies.

Zie Azure Databricks Preview-versies voor meer informatie over previews en releasetypen.

Levenscyclus van platformfuncties

De buitengebruikstellingsfasen van azure Databricks-platformfuncties worden beschreven in de volgende tabel:

Fase	Beschrijving	Ondersteuning	Migratienotities
Erfenis	De functie is nog steeds beschikbaar, maar er is een nieuwere, betere functie of manier om de taken uit te voeren die deze functie biedt. Dit label wijst op een toekomstige buitengebruikstellingsdatum.	Volledig. Ondersteuning en documentatie zijn beschikbaar.	Migratie naar een nieuwe vervangingsfunctie of een nieuwe manier om de taak uit te voeren, wordt aangemoedigd, maar niet onmiddellijk noodzakelijk.
Verouderd verklaard	De functie bevindt zich niet meer in actieve ontwikkeling. Updates worden niet meer uitgebracht. De functie wordt binnenkort buiten gebruik gesteld, dus u moet een plan ontwikkelen om het gebruik van de functie te stoppen en over te stappen op een alternatief.	Volledig. De functie wordt niet meer bijgewerkt, maar ondersteuning en documentatie zijn nog steeds beschikbaar.	Migratie naar een nieuwe vervangingsfunctie of een nieuwe manier om de taak uit te voeren, wordt sterk aangemoedigd, omdat belangrijke updates niet meer worden toegepast.
Einde van ondersteuning (EoS)	De functie is niet langer actief in ontwikkeling en ondersteuning is officieel niet beschikbaar.	Geen. Documentatie bestaat mogelijk nog steeds, maar is gearchiveerd en wordt niet meer onderhouden.	Migratie naar een nieuwe vervangingsfunctie of een nieuwe manier om de taak uit te voeren is dringend, omdat belangrijke updates niet meer worden toegepast en ondersteuning voor problemen die zich kunnen voordoen niet meer beschikbaar is.
End of Life (EoL) - Einde levensduur	De functie is volledig verwijderd uit het Databricks-product.	Geen	Migratie naar een nieuwe vervangingsfunctie of een nieuwe manier om de taak uit te voeren is vereist, omdat de functie niet meer bruikbaar is. Op dit moment kan het erg moeilijk zijn om te migreren.

Ondersteuningslevenscycli van Databricks Runtime

In de volgende tabellen worden de fasen van ondersteunings- en ondersteuningsbeleid voor Databricks Runtime-versies beschreven. Azure Databricks brengt runtimes uit als bèta- en GA-versies. Azure Databricks ondersteunt algemene beschikbaarheidsversies gedurende zes maanden, tenzij de runtime versie een LTS-versie (long-term support) is. Voor informatie over ondersteunde Databricks Runtime-versies, zie Databricks Runtime release notes versies en compatibiliteit.

Workloads op niet-ondersteunde Databricks Runtime-versies kunnen blijven worden uitgevoerd, maar Azure Databricks biedt geen ondersteuning of oplossingen.

Levenscyclus van Databricks Runtime LTS-versie

Fase	Beschrijving
Bèta	Ondersteunings-SLA's zijn niet van toepassing. Zie Databricks Runtime-releases voor meer informatie.
ALGEMENE BESCHIKBAARHEID, volledige ondersteuning voor LTS-versie	Belangrijke stabiliteits- en beveiligingsreparaties worden teruggevoerd. Databricks brengt om de zes maanden LTS-versies uit en ondersteunt deze gedurende drie volledige jaren. Ondersteunde LTS-releases worden gepubliceerd op Ondersteunde Databricks Runtime LTS-releases.
Einde van ondersteuning (EoS)	Als een versie niet wordt ondersteund: Workloads die op deze versies worden uitgevoerd, ontvangen geen Ondersteuning voor Databricks. Fixes worden niet gebackporteerd. Deze kan niet meer worden geselecteerd met behulp van de gebruikersinterface wanneer u een rekenresource maakt of bijwerkt. De einddatum van de ondersteuning is drie jaar na de release. Niet-ondersteunde releases worden gepubliceerd in releaseopmerkingen van Databricks Runtime aan het einde van de ondersteuning.
End of Life (EoL) - Einde levensduur	Zodra een versie het einde van de levensduur bereikt, wordt deze verwijderd uit de Azure Databricks-omgeving en wordt deze onbruikbaar. U kunt geen nieuwe workloads starten en bestaande workloads die op deze versies worden uitgevoerd, mislukken. U moet uw workloads migreren naar een ondersteunde runtimeversie. Azure Databricks doet er alles aan om ervoor te zorgen dat de einddatum zes maanden na de einddatum van de ondersteuning is. Databricks behoudt zich echter het recht voor om op elk gewenst moment een releaseversie volledig te verwijderen nadat de ondersteuning is beëindigd, zonder voorafgaande kennisgeving.

Levenscyclus van Databricks Runtime-versie zonder LTS-versie

Fase	Beschrijving
Bèta	Ondersteunings-SLA's zijn niet van toepassing. Zie Databricks Runtime-releases voor meer informatie.
GA, volledige ondersteuning	Belangrijke stabiliteits- en beveiligingsreparaties worden teruggevoerd. Volledige ondersteuning voor Databricks Runtime-versies duurt zes maanden, met uitzondering van LTS-versies (long-term support). Ondersteunde releases samen met hun einddatums voor ondersteuning worden gepubliceerd in alle ondersteunde Databricks Runtime-releases.
Einde van ondersteuning (EoS)	Als een versie niet wordt ondersteund: Workloads die op deze versies worden uitgevoerd, ontvangen geen Ondersteuning voor Databricks. Fixes worden niet gebackporteerd. Deze kan niet meer worden geselecteerd met behulp van de gebruikersinterface wanneer u een rekenresource maakt of bijwerkt. Niet-ondersteunde releases worden gepubliceerd in releaseopmerkingen van Databricks Runtime aan het einde van de ondersteuning.
End of Life (EoL) - Einde levensduur	Databricks behoudt zich het recht voor om op elk gewenst moment een releaseversie volledig te verwijderen nadat de ondersteuning is beëindigd, zonder voorafgaande kennisgeving.

Detecteren welke clusters gebruikmaken van verouderde Databricks Runtime-versies

Deze tijdelijke weergave geeft een samenvatting van het databricks Runtime-clustergebruik voor clusters met Databricks Runtime-versies 10.4 of eerder. Het aggregeert het gebruik in de afgelopen 90 dagen en bevat werkruimtegegevens, cluster-id's, Databricks Runtime-versies, gebruikseenheden en het totale gebruik in Databricks Units (DBU's).

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Als u het verouderde Databricks Runtime-gebruik per cluster wilt zien, voert u een query uit op de weergave die zojuist is gemaakt.

SELECT * FROM legacy_dbrs;

Gebruik de volgende query om het geaggregeerde clustergebruik in werkruimten en Databricks Runtime-versies te bekijken. Hiermee kunt u bepalen welke Databricks Runtime-versies nog steeds worden gebruikt, het aantal clusters waarop elke versie wordt uitgevoerd en het totale gebruik in DBU's.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Detecteren welke taken gebruikmaken van verouderde Databricks Runtime-versies

Gebruik deze query om alle taken op te halen die in de afgelopen 90 dagen zijn uitgevoerd, waarbij de meest recente uitvoering een Databricks Runtime-versie heeft gebruikt die ouder is dan 10.4. Dit helpt bij het identificeren van workloads waarvoor een upgrade moet worden uitgevoerd.

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'