Ondersteuningslevenscycli van Databricks

Als onderdeel van de toezegging van Azure Databricks aan innovatie, kunnen platform- en runtimefuncties buiten gebruik worden gesteld en vervangen door nieuwe functies. Databricks Runtime-releases worden ook buiten gebruik gesteld en vervangen volgens een normaal schema. Op deze pagina vindt u de buitengebruikstellingsfasen en details over de bijbehorende ondersteuning voor platformfuncties en Databricks Runtime-releases. Het bevat ook SQL-query's voor het detecteren van clusters en taken met verouderde Databricks Runtime-versies.

Zie Azure Databricks preview-versies voor meer informatie over previews en releasetypen.

Levenscyclus van platformfuncties

Azure Databricks platform uitfasering van functies wordt beschreven in de volgende tabel:

Fase	Beschrijving	Ondersteuning	Migratienotities
Erfenis	De functie is nog steeds beschikbaar, maar er is een nieuwere, betere functie of manier om de taken uit te voeren die deze functie biedt. Dit label wijst op een toekomstige buitengebruikstellingsdatum.	Volledig. Ondersteuning en documentatie zijn beschikbaar.	Migratie naar een nieuwe vervangingsfunctie of een nieuwe manier om de taak uit te voeren, wordt aangemoedigd, maar niet onmiddellijk noodzakelijk.
Verouderd verklaard	De functie bevindt zich niet meer in actieve ontwikkeling. Updates worden niet meer uitgebracht. De functie wordt binnenkort buiten gebruik gesteld, dus u moet een plan ontwikkelen om het gebruik van de functie te stoppen en over te stappen op een alternatief.	Volledig. De functie wordt niet meer bijgewerkt, maar ondersteuning en documentatie zijn nog steeds beschikbaar.	Migratie naar een nieuwe vervangingsfunctie of een nieuwe manier om de taak uit te voeren, wordt sterk aangemoedigd, omdat belangrijke updates niet meer worden toegepast.
Einde van ondersteuning (EoS)	De functie is niet langer actief in ontwikkeling en ondersteuning is officieel niet beschikbaar.	Geen. Documentatie bestaat mogelijk nog steeds, maar is gearchiveerd en wordt niet meer onderhouden.	Migratie naar een nieuwe vervangingsfunctie of een nieuwe manier om de taak uit te voeren is dringend, omdat belangrijke updates niet meer worden toegepast en ondersteuning voor problemen die zich kunnen voordoen niet meer beschikbaar is.
End of Life (EoL) - Einde levensduur	De functie is volledig verwijderd uit het Databricks-product.	Geen	Migratie naar een nieuwe vervangingsfunctie of een nieuwe manier om de taak uit te voeren is vereist, omdat de functie niet meer bruikbaar is. Op dit moment kan het erg moeilijk zijn om te migreren.

Ondersteuningslevenscycli van Databricks Runtime

Elke Databricks Runtime-versie heeft een eerste bètaversie voor vroege evaluatie en wordt vervolgens gestart als algemeen beschikbaar (GA). Tijdens de ontwikkelingsfase van ga-functies (ongeveer zes maanden) brengt Azure Databricks nieuwe functies en fixes uit onder hetzelfde versienummer. Clusters ontvangen updates wanneer ze opnieuw worden opgestart. Na de fase van de functieontwikkeling gaat de versie drie jaar over naar langetermijnondersteuning (LTS). Zie de releaseversies en compatibiliteit van Databricks Runtime voor ondersteunde versies.

Workloads in niet-ondersteunde Databricks Runtime-versies kunnen blijven worden uitgevoerd, maar Azure Databricks biedt geen ondersteuning of oplossingen.

Opmerking

Vóór Databricks Runtime 19 bracht Azure Databricks runtimes uit als secundaire functieversies (bijvoorbeeld 18.0, 18.1 en 18.2), elk met een eigen Beta- en GA-release.

Fase	Beschrijving
Bèta	Beschikbaar voor vroegtijdige evaluatie vóór algemene beschikbaarheid. Niet aanbevolen voor productiegebruik. Geen ondersteunings-SLA.
GA (functieontwikkeling)	Er worden belangrijke stabiliteits- en beveiligingsoplossingen geboden. Azure Databricks brengt gedurende de ontwikkelfase van functies, die ongeveer zes maanden duurt, onder hetzelfde versienummer nieuwe functies en oplossingen uit. Ondersteunde releases worden gepubliceerd op ondersteunde Databricks Runtime-versies.
Langetermijnondersteuning (LTS)	Nadat de fase voor het ontwikkelen van functies is beëindigd, wordt de versie overgestapt op langetermijnondersteuning (LTS). Belangrijke stabiliteits- en beveiligingsfixes worden gedurende drie jaar gebackport. Ondersteunde LTS-releases worden gepubliceerd op ondersteunde Versies van Databricks Runtime.
Einde van ondersteuning (EoS)	Als een versie niet wordt ondersteund: Workloads die op deze versies worden uitgevoerd, ontvangen geen Ondersteuning voor Databricks. Fixes worden niet gebackporteerd. Deze kan niet meer worden geselecteerd met behulp van de gebruikersinterface wanneer u een rekenresource maakt of bijwerkt. De einddatum van de ondersteuning is drie jaar na de datum van algemene beschikbaarheid. Niet-ondersteunde releases worden gepubliceerd in releaseopmerkingen van Databricks Runtime aan het einde van de ondersteuning.
End of Life (EoL) - Einde levensduur	Zodra een versie het einde van de levensduur bereikt, wordt deze verwijderd uit de Azure Databricks omgeving en wordt deze onbruikbaar. U kunt geen nieuwe workloads starten en bestaande workloads die op deze versies worden uitgevoerd, mislukken. U moet uw workloads migreren naar een ondersteunde runtimeversie. Azure Databricks doet er alles aan om de einddatum zes maanden na de einddatum van de ondersteuning in te stellen. Databricks behoudt zich echter het recht voor om op elk gewenst moment een releaseversie volledig te verwijderen nadat de ondersteuning is beëindigd, zonder voorafgaande kennisgeving.

Verouderde Databricks Runtime-clusters detecteren

Deze tijdelijke weergave geeft een samenvatting van het databricks Runtime-clustergebruik voor clusters met Databricks Runtime-versies 10.4 of eerder. Het aggregeert het gebruik in de afgelopen 90 dagen en bevat werkruimtegegevens, cluster-id's, Databricks Runtime-versies, gebruikseenheden en het totale gebruik in Databricks Units (DBU's).

Legacy_dbrs weergave maken

CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Als u het verouderde Databricks Runtime-gebruik per cluster wilt zien, voert u een query uit op de weergave die zojuist is gemaakt.

SELECT * FROM legacy_dbrs;

Gebruik de volgende query om het geaggregeerde clustergebruik in werkruimten en Databricks Runtime-versies te bekijken. Hiermee kunt u bepalen welke Databricks Runtime-versies nog steeds worden gebruikt, het aantal clusters waarop elke versie wordt uitgevoerd en het totale gebruik in DBU's.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Verouderde Databricks Runtime-jobs detecteren

Gebruik deze query om alle taken op te halen die in de afgelopen 90 dagen zijn uitgevoerd, waarbij de meest recente uitvoering een Databricks Runtime-versie heeft gebruikt die ouder is dan 10.4. Dit helpt bij het identificeren van workloads waarvoor een upgrade moet worden uitgevoerd.

Querytaken uitvoeren met verouderde DBR-versies

%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'