Siklus hidup dukungan Databricks

Sebagai bagian dari komitmen Azure Databricks terhadap inovasi, fitur platform dan runtime mungkin dihentikan dan digantikan oleh fitur-fitur baru. Rilis Databricks Runtime juga dihentikan dan digantikan secara teratur. Halaman ini mencantumkan fase penghentian dan detail tentang dukungan terkait untuk fitur platform dan rilis Databricks Runtime. Ini juga mencakup kueri SQL untuk mendeteksi kluster dan tugas menggunakan versi warisan Runtime Databricks.

Untuk informasi tentang pratinjau dan jenis rilis, lihat pratinjau rilis Azure Databricks.

Siklus hidup fitur platform

Fase penghentian dari fitur platform Azure Databricks dijelaskan dalam tabel berikut:

Fase Deskripsi Dukungan Catatan migrasi
Warisan Fitur ini masih tersedia, tetapi ada fitur atau cara yang lebih baru dan lebih baik untuk menyelesaikan tugas yang disediakan fitur ini. Label ini menunjukkan tanggal penghentian di masa mendatang. Penuh. Dukungan dan dokumentasi tersedia. Migrasi ke fitur penggantian baru atau cara baru untuk menyelesaikan tugas didorong, tetapi tidak segera diperlukan.
Tidak digunakan lagi Fitur ini tidak lagi dalam pengembangan aktif. Pembaruan tidak lagi dirilis. Fitur ini akan segera dihentikan, jadi Anda perlu mengembangkan rencana untuk berhenti menggunakan fitur dan transisi ke alternatif. Penuh. Fitur ini tidak lagi diperbarui, tetapi dukungan dan dokumentasi masih tersedia. Migrasi ke fitur pengganti baru atau cara baru untuk menyelesaikan tugas sangat didorong, karena pembaruan penting tidak lagi diterapkan.
Akhir Dukungan Teknis (EoS) Fitur ini tidak lagi dalam pengembangan aktif dan dukungan secara resmi tidak tersedia. Tidak ada. Dokumentasi mungkin masih ada, tetapi telah diarsipkan dan tidak lagi dipertahankan. Migrasi ke fitur penggantian baru atau cara baru untuk menyelesaikan tugas sangat mendesak, karena pembaruan penting tidak lagi diterapkan dan dukungan untuk masalah yang mungkin muncul tidak lagi tersedia.
Akhir Masa Pakai (EoL) Fitur ini telah dihapus sepenuhnya dari produk Databricks. Tidak Migrasi ke fitur pengganti baru atau cara baru untuk menyelesaikan tugas diperlukan, karena fitur tersebut tidak lagi dapat digunakan. Pada titik ini mungkin sangat sulit untuk bermigrasi.

Siklus hidup dukungan Databricks Runtime

Setiap versi Databricks Runtime diawali dengan rilis Beta untuk evaluasi, kemudian dirilis secara umum (GA). Selama fase pengembangan fitur GA (sekitar enam bulan), Azure Databricks merilis fitur dan perbaikan baru di bawah nomor versi yang sama. Kluster menerima pembaruan saat dimulai kembali. Setelah fase pengembangan fitur, versi beralih ke dukungan jangka panjang (LTS) selama tiga tahun. Untuk versi yang didukung, lihat versi dan kompatibilitas dalam catatan rilis Databricks Runtime.

Beban kerja pada versi Runtime Databricks yang tidak didukung mungkin terus berjalan, tetapi Azure Databricks tidak memberikan dukungan atau perbaikan.

Note

Sebelum Databricks Runtime 19, Azure Databricks merilis runtime sebagai versi fitur minor (misalnya, 18.0, 18.1, 18.2), masing-masing dengan rilis Beta dan GA sendiri.

Fase Deskripsi
Beta Tersedia untuk evaluasi awal sebelum peluncuran GA. Tidak disarankan untuk penggunaan produksi. Tidak ada dukungan SLA.
GA (pengembangan fitur) Stabilitas utama dan perbaikan keamanan disediakan.
Azure Databricks merilis fitur dan perbaikan baru di bawah nomor versi yang sama sepanjang fase pengembangan fitur, yang berlangsung sekitar enam bulan.
Rilis yang didukung dipublikasikan di versi Databricks Runtime yang didukung.
Dukungan Jangka Panjang (LTS) Setelah fase pengembangan fitur berakhir, versi beralih ke dukungan jangka panjang (LTS). Stabilitas utama dan perbaikan keamanan didukung selama tiga tahun.
Rilis LTS yang didukung tersedia di versi Databricks Runtime yang didukung.
Akhir Dukungan Teknis (EoS) Jika versi tidak didukung:
  • Beban kerja yang berjalan pada versi ini tidak menerima dukungan Databricks.
  • Perbaikan tidak diterapkan ke versi sebelumnya.
  • Ini tidak lagi dapat dipilih menggunakan UI saat Anda membuat atau memperbarui sumber daya komputasi.

Tanggal akhir dukungan adalah tiga tahun setelah tanggal rilis GA.
Rilis yang tidak lagi didukung diterbitkan di Catatan akhir dukungan untuk rilis Databricks Runtime.
Akhir Masa Pakai (EoL) Setelah versi mencapai Akhir Masa Pakai, versi dihapus dari lingkungan Azure Databricks dan menjadi tidak dapat digunakan. Anda tidak dapat meluncurkan beban kerja baru, dan beban kerja yang ada yang berjalan pada versi ini gagal. Anda harus memigrasikan beban kerja Anda ke versi runtime yang didukung.
Azure Databricks melakukan upaya terbaik untuk menetapkan tanggal akhir masa pakai enam bulan setelah tanggal akhir dukungan. Namun, Databricks berhak untuk sepenuhnya menghapus versi rilis kapan saja setelah dukungan berakhir, tanpa pemberitahuan sebelumnya.

Mendeteksi kluster Runtime Databricks warisan

Tampilan sementara ini memberikan ringkasan penggunaan kluster Databricks Runtime untuk kluster yang menjalankan Databricks Runtime versi 10.4 atau yang lebih lama. Ini menggabungkan penggunaan selama 90 hari terakhir dan mencakup informasi ruang kerja, pengidentifikasi kluster, versi Databricks Runtime, unit penggunaan, dan total penggunaan dalam Unit Databricks (DBU).

Membuat tampilan legacy_dbrs 
CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

Untuk melihat penggunaan kluster dengan Databricks Runtime versi lama, jalankan kueri pada tampilan yang baru saja dibuat.

SELECT * FROM legacy_dbrs;

Untuk melihat penggunaan kluster agregat di seluruh ruang kerja dan versi Databricks Runtime, gunakan kueri berikut. Ini membantu mengidentifikasi versi Runtime Databricks mana yang masih digunakan, jumlah kluster yang menjalankan setiap versi, dan total penggunaan dalam DBA.

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

Mendeteksi pekerjaan Runtime Databricks warisan

Gunakan kueri ini untuk mengambil semua pekerjaan yang telah dijalankan dalam 90 hari terakhir di mana eksekusi terbaru menggunakan versi Databricks Runtime yang lebih lama dari 10.4. Ini membantu mengidentifikasi beban kerja yang memerlukan peningkatan.

Pekerjaan pemrosesan kueri menggunakan versi DBR lama 
%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'
  • Last updated on