Meningkatkan keandalan peluncuran komputasi menggunakan jenis node fleksibel

Sumber daya komputasi klasik di Azure Databricks menggunakan jenis node fleksibel, yang memungkinkan sumber daya komputasi Anda kembali ke jenis instans alternatif yang kompatibel saat jenis instans yang Anda tentukan tidak tersedia.

Perilaku ini meningkatkan keandalan peluncuran komputasi dengan mengurangi kegagalan kapasitas (kesalahan stockout) selama peluncuran komputasi. Untuk instans spot dengan fallback, jenis node fleksibel dapat mencoba memperoleh instans beberapa kali di berbagai jenis instans sebelum kembali ke instans sesuai permintaan. Ini menghasilkan persentase instans yang lebih tinggi yang berjalan sebagai spot alih-alih sesuai permintaan, mengurangi total biaya komputasi Anda.

Cara kerja jenis node yang fleksibel

Saat Anda meluncurkan sumber daya komputasi, penyedia cloud Anda terkadang kehabisan kapasitas untuk jenis instans yang Anda tentukan. Hal ini menyebabkan terjadinya kesalahan kehabisan stok:

CLOUD_PROVIDER_RESOURCE_STOCKOUT

Meskipun kesalahan ini lebih umum terjadi pada instans sementara, kesalahan ini juga dapat terjadi pada instans sesuai permintaan.

Dengan mengaktifkan jenis node yang fleksibel, Azure Databricks secara otomatis menghasilkan atau menggunakan daftar fallback yang anda tentukan dari jenis instans yang kompatibel. Jika jenis instans pilihan Anda tidak tersedia, Azure Databricks mencoba memperoleh jenis instans cadangan ini alih-alih segera gagal.

Mengaktifkan jenis simpul fleksibel di ruang kerja Anda

Admin ruang kerja dapat mengaktifkan jenis simpul fleksibel di pengaturan admin ruang kerja mereka. Saat diaktifkan, semua sumber daya komputasi klasik baru secara otomatis kembali ke jenis simpul alternatif. Sumber daya komputasi semua tujuan yang ada tidak terpengaruh. Lihat Bagaimana beban kerja yang ada terpengaruh?.

Untuk mengaktifkan jenis node fleksibel di ruang kerja:

  1. Sebagai admin ruang kerja, buka halaman pengaturan.
  2. Klik tab Komputasi .
  3. Alihkan pengaturan Aktifkan jenis node fleksibel otomatis :
    • Diaktifkan: Semua sumber daya komputasi klasik baru secara otomatis menggunakan jenis node fleksibel kecuali dinonaktifkan secara eksplisit.
    • Dinonaktifkan: Sumber daya komputasi klasik hanya menggunakan jenis node fleksibel jika Anda secara eksplisit mengonfigurasi node_type_flexibility dalam konfigurasi sumber daya komputasi.

Jika pengaturan ini dinonaktifkan, pengguna tetap dapat mengonfigurasi jenis simpul fleksibel untuk sumber daya komputasi secara individual dengan secara eksplisit mengonfigurasi bidang worker_node_type_flexibility atau driver_node_type_flexibility dengan daftar fallback yang disesuaikan. Untuk mencegah pengguna mengonfigurasi bidang ini, admin ruang kerja dapat menggunakan kebijakan komputasi. Lihat Contoh kebijakan jenis node fleksibel.

Tentukan daftar fallback kustom

Saat jenis node fleksibel diaktifkan di ruang kerja Anda, Azure Databricks secara otomatis menghasilkan daftar fallback jenis instans yang kompatibel untuk sumber daya komputasi baru.

Jika Anda tidak ingin menggunakan daftar fallback yang dihasilkan secara otomatis, Anda dapat menentukan daftar fallback Anda sendiri sebagai gantinya. Selain itu, jika jenis node fleksibel dinonaktifkan di ruang kerja, Anda masih dapat menentukan daftar fallback kustom untuk sumber daya komputasi Anda. Hanya jenis instans tertentu yang kompatibel. Lihat Persyaratan tipe instance fallback. Untuk referensi jenis instans yang kompatibel, lihat referensi kompatibilitas jenis node fleksibel.

Daftar fallback kustom hanya didukung saat mengonfigurasi komputasi menggunakan API. Lihat dokumentasi referensi Clusters API .

Misalnya, konfigurasi berikut menentukan jenis instans mana sumber daya komputasi akan kembali jika diperlukan:


  "worker_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },
  "driver_node_type_flexibility": {
    "alternate_node_type_ids": [
      "Standard_L8s_v2"
    ]
  },

Persyaratan jenis instans fallback

Jenis instans cadangan harus kompatibel dengan jenis instans pilihan komputer. Daftar jenis instans fallback Anda harus memenuhi persyaratan berikut:

  • Jumlah dan memori vCPU yang sama dengan jenis instans pilihan (instans fallback harus memiliki antara 100% dan 110% memori jenis instans pilihan)
  • Jumlah disk lokal dan ukuran disk yang sama dengan jenis instans pilihan
  • Arsitektur CPU yang sama dengan jenis instans pilihan (semua ARM atau semua x86)
  • Gambar OS dan dukungan Photon yang sama dengan jenis instans pilihan
  • Tidak ada tipe instans GPU (GPU tidak didukung)
  • Maksimum 5 tipe instans cadangan unik
  • Semua jenis instans harus memiliki dukungan penyimpanan yang konsisten: entah semuanya mendukung penyimpanan PREMIUM_LRS, atau tidak ada yang mendukungnya.

Gunakan jenis node fleksibel dengan kumpulan

Anda juga dapat menyesuaikan daftar fallback untuk kumpulan. Di Pools API, atur bidang node_type_flexibility untuk menentukan jenis instance fallback. Contohnya:

"node_type_flexibility": {
    "alternate_node_type_ids": ["Standard_L8s_v2"]
  }

Kolam tidak mendukung penggunaan tipe instans fleksibel untuk mempertahankan jumlah minimal instans yang tidak aktif. Kumpulan hanya dapat meluncurkan mesin virtual (VM) menggunakan jenis instans cadangan ketika peluncuran komputasi dari kumpulan dilakukan. Pemanasan awal untuk minIdle hanya menggunakan jenis instans yang dipilih.

Lihat jenis instance yang diperoleh

Saat menggunakan jenis node fleksibel, sumber daya komputasi Anda mungkin terdiri dari campuran jenis instans yang berbeda. Semua jenis instans fallback kompatibel dengan jenis pilihan Anda, mempertahankan jumlah vCPU, memori, tata letak disk, arsitektur CPU, dan gambar OS yang sama untuk memastikan beban kerja Anda berjalan dengan benar.

Anda dapat melihat jenis instans mana yang diperoleh untuk sumber daya komputasi Anda:

  1. Di halaman detail komputasi, klik tiga titik di sebelah tombol Mengakhiri dan pilih Tampilkan JSON.
  2. node_type_id Tinjau bidang untuk setiap pelaksana untuk melihat jenis instans mana yang berjalan.

Anda juga dapat menggunakan API Dapatkan info kluster untuk mengambil informasi ini secara terprogram. Selain itu, pengguna dengan izin untuk mengakses tabel sistem dapat mengkueri node_timelines tabel. Lihat skema tabel garis waktu simpul.

Menonaktifkan jenis node fleksibel pada sumber daya komputasi

Nota

Databricks merekomendasikan agar jenis node fleksibel tetap diaktifkan kecuali Anda memiliki persyaratan ketat untuk jenis instans tertentu.

Jika Anda lebih suka peluncuran komputasi gagal daripada beralih ke jenis instans alternatif, Anda dapat menonaktifkan perilaku node fleksibel pada level sumber daya komputasi individu. Ini hanya didukung saat menggunakan API Kluster. Untuk menonaktifkan jenis node fleksibel, atur bidang jenis node fleksibel sebagai kosong dalam konfigurasi komputasi. Contohnya:

"worker_node_type_flexibility": {
  "alternate_node_type_ids": []
},
"driver_node_type_flexibility": {
  "alternate_node_type_ids": []
}

Tanya jawab umum

Bagaimana beban kerja yang ada terpengaruh?

Sumber daya komputasi semua tujuan yang ada tidak berubah. Untuk menggunakan fallback otomatis, buat sumber daya komputasi serba guna baru setelah mengaktifkan pengaturan, atau perbarui spesifikasi API sumber daya komputasi dengan daftar fallback kustom.

Untuk tugas yang menggunakan komputasi tugas, setiap kali dijalankan akan membuat sumber daya komputasi baru, sehingga tugas yang ada berikutnya akan otomatis menggunakan cadangan fleksibel.

Apakah ini berfungsi dengan kumpulan instans?

Ya. Jenis node fleksibel berlaku untuk konfigurasi kumpulan instans Anda. Beberapa poin yang perlu diperhatikan:

  • Waktu diam minimum tetap konsisten: Instans waktu diam minimum di dalam kumpulan (minIdle) dipertahankan menggunakan jenis node utama Anda. Setiap VM baru yang diluncurkan melalui permintaan peluncuran kluster dapat dipenuhi menggunakan jenis node fallback yang kompatibel ketika jenis utama dibatasi.
  • Pengeditan kumpulan: Anda tidak dapat mengedit kumpulan instans setelah dibuat. Jika Anda ingin mengubah pengaturan fallback kustom apa pun, Anda harus membuat kumpulan instans baru.
  • Visibilitas API: /api/2.0/instance-pools/get Respons tidak menunjukkan fleksibilitas jenis node kecuali Anda telah secara eksplisit mengonfigurasi daftar fallback kustom pada kumpulan. Untuk melihat konfigurasi fallback dari kumpulan instans Anda, Anda dapat membuat kluster contoh dan melihat respons /api/2.1/clusters/get.

Bagaimana cara kerja penagihan?

Anda ditagih berdasarkan tarif DBU standar untuk tipe instans yang ada. Diskon tingkat instans apa pun yang Anda miliki dengan penyedia cloud Anda secara otomatis berlaku untuk jenis instans yang cocok yang digunakan oleh sumber daya komputasi.

Bagaimana ini berinteraksi dengan kuota jenis node di ruang kerja saya?

Jika peluncuran komputasi gagal karena jenis node utama Anda mencapai batas "kuota terlampaui", jenis node fleksibel masih dapat meningkatkan keandalan peluncuran dengan secara otomatis kembali ke alternatif yang kompatibel. Meskipun demikian, untuk kegagalan berbasis kuota, Databricks merekomendasikan untuk memperlakukan solusi alternatif sebagai "jaring pengaman" daripada perbaikan utama. Anda dapat meminta peningkatan kuota dari penyedia cloud Anda sehingga Azure Databricks dapat secara konsisten memperoleh jenis instans pilihan Anda sebelum menggunakan alternatif, atau menggunakan komputasi tanpa server.

Dapatkah saya mengaktifkan jenis node fleksibel hanya untuk subset beban kerja saya?

Fallback jenis node yang dihasilkan secara otomatis hanya dapat dikonfigurasi di tingkat ruang kerja. Namun, Anda memiliki dua opsi untuk mengontrol perilaku cadangan dari beban kerja tertentu.

  • (Disarankan) Aktifkan jenis node fleksibel untuk ruang kerja, lalu pilih kluster tertentu dengan mengatur alternate_node_type_ids ke daftar [] kosong dalam spesifikasi kluster tersebut.
  • Nonaktifkan jenis node fleksibel untuk seluruh ruang kerja, lalu pilih spesifikasi kluster tertentu dengan menyediakan daftar fallback kustom yang alternate_node_type_ids memenuhi persyaratan kompatibilitas.
  • Last updated on