Pengaturan administrasi ruang kerja Spark di Microsoft Fabric

Berlaku untuk: Rekayasa Data dan Ilmu Data di Microsoft Fabric

Saat Anda membuat ruang kerja di Microsoft Fabric, kumpulan pemula yang terkait dengan ruang kerja tersebut dibuat secara otomatis. Dengan pengaturan yang disederhanakan di Microsoft Fabric, Anda tidak perlu memilih ukuran simpul atau mesin, karena opsi ini ditangani untuk Anda di belakang layar. Konfigurasi ini memberikan pengalaman mulai sesi Spark yang lebih cepat (5-10 detik) bagi pengguna untuk memulai dan menjalankan pekerjaan Spark Anda dalam banyak skenario umum tanpa harus khawatir tentang menyiapkan komputasi. Untuk skenario tingkat lanjut dengan persyaratan komputasi tertentu, pengguna dapat membuat kumpulan Spark kustom dan mengukur simpul berdasarkan kebutuhan performa mereka.

Penting

Microsoft Fabric sedang dalam pratinjau.

Untuk membuat perubahan pada pengaturan Spark di ruang kerja, Anda harus memiliki peran admin untuk ruang kerja tersebut. Untuk mempelajari selengkapnya, lihat Peran di ruang kerja.

Untuk mengelola pengaturan Spark untuk kumpulan yang terkait dengan ruang kerja Anda:

1. Buka pengaturan Ruang Kerja di ruang kerja Anda dan pilih opsi Rekayasa Data/Sains untuk memperluas menu:

   

2. Anda melihat opsi Spark Compute di menu sebelah kiri Anda:

3. Konfigurasikan empat opsi pengaturan yang dapat Anda ubah di halaman ini: Kumpulan default untuk ruang kerja, Versi runtime, Melacak eksperimen dan model pembelajaran mesin secara otomatis , serta properti Spark.

Catatan

Jika Anda mengubah kumpulan default menjadi kumpulan Spark kustom, Anda mungkin melihat sesi yang lebih lama dimulai (~3 menit) dalam hal ini.

Kumpulan default untuk ruang kerja

Ada dua opsi:

• Kumpulan Pemula: Kluster langsung prahidrasi secara otomatis dibuat untuk pengalaman Anda yang lebih cepat. Kluster ini berukuran sedang. Saat ini, kumpulan pemula dengan 10 simpul disediakan untuk tujuan evaluasi.

• Kumpulan Spark Kustom: Anda dapat mengukur simpul, skala otomatis, dan mengalokasikan pelaksana secara dinamis berdasarkan persyaratan pekerjaan Spark Anda. Untuk membuat kumpulan Spark kustom, admin kapasitas harus mengaktifkan opsi Kumpulan ruang kerja yang dikustomisasi di bagian Komputasi Spark di pengaturan Admin Kapasitas. Untuk mempelajari lebih lanjut, lihat Pengaturan Komputasi Spark untuk Kapasitas Fabric.

Admin dapat membuat kumpulan Spark kustom berdasarkan persyaratan komputasi mereka dengan memilih opsi Kumpulan Baru .

Microsoft Fabric Spark mendukung kluster simpul tunggal, yang memungkinkan pengguna untuk memilih konfigurasi simpul minimum 1 dalam hal ini driver dan eksekutor berjalan dalam satu simpul. Kluster node tunggal ini menawarkan ketersediaan tinggi yang dapat di memulihkan jika terjadi kegagalan node dan keandalan pekerjaan yang lebih baik untuk beban kerja dengan persyaratan komputasi yang lebih kecil. Anda juga dapat mengaktifkan atau menonaktifkan opsi penskalaan otomatis untuk kumpulan Spark kustom Anda. Ketika diaktifkan dengan skala otomatis, kumpulan akan memperoleh simpul baru dalam batas simpul maksimum yang ditentukan oleh pengguna dan menghentikannya setelah eksekusi pekerjaan untuk performa yang lebih baik.

Anda juga dapat memilih opsi untuk secara dinamis mengalokasikan eksekutor untuk mengumpulkan jumlah pelaksana yang optimal secara otomatis dalam batas maksimum yang ditentukan berdasarkan volume data untuk performa yang lebih baik.

Pelajari selengkapnya tentang Spark Compute untuk Fabric.

Versi runtime

Anda dapat memilih versi Spark mana yang ingin Anda gunakan untuk ruang kerja. Saat ini, versi Spark 3.2 tersedia.

Autologging untuk model dan eksperimen Azure Machine Learning

Admin sekarang dapat mengaktifkan autologging untuk model dan eksperimen pembelajaran mesin mereka. Opsi ini secara otomatis mengambil nilai parameter input, metrik output, dan item output dari model pembelajaran mesin saat sedang dilatih.

Pelajari selengkapnya tentang pembuatan log otomatis

Properti Spark

Apache Spark memiliki banyak pengaturan yang dapat Anda berikan untuk mengoptimalkan pengalaman skenario Anda. Anda dapat mengatur properti tersebut melalui UI dengan memilih opsi Tambahkan . Pilih item dari menu dropdown, dan masukkan nilainya.

Anda dapat menghapus item dengan memilih item lalu pilih tombol Hapus . Atau pilih ikon hapus di samping setiap item yang ingin Anda hapus.

Langkah berikutnya

• Pelajari lebih lanjut dari dokumentasi publik Apache Spark.
• Temukan jawaban atas tanya jawab umum: Tanya Jawab Umum pengaturan administrasi ruang kerja Apache Spark.