Pengaturan konfigurasi komputasi Spark di lingkungan Fabric
Pengalaman Microsoft Fabric Rekayasa Data dan Ilmu Data beroperasi pada platform komputasi Spark yang dikelola sepenuhnya. Platform ini dirancang untuk memberikan kecepatan dan efisiensi yang tak tertandingi. Ini termasuk kumpulan pemula dan kumpulan kustom.
Lingkungan Fabric berisi kumpulan konfigurasi, termasuk properti komputasi Spark yang memungkinkan pengguna mengonfigurasi sesi Spark setelah dilampirkan ke notebook dan pekerjaan Spark. Dengan lingkungan, Anda memiliki cara yang fleksibel untuk menyesuaikan konfigurasi komputasi untuk menjalankan pekerjaan Spark Anda. Di lingkungan, bagian komputasi memungkinkan Anda mengonfigurasi properti tingkat sesi Spark untuk menyesuaikan memori dan inti pelaksana berdasarkan persyaratan beban kerja.
Admin ruang kerja dapat mengaktifkan atau menonaktifkan kustomisasi komputasi dengan sakelar Kustomisasi konfigurasi komputasi untuk item di tab Kumpulan di bagian Rekayasa Data/Sains di layar Pengaturan ruang kerja.
Admin ruang kerja dapat mendelegasikan anggota dan kontributor untuk mengubah konfigurasi komputasi tingkat sesi default di lingkungan s Fabric dengan mengaktifkan pengaturan ini.
Jika admin ruang kerja menonaktifkan opsi ini di pengaturan ruang kerja, bagian komputasi lingkungan dinonaktifkan dan konfigurasi komputasi kumpulan default untuk ruang kerja digunakan untuk menjalankan pekerjaan Spark.
Menyesuaikan properti komputasi tingkat sesi di lingkungan
Sebagai pengguna, Anda dapat memilih kumpulan untuk lingkungan dari daftar kumpulan yang tersedia di ruang kerja Fabric. Admin ruang kerja Fabric membuat kumpulan starter default dan kumpulan kustom.
Setelah Memilih kumpulan di bagian Komputasi , Anda dapat menyetel inti dan memori untuk pelaksana dalam batas ukuran dan batas node kumpulan yang dipilih.
Misalnya: Anda memilih kumpulan kustom dengan ukuran simpul besar, yaitu 16 Spark vCore, sebagai kumpulan lingkungan. Anda kemudian dapat memilih inti driver/eksekutor menjadi 4, 8, atau 16, berdasarkan persyaratan tingkat pekerjaan Anda. Untuk memori yang dialokasikan untuk driver dan eksekutor, Anda dapat memilih 28 g, 56 g, atau 112 g, yang semuanya berada dalam batas batas memori simpul besar.
Untuk informasi selengkapnya tentang ukuran komputasi Spark dan opsi inti atau memorinya, lihat Apa itu komputasi Spark di Microsoft Fabric?.