Penerimaan pekerjaan di Apache Spark untuk Microsoft Fabric

Berlaku untuk:✅ Rekayasa Data dan Ilmu Data di Microsoft Fabric

Apache Spark for Fabric menggunakan teknik penerimaan pekerjaan optimis untuk menentukan persyaratan inti minimum untuk pekerjaan Spark. Proses ini berlaku untuk pekerjaan interaktif atau batch dari notebook, lakehouse, atau definisi pekerjaan Spark. Ini bergantung pada pengaturan node minimum kumpulan Spark yang dipilih di pengaturan ruang kerja atau lingkungan terlampir. Jika inti yang tersedia ditemukan dalam kapasitas Fabric yang ditautkan ke ruang kerja, pekerjaan diterima dan memulai eksekusi. Pekerjaan dimulai dengan pengaturan node minimum mereka dan dapat meningkatkan skala dalam batas node maksimum sesuai tahap pekerjaan. Jika total core yang digunakan dengan menjalankan pekerjaan yang menggunakan kapasitas Fabric berada di bawah core burst maksimum yang ditetapkan, penerimaan pekerjaan dan lapisan pembatasan pada Fabric Spark memungkinkan pekerjaan untuk meningkatkan skala.

Untuk informasi selengkapnya, lihat Batas konkurensi dan antrean di Microsoft Fabric Spark.

Bagaimana cara kerja penerimaan pekerjaan yang optimis?

Dalam Fabric, kumpulan pemula dilengkapi dengan minimum default satu simpul, sementara kumpulan kustom memungkinkan Anda untuk mengatur simpul minimum berdasarkan kebutuhan beban kerja. Penskalaan otomatis menyesuaikan persyaratan komputasi untuk pekerjaan Spark selama tahap eksekusi, dalam simpul minimum dan maksimum yang dikonfigurasi. Penerimaan pekerjaan optimis mengevaluasi pengiriman pekerjaan berdasarkan inti yang tersedia, dan menjalankannya dengan inti minimum. Pekerjaan mencoba untuk tumbuh berdasarkan node maksimum yang dialokasikan selama eksekusi. Permintaan peningkatan skala disetujui jika total inti Spark yang digunakan berada dalam batas kapasitas yang dialokasikan.

Catatan

Jika penggunaan mencapai batas maksimum dan semua inti dalam kapasitas total untuk Fabric sedang digunakan, permintaan peningkatan skala apa pun akan ditolak. Pekerjaan aktif harus selesai atau dibatalkan untuk membebaskan inti.

Bagaimana hal ini memengaruhi konkurensi pekerjaan?

Persyaratan inti minimum untuk setiap pekerjaan menentukan apakah pekerjaan dapat diterima. Jika kapasitas sepenuhnya digunakan dan tidak memiliki inti yang tersisa untuk memenuhi kebutuhan inti minimum pekerjaan, pekerjaan ditolak. Pekerjaan notebook interaktif atau operasi Lakehouse akan diblokir dengan pesan kesalahan Tidak dapat mengirimkan permintaan ini karena semua kapasitas yang tersedia saat ini sedang digunakan. Batalkan pekerjaan yang sedang berjalan, tingkatkan kapasitas yang tersedia, atau coba lagi nanti. Pekerjaan batch diantrekan dan dijalankan setelah inti tersedia.

Misalnya, pertimbangkan skenario dengan pengguna yang menggunakan SKU kapasitas Fabric F32. Dengan asumsi semua pekerjaan menggunakan pengaturan kumpulan pemula default tanpa penerimaan pekerjaan yang optimis, kapasitas akan mendukung konkurensi maksimum tiga pekerjaan. Jumlah maksimum inti per pekerjaan dialokasikan sesuai dengan konfigurasi simpul maks.

Dengan penerimaan pekerjaan optimis dengan kapasitas yang sama seperti di atas, 24 pekerjaan dapat diakui dan dijalankan menggunakan konfigurasi node minimum mereka selama skenario konkurensi maksimum. Karena setiap pekerjaan memerlukan 8 Spark VCores di mana satu konfigurasi node minimum berukuran sedang.

Menskalakan pekerjaan dengan skala otomatis Spark

Saat Anda mengaktifkan skala otomatis untuk kumpulan Spark, pekerjaan dijalankan dengan konfigurasi node minimumnya. Selama runtime, penskalakan dapat terjadi. Permintaan ini melalui kontrol penerimaan pekerjaan. Permintaan yang disetujui meningkatkan skala hingga batas maksimum berdasarkan total inti yang tersedia. Permintaan yang ditolak tidak memengaruhi pekerjaan aktif; mereka terus berjalan dengan konfigurasi mereka saat ini sampai inti tersedia.

Catatan

Untuk memastikan alokasi inti maksimum untuk pekerjaan sesuai dengan konfigurasi simpul maksnya, nonaktifkan skala otomatis dan atur simpul maks dalam SKU kapasitas Fabric. Dalam hal ini, karena pekerjaan tidak memiliki persyaratan inti minimum, pekerjaan akan mulai berjalan setelah inti gratis tersedia, meningkatkan skala hingga total yang dikonfigurasi. Jika kapasitas sepenuhnya digunakan, pekerjaan interaktif notebook dapat melambat atau mengantre. Pekerjaan yang diantrekan secara otomatis dicoba kembali saat inti tersedia.

Konten terkait

• Mulai menggunakan pengaturan administrasi ruang kerja Spark di Microsoft Fabric.
• Pelajari tentang komputasi Spark untuk rekayasa data Fabric dan ilmu data.
• Pelajari selengkapnya tentang batas Konkurensi dan antrean untuk Fabric Spark.