Memantau konsumsi kapasitas Apache Spark
Tujuan dari artikel ini adalah untuk menawarkan panduan bagi admin yang ingin memantau aktivitas dalam kapasitas yang mereka kelola. Dengan menggunakan laporan konsumsi kapasitas Apache Spark yang tersedia di aplikasi Metrik Kapasitas Microsoft Fabric, admin dapat mendapatkan wawasan tentang konsumsi kapasitas Spark yang dapat ditagih untuk item, termasuk definisi kerja Lakehouse, Notebook, dan Apache Spark. Beberapa aktivitas konsumsi kapasitas Spark tidak dilaporkan di aplikasi.
Konsumsi kapasitas Spark dilaporkan
Operasi berikut dari definisi pekerjaan lakehouse, notebook, dan Spark diperlakukan sebagai aktivitas yang dapat ditagih.
| Nama operasi | Item | Komentar |
|---|---|---|
| Operasi Lakehouse | Lakehouse | Tabel pratinjau pengguna di penjelajah Lakehouse. |
| Beban tabel Lakehouse | Lakehouse | Pengguna memuat tabel delta di penjelajah Lakehouse. |
| Buku catatan berjalan | Buku Catatan Synapse | Synapse Notebook berjalan secara manual oleh pengguna. |
| Notebook HC berjalan | Buku Catatan Synapse | Synapse Notebook berjalan di bawah sesi Apache Spark konkurensi tinggi. |
| Eksekusi terjadwal buku catatan | Buku Catatan Synapse | Synapse Notebook berjalan dipicu oleh peristiwa terjadwal buku catatan. |
| Eksekusi alur buku catatan | Buku Catatan Synapse | Synapse Notebook berjalan dipicu oleh alur. |
| Notebook VS Code berjalan | Buku Catatan Synapse | Synapse Notebook berjalan di Visual Studio Code. |
| Eksekusi pekerjaan Spark | Definisi Pekerjaan Spark | Pekerjaan batch Spark berjalan yang dimulai oleh pengiriman pengguna. |
| Eksekusi terjadwal pekerjaan Spark | Definisi Pekerjaan Spark | Pekerjaan batch Synapse berjalan dipicu oleh peristiwa terjadwal buku catatan. |
| Eksekusi alur pekerjaan Spark | Definisi Pekerjaan Spark | Pekerjaan batch Synapse berjalan dipicu oleh alur. |
| Pekerjaan Spark vs Code berjalan | Definisi Pekerjaan Spark | Definisi kerja Synapse Spark dikirimkan dari Visual Studio Code. |
Konsumsi kapasitas Spark yang tidak dilaporkan
Ada beberapa aktivitas konsumsi kapasitas Spark yang tidak dilaporkan di aplikasi metrik. Aktivitas ini termasuk pekerjaan Spark sistem untuk manajemen pustaka dan pekerjaan Spark sistem tertentu untuk kumpulan Spark Live atau sesi langsung.
Manajemen pustaka - Konsumsi kapasitas yang terkait dengan manajemen pustaka di tingkat ruang kerja tidak dilaporkan di aplikasi metrik.
Pekerjaan Spark Sistem - Konsumsi kapasitas Spark yang tidak terkait dengan notebook, definisi kerja Spark, atau lakehouse, tidak termasuk dalam pelaporan kapasitas.
Laporan pemakaian kapasitas
Semua operasi terkait Spark diklasifikasikan sebagai operasi latar belakang. Konsumsi kapasitas dari Spark ditampilkan di bawah notebook, definisi kerja Spark, atau lakehouse, dan dikumpulkan berdasarkan nama dan item operasi.
Laporan operasi latar belakang
Operasi latar belakang ditampilkan untuk titik waktu tertentu. Dalam tabel laporan, setiap baris mengacu pada operasi pengguna. Tinjau kolom Pengguna untuk mengidentifikasi siapa yang melakukan operasi tertentu. Jika Anda memerlukan informasi selengkapnya tentang operasi tertentu, Anda dapat menggunakan ID Operasinya untuk mencarinya di hub pemantauan Microsoft Fabric.
