Memantau Azure Databricks
Azure Databricks adalah layanan analitik berbasis Apache Spark yang cepat, kuat yang memudahkan untuk mengembangkan dan menerapkan analitik data besar dan solusi kecerdasan buatan (AI) dengan cepat. Banyak pengguna memanfaatkan kesederhanaan notebook dalam solusi Azure Databricks mereka. Untuk pengguna yang memerlukan opsi komputasi yang lebih kuat, Azure Databricks mendukung eksekusi kode aplikasi kustom yang didistribusikan.
Pemantauan adalah bagian penting dari solusi tingkat produksi apa pun, dan Azure Databricks menawarkan fungsionalitas yang kuat untuk memantau metrik aplikasi khusus, peristiwa kueri streaming, dan pesan log aplikasi. Azure Databricks dapat mengirim data pemantauan ini ke berbagai layanan pencatatan.
Artikel berikut menunjukkan cara mengirim data pemantauan dari Azure Databricks ke Azure Monitor, platform data pemantauan untuk Azure.
- Kirim log aplikasi Azure Databricks ke Azure Monitor
- Gunakan dasbor untuk memvisualisasikan metrik Azure Databricks
- Selesaikan masalah penyempitan performa
Pustaka kode yang menyertai artikel ini memperluas fungsi pemantauan inti Azure Databricks untuk mengirim metrik Spark, peristiwa, dan informasi pencatatan g ke Azure Monitor.
Audiens untuk artikel ini dan pustaka kode yang menyertainya adalah pengembang solusi Apache Spark dan Azure Databricks. Kode harus dibangun ke dalam file Java Archive (JAR) dan kemudian disebarkan ke klaster Azure Databricks. Kode ini adalah kombinasi dari Scala dan Java, dengan satu set file Maven project object model (POM) yang sesuai untuk membangun file JAR keluaran. Paham Java, Scala, dan Maven direkomendasikan sebagai prasyarat.
Langkah berikutnya
Mulailah dengan membuat pustaka kode dan menerapkannya ke klaster Azure Databricks Anda.