Referensi data pemantauan Azure HDInsight
Artikel ini berisi semua informasi referensi pemantauan untuk layanan ini.
Lihat Memantau HDInsight untuk detail tentang data yang dapat Anda kumpulkan untuk Azure HDInsight dan cara menggunakannya.
Metrik
Bagian ini mencantumkan semua metrik platform yang dikumpulkan secara otomatis untuk layanan ini. Metrik ini juga merupakan bagian dari daftar global semua metrik platform yang didukung di Azure Monitor.
Untuk informasi tentang retensi metrik, lihat Gambaran umum Metrik Azure Monitor.
Metrik yang didukung untuk Microsoft.HDInsight/clusters
Tabel berikut mencantumkan metrik yang tersedia untuk jenis sumber daya Microsoft.HDInsight/clusters.
- Semua kolom mungkin tidak ada di setiap tabel.
- Beberapa kolom mungkin berada di luar area tampilan halaman. Pilih Perluas tabel untuk menampilkan semua kolom yang tersedia.
Judul tabel
- Kategori - Grup metrik atau klasifikasi.
- Metrik - Nama tampilan metrik seperti yang muncul di portal Azure.
- Nama di REST API - Nama metrik seperti yang disebutkan dalam REST API.
- Unit - Satuan ukuran.
- Agregasi - Jenis agregasi default. Nilai yang valid: Rata-rata (Rata-rata), Minimum (Min), Maksimum (Maks), Total (Jumlah), Hitungan.
- Dimensi dimensi - tersedia untuk metrik.
- Interval Butir - Waktu tempat metrik diambil sampelnya. Misalnya,
PT1Mmenunjukkan bahwa metrik diambil sampelnya setiap menit,PT30Msetiap 30 menit,PT1Hsetiap jam, dan sebagainya. - Ekspor DS- Apakah metrik dapat diekspor ke Log Azure Monitor melalui pengaturan diagnostik. Untuk informasi tentang mengekspor metrik, lihat Membuat pengaturan diagnostik di Azure Monitor.
| Kategori | Metric | Nama dalam REST API | Unit | Agregasi | Dimensi | Butir Waktu | Ekspor DS |
|---|---|---|---|---|---|---|---|
| Ketersediaan | Permintaan Gateway Yang Dikategorikan Jumlah permintaan gateway menurut kategori (1xx/2xx/3xx/4xx/5xx) |
CategorizedGatewayRequests |
Hitung | Jumlah, Total | HttpStatus |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Permintaan Gateway Jumlah permintaan gateway |
GatewayRequests |
Hitung | Jumlah, Total | HttpStatus |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Permintaan Konsumen proksi RESTThroughput Jumlah permintaan konsumen ke proksi REST Kafka |
KafkaRestProxy.ConsumerRequest.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Permintaan Konsumen Proksi REST Tidak Berhasil Pengecualian permintaan konsumen |
KafkaRestProxy.ConsumerRequestFail.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Latensi Permintaan Konsumen proksi REST Latensi pesan dalam permintaan konsumen melalui proxy REST Kafka |
KafkaRestProxy.ConsumerRequestTime.p95 |
Milidetik | Rata-rata | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Backlog Permintaan Konsumen proksi REST Panjang antrean proksi REST konsumen |
KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 |
Milidetik | Rata-rata | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Pesan Produser proksi RESTThroughput Jumlah pesan produser melalui proxy REST Kafka |
KafkaRestProxy.MessagesIn.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Pesan Konsumen proksi RESTThroughput Jumlah pesan konsumen melalui proxy REST Kafka |
KafkaRestProxy.MessagesOut.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Proksi REST Bersamaan Koneksi ions Jumlah koneksi bersamaan melalui proxy REST Kafka |
KafkaRestProxy.OpenConnections |
Hitung | Total | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Permintaan Produser proksi RESTThroughput Jumlah permintaan produser ke proxy REST Kafka |
KafkaRestProxy.ProducerRequest.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Permintaan Produser proksi REST Gagal Pengecualian permintaan produser |
KafkaRestProxy.ProducerRequestFail.m1_delta |
CountPerSecond | Total | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Latensi Permintaan Produser Produser REST Latensi pesan dalam permintaan produser melalui proxy REST Kafka |
KafkaRestProxy.ProducerRequestTime.p95 |
Milidetik | Rata-rata | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Backlog Permintaan Produser Produser REST Panjang antrean proksi REST produser |
KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 |
Milidetik | Rata-rata | Machine, Topic |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | Jumlah Pekerja Aktif Jumlah Pekerja Aktif |
NumActiveWorkers |
Hitung | Rata-rata, Maksimum, Minimum | MetricName |
PT1M, PT1H, P1D | Ya |
| Ketersediaan | CPU tertunda Permintaan CPU Tertunda di YARN |
PendingCPU |
Hitung | Rata-rata, Maksimum, Minimum | <Tidak ada> | PT1M, PT1H, P1D | Ya |
| Ketersediaan | Memori Tertunda Permintaan Memori tertunda di YARN |
PendingMemory |
Hitung | Rata-rata, Maksimum, Minimum | <Tidak ada> | PT1M, PT1H, P1D | Ya |
Dimensi metrik
Untuk informasi tentang dimensi metrik apa itu, lihat Metrik multi-dimensi.
Layanan ini memiliki dimensi berikut yang terkait dengan metriknya.
Dimensi untuk tabel Microsoft.HDInsight/clusters meliputi:
- HttpStatus
- Komputer
- Topik
- MetricName
Log sumber daya
Bagian ini mencantumkan jenis log sumber daya yang dapat Anda kumpulkan untuk layanan ini. Bagian menarik dari daftar semua jenis kategori log sumber daya yang didukung di Azure Monitor.
HDInsight tidak menggunakan log sumber daya Azure Monitor atau pengaturan diagnostik. Log dikumpulkan oleh metode lain, termasuk penggunaan agen Analitik Log.
Tabel Log Azure Monitor
Bagian ini mencantumkan tabel Log Azure Monitor yang relevan dengan layanan ini, yang tersedia untuk kueri oleh Analitik Log menggunakan kueri Kusto. Tabel berisi data log sumber daya dan mungkin lebih bergantung pada apa yang dikumpulkan dan dirutekan ke dalamnya.
Kluster HDInsight
Microsoft.HDInsight/Clusters
Log dan metrik yang tersedia bervariasi tergantung pada jenis kluster HDInsight Anda.
- HDInsightAmbariClusterAlerts
- HDInsightAmbariSystemMetrics
- HDInsightGatewayAuditLogs
- HDInsightHBaseLogs
- HDInsightHBaseMetrics
- HDInsightHadoopAndYarnLogs
- HDInsightHadoopAndYarnMetrics
- HDInsightHiveAndLLAPLogs
- HDInsightHiveAndLLAPMetrics
- HDInsightHiveQueryAppStats
- HDInsightHiveTezAppStats
- HDInsightJupyterNotebookEvents
- HDInsightKafkaLogs
- HDInsightKafkaMetrics
- HDInsightKafkaServerLog
- HDInsightOozieLogs
- HDInsightRangerAuditLogs
- HDInsightSecurityLogs
- HDInsightSparkApplicationEvents
- HDInsightSparkBlockManagerEvents
- HDInsightSparkEnvironmentEvents
- HDInsightSparkExecutorEvents
- HDInsightSparkExtraEvents
- HDInsightSparkJobEvents
- HDInsightSparkLogs
- HDInsightSparkSQLExecutionEvents
- HDInsightSparkStageEvents
- HDInsightSparkStageTaskAccumulables
- HDInsightSparkTaskEvents
- HDInsightStormLogs
- HDInsightStormMetrics
- HDInsightStormTopologyMetrics
Pemetaan tabel log
Integrasi Azure Monitor baru mengimplementasikan tabel baru di ruang kerja Analitik Log. Tabel berikut ini memperlihatkan pemetaan tabel log dari integrasi Azure Monitor klasik ke yang baru.
Kolom Tabel baru memperlihatkan nama tabel baru. Baris Deskripsi menjelaskan jenis log/metrik yang tersedia dalam tabel ini. Kolom tabel Klasik adalah daftar semua tabel dari integrasi Azure Monitor klasik yang datanya sekarang ada di tabel baru.
Catatan
Beberapa tabel benar-benar baru dan tidak berdasarkan tabel sebelumnya.
Tabel beban kerja umum
| Tabel Baru | Deskripsi | Tabel klasik |
|---|---|---|
| HDInsightAmbariSystemMetrics | Metrik sistem yang dikumpulkan dari Ambari. Metrik sekarang berasal dari setiap node di klaster (kecuali untuk node tepi) dan bukan hanya dua headnode. Setiap metrik sekarang menjadi kolom dan setiap metrik dilaporkan sekali per rekaman. | metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL |
| HDInsightAmbariClusterAlerts | Pemberitahuan Kluster Ambari dari setiap simpul dalam kluster (kecuali untuk simpul tepi). Setiap peringatan adalah rekaman dalam tabel ini. | metrics_cluster_alerts_CL |
| HDInsightSecurityLogs | Catatan dari Audit Ambari dan Log Autentikasi. | log_ambari_audit_CL, log_auth_CL |
| HDInsightRangerAuditLogs | Semua rekaman dari log Audit Ranger untuk kluster ESP. | ranger_audit_logs_CL |
| HDInsightGatewayAuditLogs_CL | Informasi audit simpul Gateway. Format yang sama dengan tabel klasik, dan masih terletak di bagian Log Kustom. | log_gateway_Audit_CL |
Beban kerja Spark
Catatan
Tabel terkait aplikasi Spark telah diganti dengan 11 tabel Spark baru yang memberikan informasi lebih mendalam tentang beban kerja Spark Anda.
| Tabel Baru | Deskripsi | Tabel klasik |
|---|---|---|
| HDInsightSparkLogs | Semua log yang terkait dengan Spark dan komponen terkait: Livy dan Jupyter. | log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL |
| HDInsightSparkAplikasiEvents | Informasi peristiwa untuk Aplikasi Spark termasuk waktu Pengiriman dan Penyelesaian, ID Aplikasi, dan AppName. Berguna untuk melacak kapan aplikasi dimulai dan diselesaikan. | |
| HDInsightSparkBlockManagerEvents | Informasi peristiwa yang terkait dengan Block Manager Spark. Menyertakan informasi seperti penggunaan memori pelaksana. | |
| HDInsightSparkEnvironmentEvents | Informasi peristiwa yang terkait dengan Lingkungan yang dijalankan aplikasi termasuk, Mode Penyebaran Spark, Master, dan informasi tentang Pelaksana. | |
| HDInsightSparkExecutorEvents | Informasi peristiwa tentang penggunaan Spark Executor untuk oleh Aplikasi. | |
| HDInsightSparkExtraEvents | Informasi peristiwa yang tidak sesuai dengan tabel Spark lainnya. | |
| HDInsightSparkJobEvents | Informasi tentang Pekerjaan Spark termasuk waktu mulai dan berakhir, hasil, dan tahap terkait. | |
| HDInsightSparkSqlExecutionEvents | Informasi peristiwa tentang Kueri Spark SQL termasuk info dan deskripsi paket serta waktu mulai dan berakhir. | |
| HDInsightSparkStageEvents | Informasi peristiwa untuk Tahapan Spark termasuk waktu mulai dan selesai, status kegagalan, dan informasi eksekusi terperinci. | |
| HDInsightSparkStageTaskAccumulables | Metrik performa untuk tahap dan tugas. | |
| HDInsightTaskEvents | Informasi peristiwa untuk Tugas Spark termasuk waktu mulai dan selesai, tahap terkait, status eksekusi, dan jenis tugas. | |
| HDInsightJupyterNotebookEvents | Informasi peristiwa untuk Jupyter Notebooks. |
Beban kerja Hadoop/YARN
| Tabel Baru | Deskripsi | Tabel klasik |
|---|---|---|
| HDInsightHadoopAndYarnMetrics | Metrik JMX dari kerangka kerja Hadoop dan YARN. Berisi semua metrik JMX yang sama dengan tabel Log Kustom sebelumnya, ditambah metrik yang lebih penting: Server Garis Waktu, Manajer Simpul, dan Server Riwayat Pekerjaan. Berisi satu metrik per rekaman. | metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL |
| HDInsightHadoopAndYarnLogs | Semua log yang dihasilkan dari kerangka kerja Hadoop dan YARN. | log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL |
Beban kerja Hive/LLAP
| Tabel Baru | Deskripsi | Tabel klasik |
|---|---|---|
| HDInsightHiveAndLLAPMetrics | Metrik JMX dari kerangka kerja Apache Hive dan LLAP. Berisi semua metrik JMX yang sama dengan tabel Log Kustom sebelumnya, satu metrik per rekaman. | llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL |
| HDInsightHiveAndLLAPLogs | Log yang dihasilkan dari Apache Hive, LLAP, dan komponen terkaitnya: WebHCat dan Zeppelin. | log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL |
Beban kerja Kafka
| Tabel Baru | Deskripsi | Tabel klasik |
|---|---|---|
| HDInsightKafkaMetrics | Metrik JMX dari Kafka. Berisi semua metrik JMX yang sama dengan tabel Log Kustom lama, ditambah metrik penting lainnya. Satu metrik per rekaman. | metrics_kafka_CL |
| HDInsightKafkaLogs | Semua log yang dihasilkan dari Kafka Brokers. | log_kafkaserver_CL, log_kafkacontroller_CL |
Beban kerja HBase
| Tabel Baru | Deskripsi | Tabel klasik |
|---|---|---|
| HDInsightHBaseMetrics | Metrik JMX dari HBase. Berisi semua metrik JMX yang sama dari tabel sebelumnya. Berbeda dengan tabel sebelumnya, setiap baris berisi satu metrik. | metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL |
| HDInsightHBaseLogs | Log dari HBase dan komponen terkaitnya: Phoenix dan HDFS. | log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL |
Beban kerja Oozie
| Tabel Baru | Deskripsi | Tabel klasik |
|---|---|---|
| HDInsightOozieLogs | Semua log yang dihasilkan dari kerangka kerja Oozie. | Log_oozie_CL |
Log aktivitas
Tabel tertaut mencantumkan operasi yang dapat direkam dalam log aktivitas untuk layanan ini. Operasi ini adalah subset dari semua kemungkinan operasi penyedia sumber daya dalam log aktivitas.
Untuk informasi selengkapnya tentang skema entri log aktivitas, lihat Skema Log Aktivitas.
Konten terkait
- Lihat Memantau HDInsight untuk deskripsi pemantauan HDInsight.
- Lihat Memantau sumber daya Azure dengan Azure Monitor untuk detail tentang memantau sumber daya Azure.
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk