Aracılığıyla paylaş

Azure HDInsight izleme verileri başvurusu

  • Makale

Bu makale, bu hizmetin tüm izleme başvuru bilgilerini içerir.

Azure HDInsight için toplayabileceğiniz veriler ve nasıl kullanılacağı hakkında ayrıntılı bilgi için bkz. HDInsight'ı izleme.

Ölçümler

Bu bölümde, bu hizmet için otomatik olarak toplanan tüm platform ölçümleri listelenir. Bu ölçümler, Azure İzleyici'de desteklenen tüm platform ölçümlerinin genel listesinin de bir parçasıdır.

Ölçüm saklama hakkında bilgi için bkz . Azure İzleyici Ölçümlerine genel bakış.

Microsoft.HDInsight/clusters için desteklenen ölçümler

Aşağıdaki tabloda, Microsoft.HDInsight/clusters kaynak türü için kullanılabilen ölçümler listelanmaktadır.

  • Tüm sütunlar her tabloda mevcut olmayabilir.
  • Bazı sütunlar sayfanın görüntüleme alanının dışında olabilir. Kullanılabilir tüm sütunları görüntülemek için Tabloyu genişlet'i seçin.

Tablo başlıkları

  • Kategori - Ölçüm grubu veya sınıflandırma.
  • Ölçüm - Azure portalında göründüğü şekilde ölçüm görünen adı.
  • REST API'deki ad - REST API'de bahsedilen ölçüm adı.
  • Birim - Ölçü birimi.
  • Toplama - Varsayılan toplama türü. Geçerli değerler: Ortalama (Ortalama), Minimum (Min), Maksimum (Maksimum), Toplam (Toplam), Sayı.
  • - Ölçüm için kullanılabilen Boyutlar Boyutları.
  • Ölçümün örneklendiği Zaman Dilimleri - Aralıkları. Örneğin, PT1M ölçümün dakikada bir, 30 dakikada bir, PT30M PT1H saatte bir vb. örneklendiğini gösterir.
  • DS Dışarı Aktarma- Ölçümün tanılama ayarları aracılığıyla Azure İzleyici Günlüklerine aktarılıp aktarılmayacağı. Ölçümleri dışarı aktarma hakkında bilgi için bkz . Azure İzleyici'de tanılama ayarları oluşturma.
Kategori Metric REST API'de ad Unit Toplama Boyutlar Zaman Dilimleri DS Dışarı Aktarma
Kullanılabilirlik Kategorilere Ayrılmış Ağ Geçidi İstekleri

Kategorilere göre ağ geçidi isteği sayısı (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Sayı Sayı, Toplam (Toplam) HttpStatus PT1M, PT1H, P1D Yes
Kullanılabilirlik Ağ Geçidi İstekleri

Ağ geçidi isteği sayısı		 GatewayRequests Sayı Sayı, Toplam (Toplam) HttpStatus PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Tüketici RequestThroughput

Kafka REST proxy'ye yönelik tüketici isteklerinin sayısı		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond Toplam (Toplam) Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Tüketici Başarısız İstekleri

Tüketici isteği özel durumları		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond Toplam (Toplam) Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Tüketici İsteğiLatency

Kafka REST proxy aracılığıyla bir tüketici isteğinde ileti gecikme süresi		 KafkaRestProxy.ConsumerRequestTime.p95 Milisaniye Ortalama Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Tüketici İsteği Kapsamı

Tüketici REST proxy kuyruğu uzunluğu		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Milisaniye Ortalama Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Producer MessageThroughput

Kafka REST proxy aracılığıyla üretici iletileri sayısı		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond Toplam (Toplam) Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Consumer MessageThroughput

Kafka REST proxy aracılığıyla gönderilen tüketici iletilerinin sayısı		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond Toplam (Toplam) Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy ConcurrentConnections

Kafka REST proxy üzerinden eşzamanlı bağlantı sayısı		 KafkaRestProxy.OpenConnections Sayı Toplam (Toplam) Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Producer RequestThroughput

Kafka REST proxy'ye üretici isteklerinin sayısı		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond Toplam (Toplam) Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Üretici Başarısız İstekler

Üretici isteği özel durumları		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond Toplam (Toplam) Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Producer RequestLatency

Kafka REST proxy aracılığıyla bir üretici isteğinde ileti gecikme süresi		 KafkaRestProxy.ProducerRequestTime.p95 Milisaniye Ortalama Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik REST proxy Üretici İsteği Kapsamı

Üretici REST proxy kuyruğu uzunluğu		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Milisaniye Ortalama Machine, Topic PT1M, PT1H, P1D Yes
Kullanılabilirlik Etkin Çalışan Sayısı

Etkin Çalışan Sayısı		 NumActiveWorkers Sayı Ortalama, Maksimum, Minimum MetricName PT1M, PT1H, P1D Yes
Kullanılabilirlik Bekleyen CPU

YARN'da Bekleyen CPU İstekleri		 PendingCPU Sayı Ortalama, Maksimum, Minimum <none> PT1M, PT1H, P1D Yes
Kullanılabilirlik Bekleyen Bellek

YARN'da Bekleyen Bellek İstekleri		 PendingMemory Sayı Ortalama, Maksimum, Minimum <none> PT1M, PT1H, P1D Yes

Ölçüm boyutları

Ölçüm boyutlarının ne olduğu hakkında bilgi için bkz . Çok boyutlu ölçümler.

Bu hizmet, ölçümleriyle ilişkilendirilmiş aşağıdaki boyutlara sahiptir.

Microsoft.HDInsight/clusters tablosunun boyutları şunlardır:

  • HttpStatus
  • Makine
  • Konu
  • MetricName

Kaynak günlükleri

Bu bölümde, bu hizmet için toplayabileceğiniz kaynak günlükleri türleri listelenmiştir. bölümü, Azure İzleyici'de desteklenen tüm kaynak günlükleri kategori türleri listesinden çekilir.

HDInsight, Azure İzleyici kaynak günlüklerini veya tanılama ayarlarını kullanmaz. Günlükler, Log Analytics aracısının kullanımı da dahil olmak üzere diğer yöntemler tarafından toplanır.

Azure İzleyici Günlükleri tabloları

Bu bölümde, Kusto sorguları kullanılarak Log Analytics tarafından sorgulanabilen bu hizmetle ilgili Azure İzleyici Günlükleri tabloları listelenmektedir. Tablolar, toplanan ve bunlara yönlendirilenlere bağlı olarak kaynak günlüğü verilerini ve büyük olasılıkla daha fazlasını içerir.

HDInsight Kümeleri

Microsoft.HDInsight/Kümeler

Kullanılabilir günlükler ve ölçümler, HDInsight küme türünüze bağlı olarak değişir.

Günlük tablosu eşlemesi

Yeni Azure İzleyici tümleştirmesi Log Analytics çalışma alanında yeni tablolar uygular. Aşağıdaki tablolarda, klasik Azure İzleyici tümleştirmesinden yenisine günlük tablosu eşlemeleri gösterilmektedir.

Yeni tablo sütunu, yeni tablonun adını gösterir. Açıklama satırı, bu tabloda bulunan günlüklerin/ölçümlerin türünü açıklar. Klasik tablo sütunu, verileri artık yeni tabloda bulunan klasik Azure İzleyici tümleştirmesindeki tüm tabloların listesidir.

Not

Bazı tablolar tamamen yenidir ve önceki tablolara bağlı değildir.

Genel iş yükü tabloları

Yeni tablo Açıklama Klasik tablo
HDInsightAmbariSystemMetrics Ambari'den toplanan sistem ölçümleri. Ölçümler artık yalnızca iki baş düğüm yerine kümedeki her düğümden (kenar düğümleri hariç) geliyor. Her ölçüm artık bir sütundur ve her ölçüm kayıt başına bir kez raporlanır. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Kümedeki her düğümden Ambari Kümesi Uyarıları (kenar düğümleri hariç). Her uyarı bu tablodaki bir kayıttır. metrics_cluster_alerts_CL
HDInsightSecurityLogs Ambari Denetim ve Kimlik Doğrulama Günlükleri'nden kayıtlar. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs ESP kümeleri için Ranger Denetim günlüğündeki tüm kayıtlar. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Ağ geçidi düğümleri denetim bilgileri. Klasik tabloyla aynı biçime sahiptir ve Özel Günlükler bölümünde yer almaya devam etmektedir. log_gateway_Audit_CL

Spark iş yükü

Not

Spark uygulamasıyla ilgili tablolar, Spark iş yükleriniz hakkında daha ayrıntılı bilgi veren 11 yeni Spark tablosuyla değiştirildi.

Yeni tablo Açıklama Klasik tablo
HDInsightSparkLogs Spark ve ilgili bileşeniyle ilgili tüm günlükler: Livy ve Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Spark Uygulamaları için Gönderme ve Tamamlama süresi, Uygulama Kimliği ve AppName gibi olay bilgileri. Uygulamaların ne zaman başlatılıp tamamlandığını izlemek için kullanışlıdır.
HDInsightSparkBlockManagerEvents Spark'ın Blok Yöneticisi ile ilgili olay bilgileri. Yürütücü bellek kullanımı gibi bilgileri içerir.
HDInsightSparkEnvironmentEvents Spark Dağıtım Modu, Master ve Yürütücü hakkındaki bilgiler dahil olmak üzere bir uygulamanın yürüttüğü Ortamla ilgili olay bilgileri.
HDInsightSparkExecutorEvents Bir Uygulama tarafından spark yürütücüsü kullanımı hakkında olay bilgileri.
HDInsightSparkExtraEvents Başka bir Spark tablosuna sığmayan olay bilgileri.
HDInsightSparkJobEvents Başlangıç ve bitiş zamanları, sonuçları ve ilişkili aşamaları da dahil olmak üzere Spark İşleri hakkında bilgi.
HDInsightSparkSqlExecutionEvents Plan bilgileri, açıklamaları ve başlangıç ve bitiş saatleri de dahil olmak üzere Spark SQL Sorguları ile ilgili olay bilgileri.
HDInsightSparkStageEvents Spark Aşamaları için başlangıç ve tamamlama süreleri, hata durumu ve ayrıntılı yürütme bilgileri dahil olmak üzere olay bilgileri.
HDInsightSparkStageTaskAccumulables Aşamalar ve görevler için performans ölçümleri.
HDInsightTaskEvents Spark Görevleri için başlangıç ve tamamlanma zamanı, ilişkili aşamalar, yürütme durumu ve görev türü gibi olay bilgileri.
HDInsightJupyterNotebookEvents Jupyter Not Defterleri için olay bilgileri.

Hadoop/YARN iş yükü

Yeni tablo Açıklama Klasik tablo
HDInsightHadoopAndYarnMetrics Hadoop ve YARN çerçevelerinden JMX ölçümleri. Önceki Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra daha önemli ölçümleri içerir: Zaman Çizelgesi Sunucusu, Düğüm Yöneticisi ve İş Geçmişi Sunucusu. Kayıt başına bir ölçüm içerir. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Hadoop ve YARN çerçevelerinden oluşturulan tüm günlükler. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL log_nodemanager_CL

Hive/LLAP iş yükü

Yeni tablo Açıklama Klasik tablo
HDInsightHiveAndLLAPMetrics Hive ve LLAP çerçevelerinden JMX ölçümleri. Önceki Özel Günlükler tablolarıyla aynı tüm JMX ölçümlerini içerir ve kayıt başına bir ölçüm içerir. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Hive, LLAP ve bunların ilgili bileşenlerinden oluşturulan günlükler: WebHCat ve Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL log_zeppelin_zeppelin_CL

Kafka iş yükü

Yeni tablo Açıklama Klasik tablo
HDInsightKafkaMetrics Kafka'dan JMX ölçümleri. Eski Özel Günlükler tablolarıyla aynı JMX ölçümlerinin yanı sıra diğer önemli ölçümleri içerir. Kayıt başına bir ölçüm. metrics_kafka_CL
HDInsightKafkaLogs Kafka Aracılarından oluşturulan tüm günlükler. log_kafkaserver_CL, log_kafkacontroller_CL

HBase iş yükü

Yeni tablo Açıklama Klasik tablo
HDInsightHBaseMetrics HBase'den JMX ölçümleri. Önceki tablolardaki tüm aynı JMX ölçümlerini içerir. Önceki tablolardan farklı olarak, her satır bir ölçüm içerir. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs HBase'den ve ilgili bileşenlerinden günlükler: Phoenix ve HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL log_garbage_collector_CL

Oozie iş yükü

Yeni tablo Açıklama Klasik tablo
HDInsightOozieLogs Oozie çerçevesinden oluşturulan tüm günlükler. Log_oozie_CL

Etkinlik günlüğü

Bağlı tablo, bu hizmetin etkinlik günlüğüne kaydedilebilecek işlemleri listeler. Bu işlemler, etkinlik günlüğündeki tüm olası kaynak sağlayıcısı işlemlerinin bir alt kümesidir.

Etkinlik günlüğü girdilerinin şeması hakkında daha fazla bilgi için bkz . Etkinlik Günlüğü şeması.

İlgili içerik