Dokumentacja danych monitorowania usługi Azure HDInsight

  • Artykuł

Ten artykuł zawiera wszystkie informacje referencyjne dotyczące monitorowania tej usługi.

Zobacz Monitorowanie usługi HDInsight , aby uzyskać szczegółowe informacje na temat danych, które można zbierać w usłudze Azure HDInsight i jak ich używać.

Metryki

W tej sekcji wymieniono wszystkie automatycznie zebrane metryki platformy dla tej usługi. Te metryki są również częścią globalnej listy wszystkich metryk platformy obsługiwanych w usłudze Azure Monitor.

Aby uzyskać informacje na temat przechowywania metryk, zobacz Omówienie metryk usługi Azure Monitor.

Obsługiwane metryki dla usługi Microsoft.HDInsight/clusters

W poniższej tabeli wymieniono metryki dostępne dla typu zasobu Microsoft.HDInsight/clusters.

  • Wszystkie kolumny mogą nie być obecne w każdej tabeli.
  • Niektóre kolumny mogą wykraczać poza obszar wyświetlania strony. Wybierz pozycję Rozwiń tabelę , aby wyświetlić wszystkie dostępne kolumny.

Nagłówki tabeli

  • Kategoria — grupa metryk lub klasyfikacja.
  • Metryka — nazwa wyświetlana metryki wyświetlana wyświetlana w witrynie Azure Portal.
  • Nazwa w interfejsie API REST — nazwa metryki określona w interfejsie API REST.
  • Jednostka — jednostka miary.
  • Agregacja — domyślny typ agregacji. Prawidłowe wartości: Średnia (średnia), Minimalna (Minimalna), Maksymalna (Maksymalna), Łączna (Suma), Liczba.
  • - Wymiary dostępne dla metryki.
  • Interwały ziarna - czasu, w których próbkowana jest metryka. Na przykład wskazuje, PT1M że metryka jest próbkowana co minutę, PT30M co 30 minut, PT1H co godzinę itd.
  • Eksportowanie ds — określa, czy metryka jest eksportowana do dzienników usługi Azure Monitor za pośrednictwem ustawień diagnostycznych. Aby uzyskać informacje na temat eksportowania metryk, zobacz Tworzenie ustawień diagnostycznych w usłudze Azure Monitor.
Kategoria Metric Nazwa w interfejsie API REST Jednostka Agregacja Wymiary Ziarna czasu Eksportowanie ds
Dostępność Kategoryzowane żądania bramy

Liczba żądań bramy według kategorii (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Count Liczba, suma HttpStatus PT1M, PT1H, P1D Tak
Dostępność Żądania bramy

Liczba żądań bramy		 GatewayRequests Count Liczba, suma HttpStatus PT1M, PT1H, P1D Tak
Dostępność Żądanie użytkownika serwera proxy RESTThroughput

Liczba żądań konsumentów do serwera proxy REST platformy Kafka		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond Łącznie Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Nieudane żądania klienta serwera proxy REST

Wyjątki żądań konsumentów		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond Łącznie Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Żądanie użytkownika serwera proxy RESTLatency

Opóźnienie komunikatów w żądaniu odbiorcy za pośrednictwem serwera proxy REST platformy Kafka		 KafkaRestProxy.ConsumerRequestTime.p95 Milisekundy Średnia Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Zaległości żądań klienta serwera proxy REST

Długość kolejki serwera proxy REST dla konsumentów		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Milisekundy Średnia Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Komunikat producenta serwera proxy RESTThroughput

Liczba komunikatów producenta za pośrednictwem serwera proxy REST platformy Kafka		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond Łącznie Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Komunikat użytkownika serwera proxy RESTThroughput

Liczba komunikatów konsumentów za pośrednictwem serwera proxy REST platformy Kafka		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond Łącznie Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Współbieżne Połączenie ions serwera proxy REST

Liczba współbieżnych połączeń za pośrednictwem serwera proxy REST platformy Kafka		 KafkaRestProxy.OpenConnections Count Łącznie Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Żądanie producenta serwera proxy RESTThroughput

Liczba żądań producenta do serwera proxy REST platformy Kafka		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond Łącznie Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Producent serwera proxy REST nieudanych żądań

Wyjątki żądań producenta		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond Łącznie Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Żądanie producenta serwera proxy RESTLatency

Opóźnienie komunikatów w żądaniu producenta za pośrednictwem serwera proxy REST platformy Kafka		 KafkaRestProxy.ProducerRequestTime.p95 Milisekundy Średnia Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Zaległości producenta serwera proxy REST

Długość kolejki serwera proxy REST producenta		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Milisekundy Średnia Machine, Topic PT1M, PT1H, P1D Tak
Dostępność Liczba aktywnych pracowników

Liczba aktywnych pracowników		 NumActiveWorkers Count Średnia, Maksymalna, Minimalna MetricName PT1M, PT1H, P1D Tak
Dostępność Oczekujące na procesor CPU

Oczekujące żądania procesora CPU w usłudze YARN		 PendingCPU Count Średnia, Maksymalna, Minimalna <none> PT1M, PT1H, P1D Tak
Dostępność Oczekująca pamięć

Oczekujące żądania pamięci w usłudze YARN		 PendingMemory Count Średnia, Maksymalna, Minimalna <none> PT1M, PT1H, P1D Tak

Wymiary metryk

Aby uzyskać informacje na temat wymiarów metryk, zobacz Metryki wielowymiarowe.

Ta usługa ma następujące wymiary skojarzone z jej metrykami.

Wymiary tabeli Microsoft.HDInsight/clusters obejmują:

  • HttpStatus
  • Maszyna
  • Temat
  • Nazwa metryki

Dzienniki zasobów

W tej sekcji wymieniono typy dzienników zasobów, które można zbierać dla tej usługi. Sekcja pobiera z listy wszystkich typów kategorii dzienników zasobów obsługiwanych w usłudze Azure Monitor.

Usługa HDInsight nie używa dzienników zasobów usługi Azure Monitor ani ustawień diagnostycznych. Dzienniki są zbierane przez inne metody, w tym użycie agenta usługi Log Analytics.

Tabele dzienników usługi Azure Monitor

W tej sekcji wymieniono tabele dzienników usługi Azure Monitor dotyczące tej usługi, które są dostępne do wykonywania zapytań przez usługę Log Analytics przy użyciu zapytań Kusto. Tabele zawierają dane dziennika zasobów i prawdopodobnie więcej w zależności od tego, co jest zbierane i kierowane do nich.

Klastry usługi HDInsight

Microsoft.HDInsight/Clusters

Dostępne dzienniki i metryki różnią się w zależności od typu klastra usługi HDInsight.

Mapowanie tabeli dzienników

Nowa integracja usługi Azure Monitor implementuje nowe tabele w obszarze roboczym usługi Log Analytics. W poniższych tabelach przedstawiono mapowania tabel dzienników z klasycznej integracji usługi Azure Monitor z nową.

Kolumna Nowa tabela zawiera nazwę nowej tabeli. W wierszu Opis opisano typ dzienników/metryk dostępnych w tej tabeli. Kolumna Klasyczna tabela to lista wszystkich tabel z klasycznej integracji usługi Azure Monitor, której dane znajdują się teraz w nowej tabeli.

Uwaga

Niektóre tabele są całkowicie nowe i nie są oparte na poprzednich tabelach.

Ogólne tabele obciążeń

Nowa tabela opis Tabela klasyczna
HDInsightAmbariSystemMetrics Metryki systemowe zebrane z systemu Ambari. Metryki pochodzą teraz z każdego węzła w klastrze (z wyjątkiem węzłów brzegowych) zamiast tylko dwóch węzłów głównych. Każda metryka jest teraz kolumną, a każda metryka jest zgłaszana raz na rekord. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Alerty klastra systemu Ambari z każdego węzła w klastrze (z wyjątkiem węzłów brzegowych). Każdy alert jest rekordem w tej tabeli. metrics_cluster_alerts_CL
Dzienniki zabezpieczeń usługi HDInsight Rekordy z dzienników inspekcji i uwierzytelniania systemu Ambari. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Wszystkie rekordy z dziennika inspekcji platformy Ranger dla klastrów ESP. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Informacje inspekcji węzłów bramy. Taki sam format jak tabela klasyczna i nadal znajduje się w sekcji Dzienniki niestandardowe. log_gateway_Audit_CL

Obciążenie platformy Spark

Uwaga

Tabele powiązane z aplikacjami platformy Spark zostały zastąpione 11 nowymi tabelami platformy Spark, które zapewniają bardziej szczegółowe informacje o obciążeniach platformy Spark.

Nowa tabela opis Tabela klasyczna
Dzienniki usługi HDInsightSpark Wszystkie dzienniki związane z platformą Spark i powiązanym składnikiem: Livy i Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Informacje o zdarzeniach aplikacji platformy Spark, w tym czas przesyłania i ukończenia, identyfikator aplikacji i nazwa aplikacji. Przydatne do śledzenia, kiedy aplikacje zostały uruchomione i ukończone.
HDInsightSparkBlockManagerEvents Informacje o zdarzeniach związane z menedżerem bloków platformy Spark. Zawiera informacje, takie jak użycie pamięci funkcji wykonawczej.
HDInsightSparkEnvironmentEvents Informacje o zdarzeniach związane ze środowiskiem wykonywane przez aplikację, w tym tryb wdrażania platformy Spark, wzorzec i informacje o funkcji wykonawczej.
HDInsightSparkExecutorEvents Informacje o zdarzeniu dotyczące użycia funkcji wykonawczej platformy Spark dla aplikacji.
HDInsightSparkExtraEvents Informacje o zdarzeniach, które nie mieszczą się w żadnej innej tabeli platformy Spark.
HDInsightSparkJobEvents Informacje o zadaniach platformy Spark, w tym ich czasy rozpoczęcia i zakończenia, wyniki i skojarzone etapy.
HDInsightSparkSqlExecutionEvents Informacje o zdarzeniach dotyczące zapytań Spark SQL, w tym informacje o planie oraz opis i godziny rozpoczęcia i zakończenia.
HDInsightSparkStageEvents Informacje o zdarzeniach dla etapów platformy Spark, w tym czasy rozpoczęcia i ukończenia, stan niepowodzenia i szczegółowe informacje o wykonaniu.
HDInsightSparkStageTaskAccumulables Metryki wydajności dla etapów i zadań.
HDInsightTaskEvents Informacje o zdarzeniach zadań platformy Spark, w tym czas rozpoczęcia i ukończenia, skojarzone etapy, stan wykonania i typ zadania.
HDInsightJupyterNotebookEvents Informacje o zdarzeniach dla notesów Jupyter Notebook.

Obciążenie usługi Hadoop/YARN

Nowa tabela opis Tabela klasyczna
HDInsightHadoopAndYarnMetrics Metryki JMX z platform Hadoop i YARN. Zawiera wszystkie te same metryki JMX co poprzednie tabele dzienników niestandardowych oraz ważniejsze metryki: Serwer osi czasu, Menedżer węzłów i Serwer historii zadań. Zawiera jedną metryki na rekord. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Wszystkie dzienniki wygenerowane na podstawie platform Hadoop i YARN. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Obciążenie Hive/LLAP

Nowa tabela opis Tabela klasyczna
HDInsightHiveAndLLAPMetrics Metryki JMX z platform Hive i LLAP. Zawiera wszystkie te same metryki JMX co poprzednie tabele dzienników niestandardowych, jedną metrykę na rekord. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Dzienniki generowane na podstawie technologii Hive, LLAP i ich powiązanych składników: WebHCat i Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Obciążenie platformy Kafka

Nowa tabela opis Tabela klasyczna
HDInsightKafkaMetrics Metryki JMX z platformy Kafka. Zawiera wszystkie te same metryki JMX co stare tabele dzienników niestandardowych oraz inne ważne metryki. Jedna metryka na rekord. metrics_kafka_CL
HDInsightKafkaLogs Wszystkie dzienniki wygenerowane na podstawie brokerów platformy Kafka. log_kafkaserver_CL, log_kafkacontroller_CL

Obciążenie HBase

Nowa tabela opis Tabela klasyczna
HDInsightHBaseMetrics Metryki JMX z bazy HBase. Zawiera wszystkie te same metryki JMX z poprzednich tabel. W przeciwieństwie do poprzednich tabel każdy wiersz zawiera jedną metryki. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
Dzienniki bazy danych HDInsightH Dzienniki z bazy HBase i powiązanych z nią składników: Phoenix i HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Obciążenie Oozie

Nowa tabela opis Tabela klasyczna
HDInsightOozieLogs Wszystkie dzienniki wygenerowane na podstawie platformy Oozie. Log_oozie_CL

Dziennik aktywności

Tabela połączona zawiera listę operacji, które można zarejestrować w dzienniku aktywności dla tej usługi. Te operacje są podzbiorem wszystkich możliwych operacji dostawcy zasobów w dzienniku aktywności.

Aby uzyskać więcej informacji na temat schematu wpisów dziennika aktywności, zobacz Schemat dziennika aktywności.

Powiązana zawartość