次の方法で共有

Azure HDInsight 監視データ リファレンス

  • [アーティクル]

この記事には、このサービスに関するすべての監視リファレンス情報が含まれています。

Azure HDInsight 用に収集できるデータとその使用方法の詳細については、HDInsight の監視に関するページを参照してください。

メトリック

このセクションには、このサービスに関して自動的に収集されるすべてのプラットフォーム メトリックが一覧表示されています。 これらのメトリックは、Azure Monitor でサポートされているすべてのプラットフォーム メトリックのグローバル リストにも含まれています。

メトリックのリテンション期間の詳細については、「Azure Monitor メトリックの概要」を参照してください。

Microsoft.HDInsight/clusters でサポートされているメトリック

次の表に、Microsoft.HDInsight/clusters リソースの種類で使用できるメトリックを示します。

  • すべての列がすべてのテーブルに存在するわけではない場合があります。
  • 一部の列がページの表示領域を超えている場合があります。 [テーブルの展開] を選択すると、使用可能なすべての列が表示されます。

テーブルの見出し

  • カテゴリ - メトリック グループまたは分類。
  • メトリック - Azure Portal に表示されるメトリックの表示名。
  • REST API の名前 - REST API で参照されるメトリック名。
  • 単位 - 測定単位。
  • 集計 - 既定の集計の種類。 有効な値: 平均 (Avg)、最小 (Min)、最大 (Max)、合計 (Sum)、数。
  • ディメンション - メトリックで使用できるディメンション。
  • 時間グレイン - メトリックをサンプリングする間隔。 たとえば、PT1M は、メトリックを 1 分ごとに、PT30Mは 30 分ごとに、PT1H は 1 時間ごとにサンプリングすることを示します。
  • DS エクスポート - メトリックが診断設定を介して Azure Monitor ログにエクスポート可能かどうかを示します。 メトリックのエクスポートについては、「Azure Monitor で診断設定を作成する」を参照してください。
カテゴリ メトリック REST API での名前 単位 集計 Dimensions 期間粒度 DS エクスポート
可用性 分類されたゲートウェイ要求

カテゴリ別のゲートウェイ要求の数 (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests カウント Count、Total HttpStatus PT1M、PT1H、P1D はい
可用性 ゲートウェイ要求

ゲートウェイ要求の数		 GatewayRequests カウント Count、Total HttpStatus PT1M、PT1H、P1D はい
可用性 REST プロキシ のコンシューマー要求Throughput

Kafka REST プロキシに対するコンシューマー要求の数		 KafkaRestProxy.ConsumerRequest.m1_delta CountPerSecond トータル Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ コンシューマーの失敗した要求

コンシューマー要求の例外		 KafkaRestProxy.ConsumerRequestFail.m1_delta CountPerSecond トータル Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ コンシューマー RequestLatency

Kafka REST プロキシ経由のコンシューマー要求でのメッセージ待機時間		 KafkaRestProxy.ConsumerRequestTime.p95 ミリ秒 Average Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ コンシューマー要求バックログ

コンシューマー REST プロキシ キューの長さ		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 ミリ秒 Average Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ プロデューサー MessageThroughput

Kafka REST プロキシを介したプロデューサー メッセージの数		 KafkaRestProxy.MessagesIn.m1_delta CountPerSecond トータル Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ コンシューマー MessageThroughput

Kafka REST プロキシを介したコンシューマー メッセージの数		 KafkaRestProxy.MessagesOut.m1_delta CountPerSecond トータル Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ ConcurrentConnections

Kafka REST プロキシ経由の同時接続の数		 KafkaRestProxy.OpenConnections Count 合計 Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ プロデューサーの RequestThroughput

Kafka REST プロキシに対するプロデューサー要求の数		 KafkaRestProxy.ProducerRequest.m1_delta CountPerSecond トータル Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ プロデューサーの失敗した要求

プロデューサー要求の例外		 KafkaRestProxy.ProducerRequestFail.m1_delta CountPerSecond トータル Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ プロデューサー RequestLatency

Kafka REST プロキシ経由のプロデューサー要求でのメッセージ待機時間		 KafkaRestProxy.ProducerRequestTime.p95 ミリ秒 Average Machine, Topic PT1M、PT1H、P1D はい
可用性 REST プロキシ プロデューサー要求バックログ

プロデューサー REST プロキシ キューの長さ		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 ミリ秒 Average Machine, Topic PT1M、PT1H、P1D はい
可用性 アクティブなワーカーの数

アクティブなワーカーの数		 NumActiveWorkers カウント Average、Maximum、Minimum MetricName PT1M、PT1H、P1D はい
可用性 保留中の CPU

YARN での保留中の CPU 要求		 PendingCPU カウント Average、Maximum、Minimum <なし> PT1M、PT1H、P1D はい
可用性 保留中のメモリ

YARN での保留中のメモリ要求		 PendingMemory カウント Average、Maximum、Minimum <なし> PT1M、PT1H、P1D はい

メトリック ディメンション

メトリック ディメンションについては、「多次元メトリック」を参照してください。

このサービスでは、次のディメンションがそのメトリックに関連付けられています。

Microsoft.HDInsight/clusters テーブルのディメンションは次のとおりです。

  • HttpStatus
  • マシン
  • トピック
  • MetricName

リソース ログ

このセクションでは、このサービス用に収集できるリソース ログの種類を一覧表示します。 このセクションでは、Azure Monitor でサポートされているすべてのリソース ログ カテゴリの種類のリストからプルされます。

HDInsight では、Azure Monitor リソース ログや診断設定は使用されません。 ログは、Log Analytics エージェントの使用など、他の方法によって収集されます。

Azure Monitor ログ テーブル

このセクションでは、このサービスに関連する Azure Monitor ログ テーブルの一覧を示します。このテーブルは、Kusto クエリを使用して Log Analytics によるクエリに使用できます。 テーブルにはリソース ログ データが含まれています。場合によっては、収集され、それらにルーティングされる内容によって異なります。

HDInsight クラスター

Microsoft.HDInsight/Clusters

使用可能なログとメトリックは、HDInsight クラスターの種類によって異なります。

ログ テーブルのマッピング

新しい Azure Monitor 統合では、Log Analytics ワークスペースに新しいテーブルが実装されます。 次の表は、クラシック Azure Monitor 統合から新しい統合へのログ テーブルマッピングを示しています。

[ 新しいテーブル ] 列には、新しいテーブルの名前が表示されます。 [ 説明] 行には、この表で使用できるログ/メトリックの種類が示されます。 クラシック テーブル 列は、新しいテーブルにデータが存在するクラシック Azure Monitor 統合のすべてのテーブルの一覧です。

Note

一部のテーブルは完全に新しく、以前のテーブルに基づいていません。

一般的なワークロード テーブル

新しいテーブル 説明 クラシック テーブル
HDInsightAmbariSystemMetrics Ambari から収集されたシステム メトリック。 これらのメトリックは、2 つのヘッドノードだけではなく、クラスター内の各ノード (エッジ ノードを除く) から取得されるようになりました。 各メトリックは列になり、各メトリックはレコードごとに 1 回報告されます。 metrics_cpu_nice_cl、metrics_cpu_system_cl、metrics_cpu_user_cl、metrics_memory_cache_CL、metrics_memory_swap_CL、metrics_memory_total_CLmetrics_memory_buffer_CL、metrics_load_1min_CL、metrics_load_cpu_CL、metrics_load_nodes_CL、metrics_load_procs_CL、metrics_network_in_CL、metrics_network_out_CL
HDInsightAmbariClusterAlerts クラスター内の各ノードからの Ambari クラスター アラート (エッジ ノードを除く)。 各アラートは、このテーブル内のレコードです。 metrics_cluster_alerts_CL
HDInsightSecurityLogs Ambari 監査ログと認証ログのレコード。 log_ambari_audit_CL、log_auth_CL
HDInsightRangerAuditLogs ESP クラスターの Ranger 監査ログのすべてのレコード。 ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL ゲートウェイ ノードは情報を監査します。 クラシック テーブルと同じ形式で、[カスタム ログ] セクションに残ります。 log_gateway_Audit_CL

Spark ワークロード

Note

Spark アプリケーション関連のテーブルは、Spark ワークロードに関する詳細な情報を提供する 11 個の新しい Spark テーブルに置き換えられました。

新しいテーブル 説明 クラシック テーブル
HDInsightSparkLogs Spark とその関連コンポーネント (Livy と Jupyter) に関連するすべてのログ。 log_livy_CL、log_jupyter_CL、log_spark_CL、log_sparkappsexecutors_CL、log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents 送信と完了時刻、アプリ ID、AppName など、Spark アプリケーションのイベント情報。 アプリケーションの開始と完了を追跡するのに役立ちます。
HDInsightSparkBlockManagerEvents Spark のブロック マネージャーに関連するイベント情報。 Executor のメモリ使用量などの情報が含まれます。
HDInsightSparkEnvironmentEvents アプリケーションが実行する環境に関連するイベント情報 (Spark デプロイ モード、マスター、Executor に関する情報など)。
HDInsightSparkExecutorEvents アプリケーションによる Spark Executor の使用状況に関するイベント情報。
HDInsightSparkExtraEvents 他の Spark テーブルに収まらないイベント情報。
HDInsightSparkJobEvents 開始時刻と終了時刻、結果、関連するステージを含む Spark ジョブに関する情報。
HDInsightSparkSqlExecutionEvents Spark SQL クエリに関するイベント情報 (プラン情報、説明、開始時刻と終了時刻など)。
HDInsightSparkStageEvents Spark ステージのイベント情報 (開始時刻と完了時刻、失敗の状態、詳細な実行情報など)。
HDInsightSparkStageTaskAccumulables ステージとタスクのパフォーマンス メトリック。
HDInsightTaskEvents 開始時刻と完了時刻、関連するステージ、実行状態、タスクの種類など、Spark タスクのイベント情報。
HDInsightJupyterNotebookEvents Jupyter Notebook のイベント情報。

Hadoop または YARN ワークロード

新しいテーブル 説明 クラシック テーブル
HDInsightHadoopAndYarnMetrics Hadoop および YARN フレームワークからの JMX メトリック。 前のカスタム ログ テーブルと同じ JMX メトリックと、さらに重要なメトリック (タイムライン サーバー、ノード マネージャー、ジョブ履歴サーバー) がすべて含まれています。 レコードごとに 1 つのメトリックが含まれています。 metrics_resourcemanager_clustermetrics_CL、metrics_resourcemanager_jvm_CL、metrics_resourcemanager_queue_root_CL、metrics_resourcemanager_queue_root_joblauncher_CL、metrics_resourcemanager_queue_root_default_CL、metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Hadoop および YARN フレームワークから生成されたすべてのログ。 log_mrjobsummary_CL、log_resourcemanager_CL、log_タイムラインserver_CL、log_nodemanager_CL

Hive または LLAP ワークロード

新しいテーブル 説明 クラシック テーブル
HDInsightHiveAndLLAPMetrics Hive および LLAP フレームワークからの JMX メトリック。 前のカスタム ログ テーブルと同じ JMX メトリックがすべて含まれています。レコードごとに 1 つのメトリックです。 llap_metrics_hiveserver2_CL、llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL、llap_metrics_llap_daemon_info_CL、llap_metrics_buddy_allocator_info_CL、llap_metrics_deamon_jvm_CL、llap_metrics_io_CL、llap_metrics_executor_metrics_CL、llap_metrics_metricssystem_stats_CL、llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Hive、LLAP、およびその関連コンポーネント (WebHCat と Zeppelin) から生成されたログ。 log_hivemetastore_CL log_hiveserver2_CL、log_hiveserve2interactive_CL、log_webhcat_CL、log_zeppelin_zeppelin_CL

Kafka ワークロード

新しいテーブル 説明 クラシック テーブル
HDInsightKafkaMetrics Kafka からの JMX メトリック。 古いカスタム ログ テーブルと同じ JMX メトリックと、その他の重要なメトリックがすべて含まれます。 レコードごとに 1 つのメトリック。 metrics_kafka_CL
HDInsightKafkaLogs Kafka ブローカーから生成されたすべてのログ。 log_kafkaserver_CL、log_kafkacontroller_CL

HBase ワークロード

新しいテーブル 説明 クラシック テーブル
HDInsightHBaseMetrics HBase からの JMX メトリック。 前の表と同じ JMX メトリックがすべて含まれています。 前のテーブルとは対照的に、各行には 1 つのメトリックが含まれています。 metrics_regionserver_CL、metrics_regionserver_wal_CL、metrics_regionserver_ipc_CL、metrics_regionserver_os_CL、metrics_regionserver_replication_CL、metrics_restserver_CL、metrics_restserver_jvm_CL、metrics_hmaster_assignmentmanager_CL、metrics_hmaster_ipc_CL、metrics_hmaser_os_CL、metrics_hmaster_balancer_CL、metrics_hmaster_jvm_CL、metrics_hmaster_CL、metrics_hmaster_fs_CL
HDInsightHBaseLogs HBase とその関連コンポーネント (Phoenix と HDFS) からのログ。 log_regionserver_CL、log_restserver_CL、log_phoenixserver_CL、log_hmaster_CL、log_hdfsnamenode_CL、log_garbage_collector_CL

Oozie ワークロード

新しいテーブル 説明 クラシック テーブル
HDInsightOozieLogs Oozie フレームワークから生成されたすべてのログ。 Log_oozie_CL

アクティビティ ログ

リンクされたテーブルには、このサービスのアクティビティ ログに記録できる操作が一覧表示されます。 これらの操作は、アクティビティ ログで使用可能なすべてのリソース プロバイダー操作のサブセットです。

アクティビティ ログ エントリのスキーマの詳細については、「アクティビティ ログのスキーマ」を参照してください。

関連するコンテンツ