Azure Monitor での既定の Prometheus メトリック構成

この記事では、Azure Kubernetes Service (AKS) クラスターまたは Azure Arc 対応 Kubernetes から 収集されるように Prometheus メトリックを構成 する場合の既定のターゲット、ダッシュボード、および記録ルールの一覧を示します。

最小限のインジェスト プロファイル

Minimal ingestion profile は、既定のダッシュボードで使用されるメトリックのみ、既定の記録ルールと既定のアラートが収集されるため、メトリックのインジェスト量を減らすのに役立つ設定です。 アドオン ベースのコレクションの場合、Minimal ingestion profile 設定は既定で有効になっています。 次に示すように、より多くのメトリックの収集を有効にするようにコレクションを変更できます。

スクレイピングの頻度

すべての既定のターゲットとスクレイピングで、既定のスクレイピング頻度は 30 秒です。

既定でスクレイピングされたターゲット

次のターゲットは既定で 有効/オン になっています。つまり、メトリック アドオンは既定でこれらのターゲットを自動的にスクレイピングするため、これらのターゲットをスクレーピングするためのスクレーピング ジョブ構成を提供する必要はありません。

• cadvisor (job=cadvisor)
• nodeexporter (job=node)
• kubelet (job=kubelet)
• kube-state-metrics (job=kube-state-metrics)
• networkobservabilityRetina (job=networkobservabilityRetina)

コントロール プレーン メトリック (プレビュー) 機能を有効にすると、次のターゲットが 有効/オン になります。 コントロール プレーン メトリックを使用して、全体的な可観測性を最大化し、AKS クラスターのオペレーショナル エクセレンスを維持できます。 詳細については、「 コントロール プレーンメトリック (プレビュー)」を参照してください。

• controlplane-apiserver (job=controlplane-apiserver)
• controlplane-etcd (job=controlplane-etcd)

次のターゲットは、Advanced Container Networking Services スイートの機能である Container Network Observability を有効にし、Cilium ベースのデータ プレーンと非 Cilium ベースのデータ プレーンの両方について Hubble とシームレスに統合するすべての Linux ワークロードと互換性がある場合に 有効/オン になります。 これにより、コンテナー ネットワークのニーズに柔軟に対応できます。 詳細については、「 高度なコンテナー ネットワーク サービス」を参照してください。

• networkobservabilityHubble (job=networkobservabilityHubble)
• networkobservabilityCilium (job=networkobservabilityCilium)

コンテナー用にネイティブに構築され、AKS とネイティブに統合されるクラウドベースのボリューム管理、デプロイ、オーケストレーション サービスである Azure Container Storage を有効にすると、次のターゲットが 有効/オン になります。 詳細については、「 Azure Container Storage」を参照してください。

• acstor-capacity-provisioner (job=acstor-capacity-provisioner)
• acstor-metrics-exporter (job=acstor-metrics-exporter)

既定のターゲットから収集されたメトリック

既定では、次のメトリックが既定の各ターゲットから収集されます。 他のすべてのメトリックは、付け替えルールによって除外されます。

cadvisor (job=cadvisor)

• container_spec_cpu_period
• container_spec_cpu_quota
• container_cpu_usage_seconds_total
• container_memory_rss
• container_network_receive_bytes_total
• container_network_transmit_bytes_total
• container_network_receive_packets_total
• container_network_transmit_packets_total
• container_network_receive_packets_dropped_total
• container_network_transmit_packets_dropped_total
• container_fs_reads_total
• container_fs_writes_total
• container_fs_reads_bytes_total
• container_fs_writes_bytes_total
• container_memory_working_set_bytes
• container_memory_cache
• container_memory_swap
• container_cpu_cfs_throttled_periods_total
• container_cpu_cfs_periods_total
• container_memory_usage_bytes
• kubernetes_build_info"

kubelet (job=kubelet)

• kubelet_volume_stats_used_bytes
• kubelet_node_name
• kubelet_running_pods
• kubelet_running_pod_count
• kubelet_running_containers
• kubelet_running_container_count
• volume_manager_total_volumes
• kubelet_node_config_error
• kubelet_runtime_operations_total
• kubelet_runtime_operations_errors_total
• kubelet_runtime_operations_duration_secondskubelet_runtime_operations_duration_seconds_bucketkubelet_runtime_operations_duration_seconds_sumkubelet_runtime_operations_duration_seconds_count
• kubelet_pod_start_duration_secondskubelet_pod_start_duration_seconds_bucketkubelet_pod_start_duration_seconds_sumkubelet_pod_start_duration_seconds_count
• kubelet_pod_worker_duration_secondskubelet_pod_worker_duration_seconds_bucketkubelet_pod_worker_duration_seconds_sumkubelet_pod_worker_duration_seconds_count
• storage_operation_duration_secondsstorage_operation_duration_seconds_bucketstorage_operation_duration_seconds_sumstorage_operation_duration_seconds_count
• storage_operation_errors_total
• kubelet_cgroup_manager_duration_secondskubelet_cgroup_manager_duration_seconds_bucketkubelet_cgroup_manager_duration_seconds_sumkubelet_cgroup_manager_duration_seconds_count
• kubelet_pleg_relist_duration_secondskubelet_pleg_relist_duration_seconds_bucketkubelet_pleg_relist_duration_sumkubelet_pleg_relist_duration_seconds_count
• kubelet_pleg_relist_interval_secondskubelet_pleg_relist_interval_seconds_bucketkubelet_pleg_relist_interval_seconds_sumkubelet_pleg_relist_interval_seconds_count
• rest_client_requests_total
• rest_client_request_duration_secondsrest_client_request_duration_seconds_bucketrest_client_request_duration_seconds_sumrest_client_request_duration_seconds_count
• process_resident_memory_bytes
• process_cpu_seconds_total
• go_goroutines
• kubelet_volume_stats_capacity_bytes
• kubelet_volume_stats_available_bytes
• kubelet_volume_stats_inodes_used
• kubelet_volume_stats_inodes
• kubernetes_build_info"

nodexporter (job=node)

• node_cpu_seconds_total
• node_memory_MemAvailable_bytes
• node_memory_Buffers_bytes
• node_memory_Cached_bytes
• node_memory_MemFree_bytes
• node_memory_Slab_bytes
• node_memory_MemTotal_bytes
• node_netstat_Tcp_RetransSegs
• node_netstat_Tcp_OutSegs
• node_netstat_TcpExt_TCPSynRetrans
• node_load1``node_load5
• node_load15
• node_disk_read_bytes_total
• node_disk_written_bytes_total
• node_disk_io_time_seconds_total
• node_filesystem_size_bytes
• node_filesystem_avail_bytes
• node_filesystem_readonly
• node_network_receive_bytes_total
• node_network_transmit_bytes_total
• node_vmstat_pgmajfault
• node_network_receive_drop_total
• node_network_transmit_drop_total
• node_disk_io_time_weighted_seconds_total
• node_exporter_build_info
• node_time_seconds
• node_uname_info"

kube-state-metrics (job=kube-state-metrics)

• kube_job_status_succeeded
• kube_job_spec_completions
• kube_daemonset_status_desired_number_scheduled
• kube_daemonset_status_number_ready
• kube_deployment_status_replicas_ready
• kube_pod_container_status_last_terminated_reason
• kube_pod_container_status_waiting_reason
• kube_pod_container_status_restarts_total
• kube_node_status_allocatable
• kube_pod_owner
• kube_pod_container_resource_requests
• kube_pod_status_phase
• kube_pod_container_resource_limits
• kube_replicaset_owner
• kube_resourcequota
• kube_namespace_status_phase
• kube_node_status_capacity
• kube_node_info
• kube_pod_info
• kube_deployment_spec_replicas
• kube_deployment_status_replicas_available
• kube_deployment_status_replicas_updated
• kube_statefulset_status_replicas_ready
• kube_statefulset_status_replicas
• kube_statefulset_status_replicas_updated
• kube_job_status_start_time
• kube_job_status_active
• kube_job_failed
• kube_horizontalpodautoscaler_status_desired_replicas
• kube_horizontalpodautoscaler_status_current_replicas
• kube_horizontalpodautoscaler_spec_min_replicas
• kube_horizontalpodautoscaler_spec_max_replicas
• kubernetes_build_info
• kube_node_status_condition
• kube_node_spec_taint
• kube_pod_container_info
• kube_resource_labels (例: kube_pod_labels、kube_deployment_labels)
• kube_resource_annotations (例: kube_pod_annotations、kube_deployment_annotations)

controlplane-apiserver (job=controlplane-apiserver)

• apiserver_request_total
• apiserver_cache_list_fetched_objects_total
• apiserver_cache_list_returned_objects_total
• apiserver_flowcontrol_demand_seats_average
• apiserver_flowcontrol_current_limit_seats
• apiserver_request_sli_duration_seconds_bucket{le=+inf}
• apiserver_request_sli_duration_seconds_count
• apiserver_request_sli_duration_seconds_sum
• process_start_time_seconds
• apiserver_request_duration_seconds_bucket{le=+inf}
• apiserver_request_duration_seconds_count
• apiserver_request_duration_seconds_sum
• apiserver_storage_list_fetched_objects_total
• apiserver_storage_list_returned_objects_total
• apiserver_current_inflight_requests

注

apiserver_request_duration_seconds および apiserver_request_sli_duration_seconds はカーディナリティが高く、すべての系列が既定では収集されないヒストグラム メトリックです (最小インジェスト プロファイル)。 平均待機時間の収集には、合計、カウントのみが使用されます

controlplane-etcd (job=controlplane-etcd)

• etcd_server_has_leader
• rest_client_requests_total
• etcd_mvcc_db_total_size_in_bytes
• etcd_mvcc_db_total_size_in_use_in_bytes
• etcd_server_slow_read_indexes_total
• etcd_server_slow_apply_total
• etcd_network_client_grpc_sent_bytes_total
• etcd_server_heartbeat_send_failures_total

networkobservabilityHubble (job=networkobservabilityHubble)、networkobservabilityCilium (job=networkobservabilityCilium)
これらのターゲットによって収集されるメトリックの一覧については、Container Network Observability メトリックを参照してください。

acstor-capacity-provisioner (job=acstor-capacity-provisioner) と acstor-metrics-exporter (job=acstor-metrics-exporter)
これらのターゲットによって収集されるメトリックの一覧については、 Azure Container Storage のメトリックに関するページを参照してください。

Windows 用にスクレイピングされた既定のターゲット

次の Windows ターゲットはスクレイピングするように構成されていますが、スクレイピングは既定では有効 (無効/オフ) になりません。つまり、これらのターゲットをスクレイピングするためのスクレーピング ジョブ構成を指定する必要はありませんが、既定では無効/オフになっており、default-scrape-settings-enabled セクションで ama-metrics-settings-configmap を使用してこれらのターゲットのスクレーピングを有効または有効にする必要があります。

Windows に固有のダッシュボードに必要なメトリックをスクレイピングする Windows では、2 つの既定のジョブを実行できます。

• windows-exporter (job=windows-exporter)
• kube-proxy-windows (job=kube-proxy-windows)

注

これには、 ama-metrics-settings-configmap configmap を適用または更新し、すべての Windows ノードに windows-exporter をインストールする必要があります。 詳細については、 有効化ドキュメントを参照してください。

Windows 用にスクレイピングされたメトリック

windows-exporter と kube-proxy-windows が有効になっている場合、次のメトリックが収集されます。

windows-exporter (job=windows-exporter)

• windows_system_system_up_time
• windows_cpu_time_total
• windows_memory_available_bytes
• windows_os_visible_memory_bytes
• windows_memory_cache_bytes
• windows_memory_modified_page_list_bytes
• windows_memory_standby_cache_core_bytes
• windows_memory_standby_cache_normal_priority_bytes
• windows_memory_standby_cache_reserve_bytes
• windows_memory_swap_page_operations_total
• windows_logical_disk_read_seconds_total
• windows_logical_disk_write_seconds_total
• windows_logical_disk_size_bytes
• windows_logical_disk_free_bytes
• windows_net_bytes_total
• windows_net_packets_received_discarded_total
• windows_net_packets_outbound_discarded_total
• windows_container_available
• windows_container_cpu_usage_seconds_total
• windows_container_memory_usage_commit_bytes
• windows_container_memory_usage_private_working_set_bytes
• windows_container_network_receive_bytes_total
• windows_container_network_transmit_bytes_total

kube-proxy-windows (job=kube-proxy-windows)

• kubeproxy_sync_proxy_rules_duration_seconds
• kubeproxy_sync_proxy_rules_duration_seconds_bucket
• kubeproxy_sync_proxy_rules_duration_seconds_sum
• kubeproxy_sync_proxy_rules_duration_seconds_count
• rest_client_requests_total
• rest_client_request_duration_seconds
• rest_client_request_duration_seconds_bucket
• rest_client_request_duration_seconds_sum
• rest_client_request_duration_seconds_count
• process_resident_memory_bytes
• process_cpu_seconds_total
• go_goroutines

ダッシュボード

次の既定のダッシュボードは、Azure Monitor ワークスペースを Azure Managed Grafana インスタンスにリンクすると、Prometheus 用の Azure Monitor マネージド サービスによって自動的にプロビジョニングおよび構成されます。 これらのダッシュボードのソース コードは、 この GitHub リポジトリにあります。 次のダッシュボードは、Grafana 内の Managed Prometheus フォルダーの下にある指定された Azure Grafana インスタンスにプロビジョニングされます。 これらは、Prometheus と Grafana を使用して Kubernetes クラスターを監視するための標準のオープン ソース コミュニティ ダッシュボードです。

• Kubernetes / Compute Resources / Cluster
• Kubernetes / Compute Resources / Namespace (Pods)
• Kubernetes / Compute Resources / Node (Pods)
• Kubernetes / Compute Resources / Pod
• Kubernetes / Compute Resources / Namespace (Workloads)
• Kubernetes / Compute Resources / Workload
• Kubernetes / Kubelet
• Node Exporter / USE Method / Node
• Node Exporter / Nodes
• Kubernetes / Compute Resources / Cluster (Windows)
• Kubernetes / Compute Resources / Namespace (Windows)
• Kubernetes / Compute Resources / Pod (Windows)
• Kubernetes / USE Method / Cluster (Windows)
• Kubernetes / USE Method / Node (Windows)

レコーディング ルール

次の既定の記録規則は、Azure Kubernetes Service (AKS) クラスターから収集される Prometheus メトリックを構成するときに、Prometheus の Azure Monitor マネージド サービスによって自動的に構成されます。 これらの記録ルールのソース コードは、 この GitHub リポジトリにあります。 これらは、上記のダッシュボードで使用されている標準のオープン ソース記録ルールです。

• cluster:node_cpu:ratio_rate5m
• namespace_cpu:kube_pod_container_resource_requests:sum
• namespace_cpu:kube_pod_container_resource_limits:sum
• :node_memory_MemAvailable_bytes:sum
• namespace_memory:kube_pod_container_resource_requests:sum
• namespace_memory:kube_pod_container_resource_limits:sum
• namespace_workload_pod:kube_pod_owner:relabel
• node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate
• cluster:namespace:pod_cpu:active:kube_pod_container_resource_requests
• cluster:namespace:pod_cpu:active:kube_pod_container_resource_limits
• cluster:namespace:pod_memory:active:kube_pod_container_resource_requests
• cluster:namespace:pod_memory:active:kube_pod_container_resource_limits
• node_namespace_pod_container:container_memory_working_set_bytes
• node_namespace_pod_container:container_memory_rss
• node_namespace_pod_container:container_memory_cache
• node_namespace_pod_container:container_memory_swap
• instance:node_cpu_utilisation:rate5m
• instance:node_load1_per_cpu:ratio
• instance:node_memory_utilisation:ratio
• instance:node_vmstat_pgmajfault:rate5m
• instance:node_network_receive_bytes_excluding_lo:rate5m
• instance:node_network_transmit_bytes_excluding_lo:rate5m
• instance:node_network_receive_drop_excluding_lo:rate5m
• instance:node_network_transmit_drop_excluding_lo:rate5m
• instance_device:node_disk_io_time_seconds:rate5m
• instance_device:node_disk_io_time_weighted_seconds:rate5m
• instance:node_num_cpu:sum
• node:windows_node:sum
• node:windows_node_num_cpu:sum
• :windows_node_cpu_utilisation:avg5m
• node:windows_node_cpu_utilisation:avg5m
• :windows_node_memory_utilisation:
• :windows_node_memory_MemFreeCached_bytes:sum
• node:windows_node_memory_totalCached_bytes:sum
• :windows_node_memory_MemTotal_bytes:sum
• node:windows_node_memory_bytes_available:sum
• node:windows_node_memory_bytes_total:sum
• node:windows_node_memory_utilisation:ratio
• node:windows_node_memory_utilisation:
• node:windows_node_memory_swap_io_pages:irate
• :windows_node_disk_utilisation:avg_irate
• node:windows_node_disk_utilisation:avg_irate
• node:windows_node_filesystem_usage:
• node:windows_node_filesystem_avail:
• :windows_node_net_utilisation:sum_irate
• node:windows_node_net_utilisation:sum_irate
• :windows_node_net_saturation:sum_irate
• node:windows_node_net_saturation:sum_irate
• windows_pod_container_available
• windows_container_total_runtime
• windows_container_memory_usage
• windows_container_private_working_set_usage
• windows_container_network_received_bytes_total
• windows_container_network_transmitted_bytes_total
• kube_pod_windows_container_resource_memory_request
• kube_pod_windows_container_resource_memory_limit
• kube_pod_windows_container_resource_cpu_cores_request
• kube_pod_windows_container_resource_cpu_cores_limit
• namespace_pod_container:windows_container_cpu_usage_seconds_total:sum_rate

Prometheus 視覚化記録ルール

Prometheus ベースの Container Insights を使用すると、Prometheus の視覚化をサポートするために、より多くの記録ルールがデプロイされます。

• ux:cluster_pod_phase_count:sum
• ux:node_cpu_usage:sum_irate
• ux:node_memory_usage:sum
• ux:controller_pod_phase_count:sum
• ux:controller_container_count:sum
• ux:controller_workingset_memory:sum
• ux:controller_cpu_usage:sum_irate
• ux:controller_rss_memory:sum
• ux:controller_resource_limit:sum
• ux:controller_container_restarts:max
• ux:pod_container_count:sum
• ux:pod_cpu_usage:sum_irate
• ux:pod_workingset_memory:sum
• ux:pod_rss_memory:sum
• ux:pod_resource_limit:sum
• ux:pod_container_restarts:max
• ux:node_network_receive_drop_total:sum_irate
• ux:node_network_transmit_drop_total:sum_irate

Windows サポートには、次の記録規則が必要です。 これらのルールは上記のルールと共にデプロイされますが、既定では有効になっていません。 Azure Monitor ワークスペースで ルール グループを有効または無効にする 手順に従います。

• ux:node_cpu_usage_windows:sum_irate
• ux:node_memory_usage_windows:sum
• ux:controller_cpu_usage_windows:sum_irate
• ux:controller_workingset_memory_windows:sum
• ux:pod_cpu_usage_windows:sum_irate
• ux:pod_workingset_memory_windows:sum

次のステップ

Prometheus メトリックのスクレイピングをカスタマイズします。