Dela via

Anpassa skrapning av Prometheus-mått i Azure Monitor-hanterad tjänst för Prometheus

  • Artikel

Den här artikeln innehåller anvisningar om hur du anpassar måttskrapa för ett Kubernetes-kluster med måtttillägget i Azure Monitor.

Konfigurationskartor

Fyra olika konfigurationsmappar kan konfigureras för att tillhandahålla skrapkonfiguration och andra inställningar för måtttillägget. Alla konfigurationskartor ska tillämpas på kube-system namnområdet för alla kluster.

Kommentar

Ingen av de fyra konfigurationsmapparna finns som standard i klustret när Managed Prometheus är aktiverat. Beroende på vad som behöver anpassas måste du distribuera någon eller alla dessa fyra konfigurationsmappar med samma namn angivna i kube-system namnområdet. AMA-Metrics-poddar hämtar dessa konfigurationsmappar när du har distribuerat dem till kube-system namnområdet och startar om om 2–3 minuter för att tillämpa konfigurationsinställningarna som anges i konfigurationsmapparna.

  1. ama-metrics-settings-configmap Den här konfigurationskartan har nedanstående enkla inställningar som kan konfigureras. Du kan ta konfigurationskartan från git hub-lagringsplatsen ovan, ändra inställningarna och tillämpa/distribuera konfigurationskartan till kube-system namnområdet för klustret
    • klusteralias (för att ändra värdet cluster för etiketten i varje tidsserie/mått som matas in från ett kluster)
    • aktivera/inaktivera standardmål för skrapning – Aktivera/INAKTIVERA standardskrapning baserat på mål. Skrapkonfigurationen för dessa standardmål är redan fördefinierad/inbyggd
    • aktivera poddanteckningsbaserad skrapning per namnområde
    • måttbehållarlistor – den här inställningen används för att styra vilka mått som ska anges för att tillåtas från varje standardmål och för att ändra standardbeteendet
    • skrapintervall för standard-/fördefinierade mål. 30 secs är standardfrekvensen för skrapning och kan ändras per standardmål med hjälp av den här konfigurationskartan
    • felsökningsläge – om du aktiverar den här INSTÄLLNINGEN kan du felsöka problem med mått/inmatning som saknas – mer information om felsökning
  2. ama-metrics-prometheus-config Den här konfigurationskartan kan användas för att tillhandahålla Prometheus scrape-konfiguration för addon-replik. Addon kör en singleton-replik och alla tjänster på klusternivå kan identifieras och skrapas genom att tillhandahålla skrapjobb i den här konfigurationskartan. Du kan ta exempelkonfigurationskartan från git hub-lagringsplatsen ovan, lägga till skrapjobb som du behöver och tillämpa/distribuera konfigurationskartan till kube-system namnområdet för klustret. Även om detta stöds bör du tänka på att det rekommenderade sättet att skrapa anpassade mål är att använda anpassade resurser
  3. ama-metrics-prometheus-config-node (Avancerat) Den här konfigurationskartan kan användas för att tillhandahålla Prometheus scrape config för addon DaemonSet som körs på varje Linux-nod i klustret, och alla nodnivåmål på varje nod kan skrapas genom att tillhandahålla skrapjobb i den här konfigurationskartan. När du använder den här konfigurationskartan kan du använda $NODE_IP variabeln i din skrapkonfiguration, som ersätts av motsvarande nods IP-adress i DaemonSet-podden som körs på varje nod. På så sätt får du åtkomst till att skrapa allt som körs på noden från måtttillägget DaemonSet. Var försiktig när du använder identifieringar i skrapkonfigurationen på den här konfigurationskartan på nodnivå, eftersom varje nod i klustret konfigurerar och identifierar målen och samlar in redundanta mått. Du kan ta exempelkonfigurationskartan från den ovanstående git hub-lagringsplatsen, lägga till skrapjobb som du behöver och tillämpa/distribuera konfigurationskartan till kube-system namnområdet för klustret
  4. ama-metrics-prometheus-config-node-windows (Avancerat) Den här konfigurationskartan kan användas för att tillhandahålla Prometheus scrape config för addon DaemonSet som körs på varje Windows-nod i klustret, och nodnivåmål på varje nod kan skrapas genom att tillhandahålla skrapjobb i den här konfigurationskartan. När du använder den här konfigurationskartan kan du använda $NODE_IP variabeln i din skrapkonfiguration, som ersätts med motsvarande nods IP-adress i DaemonSet-podden som körs på varje nod. På så sätt får du åtkomst till att skrapa allt som körs på noden från måtttillägget DaemonSet. Var försiktig när du använder identifieringar i skrapkonfigurationen på den här konfigurationskartan på nodnivå, eftersom varje nod i klustret konfigurerar och identifierar målen och samlar in redundanta mått. Du kan ta exempelkonfigurationskartan från den ovanstående git hub-lagringsplatsen, lägga till skrapjobb som du behöver och tillämpa/distribuera konfigurationskartan till kube-system namnområdet för klustret

Anpassade resursdefinitioner

Azure Monitor-måtttillägget stöder skrapning av Prometheus-mått med Prometheus – Pod Monitors och Service Monitors, ungefär som OSS Prometheus-operatorn. När du aktiverar tillägget distribueras anpassade resursdefinitioner för Podd- och Service Monitor så att du kan skapa egna anpassade resurser. Följ anvisningarna för att skapa och tillämpa anpassade resurser på klustret.

Konfigurationsmapp för måtttilläggsinställningar

Konfigurationskartan ama-metrics-settings-configmap kan laddas ned, redigeras och tillämpas på klustret för att anpassa de färdiga funktionerna i måtttillägget.

Aktivera och inaktivera standardmål

I följande tabell finns en lista över alla standardmål som azure monitor-måtttillägget kan skrapa som standard och om det är aktiverat från början. Standardmålen skrapas var 30:e sekund. En replik distribueras för att skrapa klusteromfattande mål, till exempel kube-state-metrics. En DaemonSet distribueras också för att skrapa nodomfattande mål, till exempel kubelet.

Nyckel Typ Aktiverat Podd beskrivning
kubelet bool true Linux DaemonSet Skrapa kubelet i varje nod i K8s-klustret utan extra skrapkonfiguration.
cadvisor bool true Linux DaemonSet Skrapa cadvisor i varje nod i K8s-klustret utan extra skrapkonfiguration.
Endast Linux.
kubestate bool true Linux-replik Skrapa kube-state-metrics i K8s-klustret (installeras som en del av tillägget) utan någon extra skrapkonfiguration.
nodeexporter bool true Linux DaemonSet Mått för skrapnoder utan extra skrapkonfiguration.
Endast Linux.
koredner bool false Linux-replik Scrape coredns-tjänsten i K8s-klustret utan extra skrapkonfiguration.
kubeproxy bool false Linux DaemonSet Skrapa kube-proxy i varje Linux-nod som identifieras i K8s-klustret utan extra skrapkonfiguration.
Endast Linux.
apiserver bool false Linux-replik Skrapa Kubernetes API-servern i K8s-klustret utan extra skrapkonfiguration.
windowsexporter bool false Windows DaemonSet Skrapa windows-exporter i varje nod i K8s-klustret utan extra skrapkonfiguration.
Endast Windows.
windowskubeproxy bool false Windows DaemonSet Skrapa windows-kube-proxy i varje nod i K8s-klustret utan extra skrapkonfiguration.
Endast Windows.
prometheuscollectorhealth bool false Linux-replik Skrapa information om containern prometheus-collector, till exempel mängden och storleken på tidsserier som skrapats.

Om du vill aktivera skrapning av standardmål som inte är aktiverade som standard redigerar du konfigurationskartan ama-metrics-settings-configmap för att uppdatera målen som anges under default-scrape-settings-enabled till true. Tillämpa konfigurationskartan på klustret.

Aktivera poddanteckningsbaserad skrapning

Om du vill skrapa programpoddar utan att behöva skapa en anpassad Prometheus-konfiguration kan anteckningar läggas till i poddarna. prometheus.io/scrape: "true" Anteckningen krävs för att podden ska kunna skrapas. Anteckningarna prometheus.io/path och prometheus.io/port anger sökvägen och porten som måtten finns på i podden. Anteckningarna för en podd som är värd för mått vid <pod IP>:8080/metrics skulle vara:

metadata:   
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/path: '/metrics'
    prometheus.io/port: '8080'

Att skrapa dessa poddar med specifika anteckningar är inaktiverat som standard. Om du vill aktivera i ama-metrics-settings-configmaplägger du till regex för namnrymderna för poddarna med anteckningar som du vill skrapa som värdet för fältet podannotationnamespaceregex.

Följande inställning skrapar till exempel poddar med anteckningar endast i namnrymderna kube-system och my-namespace:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = "kube-system|my-namespace"

Om du vill aktivera skrapning för poddar med anteckningar i alla namnområden använder du:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = ".*"

Varning

Om du skrapar poddanteckningarna från många namnområden kan du generera en mycket stor mängd mått beroende på antalet poddar som har anteckningar.

Anpassa mått som samlas in som standardmål

För alla standardmål matas som standard endast minimala mått som används i standardinspelningsregler, aviseringar och Grafana-instrumentpaneler in enligt beskrivningen i minimal inmatningsprofil. Om du vill samla in alla mått från standardmål uppdaterar du listorna i inställningskonfigurationsmappen under default-targets-metrics-keep-listoch anger minimalingestionprofile till false.

Om du vill tillåtalistning av fler mått utöver standardmått som anges för att tillåtas redigerar du inställningarna under default-targets-metrics-keep-list för motsvarande jobb som du vill ändra för alla standardmål.

Till exempel kubelet är måttfiltreringsinställningen för standardmålet kubelet. Använd följande skript för att filtrera i mått som samlats in för standardmålen med hjälp av regexbaserad filtrering.

kubelet = "metricX|metricY"
apiserver = "mymetric.*"

Kommentar

Om du använder citattecken eller omvänt snedstreck i regex måste du undvika dem med hjälp av ett omvänt snedstreck som exemplen "test\'smetric\"s\"" och testbackslash\\*.

Om du vill anpassa standardjobben ytterligare för att ändra egenskaper som samlingsfrekvens eller etiketter inaktiverar du motsvarande standardmål genom att ange configmap-värdet för målet till false. Använd sedan jobbet med hjälp av en anpassad konfigurationskarta. Mer information om anpassad konfiguration finns i Anpassa skrapning av Prometheus-mått i Azure Monitor.

Klusteralias

Klusteretiketten som läggs till varje tidsserie som skrapas använder den sista delen av det fullständiga AKS-klustrets Azure Resource Manager-resurs-ID. Om resurs-ID:t till exempel är /subscriptions/00000000-0000-0000-0000-000000000000/resourcegroups/rg-name/providers/Microsoft.ContainerService/managedClusters/myclusternameär myclusternameklusteretiketten .

Om du vill åsidosätta klusteretiketten i den tidsserie som skrapats uppdaterar du inställningen cluster_alias till valfri sträng under prometheus-collector-settings i konfigurationskartan ama-metrics-settings-configmap. Du kan skapa den här konfigurationskartan om den inte finns i klustret eller om du kan redigera den befintliga om den redan finns i klustret.

Den nya etiketten visas också i listrutan för klusterparametern på Grafana-instrumentpanelerna i stället för standardetiketten.

Kommentar

Endast alfanumeriska tecken tillåts. Alla andra tecken ersätts med _. Den här ändringen är att se till att olika komponenter som använder den här etiketten följer den grundläggande alfanumeriska konventionen. Om du aktiverar inspelnings- och aviseringsregler måste du använda klusteraliasnamnet i klusternamnparametern för regelregistreringsmallen för att reglerna ska fungera.

Felsökningsläge

Varning

Det här läget kan påverka prestanda och bör endast aktiveras under en kort tid för felsökning.

Om du vill visa alla mått som skrapas i felsökningssyfte kan tilläggsagenten för mått konfigureras att köras i felsökningsläge genom att uppdatera inställningen till under inställningen i konfigurationskartan ama-metrics-settings-configmap .debug-mode true enabled Du kan antingen skapa den här konfigurationskartan eller redigera en befintlig. Mer information finns i avsnittet Felsökningsläge i Felsöka insamling av Prometheus-mått.

Inställningar för skrapintervall

Om du vill uppdatera inställningarna för skrapintervall för alla mål kan du uppdatera varaktigheten i inställningen default-targets-scrape-interval-settings för det målet i konfigurationskartan ama-metrics-settings-configmap. Du måste ange skrapintervallen i rätt format som anges på den här webbplatsen. Annars tillämpas standardvärdet på 30 sekunder på motsvarande mål. Till exempel – Om du vill uppdatera skrapintervallet kubelet för jobbet till 60s kan du uppdatera följande avsnitt i YAML:

default-targets-scrape-interval-settings: |-
    kubelet = "60s"
    coredns = "30s"
    cadvisor = "30s"
    kubeproxy = "30s"
    apiserver = "30s"
    kubestate = "30s"
    nodeexporter = "30s"
    windowsexporter = "30s"
    windowskubeproxy = "30s"
    kappiebasic = "30s"
    prometheuscollectorhealth = "30s"
    podannotations = "30s"

och använd YAML med följande kommando: kubectl apply -f .\ama-metrics-settings-configmap.yaml

Konfigurera anpassade Prometheus-skrapjobb

Du kan skrapa Prometheus-mått med hjälp av Prometheus – Pod Monitors och Service Monitors (rekommenderas), liknande OSS Prometheus-operatorn. Följ anvisningarna för att skapa och tillämpa anpassade resurser på klustret.

Dessutom kan du följa anvisningarna för att skapa, verifiera och tillämpa konfigurationskartan för klustret. Konfigurationsformatet liknar Prometheus-konfigurationsfilen.

Konfigurationstips och exempel för Prometheus

Lär dig några tips från exempel i det här avsnittet.

Använd mallarna Pod och Service Monitor och följ API-specifikationen för att skapa dina anpassade resurser (PodMonitor och Service Monitor). Observera att den enda ändring som krävs för befintliga OSS-CR:er för att hämtas av Managed Prometheus är API-gruppen – azmonitoring.coreos.com/v1. Mer information finns här

Kommentar

När den anpassade skrapkonfigurationen inte kan tillämpas på grund av valideringsfel fortsätter standardkonfigurationen av skrapning att användas.

Om du vill använda globala inställningar som gäller för alla skrapjobb och bara har anpassade resurser behöver du fortfarande skapa en konfigurationskarta med bara de globala inställningarna(Inställningar för var och en av dessa i de anpassade resurserna åsidosätter dem i det globala avsnittet)

Scrape-konfigurationer

För närvarande är de metoder som stöds för målidentifiering för anpassade resurser podd- och tjänstövervakare

Poddar och tjänstövervakare

Mål som identifieras med podd- och tjänstövervakare har olika __meta_* etiketter beroende på vilken övervakare som används. Du kan använda etiketterna i avsnittet relabelings för att filtrera mål eller ersätta etiketter för målen.

Se podd- och tjänstövervakarens exempel på poddar och tjänstövervakare.

Ommärkningar

Avsnittet relabelings tillämpas vid tidpunkten för målidentifieringen och gäller för varje mål för jobbet. I följande exempel visas olika sätt att använda relabelings.

Lägg till en etikett

Lägg till en ny etikett med namnet example_label med värdet example_value för varje mått i jobbet. Använd __address__ bara som källetikett eftersom etiketten alltid finns och lägger till etiketten för varje mål för jobbet.

relabelings:
- sourceLabels: [__address__]
  targetLabel: example_label
  replacement: 'example_value'

Använda podd- eller tjänstövervakaretiketter

Mål som identifieras med podd- och tjänstövervakare har olika __meta_* etiketter beroende på vilken övervakare som används. Etiketterna __* tas bort när målen har upptäckts. Om du vill filtrera med hjälp av dem på måttnivå ska du först behålla dem genom relabelings att tilldela ett etikettnamn. Använd metricRelabelings sedan för att filtrera.

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabelings:
- sourceLabels: [__meta_kubernetes_namespace]
  action: replace
  targetLabel: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metricRelabelings:
- sourceLabels: [kubernetes_namespace]
  action: keep
  regex: 'default'

Ommärkning av jobb och instanser

Du kan ändra job värdena och instance etiketterna baserat på källetiketten, precis som andra etiketter.

# Replace the job name with the pod label 'k8s app'
relabelings:
- sourceLabels: [__meta_kubernetes_pod_label_k8s_app]
  targetLabel: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabelings:
- sourceLabels: [__meta_kubernetes_node_name]]
  targetLabel: instance

Kommentar

Om du har ometiketteringskonfigurationer kontrollerar du att ommärkningen inte filtrerar bort målen och att etiketterna som har konfigurerats korrekt matchar målen.

Ommärkningar av mått

Måttommärkningar tillämpas efter skrapning och före inmatning. Använd avsnittet metricRelabelings för att filtrera mått efter skrapning. I följande exempel visas hur du gör det.

Ta bort mått efter namn

# Drop the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: drop
  regex: 'example_metric_name'

Behåll endast vissa mått efter namn

# Keep only the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: '(example_.*)'

Byt namn på mått

Det går inte att byta namn på mått.

Filtrera mått efter etiketter

# Keep metrics only where example_label = 'example'
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metricRelabelings:
- sourceLabels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metricRelabelings:
- sourceLabels: [example_label_1]
  action: keep
  regex: '.+'

Grundläggande autentisering

Om du använder basic_auth inställningen i prometheus-konfigurationen följer du stegen -

  1. Skapa en hemlighet i kube-system-namnområdet med namnet ama-metrics-mtls-secret

Värdet för password1 är base64encoded.

Nyckellösenord1 kan vara vad som helst, men behöver bara matcha din scrapeconfig password_file filsökväg.

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  password1: <base64-encoded-string>

Hemligheten ama-metrics-mtls-secret monteras på ama-metrics-containrarna på path – /etc/prometheus/certs/ och görs tillgänglig för den process som skrapar prometheus-mått. Nyckeln( ex - password1) i exemplet ovan är filnamnet och värdet är base64-avkodat och läggs till i innehållet i filen i containern och prometheus-skrapan använder innehållet i den här filen för att hämta det värde som används som lösenord som används för att skrapa slutpunkten.

  1. I konfigurationsmappen för den anpassade skrapkonfigurationen använder du följande inställning. Fältet användarnamn ska innehålla den faktiska användarnamnssträngen. Fältet password_file ska innehålla sökvägen till en fil som innehåller lösenordet.
basic_auth:
  username: <username string>
  password_file: /etc/prometheus/certs/password1

Genom att ange sökvägen till password_file ovan använder prometheus-skrapan innehållet i filen med namnet password1 i sökvägen /etc/prometheus/certs som värdet för lösenord för grundläggande autentiseringsbaserad skrapning.

Om du använder både grundläggande autentisering och tls-autentisering kan du läsa avsnittet nedan. Mer information finns i anteckningsavsnittet nedan.

TLS-baserad skrapning

Om du har en Prometheus-instans som hanteras med TLS och du vill skrapa mått från den, måste du ange schemat till https och ange TLS-inställningarna i din konfigurationskarta eller respektive CRD. Följ stegen nedan.

  1. Skapa en hemlighet i kube-system-namnområdet med namnet ama-metrics-mtls-secret. Varje nyckel/värde-par som anges i dataavsnittet i det hemliga objektet monteras som en separat fil på den här /etc/prometheus/certs-platsen med filnamn samma som nycklar som anges i dataavsnittet. De hemliga värdena bör vara base64-kodade innan de placeras under dataavsnittet, som nedan.

    Nedan visas ett exempel på hur du skapar hemligheter via YAML.

    apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  <certfile>: base64_cert_content    
  <keyfile>: base64_key_content

    Hemligheten ama-metrics-mtls-secret monteras på ama-metrics-containrarna på path – /etc/prometheus/certs/ och görs tillgänglig för den process som skrapar prometheus-mått. Nyckeln( ex - certfile) i exemplet ovan är filnamnet och värdet är base64 avkodat och läggs till i innehållet i filen i containern och prometheus-skrapan använder innehållet i den här filen för att hämta det värde som används som lösenord som används för att skrapa slutpunkten.

  2. Nedan visas information om hur du anger TLS-konfigurationsinställningarna via en konfigurationskarta eller CRD.

  • Om du vill ange TLS-konfigurationsinställningen i en konfigurationskarta följer du exemplet nedan.
tls_config:
    ca_file: /etc/prometheus/certs/<certfile> # since it is self-signed
    cert_file: /etc/prometheus/certs/<certfile>
    key_file: /etc/prometheus/certs/<keyfile>
    insecure_skip_verify: false

Grundläggande autentisering och TLS

Om du vill använda både grundläggande autentiseringsinställningar och Tls-autentiseringsinställningar i configmap/CRD kontrollerar du bara att hemligheten ama-metrics-mtls-secret innehåller alla filer (nycklar) under dataavsnittet med motsvarande grundläggande 64-kodade värden, enligt nedan.

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  certfile: base64_cert_content    # used for Tls
  keyfile: base64_key_content      # used for Tls
  password1: base64-encoded-string # used for basic auth
  password2: base64-encoded-string # used for basic auth

Kommentar

Kommentar

Sökvägen /etc/prometheus/certs/ är obligatorisk, men password1 kan vara valfri sträng och måste matcha nyckeln för data i hemligheten som skapades ovan. Det beror på att den hemliga ama-metrics-mtls-secret monteras i sökvägen /etc/prometheus/certs/ i containern.

Det base64-kodade värdet avkodas automatiskt av agentpoddarna när hemligheten monteras som fil.

Kontrollera att det hemliga namnet är ama-metrics-mtls-secret och att det finns i kube-system-namnområdet .

Hemligheten ska skapas och sedan ska configmap/CRD skapas i kube-system-namnområdet. Ordningen på hemligt skapande är viktig. När det inte finns någon hemlighet men en giltig CRD/konfigurationskarta hittar du fel i insamlingsloggen –>no file found for cert....

Om du vill läsa mer om TLS-konfigurationsinställningar följer du de här konfigurationerna.

Nästa steg

Konfigurera aviseringar för Prometheus-mått
Fråga Prometheus-mått
Läs mer om att samla in Prometheus-mått