Konfiguration av Azure Monitor Edge-pipeline

Artikel
04/30/2024

Azure Monitor-pipelinen är en pipeline för datainmatning som tillhandahåller konsekvent och centraliserad datainsamling för Azure Monitor. Gränspipelinen möjliggör insamling i stor skala och routning av telemetridata innan de skickas till molnet. Den kan cachelagras lokalt och synkroniseras med molnet när anslutningen återställs och dirigera telemetri till Azure Monitor i fall där nätverket segmenteras och data inte kan skickas direkt till molnet. Den här artikeln beskriver hur du aktiverar och konfigurerar gränspipelinen i din miljö.

Översikt

Azure Monitor Edge-pipelinen är en containerbaserad lösning som distribueras i ett Arc-aktiverat Kubernetes-kluster och använder OpenTelemetry Collector som grund. Följande diagram visar komponenterna i gränspipelinen. Ett eller flera dataflöden lyssnar efter inkommande data från klienter, och pipelinetillägget vidarebefordrar data till molnet med hjälp av den lokala cachen om det behövs.

Konfigurationsfilen för pipeline definierar dataflöden och cacheegenskaper för gränspipelinen. DCR definierar schemat för de data som skickas till molnpipelinen, en transformering för att filtrera eller ändra data och målet där data ska skickas. Varje dataflödesdefinition för pipelinekonfigurationen anger DCR och dataströmmen i den DCR som bearbetar dessa data i molnpipelinen.

Kommentar

Privat länk stöds av gränspipeline för anslutningen till molnpipelinen.

Följande komponenter och konfigurationer krävs för att aktivera Azure Monitor Edge-pipelinen. Om du använder Azure-portalen för att konfigurera gränspipelinen skapas var och en av dessa komponenter åt dig. Med andra metoder måste du konfigurera var och en.

Komponent	beskrivning
Edge-pipelinestyrenhetstillägg	Tillägget har lagts till i ditt Arc-aktiverade Kubernetes-kluster för att stödja pipelinefunktioner – `microsoft.monitor.pipelinecontroller`.
Edge-pipelinestyrenhetsinstans	Instans av gränspipelinen som körs i ditt Arc-aktiverade Kubernetes-kluster.
Dataflöde	Kombination av mottagare och exportörer som körs på pipelinekontrollantinstansen. Mottagare accepterar data från klienter och exportörer för att leverera dessa data till Azure Monitor.
Pipelinekonfiguration	Konfigurationsfil som definierar dataflödena för pipelineinstansen. Varje dataflöde innehåller en mottagare och en exportör. Mottagaren lyssnar efter inkommande data och exportören skickar data till målet.
Datainsamlingsslutpunkt (DCE)	Slutpunkt där data skickas till Azure Monitor-pipelinen. Pipelinekonfigurationen innehåller en egenskap för URL:en för DCE så att pipelineinstansen vet var data ska skickas.

Konfiguration	beskrivning
Datainsamlingsregel (DCR)	Konfigurationsfil som definierar hur data tas emot i molnpipelinen och var de skickas. DCR kan också innehålla en transformering för att filtrera eller ändra data innan de skickas till målet.
Pipelinekonfiguration	Konfiguration som definierar dataflödena för pipelineinstansen, inklusive dataflöden och cacheminne.

Konfigurationer som stöds

Distributioner som stöds
Edge-pipeline stöds i följande Kubernetes-distributioner:

Canonical
Kluster-API-provider för Azure
K3
Rancher Kubernetes Engine
VMware Tanzu Kubernetes Grid

Platser som stöds
Edge-pipeline stöds i följande Azure-regioner:

USA, östra 2
USA, västra 2
Västeuropa

Förutsättningar

Arc-aktiverat Kubernetes-kluster i din egen miljö med en extern IP-adress. Mer information om hur du aktiverar Arc för ett kluster finns i Anslut ett befintligt Kubernetes-kluster till Azure Arc.
Det Arc-aktiverade Kubernetes-klustret måste ha de anpassade platsfunktionerna aktiverade. Se Skapa och hantera anpassade platser på Azure Arc-aktiverade Kubernetes.
Log Analytics-arbetsytan i Azure Monitor för att ta emot data från gränspipelinen. Mer information om hur du skapar en arbetsyta finns i Skapa en Log Analytics-arbetsyta i Azure-portalen .
Följande resursprovidrar måste vara registrerade i din Azure-prenumeration. Se Resursprovider och resurstyper i Azure.
- Microsoft.Insights
- Microsoft.Monitor

Arbetsflöde

Du behöver ingen detaljerad förståelse för de olika stegen som utförs av Azure Monitor-pipelinen för att konfigurera den med hjälp av Azure-portalen. Du kan dock behöva en mer detaljerad förståelse av det om du använder en annan installationsmetod eller om du behöver utföra mer avancerad konfiguration, till exempel transformera data innan de lagras i målet.

I följande tabeller och diagram beskrivs de detaljerade stegen och komponenterna i processen för att samla in data med hjälp av gränspipelinen och skicka dem till molnpipelinen för lagring i Azure Monitor. I tabellerna ingår även den konfiguration som krävs för var och en av dessa komponenter.

Steg	Åtgärd	Stöd för konfiguration
1.	Klienten skickar data till edge-pipelinemottagaren.	Klienten konfigureras med IP och port för gränspipelinemottagaren och skickar data i förväntat format för mottagartypen.
2.	Mottagaren vidarebefordrar data till exportören.	Mottagare och exportör konfigureras i samma pipeline.
3.	Exportören försöker skicka data till molnpipelinen.	Exportören i pipelinekonfigurationen innehåller URL:en för DCE, en unik identifierare för DCR och dataströmmen i DCR som definierar hur data ska bearbetas.
3a.	Exportören lagrar data i den lokala cachen om den inte kan ansluta till DCE.	Beständiga volymer för cacheminnet och konfigurationen av den lokala cachen är aktiverade i pipelinekonfigurationen.

Steg	Åtgärd	Stöd för konfiguration
4.	Molnpipelinen accepterar inkommande data.	DCR innehåller en schemadefinition för den inkommande dataströmmen som måste matcha schemat för data som kommer från gränspipelinen.
5.	Molnpipelinen tillämpar en transformering på data.	DCR innehåller en transformering som filtrerar eller ändrar data innan de skickas till målet. Omvandlingen kan filtrera data, ta bort eller lägga till kolumner eller helt ändra schemat. Utdata från omvandlingen måste matcha schemat för måltabellen.
6.	Molnpipelinen skickar data till målet.	DCR innehåller ett mål som anger Log Analytics-arbetsytan och tabellen där data ska lagras.

Segmenterat nätverk

Nätverkssegmentering är en modell där du använder programvarudefinierade perimeterer för att skapa en annan säkerhetsstatus för olika delar av nätverket. I den här modellen kan du ha ett nätverkssegment som inte kan ansluta till Internet eller till andra nätverkssegment. Gränspipelinen kan användas för att samla in data från dessa nätverkssegment och skicka dem till molnpipelinen.

Om du vill använda Azure Monitor-pipelinen i en nätverkskonfiguration i flera lager måste du lägga till följande poster i listan över tillåtna för Det Arc-aktiverade Kubernetes-klustret. Se Konfigurera förhandsversionen av Azure IoT Layered Network Management på nivå 4-kluster.

- destinationUrl: "*.ingest.monitor.azure.com"
  destinationType: external
- destinationUrl: "login.windows.net"
  destinationType: external

Skapa tabell i Log Analytics-arbetsytan

Innan du konfigurerar datainsamlingsprocessen för gränspipelinen måste du skapa en tabell på Log Analytics-arbetsytan för att ta emot data. Detta måste vara en anpassad tabell eftersom inbyggda tabeller för närvarande inte stöds. Schemat för tabellen måste matcha de data som den tar emot, men det finns flera steg i insamlingsprocessen där du kan ändra inkommande data, så att tabellschemat inte behöver matcha de källdata som du samlar in. Det enda kravet för tabellen på Log Analytics-arbetsytan är att den har en TimeGenerated kolumn.

Mer information om olika metoder för att skapa en tabell finns i Lägga till eller ta bort tabeller och kolumner i Azure Monitor-loggar . Använd till exempel CLI-kommandot nedan för att skapa en tabell med de tre kolumnerna med namnet Body, TimeGeneratedoch SeverityText.

az monitor log-analytics workspace table create --workspace-name my-workspace --resource-group my-resource-group  --name my-table_CL --columns TimeGenerated=datetime Body=string SeverityText=string

Aktivera cachelagring

Edge-enheter i vissa miljöer kan uppleva tillfälliga anslutningar på grund av olika faktorer som nätverksbelastning, signalinterferens, strömavbrott eller mobilitet. I dessa miljöer kan du konfigurera gränspipelinen så att data cachelagrar genom att skapa en beständig volym i klustret. Processen för detta varierar beroende på din miljö, men konfigurationen måste uppfylla följande krav:

Metadatanamnområdet måste vara samma som den angivna instansen av Azure Monitor-pipelinen.
Åtkomstläget måste ha stöd för ReadWriteMany.

När volymen har skapats i rätt namnområde konfigurerar du den med parametrar i pipelinekonfigurationsfilen nedan.

Varning

Varje replik av gränspipelinen lagrar data på en plats i den beständiga volymen som är specifik för den repliken. Om du minskar antalet repliker när klustret är frånkopplat från molnet förhindras dessa data från att återfyllas när anslutningen återställs.

Aktivera och konfigurera pipeline

De aktuella alternativen för aktivering och konfiguration beskrivs på flikarna nedan.

Konfigurera pipeline med Hjälp av Azure-portalen

När du använder Azure-portalen för att aktivera och konfigurera pipelinen skapas alla nödvändiga komponenter baserat på dina val. Detta sparar dig från komplexiteten i att skapa varje komponent individuellt, men du har gjort behov av att använda andra metoder för

Utför något av följande i Azure-portalen för att starta installationsprocessen för Azure Monitor-pipelinen:

På menyn Azure Monitor-pipelines (förhandsversion) klickar du på Skapa.
På menyn för ditt Arc-aktiverade Kubernetes-kluster väljer du Tillägg och lägger sedan till tillägget Azure Monitor-pipelinetillägg (förhandsversion).

På fliken Grundläggande uppmanas du att ange följande information för att distribuera tillägget och pipelineinstansen i klustret.

Inställningarna på den här fliken beskrivs i följande tabell.

Property	beskrivning
Instansnamn	Namn på Azure Monitor-pipelineinstansen. Måste vara unikt för prenumerationen.
Prenumeration	Azure-prenumeration för att skapa pipelineinstansen.
Resursgrupp	Resursgrupp för att skapa pipelineinstansen.
Klusternamn	Välj det Arc-aktiverade Kubernetes-kluster som pipelinen ska installeras på.
Anpassad plats	Anpassad plats för ditt Arc-aktiverade Kubernetes-kluster. Detta fylls automatiskt i med namnet på en anpassad plats som skapas för klustret eller så kan du välja en annan anpassad plats i klustret.

På fliken Dataflöde kan du skapa och redigera dataflöden för pipelineinstansen. Varje dataflöde innehåller följande information:

Inställningarna på den här fliken beskrivs i följande tabell.

Property	Beskrivning
Name	Namn på dataflödet. Måste vara unikt för den här pipelinen.
Source type	Vilken typ av data som samlas in. Följande källtyper stöds för närvarande: -Syslog - OTLP
Port	Port som pipelinen lyssnar på för inkommande data. Om två dataflöden använder samma port tar de både emot och bearbetar data.
Log Analytics-arbetsyta	Log Analytics-arbetsyta som data ska skickas till.
Tabellnamn	Namnet på tabellen på Log Analytics-arbetsytan som data ska skickas till.

Konfigurera pipeline med Hjälp av Azure CLI

Följande är de steg som krävs för att skapa och konfigurera de komponenter som krävs för Azure Monitor Edge-pipelinen med hjälp av Azure CLI.

Edge-pipelinetillägg

Följande kommando lägger till gränspipelinetillägget till ditt Arc-aktiverade Kubernetes-kluster.

az k8s-extension create --name <pipeline-extension-name> --extension-type microsoft.monitor.pipelinecontroller --scope cluster --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --release-train Preview

## Example
az k8s-extension create --name my-pipe --extension-type microsoft.monitor.pipelinecontroller --scope cluster --cluster-name my-cluster --resource-group my-resource-group --cluster-type connectedClusters --release-train Preview

Anpassad plats

Följande ARM-mall skapar den anpassade platsen för ditt Arc-aktiverade Kubernetes-kluster.

az customlocation create --name <custom-location-name>  --resource-group <resource-group-name> --namespace <name of namespace> --host-resource-id <connectedClusterId> --cluster-extension-ids <extensionId>

## Example
az customlocation create --name my-cluster-custom-location --resource-group my-resource-group --namespace my-cluster-custom-location --host-resource-id /subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-cluster --cluster-extension-ids /subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-cluster/providers/Microsoft.KubernetesConfiguration/extensions/my-cluster

DCE

Följande ARM-mall skapar den datainsamlingsslutpunkt (DCE) som krävs för att gränspipelinen ska kunna ansluta till molnpipelinen. Du kan använda en befintlig DOMÄNKONTROLLant om du redan har en i samma region. Ersätt egenskaperna i följande tabell innan du distribuerar mallen.

az monitor data-collection endpoint create -g "myResourceGroup" -l "eastus2euap" --name "myCollectionEndpoint" --public-network-access "Enabled"

## Example
 az monitor data-collection endpoint create --name strato-06-dce --resource-group strato --public-network-access "Enabled"

DCR

DCR lagras i Azure Monitor och definierar hur data ska bearbetas när de tas emot från gränspipelinen. Konfigurationen immutable ID av gränspipelinen anger dcr och stream den i DCR som ska bearbeta data. immutable ID Genereras automatiskt när DCR skapas.

Ersätt egenskaperna i följande mall och spara dem i en json-fil innan du kör CLI-kommandot för att skapa DCR. Mer information om strukturen för en DCR finns i Strukturen för en datainsamlingsregel i Azure Monitor .

Parameter	Description
`name`	Namnet på DCR. Måste vara unikt för prenumerationen.
`location`	Plats för DCR. Måste matcha platsen för DCE.
`dataCollectionEndpointId`	Resurs-ID för DCE.
`streamDeclarations`	Schema för de data som tas emot. En dataström krävs för varje dataflöde i pipelinekonfigurationen. Namnet måste vara unikt i DCR och måste börja med Custom-. Avsnitten `column` i exemplen nedan ska användas för OLTP- och Syslog-dataflödena. Om schemat för måltabellen är annorlunda kan du ändra det med hjälp av en transformering som definierats i parametern `transformKql` .
`destinations`	Lägg till ytterligare avsnitt för att skicka data till flera arbetsytor.
- `name`	Namn på målet som ska refereras `dataFlows` till i avsnittet. Måste vara unikt för DCR.
- `workspaceResourceId`	Resurs-ID för Log Analytics-arbetsytan.
- `workspaceId`	Arbetsyte-ID för Log Analytics-arbetsytan.
`dataFlows`	Matchar strömmar och mål. En post för varje kombination av dataström/mål.
- `streams`	En eller flera strömmar (definierade i `streamDeclarations`). Du kan inkludera flera dataströmmar om de skickas till samma mål.
- `destinations`	Ett eller flera mål (definieras i `destinations`). Du kan inkludera flera mål om de skickas till samma mål.
- `transformKql`	Transformering som ska tillämpas på data innan den skickas till målet. Använd `source` för att skicka data utan ändringar. Utdata från omvandlingen måste matcha schemat för måltabellen. Mer information om transformeringar finns i Datainsamlingstransformeringar i Azure Monitor .
- `outputStream`	Anger måltabellen på Log Analytics-arbetsytan. Tabellen måste redan finnas på arbetsytan. För anpassade tabeller prefixar du tabellnamnet med Custom-. Inbyggda tabeller stöds för närvarande inte med gränspipeline.

{
    "properties": {
        "dataCollectionEndpointId": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionEndpoints/my-dce",
        "streamDeclarations": {
            "Custom-OTLP": {
                "columns": [
                    {
                        "name": "Body",
                        "type": "string"
                    },
                    {
                        "name": "TimeGenerated",
                        "type": "datetime"
                    },
                    {
                        "name": "SeverityText",
                        "type": "string"
                    }
                ]
            },
            "Custom-Syslog": {
                "columns": [
                    {
                        "name": "Body",
                        "type": "string"
                    },
                    {
                        "name": "TimeGenerated",
                        "type": "datetime"
                    },
                    {
                        "name": "SeverityText",
                        "type": "string"
                    }
                ]
            }
        },
        "dataSources": {},
        "destinations": {
            "logAnalytics": [
                {
                    "name": "LogAnayticsWorkspace01",
                    "workspaceResourceId": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.OperationalInsights/workspaces/my-workspace",
                    "workspaceId": "00000000-0000-0000-0000-000000000000"
                }
            ]
        },
        "dataFlows": [
            {
                "streams": [
                    "Custom-OTLP"
                ],
                "destinations": [
                    "LogAnayticsWorkspace01"
                ],
                "transformKql": "source",
                "outputStream": "Custom-OTelLogs_CL"
            },
            {
                "streams": [
                    "Custom-Syslog"
                ],
                "destinations": [
                    "LogAnayticsWorkspace01"
                ],
                "transformKql": "source",
                "outputStream": "Custom-Syslog_CL"
            }
        ]
    }
}

Installera DCR med följande kommando:

az monitor data-collection rule create --name 'myDCRName' --location <location> --resource-group <resource-group>  --rule-file '<dcr-file-path.json>' 

## Example
az monitor data-collection rule create --name my-pipeline-dcr  --location westus2 --resource-group 'my-resource-group' --rule-file 'C:\MyDCR.json'

DCR-åtkomst

Det Arc-aktiverade Kubernetes-klustret måste ha åtkomst till DCR för att skicka data till molnpipelinen. Använd följande kommando för att hämta objekt-ID:t för den systemtilldelade identiteten för klustret.

az k8s-extension show --name <extension-name> --cluster-name <cluster-name> --resource-group <resource-group> --cluster-type connectedClusters --query "identity.principalId" -o tsv 

## Example:
az k8s-extension show --name my-pipeline-extension --cluster-name my-cluster --resource-group my-resource-group --cluster-type connectedClusters --query "identity.principalId" -o tsv

Använd utdata från det här kommandot som indata till följande kommando för att ge Azure Monitor-pipelinen behörighet att skicka sin telemetri till DCR.

az role assignment create --assignee "<extension principal ID>" --role "Monitoring Metrics Publisher" --scope "/subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Insights/dataCollectionRules/<dcr-name>" 

## Example:
az role assignment create --assignee "00000000-0000-0000-0000-000000000000" --role "Monitoring Metrics Publisher" --scope "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionRules/my-dcr"

Konfiguration av Edge-pipeline

Konfigurationen av gränspipelinen definierar information om gränspipelineinstansen och distribuerar de dataflöden som krävs för att ta emot och skicka telemetri till molnet.

Ersätt egenskaperna i följande tabell innan du distribuerar mallen.

Property	Description
Allmänt
`name`	Namnet på pipelineinstansen. Måste vara unikt i prenumerationen.
`location`	Platsen för pipelineinstansen.
`extendedLocation`
Mottagare	En post för varje mottagare. Varje post anger vilken typ av data som tas emot, vilken port den lyssnar på och ett unikt namn som ska användas i avsnittet i `pipelines` konfigurationen.
`type`	Typ av data som tas emot. Aktuella alternativ är `OTLP` och `Syslog`.
`name`	Namn på mottagaren som refereras i `service` avsnittet. Måste vara unikt för pipelineinstansen.
`endpoint`	Adress och port som mottagaren lyssnar på. Använd `0.0.0.0` för al-adresser.
Processorer	Reserverad för framtida användning.
Exportörer	En post för varje mål.
`type`	Endast den typ som stöds för närvarande är `AzureMonitorWorkspaceLogs`.
`name`	Måste vara unikt för pipelineinstansen. Namnet används i `pipelines` avsnittet i konfigurationen.
`dataCollectionEndpointUrl`	URL för DCE där gränspipelinen skickar data. Du kan hitta detta i Azure-portalen genom att navigera till DCE och kopiera värdet För inmatning av loggar.
`dataCollectionRule`	Oföränderligt ID för dcr som definierar datainsamlingen i molnpipelinen. Från JSON-vyn för din DCR i Azure-portalen kopierar du värdet för det oföränderliga ID :t i avsnittet Allmänt .
- `stream`	Namnet på strömmen i din DCR som accepterar data.
- `maxStorageUsage`	Cachens kapacitet. När 80 % av den här kapaciteten har nåtts beskärs de äldsta data för att ge utrymme för mer data.
- `retentionPeriod`	Kvarhållningsperiod i minuter. Data rensas efter den här tiden.
- `schema`	Schema för de data som skickas till molnpipelinen. Detta måste matcha schemat som definierats i dataströmmen i DCR. Schemat som används i exemplet är giltigt för både Syslog och OTLP.
Tjänst	En post för varje pipelineinstans. Endast en instans för varje pipelinetillägg rekommenderas.
Pipelines	En post för varje dataflöde. Varje post matchar en `receiver` med en `exporter`.
`name`	Unikt namn på pipelinen.
`receivers`	En eller flera mottagare kan lyssna efter data som ska ta emot.
`processors`	Reserverad för framtida användning.
`exporters`	En eller flera exportörer som skickar data till molnpipelinen.
`persistence`	Namnet på den beständiga volym som används för cacheminnet. Ta bort den här parametern om du inte vill aktivera cacheminnet.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "metadata": {
        "description": "This template deploys an edge pipeline for azure monitor."
    },
    "resources": [
        {
            "type": "Microsoft.monitor/pipelineGroups",
            "location": "eastus",
            "apiVersion": "2023-10-01-preview",
            "name": "my-pipeline-group-name",
            "extendedLocation": {
                "name": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.ExtendedLocation/customLocations/my-custom-location",
                "type": "CustomLocation"
            },
            "properties": {
                "receivers": [
                    {
                        "type": "OTLP",
                        "name": "receiver-OTLP",
                        "otlp": {
                            "endpoint": "0.0.0.0:4317"
                        }
                    },
                    {
                        "type": "Syslog",
                        "name": "receiver-Syslog",
                        "syslog": {
                            "endpoint": "0.0.0.0:514"
                        }
                    }
                ],
                "processors": [],
                "exporters": [
                    {
                        "type": "AzureMonitorWorkspaceLogs",
                        "name": "exporter-log-analytics-workspace",
                        "azureMonitorWorkspaceLogs": {
                            "api": {
                                "dataCollectionEndpointUrl": "https://my-dce-4agr.eastus-1.ingest.monitor.azure.com",
                                "dataCollectionRule": "dcr-00000000000000000000000000000000",
                                "stream": "Custom-OTLP",
                                "schema": {
                                    "recordMap": [
                                        {
                                            "from": "body",
                                            "to": "Body"
                                        },
                                        {
                                            "from": "severity_text",
                                            "to": "SeverityText"
                                        },
                                        {
                                            "from": "time_unix_nano",
                                            "to": "TimeGenerated"
                                        }
                                    ]
                                }
                            },
                            "cache": {
                                "maxStorageUsage": 10000,
                                "retentionPeriod": 60
                            }
                        }
                    }
                ],
                "service": {
                    "pipelines": [
                        {
                            "name": "DefaultOTLPLogs",
                            "receivers": [
                                "receiver-OTLP"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-log-analytics-workspace"
                            ],
                            "type": "logs"
                        },
                        {
                            "name": "DefaultSyslogs",
                            "receivers": [
                                "receiver-Syslog"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-log-analytics-workspace"
                            ],
                            "type": "logs"
                        }
                    ],
                    "persistence": {
                        "persistentVolumeName": "my-persistent-volume"
                    }
                },
                "networkingConfigurations": [
                    {
                        "externalNetworkingMode": "LoadBalancerOnly",
                        "routes": [
                            {
                                "receiver": "receiver-OTLP"
                            },
                            {
                                "receiver": "receiver-Syslog"
                            }
                        ]
                    }
                ]
            }
        }
    ]
}

Installera mallen med följande kommando:

az deployment group create --resource-group <resource-group-name> --template-file <path-to-template>

## Example
az deployment group create --resource-group my-resource-group --template-file C:\MyPipelineConfig.json

ARM-mallexempel för att konfigurera alla komponenter

Du kan distribuera alla nödvändiga komponenter för Azure Monitor-gränspipelinen med hjälp av den enda ARM-mall som visas nedan. Redigera parameterfilen med specifika värden för din miljö. Varje avsnitt i mallen beskrivs nedan, inklusive avsnitt som du måste ändra innan du använder den.

Komponent	Typ	Beskrivning
Log Analytics-arbetsyta	`Microsoft.OperationalInsights/workspaces`	Ta bort det här avsnittet om du använder en befintlig Log Analytics-arbetsyta. Den enda parameter som krävs är arbetsytans namn. Det oföränderliga ID:t för arbetsytan, som behövs för andra komponenter, skapas automatiskt.
Datainsamlingsslutpunkt (DCE)	`Microsoft.Insights/dataCollectionEndpoints`	Ta bort det här avsnittet om du använder en befintlig domänkontrollant. Den enda parameter som krävs är DCE-namnet. Logginmatnings-URL:en för DCE, som behövs för andra komponenter, skapas automatiskt.
Edge-pipelinetillägg	`Microsoft.KubernetesConfiguration/extensions`	Den enda parameter som krävs är namnet på pipelinetillägget.
Anpassad plats	`Microsoft.ExtendedLocation/customLocations`	Anpassad plats för Det Arc-aktiverade Kubernetes-klustret för att skapa det anpassade
Edge-pipelineinstans	`Microsoft.monitor/pipelineGroups`	Edge-pipelineinstans som innehåller konfiguration av lyssnaren, exportörer och dataflöden. Du måste ändra egenskaperna för pipelineinstansen innan du distribuerar mallen.
Datainsamlingsregel (DCR)	`Microsoft.Insights/dataCollectionRules`	Den enda parameter som krävs är DCR-namnet, men du måste ändra egenskaperna för DCR innan du distribuerar mallen.

Mallfil

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
            "type": "string"
        },
        "clusterId": {
            "type": "string"
        },
        "clusterExtensionIds": {
            "type": "array"
        },
        "customLocationName": {
            "type": "string"
        },
        "cachePersistentVolume": {
            "type": "string"
        },
        "cacheMaxStorageUsage": {
            "type": "int"
        },
        "cacheRetentionPeriod": {
            "type": "int"
        },
        "dceName": {
            "type": "string"
        },
        "dcrName": {
            "type": "string"
        },
        "logAnalyticsWorkspaceName": {
            "type": "string"
        },
        "pipelineExtensionName": {
            "type": "string"
        },
        "pipelineGroupName": {
            "type": "string"
        },
        "tagsByResource": {
            "type": "object",
            "defaultValue": {}
        }
    },
    "resources": [
        {
            "type": "Microsoft.OperationalInsights/workspaces",            
            "name": "[parameters('logAnalyticsWorkspaceName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2017-03-15-preview",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.OperationalInsights/workspaces'), parameters('tagsByResource')['Microsoft.OperationalInsights/workspaces'], json('{}')) ]",
            "properties": {
                "sku": {
                    "name": "pergb2018"
                }
            }
        },
        {
            "type": "Microsoft.Insights/dataCollectionEndpoints",            
            "name": "[parameters('dceName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-04-01",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.Insights/dataCollectionEndpoints'), parameters('tagsByResource')['Microsoft.Insights/dataCollectionEndpoints'], json('{}')) ]",
            "properties": {
                "configurationAccess": {},
                "logsIngestion": {},
                "networkAcls": {
                    "publicNetworkAccess": "Enabled"
                }
            }
        },
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dcrName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-09-01-preview",
            "dependsOn": [
                "[resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2')]",
                "[resourceId('Microsoft.Insights/dataCollectionEndpoints', 'Aep-mytestpl-ZZPXiU05tJ')]"
            ],
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.Insights/dataCollectionRules'), parameters('tagsByResource')['Microsoft.Insights/dataCollectionRules'], json('{}')) ]",
            "properties": {
                "dataCollectionEndpointId": "[resourceId('Microsoft.Insights/dataCollectionEndpoints', 'Aep-mytestpl-ZZPXiU05tJ')]",
                "streamDeclarations": {
                    "Custom-OTLP": {
                        "columns": [
                            {
                                "name": "Body",
                                "type": "string"
                            },
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "SeverityText",
                                "type": "string"
                            }
                        ]
                    },
                    "Custom-Syslog": {
                        "columns": [
                            {
                                "name": "Body",
                                "type": "string"
                            },
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "SeverityText",
                                "type": "string"
                            }
                        ]
                    }
                },
                "dataSources": {},
                "destinations": {
                    "logAnalytics": [
                        {
                            "name": "DefaultWorkspace-westus2",
                            "workspaceResourceId": "[resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2')]",
                            "workspaceId": "[reference(resourceId('Microsoft.OperationalInsights/workspaces', 'DefaultWorkspace-westus2'))].customerId"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-OTLP"
                        ],
                        "destinations": [
                            "localDest-DefaultWorkspace-westus2"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-OTelLogs_CL"
                    },
                    {
                        "streams": [
                            "Custom-Syslog"
                        ],
                        "destinations": [
                            "DefaultWorkspace-westus2"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-Syslog_CL"
                    }
                ]
            }
        },
        {
            "type": "Microsoft.KubernetesConfiguration/extensions",
            "apiVersion": "2022-11-01",
            "name": "[parameters('pipelineExtensionName')]",
            "scope": "[parameters('clusterId')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.KubernetesConfiguration/extensions'), parameters('tagsByResource')['Microsoft.KubernetesConfiguration/extensions'], json('{}')) ]",
            "identity": {
                "type": "SystemAssigned"
            },
            "properties": {
                "aksAssignedIdentity": {
                    "type": "SystemAssigned"
                },
                "autoUpgradeMinorVersion": false,
                "extensionType": "microsoft.monitor.pipelinecontroller",
                "releaseTrain": "preview",
                "scope": {
                    "cluster": {
                        "releaseNamespace": "my-strato-ns"
                    }
                },
                "version": "0.37.3-privatepreview"
            }
        },
        {
            "type": "Microsoft.ExtendedLocation/customLocations",
            "apiVersion": "2021-08-15",
            "name": "[parameters('customLocationName')]",
            "location": "[parameters('location')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.ExtendedLocation/customLocations'), parameters('tagsByResource')['Microsoft.ExtendedLocation/customLocations'], json('{}')) ]",
            "dependsOn": [
                "[parameters('pipelineExtensionName')]"
            ],
            "properties": {
                "hostResourceId": "[parameters('clusterId')]",
                "namespace": "[toLower(parameters('customLocationName'))]",
                "clusterExtensionIds": "[parameters('clusterExtensionIds')]",
                "hostType": "Kubernetes"
            }
        },
        {
            "type": "Microsoft.monitor/pipelineGroups",
            "location": "[parameters('location')]",
            "apiVersion": "2023-10-01-preview",
            "name": "[parameters('pipelineGroupName')]",
            "tags": "[ if(contains(parameters('tagsByResource'), 'Microsoft.monitor/pipelineGroups'), parameters('tagsByResource')['Microsoft.monitor/pipelineGroups'], json('{}')) ]",
            "dependsOn": [
                "[parameters('customLocationName')]",
                "[resourceId('Microsoft.Insights/dataCollectionRules','Aep-mytestpl-ZZPXiU05tJ')]"
            ],
            "extendedLocation": {
                "name": "[resourceId('Microsoft.ExtendedLocation/customLocations', parameters('customLocationName'))]",
                "type": "CustomLocation"
            },
            "properties": {
                "receivers": [
                    {
                        "type": "OTLP",
                        "name": "receiver-OTLP-4317",
                        "otlp": {
                            "endpoint": "0.0.0.0:4317"
                        }
                    },
                    {
                        "type": "Syslog",
                        "name": "receiver-Syslog-514",
                        "syslog": {
                            "endpoint": "0.0.0.0:514"
                        }
                    }
                ],
                "processors": [],
                "exporters": [
                    {
                        "type": "AzureMonitorWorkspaceLogs",
                        "name": "exporter-lu7mbr90",
                        "azureMonitorWorkspaceLogs": {
                            "api": {
                                "dataCollectionEndpointUrl": "[reference(resourceId('Microsoft.Insights/dataCollectionEndpoints','Aep-mytestpl-ZZPXiU05tJ')).logsIngestion.endpoint]",
                                "stream": "Custom-DefaultAEPOTelLogs_CL-FqXSu6GfRF",
                                "dataCollectionRule": "[reference(resourceId('Microsoft.Insights/dataCollectionRules', 'Aep-mytestpl-ZZPXiU05tJ')).immutableId]",
                                "cache": {
                                    "maxStorageUsage": "[parameters('cacheMaxStorageUsage')]",
                                    "retentionPeriod": "[parameters('cacheRetentionPeriod')]"
                                },
                                "schema": {
                                    "recordMap": [
                                        {
                                            "from": "body",
                                            "to": "Body"
                                        },
                                        {
                                            "from": "severity_text",
                                            "to": "SeverityText"
                                        },
                                        {
                                            "from": "time_unix_nano",
                                            "to": "TimeGenerated"
                                        }
                                    ]
                                }
                            }
                        }
                    }
                ],
                "service": {
                    "pipelines": [
                        {
                            "name": "DefaultOTLPLogs",
                            "receivers": [
                                "receiver-OTLP"
                            ],
                            "processors": [],
                            "exporters": [
                                "exporter-lu7mbr90"
                            ]
                        }
                    ],
                    "persistence": {
                        "persistentVolume": "[parameters('cachePersistentVolume')]"
                    }
                }
            }
        }
    ],
    "outputs": {}
}

Exempelparameterfil

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentParameters.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "location": {
        "value": "eastus"
        },
        "clusterId": {
            "value": "/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.Kubernetes/connectedClusters/my-arc-cluster"
        },
        "clusterExtensionIds": {
            "value": ["/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/my-resource-group/providers/Microsoft.KubernetesConfiguration/extensions/my-pipeline-extension"]
        },
        "customLocationName": {
            "value": "my-custom-location"
        },
        "dceName": {
            "value": "my-dce"
        },
        "dcrName": {
            "value": "my-dcr"
        },
        "logAnalyticsWorkspaceName": {
            "value": "my-workspace"
        },
        "pipelineExtensionName": {
            "value": "my-pipeline-extension"
        },
        "pipelineGroupName": {
            "value": "my-pipeline-group"
        },
        "tagsByResource": {
            "value": {}
        }   
    }
}

Verifiera konfigurationen

Verifiera pipelinekomponenter som körs i klustret

I Azure-portalen går du till Kubernetes-tjänstmenyn och väljer ditt Arc-aktiverade Kubernetes-kluster. Välj Tjänster och ingresser och se till att du ser följande tjänster:

<pipeline name-external-service>
<pipeline name-service>

Klicka på posten för <pipelinen name-external-service> och notera IP-adressen och porten i kolumnen Slutpunkter. Det här är den externa IP-adress och port som dina klienter skickar data till.

Verifiera pulsslag

Varje pipeline som konfigureras i pipelineinstansen skickar en pulsslagspost till Heartbeat tabellen på Log Analytics-arbetsytan varje minut. Innehållet i OSMajorVersion kolumnen ska matcha namnet på pipelineinstansen. Om det finns flera arbetsytor i pipelineinstansen används den första konfigurerade.

Hämta pulsslagsposterna med hjälp av en loggfråga som i följande exempel:

Klientkonfiguration

När ditt gränspipelinetillägg och din instans har installerats måste du konfigurera dina klienter för att skicka data till pipelinen.

Hämta slutpunkt för inkommande

Varje klient kräver pipelinens externa IP-adress. Använd följande kommando för att hämta den här adressen:

kubectl get services -n <namespace where azure monitor pipeline was installed>

Om programmet som producerar loggar är externt till klustret kopierar du värdet för den externa ip-adressen för tjänsten nginx-controller-service med lastbalanserarens typ. Om programmet finns på en podd i klustret kopierar du klustrets IP-värde . Om fältet external-ip är inställt på väntande måste du konfigurera en extern IP-adress för den här ingressen manuellt enligt klusterkonfigurationen.

Klient	beskrivning
Syslog	Uppdatera Syslog-klienter för att skicka data till pipelineslutpunkten och porten för ditt Syslog-dataflöde.
OTLP	Azure Monitor-gränspipelinen exponerar en gRPC-baserad OTLP-slutpunkt på port 4317. Om du konfigurerar instrumentationen så att den skickas till den här OTLP-slutpunkten beror det på själva instrumentationsbiblioteket. Mer information finns i dokumentationen om OTLP-slutpunkt eller insamlare för OpenTelemetry. Miljövariabelmetoden dokumenteras i OTLP Exporter Configuration.

Verifiera data

Det sista steget är att kontrollera att data tas emot på Log Analytics-arbetsytan. Du kan utföra den här verifieringen genom att köra en fråga på Log Analytics-arbetsytan för att hämta data från tabellen.

Nästa steg

Läs mer om Azure Monitor-pipeline.

Dela via