Log Analytics regler för dataexport i Azure Monitor

Med dataexportregler i en Log Analytics arbetsyta kan du kontinuerligt exportera data per valda tabeller. Exportera till ett Azure Blob Storage konto eller Azure Event Hubs när data skickas till Azure Monitor. Den här artikeln innehåller information om den här funktionen och steg för att konfigurera regler för dataexport på dina arbetsytor.

Översikt

Data i Log Analytics är tillgängliga för den kvarhållningsperiod som definierats på din arbetsyta. Det används i olika upplevelser som tillhandahålls i Azure Monitor- och Azure-tjänster. Det finns fall där du behöver använda andra verktyg:

  • Efterlevnad för manipulationsskyddad lagring: Data kan inte ändras i Log Analytics efter datainmatning, men det kan rensas. Exportera till en lagringskontouppsättning med oföränderliga principer för att skydda datamanipulering.
  • Integrering med Azure-tjänster och andra verktyg: Exportera till Event Hubs när data tas emot och bearbetas i Azure Monitor.
  • Långsiktig kvarhållning av gransknings- och säkerhetsdata: Exportera till ett lagringskonto i arbetsytans region. Replikera data till andra regioner med hjälp av något av de Azure Storage redundansalternativen, inklusive GRS och GZRS.

När du har konfigurerat regler för dataexport på en Log Analytics arbetsyta exporteras nya data för tabeller i regler från Azure Monitor-pipelinen till ditt lagringskonto eller händelsehubbar när de tas emot. Dataexporttrafiken finns i Azure stamnätverk och lämnar inte Azure nätverket.

Diagram som visar ett dataexportflöde.

Data exporteras utan filter. När du till exempel konfigurerar en dataexportregel för en SecurityEvent-tabell exporteras alla data som skickas till tabellen SecurityEvent från och med konfigurationstiden. Du kan också filtrera eller ändra exporterade data genom att konfigurera transformeringar på din arbetsyta. Omvandlingar tillämpas på inkommande data innan den skickas till din Log Analytics-arbetsyta och till exportmål.

Andra exportalternativ

Log Analytics dataexportregler exporterar kontinuerligt data som skickas till din Log Analytics arbetsyta. Andra alternativ exporterar data för dessa specifika scenarier:

  • Om du vill exportera historiska poster från en enskild tabell efter fråga och tidsintervall till Azure Blob Storage kör du ett exportjobb (förhandsversion). Ett exportjobb är särskilt utformat för export av historiska data på begäran i stor skala och skriver resultaten i Parquet-format.
  • Om en Azure-resurs redan skickar loggar till Log Analytics-arbetsytan via inställningarna för diagnostikloggen bör du överväga att uppdatera diagnostikinställningarna på Azure-resursen direkt för att lägga till det nya målet i stället för att regelbundet använda en dataexport. Den här metoden har lägre svarstid jämfört med en dataexport men skickar inte historiska data.
  • Schemalägg en export av data baserat på en loggfråga som du definierar med Log Analytics-fråge-API:et. Använd Azure Data Factory, Azure Functions eller Azure Logic Apps för att samordna frågor på din arbetsyta och exportera data till ett mål. Den här metoden liknar funktionen för dataexport, men du kan använda den för att exportera historiska data från din arbetsyta med hjälp av filter och aggregering. Den här metoden omfattas av loggfrågegränser och är inte avsedd för skalning. Mer information finns i Exportera data från en Log Analytics arbetsyta till ett lagringskonto med hjälp av Logic Apps.
  • Använd en engångsexport till en lokal dator med hjälp av ett PowerShell-skript. Mer information finns i Invoke-AzOperationalInsightsQueryExport.

Behörigheter som krävs

Åtgärd Behörigheter som krävs
Skapa eller uppdatera dataexportregel Microsoft.OperationalInsights/workspaces/dataexports/write behörigheter till arbetsytan för Log Analytics enligt den inbyggda rollen Log Analytics Contributor, till exempel
Ta bort dataexportregel Microsoft.OperationalInsights/workspaces/dataexports/delete behörigheter till arbetsytan för Log Analytics enligt den inbyggda rollen Log Analytics Contributor, till exempel
Exportera till lagringskonto Microsoft.Storage/storageAccounts/blobServices/containers/write behörigheter till lagringskontot, som tillhandahålls av den inbyggda rollen Storage Account Contributor, till exempel
Exportera till Event Hub Microsoft.EventHub/namespaces/eventhubs/write, Microsoft.EventHub/namespaces/eventhubs/messages/write, Microsoft.EventHub/namespaces/authorizationRules/listkeys/action behörigheter till händelsehubben enligt de inbyggda rollerna för Azure Event Hubs-dataägare, till exempel
Frågeloggar i en tabell Microsoft.OperationalInsights/workspaces/query/<table>/read behörigheter till Log Analytics-arbetsytan, så som tillhandahålls av rollen Log Analytics Reader, till exempel
Frågeloggar i en tabell (tabellåtgärd) Microsoft.OperationalInsights/workspaces/tables/query/read behörigheter till Log Analytics-arbetsytan, så som tillhandahålls av rollen Log Analytics Reader, till exempel

Considerations

  • Du kan inte exportera anpassade loggar som skapats med hjälp av HTTP Data Collector API, inklusive textbaserade loggar som Log Analytics agenten använder. Du kan exportera anpassade loggar som skapats med hjälp av datainsamlingsregler, inklusive textbaserade loggar.
  • Dataexport stöder gradvis fler tabeller. Se avsnittet Tabeller som inte stöds .
  • Det maximala antalet aktiva regler per arbetsyta är 10 och varje regel kan innehålla flera tabeller.
  • Lagringskontot måste vara unikt mellan regler på arbetsytan.
  • Tabellplaner som stöds är Analytics och Basic. Hjälpplan stöds inte.
  • Mål måste ligga i samma region som Log Analytics-arbetsytan.
  • Export till ett Premium-lagringskonto stöds inte.

Data fullständighet

Dataexport är optimerad för att flytta stora datavolymer till dina mål. I händelse av ett mål med otillräcklig skalning eller tillgänglighet fortsätter en återförsöksprocess i upp till 12 timmar och kan resultera i att en bråkdel av de exporterade posterna dupliceras. Följ rekommendationerna för lagringskonto och Event Hubs-mål för att förbättra tillförlitligheten. Om målen fortfarande inte är tillgängliga efter återförsöksperioden ignoreras data.

Mer information om målgränser och rekommenderade aviseringar finns i Skapa eller uppdatera en regel för dataexport.

Prismodell

Dataexportavgifter baseras på antalet byte som exporteras till mål i JSON-formaterade data och mäts i GB (10^9 byte). Tabellstorleken som rapporteras i Azure Monitor Loggar är mindre än den datastorlek som hamnar i exportmålet. Den här avvikelsen beror på följande faktorer:

  • Azure Monitor Logs exkluderar vissa fält från beräkningen av den fakturerbara storleken.
  • Data som exporteras till lagring är inte komprimerade.
  • Exporterade data innehåller egenskapsnamn med varje post för att säkerställa att varje post är giltig JSON.
  • När de faktiska loggposterna är små utgör metadata en betydande omkostnad, vilket gör den relativa storleksökningen mer uttalad.

Dataexportens storleksberäkningar kan inte utföras med en arbetsytefråga eftersom storleksberäkningen inte innehåller JSON-formateringskostnaderna. När du jämför storleken som rapporteras i Azure Monitor Loggar med vad som visas i lagringskontot kan du förvänta dig betydande skillnader. I Azure Monitor loggar utelämnar små händelser metadata som egenskapsnamn, medan lagringsbloben innehåller både metadata och okomprimerad JSON, vilket gör posterna betydligt större.

För en korrekt uppskattning kör du en representativ export till en testblobcontainer och mäter resultatet med det här PowerShell-exempelskriptet som beräknar den totala faktureringsstorleken för en blobcontainer. Det är för närvarande inga avgifter för export till suveräna moln. Ett meddelande skickas före aktiveringen.

Dataexportregler faktureras under mätaren för Log Analytics Data Export. Samma mätare används för exportjobb (förhandsversion). Om du vill särskilja de två på din faktura eller i Kostnadsanalys kontrollerar du fältet Ytterligare information , där reglerna för dataexport taggas med ExportType:Data export rule.

Mer information, inklusive faktureringstidslinjen för dataexport, finns i Prissättning för Azure Monitor. Fakturering för dataexport aktiverades i början av oktober 2023.

Exportmål

Dataexportmålet måste vara tillgängligt innan du skapar exportregler på din arbetsyta. Destinationer kan finnas i olika prenumerationer. Med Azure Lighthouse är det också möjligt att skicka data till mål i en annan Microsoft Entra-klientorganisation.

Lagringskonto

Förhindra fel vid lagringsinmatning på grund av latens eller överskridna frekvensgränser genom att använda ett befintligt lagringskonto som inte innehåller andra data än övervakningsdata. Den här metoden hjälper dig att bättre kontrollera åtkomsten till data och förbättra dataexportens tillförlitlighet.

Om du vill skicka data till ett oföränderligt lagringskonto anger du den oföränderliga principen för lagringskontot enligt beskrivningen i Ange och hantera oföränderliga principer för Azure Blob Storage. Du måste följa alla steg i den här artikeln, inklusive aktivering av skyddade tilläggsblobar för skrivning.

Lagringskrav Detail
Kontonivå StorageV1 eller senare. Premium stöds inte.
Regionen Samma region som Log Analytics-arbetsytan. Använd Azure Storage redundansalternativ (GRS, GZRS) för replikering mellan regioner.
Namngivning av containrar En container per tabell med namnet am– följt av tabellnamnet (till exempel am-SecurityEvent).
Mappstrukturen Mappar på 5 minuter: WorkspaceResourceId=/subscriptions/.../y=<year>/m=<month>/d=<day>/h=<hour>/m=<minute>/PT05M.json
blobformat JSON-linjer, newline-avgränsade, inga yttre matriser.
Tilläggsgräns 50 000 skrivningar per blob. Ytterligare blobar har lagts till som PT05M_#.json.

Kommentar

Tillägg till blobar skrivs baserat på fältet "TimeGenerated" och inträffar när källdata tas emot. Data som anländer till Azure Monitor med fördröjning, eller som försöks på nytt på grund av begränsning av destinationskapacitet, skrivs till blobar baserat på dess TimeGenerated-tidstämpel.

Formatet för blobar i ett lagringskonto finns i JSON-rader, där varje post avgränsas av en ny rad, utan någon matris med yttre poster och inga kommatecken mellan JSON-poster.

Skärmbild som visar dataformat i en blob.

Event Hubs

Undvik att använda en händelsehubb som har befintliga, icke-övervakningsdata. Den här bästa metoden hjälper till att förhindra ingressfel på grund av svarstid eller överskridna hastighetsgränser.

Data skickas till din Event Hub när den når Azure Monitor och exporteras till destinationer som ligger i en arbetsyteregion. Skapa flera exportregler till samma Event Hub-namnområde genom att ange en annan Event Hub name i regeln. När en Event Hub name inte anges skapas en standardhändelsehubb för tabeller som du exporterar med namnet am följt av tabellens namn. Tabellen SecurityEvent skickas till exempel till en händelsehubb med namnet am-SecurityEvent.

Antalet eventhubbar som stöds på basic- och standardnivå är 10. När du exporterar fler än 10 tabeller till dessa nivåer delar du antingen upp tabellerna mellan flera exportregler till olika Event Hubs-namnområden eller anger ett Event Hub-namn för att exportera alla tabeller till den.

Kommentar

  • Basic Event Hubs-namnområdesnivån är begränsad. Den har stöd för lägre händelsestorlek och inget alternativ för automatisk uppskalning för att automatiskt skala upp och öka antalet dataflödesenheter. Eftersom datavolymen till din arbetsyta ökar med tiden, vilket innebär att event hub-skalning krävs, bör du använda nivåerna Standard, Premium eller Dedicated Event Hubs med Auto-inflate-funktionen aktiverad. Mer information finns i Skala upp dataflödesenheter för Azure Event Hubs automatiskt.
  • Du kan inte använda en komprimerad händelsehubb eftersom det kräver att meddelandet har en partitionsnyckel som Azure Monitor inte innehåller.
  • Dataexport kan inte nå Event Hubs-resurser när virtuella nätverk är aktiverade. Du måste markera kryssrutan Tillåt Azure-tjänster i listan över betrodda tjänster att komma åt det här lagringskontot för att kringgå den här brandväggsinställningen i en händelsehubb för att bevilja åtkomst till dina händelsehubbar.

Fråga exporterade data

Att exportera data från arbetsytor till lagringskonton hjälper till att uppfylla de olika scenarier som beskrivs i översikten, och data kan användas av verktyg som kan läsa blobar från lagringskonton. Med följande metoder kan du fråga efter data med hjälp av Log Analytics-frågespråket, vilket är detsamma för Azure Data Explorer.

Aktivera dataexporten

Följande steg måste utföras för att aktivera Log Analytics-dataexport.

När du har skapat en dataexportregel övervakar du dina mål för att säkerställa tillförlitliga exportåtgärder.

Registrera resursprovidern

Azure-resursprovidern Microsoft.Insights måste registreras i din prenumeration för att aktivera Log Analytics-dataexport.

Den här resursprovidern är förmodligen redan registrerad för de flesta Azure Monitor-användare. Kontrollera genom att gå till Prenumerationer i Azure-portalen. Välj din prenumeration och välj sedan Resursprovidrar under avsnittet Inställningar på menyn. Leta upp Microsoft.Insights. Om dess status är Registrerad är den redan registrerad. Om inte väljer du Registrera för att registrera det.

Du kan också använda någon av de tillgängliga metoderna för att registrera en resursprovider enligt beskrivningen i Azure-resursprovidrar och -typer. I följande Azure CLI exempel används az provider register kommandot .

az provider register --namespace Microsoft.Insights

Följande Azure PowerShell exempel använder cmdletenRegister-AzResourceProvider.

Register-AzResourceProvider -ProviderNamespace Microsoft.Insights

Tillåt betrodda Microsoft-tjänster

Om du konfigurerar ditt lagringskonto för att tillåta åtkomst från valda nätverk måste du lägga till ett undantag så att Azure Monitor kan skriva till kontot. Från Brandväggar och virtuella nätverk för ditt lagringskonto väljer du Tillåt Azure tjänster i listan över betrodda tjänster för åtkomst till det här lagringskontot.

Skärmbild som visar alternativet Tillåt Azure-tjänster i listan över betrodda tjänster.

Övervaka destinationer

Viktigt!

Exportdestinationer har gränser. Övervaka dem för att minimera strypning, fel och latens. Mer information finns i lagringskontots skalbarhet och Event Hubs-namnområdeskvoter.

Följande mått är tillgängliga för dataexportåtgärder och aviseringar

Måttnamn beskrivning
Exporterade byte Totalt antal byte som exporterats till målet från Log Analytics-arbetsytan inom det valda tidsintervallet. Storleken på data som exporteras är antalet byte i de exporterade JSON-formaterade data. 1 GB = 10^9 byte.
Exportfel Totalt antal misslyckade exportbegäranden till målet från Log Analytics-arbetsytan inom det valda tidsintervallet. Det här numret omfattar exportförsöksfel på grund av begränsning av målresurser, förbjudet åtkomstfel eller serverfel. En återförsöksprocess hanterar misslyckade försök och talet är inte en indikation för saknade data.
Exporterade poster Totalt antal poster som exporterats från Log Analytics-arbetsytan inom det valda tidsintervallet. Det här antalet räknar poster för åtgärder som avslutades med framgång.

Övervaka ett lagringskonto

  1. Använd ett separat lagringskonto för export.

  2. Konfigurera en avisering för måttet:

    Omfattning Namnområde för mått Mått Aggregering Tröskel
    lagringsnamn Konto Inledning Summa 80 % av den maximala ingressen per varningsutvärderingsperiod. Till exempel är gränsen 60 Gbps för allmän användning v2 i västra USA. Aviseringströskelvärdet är 1676 GiB per utvärderingsperiod på 5 minuter.
  3. Åtgärder för aviseringsreparation:

    • Använd ett separat lagringskonto för export som du inte delar med data som inte övervakas.
    • Azure Storage Standard-konton har stöd för en högre ingressgräns per begäran. Kontakta Azure Support om du vill begära en ökning.
    • Dela upp tabeller mellan fler lagringskonton.

Övervaka Event Hubs

  1. Konfigurera aviseringar på metriken:

    Omfattning Namnområde för mått Mått Aggregering Tröskel
    namnområde-namn Standardmått för Event Hubs Inkommande byte Summa 80 % av den maximala ingressen per varningsutvärderingsperiod. Gränsen är till exempel 1 MB/s per enhet (TU eller PU) och fem enheter används. Tröskelvärdet är 228 MiB per utvärderingsperiod på 5 minuter.
    namnområde-namn Standardmått för Event Hubs Inkommande begäranden Antal 80 % av maximala händelser per utvärderingsperiod för aviseringar. Till exempel är gränsen 1 000/s per enhet (TU eller PU) och fem enheter används. Tröskelvärdet är 1 200 000 per utvärderingsperiod på 5 minuter.
    namnområde-namn Standardmått för Event Hubs Felmeddelande: överskriden kvot Antal Mellan 1 % av begäran. Till exempel är begäranden per 5 minuter 600 000. Tröskelvärdet är 6 000 per utvärderingsperiod på 5 minuter.
  2. Åtgärder för aviseringsreparation:

    • Använd ett separat Event Hubs-namnområde för export som inte delas med data som inte övervakas.
    • Konfigurera funktionen Auto-inflate för att automatiskt skala upp och öka antalet dataflödesenheter för att uppfylla användningsbehoven.
    • Kontrollera ökningen av dataflödesenheter för att hantera datavolym.
    • Dela upp tabeller mellan fler namnområden.
    • Använd Premium- eller Dedikerade nivåer för högre dataflöde.

Skapa eller uppdatera en dataexportregel

En dataexportregel definierar målet och tabellerna för vilka data exporteras. Regeletablering tar cirka 30 minuter innan exportåtgärden initierades. Överväganden för dataexportregler:

  • Lagringskontot måste vara unikt mellan regler på arbetsytan.
  • Flera regler kan använda samma Event Hubs-namnområde när du skickar till separata Event Hubs.
  • Exportera till ett lagringskonto: En separat container skapas i lagringskontot för varje tabell.
  • Exportera till Event Hubs: Om ett händelsehubbnamn inte anges skapas en separat händelsehubb för varje tabell. Antalet eventhubbar som stöds på basic- och standardnivå är 10. När du exporterar fler än 10 tabeller till dessa nivåer delar du antingen upp tabellerna mellan flera exportregler till olika Event Hubs-namnområden eller anger ett Event Hub-namn i regeln för att exportera alla tabeller till den.
  1. Från Azure-portalen går du till din Log Analytics arbetsyta.

  2. I den vänstra menyn går du till Inställningar och väljer Regler.

  3. Välj fliken Dataexportregler .

  4. Välj Ny exportregel överst i fönstret.

    Skärmbild som visar startpunkten för dataexport.

  5. Följ stegen och välj sedan Skapa. Endast tabellerna med data i dem visas under fliken "Källa".

    Skärmbild av konfiguration av exportregler.

Visa konfiguration av dataexportregel

  1. Från Azure-portalen går du till din Log Analytics arbetsyta.

  2. I den vänstra menyn går du till Inställningar och väljer Regler.

  3. Välj fliken Dataexportregler för att visa alla exportregler på arbetsytan.

    Skärmbild som visar skärmen Dataexport.

  4. Välj en regel för en konfigurationsvy.

    Skärmbild av dataexportregelvyn.

Inaktivera eller uppdatera en exportregel

Inaktivera exportregler för att stoppa exporten under en viss period, till exempel när testningen hålls.

  1. Från Azure-portalen går du till din Log Analytics arbetsyta.
  2. I den vänstra menyn går du till Inställningar och väljer Regler.
  3. Välj fliken Dataexportregler .
  4. Välj växlingsknappen Status för att inaktivera eller aktivera exportregeln.

Skärmbild som visar inaktivering av dataexportregeln.

Ta bort en exportregel

  1. Från Azure-portalen går du till din Log Analytics arbetsyta.
  2. I den vänstra menyn går du till Inställningar och väljer Regler.
  3. Välj fliken Dataexportregler .
  4. Välj ellipsen till höger om regeln och välj Ta bort.

Skärmbild som visar hur du tar bort dataexportregeln.

Visa alla dataexportregler på en arbetsyta

  1. Från Azure-portalen går du till din Log Analytics arbetsyta.
  2. I den vänstra menyn går du till Inställningar och väljer Regler.
  3. Välj fliken Dataexportregler för att visa alla exportregler på arbetsytan.

Skärmbild som visar vyn för regler för dataexport.

Tabeller stöds inte

Kommentar

Om dataexportregeln innehåller en tabell som inte stöds kommer konfigurationen att lyckas, men inga data exporteras för den tabellen. När tabellen stöds startar dataexporten då. Vi håller på att lägga till stöd för fler tabeller. Läs den här artikeln regelbundet.

 Bord  Begränsningar
Varning Partiellt stöd. Datainmatning för Zabbix-aviseringar stöds inte.
Larmhistorik
AzureActivity Partiellt stöd. Data som anländer från Log Analytics-agenten eller Azure Monitor-agenten stöds fullt ut vid export. Data som anländer via agenten för diagnostiktillägget samlas in via lagring. Den här sökvägen stöds inte vid export.
AzureDiagnostics
Konfigurationsändring Partiellt stöd. En del av data matas in via interna tjänster som inte stöds vid export. För närvarande saknas den här delen i exporten.
Konfigurationsdata Partiellt stöd. En del av data matas in via interna tjänster som inte stöds vid export. För närvarande saknas den här delen i exporten.
Databricks Databricks SQL
DatabricksSQL
AppStartsida
Device-kalender
DeviceConnectSession
DeviceEtw Partiellt stöd. En del av data matas in via interna tjänster som inte stöds vid export. För närvarande saknas den här delen i exporten.
Enhetens Hjärtslag
ETWEvent Partiellt stöd. Data som anländer från Log Analytics-agenten eller Azure Monitor-agenten stöds fullt ut vid export. Data som anländer via agenten för diagnostiktillägget samlas in via lagring. Den här sökvägen stöds inte vid export.
Händelse Partiellt stöd. Data som anländer från Log Analytics-agenten eller Azure Monitor-agenten stöds fullt ut vid export. Data som anländer via agenten för diagnostiktillägget samlas in via lagring. Den här sökvägen stöds inte vid export.
Nätverkssessioner
Åtgärd Partiellt stöd. En del av data matas in via interna tjänster som inte stöds vid export. För närvarande saknas den här delen i exporten.
Skyddsstatus
SecurityEvent Partiellt stöd. En del av data matas in via interna tjänster som inte stöds vid export. För närvarande saknas den här delen i exporten.
Service Fabric Operationellt Event Partiellt stöd. Data som anländer från Log Analytics-agenten eller Azure Monitor-agenten stöds fullt ut vid export. Data som anländer via agenten för diagnostiktillägget samlas in via lagring. Den här sökvägen stöds inte vid export.
ServiceFabricPålitligAktörHändelse Partiellt stöd. Data som anländer från Log Analytics-agenten eller Azure Monitor-agenten stöds fullt ut vid export. Data som anländer via agenten för diagnostiktillägget samlas in via lagring. Den här sökvägen stöds inte vid export.
Service Fabric Pålitlig Tjänstehändelse Partiellt stöd. Data som anländer från Log Analytics-agenten eller Azure Monitor-agenten stöds fullt ut vid export. Data som anländer via agenten för diagnostiktillägget samlas in via lagring. Den här sökvägen stöds inte vid export.
Syslog Partiellt stöd. En del av data matas in via interna tjänster som inte stöds vid export. För närvarande saknas den här delen i exporten.
W3CIISLog Partiellt stöd. Data som anländer från Log Analytics-agenten eller Azure Monitor-agenten stöds fullt ut vid export. Data som anländer via agenten för diagnostiktillägget samlas in via lagring. Den här sökvägen stöds inte vid export.

Fråga efter exporterade data från Azure Data Explorer