Sdílet prostřednictvím


Export dat pracovního prostoru služby Log Analytics v Azure Monitoru

Export dat v pracovním prostoru služby Log Analytics umožňuje nepřetržitě exportovat data podle vybraných tabulek v pracovním prostoru. Při příchodu dat do kanálu služby Azure Monitor můžete exportovat do účtu služby Azure Storage nebo do služby Azure Event Hubs. Tento článek obsahuje podrobnosti o této funkci a postupu konfigurace exportu dat ve vašich pracovních prostorech.

Přehled

Data v Log Analytics jsou k dispozici pro dobu uchovávání dat definovanou ve vašem pracovním prostoru. Používá se v různých prostředích poskytovaných ve službách Azure Monitor a Azure. Existují případy, kdy potřebujete použít jiné nástroje:

  • Dodržování předpisů v úložišti chráněném manipulací: Data se po ingestování nedají změnit v Log Analytics, ale dají se vyprázdnit. Exportujte do účtu úložiště nastaveného s zásadami neměnnosti, abyste zajistili ochranu dat proti neoprávněné manipulaci.
  • Integrace se službami Azure a dalšími nástroji: Export do služby Event Hubs při doručení a zpracování dat ve službě Azure Monitor
  • Dlouhodobé uchovávání dat auditu a zabezpečení: Export do účtu úložiště v oblasti pracovního prostoru. Nebo můžete replikovat data do jiných oblastí pomocí některé z možností redundance služby Azure Storage, včetně GRS a GZRS.

Po nakonfigurování pravidel exportu dat v pracovním prostoru služby Log Analytics se nová data pro tabulky v pravidlech exportují z kanálu služby Azure Monitor do vašeho účtu úložiště nebo služby Event Hubs, jak dorazí. Provoz exportu dat je v páteřní síti Azure a neopouští síť Azure.

Diagram znázorňující tok exportu dat

Data se exportují bez filtru. Například při konfiguraci pravidla exportu dat pro tabulku SecurityEvent se všechna data odesílaná do tabulky SecurityEvent exportují od času konfigurace. Případně můžete filtrovat nebo upravovat exportovaná data tím, že ve svém pracovním prostoru nakonfigurujete transformace, které platí pro příchozí data, než budou odeslána do pracovních prostorů služby Log Analytics a exportních destinací.

Další možnosti exportu

Data pracovního prostoru služby Log Analytics jsou nepřetržitě exportována a odesílána do pracovního prostoru služby Log Analytics. Existují další možnosti exportu dat pro konkrétní scénáře:

  • Pokud prostředek Azure již odesílá protokoly do pracovního prostoru služby Log Analytics prostřednictvím svého nastavení diagnostického protokolu, zvažte aktualizaci nastavení diagnostiky přímo na tomto prostředku Azure, abyste přidali nový cíl pro protokoly, místo abyste pravidelně používali export dat. Tento přístup má nižší latenci v porovnání s exportem dat, ale neodesílá historická data.
  • Naplánujte export dat na základě dotazu protokolu, který definujete pomocí rozhraní API pro dotazy Log Analytics. Pomocí Azure Data Factory, Azure Functions nebo Azure Logic Apps můžete orchestrovat dotazy v pracovním prostoru a exportovat data do cíle. Tato metoda je podobná funkci exportu dat, ale můžete ji použít k exportu historických dat z pracovního prostoru pomocí filtrů a agregace. Tato metoda podléhá omezením dotazů protokolu a není určená pro škálování. Další informace najdete v tématu Export dat z pracovního prostoru služby Log Analytics do účtu úložiště pomocí Logic Apps.
  • Jednorázový export do místního počítače můžete použít pomocí skriptu PowerShellu. Další informace najdete v tématu Invoke-AzOperationalInsightsQueryExport.

Požadována oprávnění

Činnost Požadována oprávnění
Vytvoření nebo aktualizace pravidla exportu dat Microsoft.OperationalInsights/workspaces/dataexports/write oprávnění k pracovnímu prostoru služby Log Analytics, jak poskytuje předdefinovaná role přispěvatele Log Analytics, například
Odstranit pravidlo exportu dat Microsoft.OperationalInsights/workspaces/dataexports/delete oprávnění k pracovnímu prostoru služby Log Analytics, jak poskytuje předdefinovaná role přispěvatele Log Analytics, například
Export do účtu úložiště Microsoft.Storage/storageAccounts/blobServices/containers/write oprávnění k účtu úložiště, jak poskytuje předdefinovaná role Přispěvatel účtu úložiště, například
Export do centra událostí Microsoft.EventHub/namespaces/eventhubs/write, Microsoft.EventHub/namespaces/eventhubs/messages/write, Microsoft.EventHub/namespaces/authorizationRules/listkeys/action oprávnění k centru událostí, jak je to například poskytováno prostřednictvím předdefinovaných rolí vlastníka dat služby Azure Event Hubs
Protokoly dotazů v tabulce Microsoft.OperationalInsights/workspaces/query/<table>/read oprávnění k pracovnímu prostoru služby Log Analytics, jak poskytuje integrovaná role Čtenář Log Analytics, například
Protokoly dotazů v rámci tabulky (akce tabulky) Microsoft.OperationalInsights/workspaces/tables/query/read oprávnění k pracovnímu prostoru služby Log Analytics, jak poskytuje integrovaná role Čtenář Log Analytics, například

Omezení

  • Vlastní záznamy vytvořené pomocí rozhraní API kolektoru dat HTTP nelze exportovat, včetně textových záznamů, které jsou používány agentem Log Analytics. Vlastní protokoly vytvořené pomocí pravidel shromažďování dat, včetně textových protokolů, je možné exportovat.
  • Export dat bude postupně podporovat více tabulek. Viz oddíl Nepodporované tabulky .
  • Maximální počet aktivních pravidel pro každý pracovní prostor je 10, z nichž každý může obsahovat více tabulek.
  • Účet úložiště musí být jedinečný v rámci pravidel v pracovním prostoru.
  • Podporované plány tabulek jsou Analytics a Basic. Pomocný plán není podporován.
  • Cíle musí být ve stejné oblasti jako pracovní prostor služby Log Analytics.
  • Export do účtu služby Premium Storage se nepodporuje.

Úplnost dat

Export dat je optimalizovaný pro přesun velkých objemů dat do cílů. V případě cíle s nedostatečnou kapacitou nebo dostupností pokračuje proces opakování po dobu až 12 hodin, a může vést k tomu, že část exportovaných záznamů bude duplikována. Pokud chcete zvýšit spolehlivost, postupujte podle doporučení pro cílové destinace Storage Account a Event Hubs. Pokud jsou cíle po období opakování stále nedostupné, data se zahodí.

Další informace o cílových omezeních a doporučených upozorněních najdete v tématu Vytvoření nebo aktualizace pravidla exportu dat.

Cenový model

Poplatky za export dat vycházejí z počtu bajtů exportovaných do cílů ve formátovaných datech JSON a měří se v GB (10^9 bajtů). Výpočty velikosti exportu dat nelze provádět s dotazem pracovního prostoru, protože výpočet velikosti nezahrnuje režii formátování JSON. Pomocí metody v tomto ukázkovém skriptu PowerShellu můžete vypočítat celkovou velikost fakturace kontejneru objektů blob. Za export do suverénních cloudů se v současné době neúčtují žádné poplatky. Před povolením se odešle oznámení.

Další informace, včetně časové osy fakturace exportu dat, najdete v tématu o cenách služby Azure Monitor. Fakturace exportu dat byla povolena na začátku října 2023.

Exportní destinace

Před vytvořením pravidel exportu v pracovním prostoru musí být cíl exportu k dispozici. Cíle můžou být v různých předplatných. S Azure Lighthousem je také možné odesílat data do cílů v jiném tenantovi Microsoft Entra.

Účet úložiště

Zabránit selhání při vstupu dat do úložiště kvůli latenci nebo překročení limitů rychlosti použijte existující účet úložiště, který neobsahuje jiná než monitorovací data. To vám pomůže lépe řídit přístup k datům a zlepšit spolehlivost exportu dat.

Pokud chcete odesílat data do neměnného účtu úložiště, nastavte neměnné zásady pro účet úložiště, jak je popsáno v tématu Nastavení a správa zásad neměnnosti pro Azure Blob Storage. Musíte postupovat podle všech kroků v tomto článku, včetně povolení zápisu do chráněných doplňovacích bloků blob.

Účet úložiště nemůže být Premium, musí být StorageV1 nebo novější a umístěný ve stejné oblasti jako váš pracovní prostor. Pokud potřebujete replikovat data do jiných účtů úložiště v jiných oblastech, použijte některou z možností redundance služby Azure Storage, včetně GRS a GZRS.

Data se odesílají do účtů úložiště, protože se dostanou do služby Azure Monitor a exportují se do cílů umístěných v oblasti pracovního prostoru. Pro každou tabulku v účtu úložiště se vytvoří kontejner s názvem následovaným názvem tabulky. Například tabulka SecurityEvent odešle kontejneru s názvem am-SecurityEvent.

Objekty blob se ukládají do 5minutových složek ve struktuře cesty: WorkspaceResourceId=/subscriptions/subscription-id/resourcegroups/<resource-group>/providers/microsoft.operationalinsights/workspaces/<workspace>/y=<four-digit numeric year>/m=<two-digit numeric month>/d=<two-digit numeric day>/h=<two-digit 24-hour hour>/m=<two-digit 60-minute clock minute>/PT05M.json. Připojení k objektům blob jsou omezená na 50 K zápisů. Do složky se přidají další objekty blob jako PT05M_#.json*, kde #je počet přírůstkových objektů blob.

Poznámka:

Připojení k objektům blob se zapisují na základě pole TimeGenerated a dochází k nim při příjmu zdrojových dat. Data přicházející do služby Azure Monitor se zpožděním nebo opakovaným opakováním následujících cílů se zapisují do objektů blob v souladu s časem TimeGenerated.

Formát objektů blob v účtu úložiště je v řádcích JSON, kde každý záznam je oddělený novým řádkem, bez pole vnějších záznamů a bez čárek mezi záznamy JSON.

Snímek obrazovky znázorňující formát dat v objektu blob

Centra událostí

Nepoužívejte centrum událostí, které obsahuje existující data bez monitorování. Tento osvědčený postup pomáhá zabránit selháním příchozího přenosu dat kvůli latenci nebo překročení limitů rychlosti.

Data se odesílají do centra událostí, jakmile dorazí do služby Azure Monitor a exportují se do cílů umístěných v oblasti pracovního prostoru. Vytvořte několik pravidel exportu do stejného oboru názvů centra událostí zadáním odlišného Event Hub name v pravidle. Pokud není Event Hub name zadáno, vytvoří se výchozí Event Hub pro tabulky, které exportujete, s názvem am- následovaným názvem tabulky. Například tabulka SecurityEvent by se odeslala do centra událostí s názvem am-SecurityEvent.

Počet podporovaných služeb Event Hubs na úrovních oboru názvů Basic a Standard je 10. Při exportu více než 10 tabulek do těchto úrovní rozdělte tabulky do několika pravidel pro export do různých oborů názvů Event Hubs nebo zadejte název Event Hubs pro export všech tabulek do něj.

Poznámka:

  • Obor názvů Event Hubs ve verzi Basic je omezen. Podporuje nižší velikost událostí a žádnou možnost automatického navýšení pro automatické zvýšení počtu jednotek propustnosti. Vzhledem k tomu, že se objem dat do vašeho pracovního prostoru v průběhu času zvyšuje a v důsledku toho se vyžaduje škálování centra událostí, použijte úrovně Standard, Premium nebo Dedicated Event Hubs s povolenou funkcí automatického nafukování . Další informace najdete v tématu Automatické vertikální navýšení kapacity jednotek propustnosti služby Azure Event Hubs.
  • Export dat se nemůže spojit s prostředky služby Event Hubs, pokud jsou povolené virtuální sítě. Abyste mohli udělit přístup k vašim centrům událostí prostřednictvím Event Hub, musíte zaškrtnout políčko Povolit službám Azure v seznamu důvěryhodných služeb přístup k tomuto účtu úložiště a tímto způsobem obejít toto nastavení brány firewall.

Dotazování na exportovaná data

Export dat z pracovních prostorů do účtů úložiště pomáhá splnit různé scénáře uvedené v přehledu a mohou je využívat nástroje, které mohou číst objekty blob z účtů úložiště. Následující metody umožňují dotazovat data pomocí dotazovacího jazyka Log Analytics, který je stejný pro Azure Data Explorer.

  1. Pomocí Azure Data Exploreru můžete dotazovat data v Azure Data Lake.
  2. Pomocí Azure Data Exploreru můžete ingestovat data z účtu úložiště.
  3. K dotazování na data přijatá prostřednictvím rozhraní API pro ingestaci protokolů použijte pracovní prostor služby Log Analytics. Ingestovaná data se odesílají do vlastní tabulky protokolů, nikoli do původní tabulky.

Povolení exportu dat

K povolení exportu dat Log Analytics je potřeba provést následující kroky.

Registrace poskytovatele prostředků

Aby bylo možné povolit export dat Log Analytics, musí být ve vašem předplatném zaregistrovaný poskytovatel prostředků Azure Microsoft.Insights.

Tento poskytovatel prostředků je pravděpodobně již zaregistrovaný pro většinu uživatelů služby Azure Monitor. Pokud to chcete ověřit, přejděte na webu Azure Portal k předplatným . Vyberte své předplatné a pak v části nabídky Nastavení vyberte Poskytovatele prostředků. Vyhledejte Microsoft.Insights. Pokud je jeho stav Registrováno, je už zaregistrovaný. Pokud ne, vyberte Zaregistrovat a zaregistrujte ho.

Můžete také použít některou z dostupných metod k registraci poskytovatele prostředků, jak je popsáno v poskytovatelích a typech prostředků Azure. Následující ukázkový příkaz používá Azure CLI:

az provider register --namespace 'Microsoft.insights'

Následující ukázkový příkaz používá PowerShell:

Register-AzResourceProvider -ProviderNamespace Microsoft.insights

Povolit důvěryhodné služby Microsoft

Pokud jste nakonfigurovali účet úložiště tak, aby povoloval přístup z vybraných sítí, musíte přidat výjimku, která službě Azure Monitor umožní zápis do účtu. V bránách firewall a virtuálních sítích pro váš účet úložiště vyberte Povolit službám Azure v seznamu důvěryhodných služeb přístup k tomuto účtu úložiště.

Snímek obrazovky znázorňující možnost Povolit služby Azure v seznamu důvěryhodných služeb

Monitorování destinací

Důležité

Cíle exportu mají omezení a měly by se monitorovat, aby se minimalizovalo omezování, selhání a zpoždění. Další informace najdete v tématu Škálovatelnost účtu úložiště a kvóty oboru názvů služby Event Hubs.

Pro operaci exportu dat a upozornění jsou k dispozici následující metriky.

Název metriky Popis
Exportované bajty Celkový počet bajtů exportovaných do cíle z pracovního prostoru služby Log Analytics v rámci vybraného časového rozsahu Velikost exportovaných dat je počet bajtů v exportovaných datech ve formátu JSON. 1 GB = 10^9 bajtů
Selhání exportu Celkový počet neúspěšných žádostí o export do cíle z pracovního prostoru služby Log Analytics v rámci vybraného časového rozsahu Toto číslo zahrnuje selhání pokusů o export z důvodu omezování cílového prostředku, chyby zakázaného přístupu nebo jakékoli chyby serveru. Proces opakování zpracovává neúspěšné pokusy a číslo není indikací chybějících dat.
Exportované záznamy Celkový počet záznamů exportovaných z pracovního prostoru služby Log Analytics v rámci vybraného časového rozsahu Toto číslo spočítá záznamy pro operace, které skončily úspěšně.

Monitorování účtu úložiště

  1. Pro export použijte samostatný účet úložiště.

  2. Konfigurace upozornění na metriku:

    Obor Názvový prostor metriky Metrika Agregace Prahová hodnota
    název úložiště Účet Vstup Součet 80 % maximálního počtu příchozích dat na období vyhodnocení výstrahy. Například limit je 60 Gb/s pro obecné účely v2 v oblasti USA – západ. Prahová hodnota výstrahy je 1676 GiB za 5minutové období vyhodnocení.
  3. Akce nápravy výstrah:

    • Pro export, který se nesdílí s nemonitorovacími daty, použijte samostatný účet úložiště.
    • Účty Azure Storage úrovně Standard podporují vyšší limit příchozího přenosu dat podle požadavků. Pokud chcete požádat o navýšení, obraťte se na podporu Azure.
    • Rozdělte tabulky mezi více účtů úložiště.

Monitorování služby Event Hubs

  1. Konfigurujte upozornění na metriky:

    Obor Názvový prostor metriky Metrika Agregace Prahová hodnota
    název jmenného prostoru Standardní metriky služby Event Hubs Příchozí bajty Součet 80 % maximálního počtu příchozích dat na období vyhodnocení výstrahy. Například limit je 1 MB/s na jednotku (TU nebo PU) a pět využitých jednotek. Prahová hodnota je 228 MiB za 5minutové období vyhodnocení.
    název jmenného prostoru Standardní metriky služby Event Hubs Příchozí požadavky Počet 80 % maximálních událostí na období vyhodnocení výstrahy. Například limit je 1 000/s na jednotku (TU nebo PU) a pět použitých jednotek. Prahová hodnota je 1 200 000 za 5minutové období vyhodnocení.
    název jmenného prostoru Standardní metriky služby Event Hubs Chyby překročení kvóty Počet Přibližně 1 % žádostí. Například žádosti za 5 minut jsou 600 000. Prahová hodnota je 6 000 za 5minutové období vyhodnocení.
  2. Akce nápravy výstrah:

    • Použijte pro export samostatný obor názvů služby Event Hubs, který není sdílený s jinými než monitorovacími daty.
    • Nakonfigurujte funkci automatického rozšíření tak, aby automaticky zvýšila kapacitu a zvýšila počet jednotek propustnosti, aby vyhovovaly potřebám využití.
    • Ověřte zvýšení počtu jednotek propustnosti, aby vyhovovaly objemu dat.
    • Rozdělte tabulky mezi více jmenných prostorů.
    • Pro vyšší propustnost používejte úrovně Premium nebo Dedicated.

Vytvoření nebo aktualizace pravidla exportu dat

Pravidlo exportu dat definuje cíl a tabulky, pro která se data exportují. Zřízení pravidla trvá přibližně 30 minut před zahájením operace exportu. Důležité informace o pravidlech exportu dat:

  • Účet úložiště musí být jedinečný v rámci pravidel v pracovním prostoru.
  • Více pravidel může použít stejný obor názvů Event Hubs při odesílání do samostatných Event Hubs.
  • Export do účtu úložiště: Pro každou tabulku se vytvoří samostatný kontejner.
  • Export do služby Event Hubs: Pokud není zadaný název centra událostí, vytvoří se pro každou tabulku samostatné centrum událostí. Počet podporovaných služeb Event Hubs na úrovních oboru názvů Basic a Standard je 10. Při exportu více než 10 tabulek do těchto úrovní rozdělte tabulky mezi několik pravidel exportu do různých oborů názvů služby Event Hubs nebo do pravidla zadejte název centra událostí, abyste do nich mohli exportovat všechny tabulky.
  1. V nabídce pracovního prostoru Log Analytics na portálu Azure vyberte Export dat v části Nastavení. V horní části podokna vyberte Nové pravidlo exportu.

    Snímek obrazovky znázorňující vstupní bod exportu dat

  2. Postupujte podle kroků a pak vyberte Vytvořit. Na kartě Zdroj se zobrazí jenom tabulky s daty.

    Snímek obrazovky s konfigurací pravidla exportu

Zobrazení konfigurace pravidla exportu dat

  1. V nabídce pracovního prostoru Log Analytics na portálu Azure vyberte Export dat v části Nastavení.

    Snímek obrazovky znázorňující obrazovku Export dat

  2. Vyberte pravidlo pro zobrazení konfigurace.

    Snímek obrazovky se zobrazením pravidla exportu dat

Zakázání nebo aktualizace pravidla exportu

Pravidla exportu můžete deaktivovat, aby se export zastavil na určitou dobu, například v době testování. V nabídce pracovního prostoru Log Analytics na portálu Azure vyberte Export dat v části Nastavení. Vyberte přepínač Stav a zakažte nebo povolte pravidlo exportu.

Snímek obrazovky znázorňující zakázání pravidla exportu dat

Odstranění pravidla exportu

V nabídce pracovního prostoru Log Analytics na portálu Azure vyberte Export dat v části Nastavení. Vyberte ikonu tří teček napravo od pravidla a vyberte Odstranit.

Snímek obrazovky znázorňující odstranění pravidla exportu dat

Zobrazení všech pravidel exportu dat v pracovním prostoru

V nabídce pracovního prostoru služby Log Analytics na webu Azure Portal vyberte v části Nastavení export dat a zobrazte všechna pravidla exportu v pracovním prostoru.

Snímek obrazovky znázorňující zobrazení pravidel exportu dat

Nepodporované tabulky

Poznámka:

Pokud pravidlo exportu dat obsahuje nepodporovanou tabulku, konfigurace bude úspěšná, ale pro danou tabulku nebudou exportována žádná data. Když je tabulka podporovaná, export dat se spustí. Přidáváme podporu pro další tabulky. Pravidelně si projděte tento článek.

 Stůl  Omezení
ADXDataOperation
Výstrahy Částečná podpora. Příjem dat pro upozornění Zabbix se nepodporuje.
Historie Upozornění
AzureActivity Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná.
AzureDiagnostics
Metriky Azure
Změna konfigurace
Konfigurační data Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí.
Databricks Databricks SQL
DatabricksSQL
SpuštěníAplikaceZařízení
ZařízeníKalendář
DeviceConnectSession
DeviceEtw
Zdraví zařízení
DeviceHeartbeat
Událost ETW Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná.
Událost Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná.
InsightsMetrics Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí.
Síťová sezení
Operace Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí.
Stav ochrany
Událost operační služby Service Fabric Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná.
ServiceFabricReliableActorEvent Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná.
Událost spolehlivé služby ServiceFabric Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná.
Aktualizovat Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí.
VMBoundPort
VMComputer
VMConnection
VMProcess
W3CIISLog Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná.
WireData Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí.

Další kroky

Dotazování exportovaných dat z Azure Data Exploreru