Poznámka
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Export dat v pracovním prostoru služby Log Analytics umožňuje nepřetržitě exportovat data podle vybraných tabulek v pracovním prostoru. Při příchodu dat do kanálu služby Azure Monitor můžete exportovat do účtu služby Azure Storage nebo do služby Azure Event Hubs. Tento článek obsahuje podrobnosti o této funkci a postupu konfigurace exportu dat ve vašich pracovních prostorech.
Přehled
Data v Log Analytics jsou k dispozici pro dobu uchovávání dat definovanou ve vašem pracovním prostoru. Používá se v různých prostředích poskytovaných ve službách Azure Monitor a Azure. Existují případy, kdy potřebujete použít jiné nástroje:
- Dodržování předpisů v úložišti chráněném manipulací: Data se po ingestování nedají změnit v Log Analytics, ale dají se vyprázdnit. Exportujte do účtu úložiště nastaveného s zásadami neměnnosti, abyste zajistili ochranu dat proti neoprávněné manipulaci.
- Integrace se službami Azure a dalšími nástroji: Export do služby Event Hubs při doručení a zpracování dat ve službě Azure Monitor
- Dlouhodobé uchovávání dat auditu a zabezpečení: Export do účtu úložiště v oblasti pracovního prostoru. Nebo můžete replikovat data do jiných oblastí pomocí některé z možností redundance služby Azure Storage, včetně GRS a GZRS.
Po nakonfigurování pravidel exportu dat v pracovním prostoru služby Log Analytics se nová data pro tabulky v pravidlech exportují z kanálu služby Azure Monitor do vašeho účtu úložiště nebo služby Event Hubs, jak dorazí. Provoz exportu dat je v páteřní síti Azure a neopouští síť Azure.
Data se exportují bez filtru. Například při konfiguraci pravidla exportu dat pro tabulku SecurityEvent se všechna data odesílaná do tabulky SecurityEvent exportují od času konfigurace. Případně můžete filtrovat nebo upravovat exportovaná data tím, že ve svém pracovním prostoru nakonfigurujete transformace, které platí pro příchozí data, než budou odeslána do pracovních prostorů služby Log Analytics a exportních destinací.
Další možnosti exportu
Data pracovního prostoru služby Log Analytics jsou nepřetržitě exportována a odesílána do pracovního prostoru služby Log Analytics. Existují další možnosti exportu dat pro konkrétní scénáře:
- Pokud prostředek Azure již odesílá protokoly do pracovního prostoru služby Log Analytics prostřednictvím svého nastavení diagnostického protokolu, zvažte aktualizaci nastavení diagnostiky přímo na tomto prostředku Azure, abyste přidali nový cíl pro protokoly, místo abyste pravidelně používali export dat. Tento přístup má nižší latenci v porovnání s exportem dat, ale neodesílá historická data.
- Naplánujte export dat na základě dotazu protokolu, který definujete pomocí rozhraní API pro dotazy Log Analytics. Pomocí Azure Data Factory, Azure Functions nebo Azure Logic Apps můžete orchestrovat dotazy v pracovním prostoru a exportovat data do cíle. Tato metoda je podobná funkci exportu dat, ale můžete ji použít k exportu historických dat z pracovního prostoru pomocí filtrů a agregace. Tato metoda podléhá omezením dotazů protokolu a není určená pro škálování. Další informace najdete v tématu Export dat z pracovního prostoru služby Log Analytics do účtu úložiště pomocí Logic Apps.
- Jednorázový export do místního počítače můžete použít pomocí skriptu PowerShellu. Další informace najdete v tématu Invoke-AzOperationalInsightsQueryExport.
Požadována oprávnění
Činnost | Požadována oprávnění |
---|---|
Vytvoření nebo aktualizace pravidla exportu dat |
Microsoft.OperationalInsights/workspaces/dataexports/write oprávnění k pracovnímu prostoru služby Log Analytics, jak poskytuje předdefinovaná role přispěvatele Log Analytics, například |
Odstranit pravidlo exportu dat |
Microsoft.OperationalInsights/workspaces/dataexports/delete oprávnění k pracovnímu prostoru služby Log Analytics, jak poskytuje předdefinovaná role přispěvatele Log Analytics, například |
Export do účtu úložiště |
Microsoft.Storage/storageAccounts/blobServices/containers/write oprávnění k účtu úložiště, jak poskytuje předdefinovaná role Přispěvatel účtu úložiště, například |
Export do centra událostí |
Microsoft.EventHub/namespaces/eventhubs/write , Microsoft.EventHub/namespaces/eventhubs/messages/write , Microsoft.EventHub/namespaces/authorizationRules/listkeys/action oprávnění k centru událostí, jak je to například poskytováno prostřednictvím předdefinovaných rolí vlastníka dat služby Azure Event Hubs |
Protokoly dotazů v tabulce |
Microsoft.OperationalInsights/workspaces/query/<table>/read oprávnění k pracovnímu prostoru služby Log Analytics, jak poskytuje integrovaná role Čtenář Log Analytics, například |
Protokoly dotazů v rámci tabulky (akce tabulky) |
Microsoft.OperationalInsights/workspaces/tables/query/read oprávnění k pracovnímu prostoru služby Log Analytics, jak poskytuje integrovaná role Čtenář Log Analytics, například |
Omezení
- Vlastní záznamy vytvořené pomocí rozhraní API kolektoru dat HTTP nelze exportovat, včetně textových záznamů, které jsou používány agentem Log Analytics. Vlastní protokoly vytvořené pomocí pravidel shromažďování dat, včetně textových protokolů, je možné exportovat.
- Export dat bude postupně podporovat více tabulek. Viz oddíl Nepodporované tabulky .
- Maximální počet aktivních pravidel pro každý pracovní prostor je 10, z nichž každý může obsahovat více tabulek.
- Účet úložiště musí být jedinečný v rámci pravidel v pracovním prostoru.
- Podporované plány tabulek jsou Analytics a Basic. Pomocný plán není podporován.
- Cíle musí být ve stejné oblasti jako pracovní prostor služby Log Analytics.
- Export do účtu služby Premium Storage se nepodporuje.
Úplnost dat
Export dat je optimalizovaný pro přesun velkých objemů dat do cílů. V případě cíle s nedostatečnou kapacitou nebo dostupností pokračuje proces opakování po dobu až 12 hodin, a může vést k tomu, že část exportovaných záznamů bude duplikována. Pokud chcete zvýšit spolehlivost, postupujte podle doporučení pro cílové destinace Storage Account a Event Hubs. Pokud jsou cíle po období opakování stále nedostupné, data se zahodí.
Další informace o cílových omezeních a doporučených upozorněních najdete v tématu Vytvoření nebo aktualizace pravidla exportu dat.
Cenový model
Poplatky za export dat vycházejí z počtu bajtů exportovaných do cílů ve formátovaných datech JSON a měří se v GB (10^9 bajtů). Výpočty velikosti exportu dat nelze provádět s dotazem pracovního prostoru, protože výpočet velikosti nezahrnuje režii formátování JSON. Pomocí metody v tomto ukázkovém skriptu PowerShellu můžete vypočítat celkovou velikost fakturace kontejneru objektů blob. Za export do suverénních cloudů se v současné době neúčtují žádné poplatky. Před povolením se odešle oznámení.
Další informace, včetně časové osy fakturace exportu dat, najdete v tématu o cenách služby Azure Monitor. Fakturace exportu dat byla povolena na začátku října 2023.
Exportní destinace
Před vytvořením pravidel exportu v pracovním prostoru musí být cíl exportu k dispozici. Cíle můžou být v různých předplatných. S Azure Lighthousem je také možné odesílat data do cílů v jiném tenantovi Microsoft Entra.
Účet úložiště
Zabránit selhání při vstupu dat do úložiště kvůli latenci nebo překročení limitů rychlosti použijte existující účet úložiště, který neobsahuje jiná než monitorovací data. To vám pomůže lépe řídit přístup k datům a zlepšit spolehlivost exportu dat.
Pokud chcete odesílat data do neměnného účtu úložiště, nastavte neměnné zásady pro účet úložiště, jak je popsáno v tématu Nastavení a správa zásad neměnnosti pro Azure Blob Storage. Musíte postupovat podle všech kroků v tomto článku, včetně povolení zápisu do chráněných doplňovacích bloků blob.
Účet úložiště nemůže být Premium, musí být StorageV1 nebo novější a umístěný ve stejné oblasti jako váš pracovní prostor. Pokud potřebujete replikovat data do jiných účtů úložiště v jiných oblastech, použijte některou z možností redundance služby Azure Storage, včetně GRS a GZRS.
Data se odesílají do účtů úložiště, protože se dostanou do služby Azure Monitor a exportují se do cílů umístěných v oblasti pracovního prostoru. Pro každou tabulku v účtu úložiště se vytvoří kontejner s názvem následovaným názvem tabulky. Například tabulka SecurityEvent odešle kontejneru s názvem am-SecurityEvent.
Objekty blob se ukládají do 5minutových složek ve struktuře cesty: WorkspaceResourceId=/subscriptions/subscription-id/resourcegroups/<resource-group>/providers/microsoft.operationalinsights/workspaces/<workspace>/y=<four-digit numeric year>/m=<two-digit numeric month>/d=<two-digit numeric day>/h=<two-digit 24-hour hour>/m=<two-digit 60-minute clock minute>/PT05M.json. Připojení k objektům blob jsou omezená na 50 K zápisů. Do složky se přidají další objekty blob jako PT05M_#.json*, kde #je počet přírůstkových objektů blob.
Poznámka:
Připojení k objektům blob se zapisují na základě pole TimeGenerated a dochází k nim při příjmu zdrojových dat. Data přicházející do služby Azure Monitor se zpožděním nebo opakovaným opakováním následujících cílů se zapisují do objektů blob v souladu s časem TimeGenerated.
Formát objektů blob v účtu úložiště je v řádcích JSON, kde každý záznam je oddělený novým řádkem, bez pole vnějších záznamů a bez čárek mezi záznamy JSON.
Centra událostí
Nepoužívejte centrum událostí, které obsahuje existující data bez monitorování. Tento osvědčený postup pomáhá zabránit selháním příchozího přenosu dat kvůli latenci nebo překročení limitů rychlosti.
Data se odesílají do centra událostí, jakmile dorazí do služby Azure Monitor a exportují se do cílů umístěných v oblasti pracovního prostoru. Vytvořte několik pravidel exportu do stejného oboru názvů centra událostí zadáním odlišného Event Hub name
v pravidle. Pokud není Event Hub name
zadáno, vytvoří se výchozí Event Hub pro tabulky, které exportujete, s názvem am- následovaným názvem tabulky. Například tabulka SecurityEvent by se odeslala do centra událostí s názvem am-SecurityEvent.
Počet podporovaných služeb Event Hubs na úrovních oboru názvů Basic a Standard je 10. Při exportu více než 10 tabulek do těchto úrovní rozdělte tabulky do několika pravidel pro export do různých oborů názvů Event Hubs nebo zadejte název Event Hubs pro export všech tabulek do něj.
Poznámka:
- Obor názvů Event Hubs ve verzi Basic je omezen. Podporuje nižší velikost událostí a žádnou možnost automatického navýšení pro automatické zvýšení počtu jednotek propustnosti. Vzhledem k tomu, že se objem dat do vašeho pracovního prostoru v průběhu času zvyšuje a v důsledku toho se vyžaduje škálování centra událostí, použijte úrovně Standard, Premium nebo Dedicated Event Hubs s povolenou funkcí automatického nafukování . Další informace najdete v tématu Automatické vertikální navýšení kapacity jednotek propustnosti služby Azure Event Hubs.
- Export dat se nemůže spojit s prostředky služby Event Hubs, pokud jsou povolené virtuální sítě. Abyste mohli udělit přístup k vašim centrům událostí prostřednictvím Event Hub, musíte zaškrtnout políčko Povolit službám Azure v seznamu důvěryhodných služeb přístup k tomuto účtu úložiště a tímto způsobem obejít toto nastavení brány firewall.
Dotazování na exportovaná data
Export dat z pracovních prostorů do účtů úložiště pomáhá splnit různé scénáře uvedené v přehledu a mohou je využívat nástroje, které mohou číst objekty blob z účtů úložiště. Následující metody umožňují dotazovat data pomocí dotazovacího jazyka Log Analytics, který je stejný pro Azure Data Explorer.
- Pomocí Azure Data Exploreru můžete dotazovat data v Azure Data Lake.
- Pomocí Azure Data Exploreru můžete ingestovat data z účtu úložiště.
- K dotazování na data přijatá prostřednictvím rozhraní API pro ingestaci protokolů použijte pracovní prostor služby Log Analytics. Ingestovaná data se odesílají do vlastní tabulky protokolů, nikoli do původní tabulky.
Povolení exportu dat
K povolení exportu dat Log Analytics je potřeba provést následující kroky.
- Zaregistrujte poskytovatele prostředků
- Povolit důvěryhodné služby Microsoftu
- Monitorování destinací (doporučeno)
- Vytvoření nebo aktualizace pravidla exportu dat
Registrace poskytovatele prostředků
Aby bylo možné povolit export dat Log Analytics, musí být ve vašem předplatném zaregistrovaný poskytovatel prostředků Azure Microsoft.Insights.
Tento poskytovatel prostředků je pravděpodobně již zaregistrovaný pro většinu uživatelů služby Azure Monitor. Pokud to chcete ověřit, přejděte na webu Azure Portal k předplatným . Vyberte své předplatné a pak v části nabídky Nastavení vyberte Poskytovatele prostředků. Vyhledejte Microsoft.Insights. Pokud je jeho stav Registrováno, je už zaregistrovaný. Pokud ne, vyberte Zaregistrovat a zaregistrujte ho.
Můžete také použít některou z dostupných metod k registraci poskytovatele prostředků, jak je popsáno v poskytovatelích a typech prostředků Azure. Následující ukázkový příkaz používá Azure CLI:
az provider register --namespace 'Microsoft.insights'
Následující ukázkový příkaz používá PowerShell:
Register-AzResourceProvider -ProviderNamespace Microsoft.insights
Povolit důvěryhodné služby Microsoft
Pokud jste nakonfigurovali účet úložiště tak, aby povoloval přístup z vybraných sítí, musíte přidat výjimku, která službě Azure Monitor umožní zápis do účtu. V bránách firewall a virtuálních sítích pro váš účet úložiště vyberte Povolit službám Azure v seznamu důvěryhodných služeb přístup k tomuto účtu úložiště.
Monitorování destinací
Důležité
Cíle exportu mají omezení a měly by se monitorovat, aby se minimalizovalo omezování, selhání a zpoždění. Další informace najdete v tématu Škálovatelnost účtu úložiště a kvóty oboru názvů služby Event Hubs.
Pro operaci exportu dat a upozornění jsou k dispozici následující metriky.
Název metriky | Popis |
---|---|
Exportované bajty | Celkový počet bajtů exportovaných do cíle z pracovního prostoru služby Log Analytics v rámci vybraného časového rozsahu Velikost exportovaných dat je počet bajtů v exportovaných datech ve formátu JSON. 1 GB = 10^9 bajtů |
Selhání exportu | Celkový počet neúspěšných žádostí o export do cíle z pracovního prostoru služby Log Analytics v rámci vybraného časového rozsahu Toto číslo zahrnuje selhání pokusů o export z důvodu omezování cílového prostředku, chyby zakázaného přístupu nebo jakékoli chyby serveru. Proces opakování zpracovává neúspěšné pokusy a číslo není indikací chybějících dat. |
Exportované záznamy | Celkový počet záznamů exportovaných z pracovního prostoru služby Log Analytics v rámci vybraného časového rozsahu Toto číslo spočítá záznamy pro operace, které skončily úspěšně. |
Monitorování účtu úložiště
Pro export použijte samostatný účet úložiště.
Konfigurace upozornění na metriku:
Obor Názvový prostor metriky Metrika Agregace Prahová hodnota název úložiště Účet Vstup Součet 80 % maximálního počtu příchozích dat na období vyhodnocení výstrahy. Například limit je 60 Gb/s pro obecné účely v2 v oblasti USA – západ. Prahová hodnota výstrahy je 1676 GiB za 5minutové období vyhodnocení. Akce nápravy výstrah:
- Pro export, který se nesdílí s nemonitorovacími daty, použijte samostatný účet úložiště.
- Účty Azure Storage úrovně Standard podporují vyšší limit příchozího přenosu dat podle požadavků. Pokud chcete požádat o navýšení, obraťte se na podporu Azure.
- Rozdělte tabulky mezi více účtů úložiště.
Monitorování služby Event Hubs
Konfigurujte upozornění na metriky:
Obor Názvový prostor metriky Metrika Agregace Prahová hodnota název jmenného prostoru Standardní metriky služby Event Hubs Příchozí bajty Součet 80 % maximálního počtu příchozích dat na období vyhodnocení výstrahy. Například limit je 1 MB/s na jednotku (TU nebo PU) a pět využitých jednotek. Prahová hodnota je 228 MiB za 5minutové období vyhodnocení. název jmenného prostoru Standardní metriky služby Event Hubs Příchozí požadavky Počet 80 % maximálních událostí na období vyhodnocení výstrahy. Například limit je 1 000/s na jednotku (TU nebo PU) a pět použitých jednotek. Prahová hodnota je 1 200 000 za 5minutové období vyhodnocení. název jmenného prostoru Standardní metriky služby Event Hubs Chyby překročení kvóty Počet Přibližně 1 % žádostí. Například žádosti za 5 minut jsou 600 000. Prahová hodnota je 6 000 za 5minutové období vyhodnocení. Akce nápravy výstrah:
- Použijte pro export samostatný obor názvů služby Event Hubs, který není sdílený s jinými než monitorovacími daty.
- Nakonfigurujte funkci automatického rozšíření tak, aby automaticky zvýšila kapacitu a zvýšila počet jednotek propustnosti, aby vyhovovaly potřebám využití.
- Ověřte zvýšení počtu jednotek propustnosti, aby vyhovovaly objemu dat.
- Rozdělte tabulky mezi více jmenných prostorů.
- Pro vyšší propustnost používejte úrovně Premium nebo Dedicated.
Vytvoření nebo aktualizace pravidla exportu dat
Pravidlo exportu dat definuje cíl a tabulky, pro která se data exportují. Zřízení pravidla trvá přibližně 30 minut před zahájením operace exportu. Důležité informace o pravidlech exportu dat:
- Účet úložiště musí být jedinečný v rámci pravidel v pracovním prostoru.
- Více pravidel může použít stejný obor názvů Event Hubs při odesílání do samostatných Event Hubs.
- Export do účtu úložiště: Pro každou tabulku se vytvoří samostatný kontejner.
- Export do služby Event Hubs: Pokud není zadaný název centra událostí, vytvoří se pro každou tabulku samostatné centrum událostí. Počet podporovaných služeb Event Hubs na úrovních oboru názvů Basic a Standard je 10. Při exportu více než 10 tabulek do těchto úrovní rozdělte tabulky mezi několik pravidel exportu do různých oborů názvů služby Event Hubs nebo do pravidla zadejte název centra událostí, abyste do nich mohli exportovat všechny tabulky.
Zobrazení konfigurace pravidla exportu dat
Zakázání nebo aktualizace pravidla exportu
Pravidla exportu můžete deaktivovat, aby se export zastavil na určitou dobu, například v době testování. V nabídce pracovního prostoru Log Analytics na portálu Azure vyberte Export dat v části Nastavení. Vyberte přepínač Stav a zakažte nebo povolte pravidlo exportu.
Odstranění pravidla exportu
V nabídce pracovního prostoru Log Analytics na portálu Azure vyberte Export dat v části Nastavení. Vyberte ikonu tří teček napravo od pravidla a vyberte Odstranit.
Zobrazení všech pravidel exportu dat v pracovním prostoru
V nabídce pracovního prostoru služby Log Analytics na webu Azure Portal vyberte v části Nastavení export dat a zobrazte všechna pravidla exportu v pracovním prostoru.
Nepodporované tabulky
Poznámka:
Pokud pravidlo exportu dat obsahuje nepodporovanou tabulku, konfigurace bude úspěšná, ale pro danou tabulku nebudou exportována žádná data. Když je tabulka podporovaná, export dat se spustí. Přidáváme podporu pro další tabulky. Pravidelně si projděte tento článek.
Stůl | Omezení |
---|---|
ADXDataOperation | |
Výstrahy | Částečná podpora. Příjem dat pro upozornění Zabbix se nepodporuje. |
Historie Upozornění | |
AzureActivity | Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná. |
AzureDiagnostics | |
Metriky Azure | |
Změna konfigurace | |
Konfigurační data | Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí. |
Databricks Databricks SQL | |
DatabricksSQL | |
SpuštěníAplikaceZařízení | |
ZařízeníKalendář | |
DeviceConnectSession | |
DeviceEtw | |
Zdraví zařízení | |
DeviceHeartbeat | |
Událost ETW | Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná. |
Událost | Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná. |
InsightsMetrics | Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí. |
Síťová sezení | |
Operace | Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí. |
Stav ochrany | |
Událost operační služby Service Fabric | Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná. |
ServiceFabricReliableActorEvent | Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná. |
Událost spolehlivé služby ServiceFabric | Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná. |
Aktualizovat | Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí. |
VMBoundPort | |
VMComputer | |
VMConnection | |
VMProcess | |
W3CIISLog | Částečná podpora. Data přicházející z agenta Log Analytics nebo agenta Azure Monitoru se v exportu plně podporují. Data přicházející prostřednictvím agenta rozšíření Diagnostika se shromažďují prostřednictvím úložiště. Tato cesta není v exportu podporovaná. |
WireData | Částečná podpora. Některá data se ingestují prostřednictvím interních služeb, které nejsou v exportu podporované. V současné době tato část v exportu chybí. |