Spouštění úloh hledání ve službě Azure Monitor

Článek
02/03/2024

Úlohy hledání jsou asynchronní dotazy, které načítají záznamy do nové vyhledávací tabulky v rámci pracovního prostoru pro další analýzy. Úloha hledání používá paralelní zpracování a může běžet několik hodin napříč velkými datovými sadami. Tento článek popisuje, jak vytvořit úlohu vyhledávání a jak se dotazovat na výsledná data.

Poznámka:

Funkce úlohy vyhledávání se v současné době nepodporuje pro pracovní prostory s klíči spravovanými zákazníkem.

Oprávnění

Pokud chcete spustit úlohu vyhledávání, potřebujete Microsoft.OperationalInsights/workspaces/tables/write a Microsoft.OperationalInsights/workspaces/searchJobs/write oprávnění k pracovnímu prostoru služby Log Analytics, například předdefinovaná role přispěvatele Log Analytics.

Kdy se používají úlohy hledání

Úlohu vyhledávání použijte, když časový limit dotazu protokolu 10 minut nestačí k prohledávání velkých objemů dat nebo pokud spouštíte pomalý dotaz.

Vyhledávací úlohy také umožňují načíst záznamy z archivovaných protokolů a tabulek základních protokolů do nové tabulky protokolů, kterou můžete použít pro dotazy. Tímto způsobem může být spuštění úlohy vyhledávání alternativou k:

Obnovení dat z archivovaných protokolů pro určitý časový rozsah
Obnovení použijte, pokud máte dočasnou potřebu spouštět mnoho dotazů na velký objem dat.
Dotazování základních protokolů přímo a placení za každý dotaz
Pokud chcete zjistit, která alternativa je nákladově efektivnější, porovnejte náklady na dotazování základních protokolů s náklady na spuštění úlohy vyhledávání a uložením výsledků úlohy hledání.

Co úloha hledání dělá?

Úloha hledání odešle výsledky do nové tabulky ve stejném pracovním prostoru jako zdrojová data. Tabulka výsledků je dostupná hned po zahájení úlohy hledání, ale může to chvíli trvat, než se výsledky začnou zobrazovat.

Tabulka výsledků úlohy hledání je tabulka Analýzy, která je k dispozici pro dotazy na protokoly a další funkce služby Azure Monitor, které používají tabulky v pracovním prostoru. Tabulka používá hodnotu uchovávání informací nastavenou pro pracovní prostor, ale tuto hodnotu můžete po vytvoření tabulky upravit.

Schéma tabulky výsledků hledání je založené na schématu zdrojové tabulky a zadaném dotazu. Následující další sloupce vám pomůžou sledovat zdrojové záznamy:

Column	Hodnota
_OriginalType	Zadejte hodnotu ze zdrojové tabulky.
_OriginalItemId	_ItemID hodnotu ze zdrojové tabulky.
_OriginalTimeGenerated	Hodnota TimeGenerated ze zdrojové tabulky
TimeGenerated	Čas spuštění úlohy vyhledávání

Dotazy na tabulku výsledků se zobrazují v auditování dotazů protokolu, ale ne v počáteční úloze vyhledávání.

Spuštění úlohy hledání

Spusťte úlohu vyhledávání, která načte záznamy z velkých datových sad do nové tabulky výsledků hledání ve vašem pracovním prostoru.

Tip

Účtují se vám poplatky za spuštění úlohy vyhledávání. Proto před spuštěním úlohy vyhledávání zapište a optimalizujte dotaz v interaktivním režimu dotazu.

Pokud chcete spustit úlohu vyhledávání, na webu Azure Portal:

V nabídce pracovního prostoru služby Log Analytics vyberte Protokoly.
Vyberte nabídku se třemi tečky na pravé straně obrazovky a zapněte režim úlohy vyhledávání.

Azure Monitor Logs IntelliSense podporuje omezení dotazů KQL v režimu úlohy vyhledávání, aby vám pomohla psát dotaz na úlohu vyhledávání.
Pomocí nástroje pro výběr času zadejte rozsah dat úlohy vyhledávání.
Zadejte dotaz úlohy vyhledávání a vyberte tlačítko Hledat úlohu .

Protokoly služby Azure Monitor vás vyzve k zadání názvu tabulky sady výsledků a informuje vás, že úloha vyhledávání podléhá fakturaci.
Zadejte název tabulky výsledků úlohy hledání a vyberte Spustit úlohu hledání.

Protokoly služby Azure Monitor spouští úlohu vyhledávání a vytvoří novou tabulku ve vašem pracovním prostoru pro výsledky úlohy hledání.
Až bude nová tabulka připravená, vyberte Zobrazit tablename_SRCH a zobrazte tabulku v Log Analytics.

Výsledky úlohy hledání uvidíte, jakmile začnou přetékat do nově vytvořené tabulky výsledků úlohy hledání.

Protokoly služby Azure Monitor ukazují, že se na konci úlohy vyhledávání provádí zpráva o úloze vyhledávání. Tabulka výsledků je teď připravená se všemi záznamy, které odpovídají vyhledávacímu dotazu.

Pokud chcete spustit úlohu vyhledávání, volejte tabulky – Vytvoření nebo aktualizace rozhraní API. Volání obsahuje název tabulky výsledků, kterou chcete vytvořit. Název tabulky výsledků musí končit _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Text požadavku

Do textu požadavku uveďte následující hodnoty:

Name	Typ	Popis
properties.searchResults.query	string	Dotaz protokolu napsaný v KQL pro načtení dat
properties.searchResults.limit	integer	Maximální počet záznamů v sadě výsledků až jeden milion záznamů. (Nepovinné)
properties.searchResults.startSearchTime	string	Začátek časového rozsahu, který se má prohledávat.
properties.searchResults.endSearchTime	string	Konec časového rozsahu, který se má prohledávat.

Ukázkový požadavek

Tento příklad vytvoří tabulku s názvem Syslog_suspected_SRCH s výsledky dotazu, který hledá konkrétní záznamy v tabulce Syslog .

Požádat

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Text požadavku

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Response

Stavový kód: 202 přijato.

Pokud chcete spustit úlohu vyhledávání, spusťte příkaz az monitor log-analytics workspace table search-job create . Název tabulky výsledků, kterou nastavíte pomocí parametru --name , musí končit _SRCH.

Příklad:

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

Získání stavu a podrobností úlohy vyhledávání

V nabídce pracovního prostoru služby Log Analytics vyberte Protokoly.
Na kartě Tabulky vyberte Výsledky hledání a zobrazte všechny tabulky výsledků úloh hledání.

Ikona v tabulce výsledků úlohy hledání zobrazí indikaci aktualizace, dokud se úloha vyhledávání nedokončila.

Volání tabulek – Získání rozhraní API pro získání stavu a podrobností úlohy vyhledávání:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Stav tabulky

Každá tabulka úloh vyhledávání má vlastnost s názvem provisioningState, která může mít jednu z následujících hodnot:

Status	Popis
Aktualizace	Naplnění tabulky a jejího schématu
Probíhající	Úloha vyhledávání je spuštěná a načítá data.
Úspěch	Úloha hledání byla dokončena.
odstraňování	Odstranění tabulky úloh vyhledávání

Ukázkový požadavek

Tento příklad načte stav tabulky pro úlohu vyhledávání v předchozím příkladu.

Požádat

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Response

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

Pokud chcete zkontrolovat stav a podrobnosti tabulky úlohy vyhledávání, spusťte příkaz az monitor log-analytics workspace table show .

Příklad:

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

Odstranění tabulky úloh vyhledávání

Po dotazování na tabulku doporučujeme odstranit tabulku úlohy vyhledávání. Tím se snižují nepotřebné pracovní prostory a za uchovávání dat se účtují další poplatky.

Omezení

Úlohy vyhledávání podléhají následujícím omezením:

Optimalizováno pro dotazování na jednu tabulku najednou.
Rozsah kalendářních dat hledání je až jeden rok.
Podporuje dlouhotrvající hledání až 24hodinový časový limit.
Výsledky jsou omezené na jeden milion záznamů v sadě záznamů.
Souběžné spouštění je omezené na pět úloh hledání na jeden pracovní prostor.
Omezeno na 100 tabulek výsledků hledání na pracovní prostor.
Omezeno na 100 spuštění úloh vyhledávání za den na pracovní prostor.

Když dosáhnete limitu záznamu, Azure přeruší úlohu se stavem částečného úspěchu a tabulka bude obsahovat jenom záznamy, které se do tohoto okamžiku ingestují.

Omezení dotazů KQL

Úlohy vyhledávání jsou určené ke kontrole velkých objemů dat v konkrétní tabulce. Proto musí dotazy na úlohu vyhledávání vždy začínat názvem tabulky. Pokud chcete povolit asynchronní spouštění pomocí distribuce a segmentace, dotaz podporuje podmnožinu KQL, včetně operátorů:

V rámci těchto operátorů můžete použít všechny funkce a binární operátory.

Cenový model

Poplatek za úlohu vyhledávání vychází z následujících důvodů:

Spuštění úlohy vyhledávání – množství dat, která prohledává úloha vyhledávání.
Výsledky úlohy hledání – množství dat, která úloha hledání najde a je ingestována do tabulky výsledků, na základě běžných cen příjmu dat protokolu.

Pokud například tabulka obsahuje 500 GB za den, pro hledání za více než 30 dní se vám bude účtovat 15 000 GB naskenovaných dat. Pokud úloha vyhledávání najde 1 000 záznamů, které odpovídají vyhledávacímu dotazu, budou se vám účtovat poplatky za ingestování těchto 1 000 záznamů do tabulky výsledků.

Další informace najdete v tématu o cenách služby Azure Monitor.