Köra sökjobb i Azure Monitor

Artikel
02/01/2024

Sökjobb är asynkrona frågor som hämtar poster till en ny söktabell på din arbetsyta för ytterligare analys. Sökjobbet använder parallell bearbetning och kan köras i flera timmar över stora datamängder. Den här artikeln beskriver hur du skapar ett sökjobb och hur du frågar efter dess resulterande data.

Kommentar

Sökjobbsfunktionen stöds för närvarande inte för arbetsytor med kundhanterade nycklar.

Behörigheter

Om du vill köra ett sökjobb behöver Microsoft.OperationalInsights/workspaces/tables/write du och Microsoft.OperationalInsights/workspaces/searchJobs/write behörigheter till Log Analytics-arbetsytan, till exempel enligt den inbyggda rollen Log Analytics-deltagare.

När Sök jobb ska användas

Använd ett sökjobb när tidsgränsen för loggfrågan på 10 minuter inte räcker för att söka igenom stora datavolymer eller om du kör en långsam fråga.

Med sökjobb kan du också hämta poster från tabeller med arkiverade loggar och grundläggande loggar till en ny loggtabell som du kan använda för frågor. På så sätt kan det vara ett alternativ att köra ett sökjobb till:

Återställa data från arkiverade loggar för ett visst tidsintervall.
Använd återställning när du har ett tillfälligt behov av att köra många frågor på en stor mängd data.
Köra frågor mot grundläggande loggar direkt och betala för varje fråga.
Om du vill avgöra vilket alternativ som är mer kostnadseffektivt kan du jämföra kostnaden för att fråga grundläggande loggar med kostnaden för att köra ett sökjobb och lagra sökresultaten.

Vad gör ett sökjobb?

Ett sökjobb skickar resultaten till en ny tabell på samma arbetsyta som källinformationen. Resultattabellen är tillgänglig så snart sökjobbet börjar, men det kan ta tid innan resultaten börjar visas.

Sökresultattabellen är en Analystabell som är tillgänglig för loggfrågor och andra Azure Monitor-funktioner som använder tabeller på en arbetsyta. Tabellen använder kvarhållningsvärdet som angetts för arbetsytan, men du kan ändra det här värdet när tabellen har skapats.

Schemat för sökresultattabellen baseras på källtabellschemat och den angivna frågan. Följande andra kolumner hjälper dig att spåra källposterna:

Column	Värde
_OriginalType	Skriv värde från källtabellen.
_OriginalItemId	_ItemID värde från källtabellen.
_OriginalTimeGenerated	TimeGenerated-värde från källtabellen.
TimeGenerated	Tidpunkt då sökjobbet kördes.

Frågor i resultattabellen visas i loggfrågegranskning men inte det första sökjobbet.

Köra ett sökjobb

Kör ett sökjobb för att hämta poster från stora datamängder till en ny sökresultattabell på din arbetsyta.

Dricks

Du debiteras för att köra ett sökjobb. Skriv och optimera därför frågan i interaktivt frågeläge innan du kör sökjobbet.

Kör ett sökjobb i Azure-portalen:

På log analytics-arbetsytans meny väljer du Loggar.
Välj ellipsmenyn till höger på skärmen och växla Sök jobbläge på.

Azure Monitor Logs intellisense stöder KQL-frågebegränsningar i sökjobbsläge för att hjälpa dig att skriva sökjobbsfrågan.
Ange sökjobbets datumintervall med hjälp av tidsväljaren.
Skriv sökjobbsfrågan och välj knappen Sökjobb .

Azure Monitor-loggar uppmanar dig att ange ett namn för resultatuppsättningstabellen och informerar dig om att sökjobbet är föremål för fakturering.
Ange ett namn för resultattabellen för sökjobbet och välj Kör ett sökjobb.

Azure Monitor-loggar kör sökjobbet och skapar en ny tabell på din arbetsyta för sökresultatet.
När den nya tabellen är klar väljer du Visa tablename_SRCH för att visa tabellen i Log Analytics.

Du kan se sökresultaten när de börjar flöda till den nyligen skapade sökresultattabellen.

Azure Monitor-loggar visar att ett sökjobb är klart i slutet av sökjobbet. Resultattabellen är nu klar med alla poster som matchar sökfrågan.

Om du vill köra ett sökjobb anropar du API:et Tabeller – Skapa eller Uppdatera . Anropet innehåller namnet på resultattabellen som ska skapas. Namnet på resultattabellen måste sluta med _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Begärandetext

Inkludera följande värden i brödtexten i begäran:

Namn	Type	Beskrivning
properties.searchResults.query	sträng	Loggfråga skriven i KQL för att hämta data.
properties.searchResults.limit	integer	Maximalt antal poster i resultatuppsättningen, upp till en miljon poster. (Valfritt)
properties.searchResults.startSearchTime	sträng	Start av tidsintervallet för sökning.
properties.searchResults.endSearchTime	sträng	Slut på tidsintervallet för sökning.

Exempelbegäran

I det här exemplet skapas en tabell med namnet Syslog_suspected_SRCH med resultatet av en fråga som söker efter vissa poster i Syslog-tabellen.

Begär

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Begärandetext

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Response

Statuskod: 202 har godkänts.

Kör kommandot az monitor log-analytics workspace table search-job create för att köra ett sökjobb. Namnet på resultattabellen, som du anger med hjälp av parametern --name , måste sluta med _SRCH.

Till exempel:

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

Hämta status och information för sökjobb

På log analytics-arbetsytans meny väljer du Loggar.
På fliken Tabeller väljer du Sökresultat för att visa alla sökresultattabeller.

Ikonen i resultattabellen för sökjobbet visar en uppdateringsindikator tills sökjobbet har slutförts.

Anropa tabellerna – Hämta API för att hämta status och information om ett sökjobb:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Tabellstatus

Varje sökjobbtabell har en egenskap som kallas provisioningState, som kan ha något av följande värden:

Status	beskrivning
Uppdatera	Fyller i tabellen och dess schema.
InProgress	Sökjobbet körs och hämtar data.
Slutfördes	Sökjobbet har slutförts.
Tas bort	Tar bort sökjobbstabellen.

Exempelbegäran

Det här exemplet hämtar tabellstatusen för sökjobbet i föregående exempel.

Begär

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Response

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

Om du vill kontrollera status och information om en sökjobbstabell kör du kommandot az monitor log-analytics workspace table show .

Till exempel:

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

Ta bort en sökjobbstabell

Vi rekommenderar att du tar bort sökjobbstabellen när du är klar med att fråga tabellen. Detta minskar arbetsytans oreda och extra avgifter för datakvarhållning.

Begränsningar

Sökjobb omfattas av följande begränsningar:

Optimerad för att köra frågor mot en tabell i taget.
Sökdatumintervallet är upp till ett år.
Stöder tidskrävande sökningar upp till en tidsgräns på 24 timmar.
Resultaten är begränsade till en miljon poster i postuppsättningen.
Samtidig körning är begränsad till fem sökjobb per arbetsyta.
Begränsat till 100 sökresultattabeller per arbetsyta.
Begränsat till 100 körningar av sökjobb per dag per arbetsyta.

När du når postgränsen avbryter Azure jobbet med statusen partiell lyckad, och tabellen innehåller endast poster som har matats in fram till den punkten.

KQL-frågebegränsningar

Sökjobb är avsedda att genomsöka stora mängder data i en specifik tabell. Därför måste sökjobbsfrågor alltid börja med ett tabellnamn. För att aktivera asynkron körning med distribution och segmentering stöder frågan en delmängd av KQL, inklusive operatorerna:

Du kan använda alla funktioner och binära operatorer inom dessa operatorer.

Prismodell

Avgiften för ett sökjobb baseras på:

Körning av sökjobb – mängden data som sökjobbet genomsöker.
Sökresultat – mängden data som sökjobbet hittar och matas in i resultattabellen, baserat på de vanliga priserna för loggdatainmatning.

Om tabellen till exempel innehåller 500 GB per dag debiteras du för en sökning över 30 dagar för 15 000 GB genomsökt data. Om sökjobbet hittar 1 000 poster som matchar sökfrågan debiteras du för att mata in dessa 1 000 poster i resultattabellen.

Mer information finns i Prissättning för Azure Monitor.