Uruchamianie zadań wyszukiwania w usłudze Azure Monitor

Artykuł
02/01/2024

Zadania wyszukiwania to zapytania asynchroniczne, które pobierają rekordy do nowej tabeli wyszukiwania w obszarze roboczym na potrzeby dalszej analizy. Zadanie wyszukiwania używa przetwarzania równoległego i może działać przez wiele godzin w dużych zestawach danych. W tym artykule opisano sposób tworzenia zadania wyszukiwania i wykonywania zapytań dotyczących danych wynikowych.

Uwaga

Funkcja zadania wyszukiwania nie jest obecnie obsługiwana w obszarach roboczych z kluczami zarządzanymi przez klienta.

Uprawnienia

Aby uruchomić zadanie wyszukiwania, potrzebujesz Microsoft.OperationalInsights/workspaces/tables/write uprawnień i Microsoft.OperationalInsights/workspaces/searchJobs/write uprawnień do obszaru roboczego usługi Log Analytics, na przykład udostępnionego przez wbudowaną rolę Współautor usługi Log Analytics.

Kiedy używać zadań wyszukiwania

Użyj zadania wyszukiwania, gdy limit czasu zapytania dziennika 10 minut nie jest wystarczający do przeszukiwania dużych ilości danych lub jeśli uruchamiasz powolne zapytanie.

Zadania wyszukiwania umożliwiają również pobieranie rekordów z zarchiwizowanych dzienników i tabel dzienników podstawowych do nowej tabeli dzienników, której można użyć w przypadku zapytań. W ten sposób uruchomienie zadania wyszukiwania może być alternatywą dla:

Przywracanie danych z zarchiwizowanych dzienników dla określonego zakresu czasu.
Użyj przywracania, gdy masz tymczasową potrzebę uruchamiania wielu zapytań na dużej ilości danych.
Wykonywanie zapytań dotyczących dzienników podstawowych bezpośrednio i płacenie za każde zapytanie.
Aby określić, która alternatywa jest bardziej opłacalna, porównaj koszt wykonywania zapytań dotyczących dzienników podstawowych z kosztem uruchamiania zadania wyszukiwania i przechowywania wyników zadania wyszukiwania.

Jak działa zadanie wyszukiwania?

Zadanie wyszukiwania wysyła wyniki do nowej tabeli w tym samym obszarze roboczym, w którym znajdują się dane źródłowe. Tabela wyników jest dostępna zaraz po rozpoczęciu zadania wyszukiwania, ale wyświetlenie wyników może zająć trochę czasu.

Tabela wyników zadania wyszukiwania to tabela Analizy, która jest dostępna dla zapytań dzienników i innych funkcji usługi Azure Monitor, które używają tabel w obszarze roboczym. Tabela używa wartości przechowywania ustawionej dla obszaru roboczego, ale można ją zmodyfikować po utworzeniu tabeli.

Schemat tabeli wyników wyszukiwania jest oparty na schemacie tabeli źródłowej i określonym zapytaniu. Poniższe inne kolumny ułatwiają śledzenie rekordów źródłowych:

Kolumna	Wartość
_OriginalType	Wpisz wartość z tabeli źródłowej.
_OriginalItemId	_ItemID wartość z tabeli źródłowej.
_OriginalTimeGenerated	TimeGenerated wartość z tabeli źródłowej.
TimeGenerated	Godzina uruchomienia zadania wyszukiwania.

Zapytania dotyczące tabeli wyników są wyświetlane w inspekcji zapytań dzienników, ale nie w początkowym zadaniu wyszukiwania.

Uruchamianie zadania wyszukiwania

Uruchom zadanie wyszukiwania, aby pobrać rekordy z dużych zestawów danych do nowej tabeli wyników wyszukiwania w obszarze roboczym.

Napiwek

Opłaty są naliczane za uruchomienie zadania wyszukiwania. W związku z tym napisz i zoptymalizuj zapytanie w trybie interaktywnym przed uruchomieniem zadania wyszukiwania.

Aby uruchomić zadanie wyszukiwania, w witrynie Azure Portal:

Z menu obszaru roboczego usługi Log Analytics wybierz pozycję Dzienniki.
Wybierz menu wielokropka po prawej stronie ekranu i przełącz tryb zadania wyszukiwania.

Funkcja IntelliSense dzienników usługi Azure Monitor obsługuje ograniczenia zapytań KQL w trybie zadania wyszukiwania, które ułatwiają pisanie zapytania zadania wyszukiwania.
Określ zakres dat zadania wyszukiwania przy użyciu selektora czasu.
Wpisz zapytanie zadania wyszukiwania i wybierz przycisk Wyszukaj zadanie .

Dzienniki usługi Azure Monitor monituje o podanie nazwy tabeli zestawu wyników i informuje o tym, że zadanie wyszukiwania podlega rozliczeniam.
Wprowadź nazwę tabeli wyników zadania wyszukiwania i wybierz pozycję Uruchom zadanie wyszukiwania.

Dzienniki usługi Azure Monitor uruchamiają zadanie wyszukiwania i tworzą nową tabelę w obszarze roboczym dla wyników zadania wyszukiwania.
Gdy nowa tabela będzie gotowa, wybierz pozycję Wyświetl tablename_SRCH , aby wyświetlić tabelę w usłudze Log Analytics.

Wyniki zadania wyszukiwania można zobaczyć, gdy zaczynają przepływać do nowo utworzonej tabeli wyników zadania wyszukiwania.

Dzienniki usługi Azure Monitor pokazują, że zadanie wyszukiwania jest wykonywane na końcu zadania wyszukiwania. Tabela wyników jest teraz gotowa ze wszystkimi rekordami zgodnymi z zapytaniem wyszukiwania.

Aby uruchomić zadanie wyszukiwania, wywołaj interfejs API Tabele — tworzenie lub aktualizowanie . Wywołanie zawiera nazwę tabeli wyników do utworzenia. Nazwa tabeli wyników musi kończyć się _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Treść żądania

Uwzględnij następujące wartości w treści żądania:

Nazwisko	Pisz	Opis
properties.searchResults.query	string	Zapytanie dziennika zapisane w języku KQL w celu pobrania danych.
properties.searchResults.limit	integer	Maksymalna liczba rekordów w zestawie wyników, do miliona rekordów. (Opcjonalne)
properties.searchResults.startSearchTime	string	Początek zakresu czasu do wyszukania.
properties.searchResults.endSearchTime	string	Koniec zakresu czasu do wyszukania.

Przykładowe żądanie

W tym przykładzie tworzona jest tabela o nazwie Syslog_suspected_SRCH z wynikami zapytania, które wyszukuje określone rekordy w tabeli Syslog .

Zażądaj

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Treść żądania

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Response

Kod stanu: Zaakceptowano kod stanu 202.

Aby uruchomić zadanie wyszukiwania, uruchom polecenie az monitor log-analytics workspace table search-job create . Nazwa tabeli wyników, która została ustawiona przy użyciu parametru --name , musi kończyć się _SRCH.

Na przykład:

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

Pobieranie stanu i szczegółów zadania wyszukiwania

Z menu obszaru roboczego usługi Log Analytics wybierz pozycję Dzienniki.
Na karcie Tabele wybierz pozycję Wyniki wyszukiwania, aby wyświetlić wszystkie tabele wyników zadań wyszukiwania.

Ikona w tabeli wyników zadania wyszukiwania wyświetla wskazanie aktualizacji do momentu ukończenia zadania wyszukiwania.

Wywołaj tabele — pobierz interfejs API, aby uzyskać stan i szczegóły zadania wyszukiwania:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Stan tabeli

Każda tabela zadań wyszukiwania ma właściwość o nazwie provisioningState, która może mieć jedną z następujących wartości:

Stan	opis
Aktualizowanie	Wypełnianie tabeli i jej schematu.
InProgress	Zadanie wyszukiwania jest uruchomione, pobierając dane.
Powodzenie	Ukończono zadanie wyszukiwania.
Usuwanie	Usuwanie tabeli zadań wyszukiwania.

Przykładowe żądanie

Ten przykład pobiera stan tabeli dla zadania wyszukiwania w poprzednim przykładzie.

Zażądaj

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Response

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

Aby sprawdzić stan i szczegóły tabeli zadań wyszukiwania, uruchom polecenie az monitor log-analytics workspace table show .

Na przykład:

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

Usuwanie tabeli zadań wyszukiwania

Zalecamy usunięcie tabeli zadań wyszukiwania po zakończeniu wykonywania zapytań dotyczących tabeli. Zmniejsza to bałagan obszaru roboczego i dodatkowe opłaty za przechowywanie danych.

Ograniczenia

Zadania wyszukiwania podlegają następującym ograniczeniom:

Zoptymalizowane pod kątem wykonywania zapytań względem jednej tabeli naraz.
Zakres dat wyszukiwania wynosi do jednego roku.
Obsługuje długotrwałe wyszukiwanie do 24-godzinnego limitu czasu.
Wyniki są ograniczone do miliona rekordów w zestawie rekordów.
Współbieżne wykonywanie jest ograniczone do pięciu zadań wyszukiwania na obszar roboczy.
Ograniczenie do 100 tabel wyników wyszukiwania na obszar roboczy.
Ograniczone do 100 wykonań zadań wyszukiwania dziennie na obszar roboczy.

Po osiągnięciu limitu rekordów platforma Azure przerywa zadanie ze stanem częściowego powodzenia, a tabela będzie zawierać tylko rekordy pozyskane do tego momentu.

Ograniczenia zapytań języka KQL

Zadania wyszukiwania są przeznaczone do skanowania dużych ilości danych w określonej tabeli. W związku z tym zapytania dotyczące zadań wyszukiwania muszą zawsze zaczynać się od nazwy tabeli. Aby włączyć asynchroniczne wykonywanie przy użyciu dystrybucji i segmentacji, zapytanie obsługuje podzestaw języka KQL, w tym operatory:

W tych operatorach można używać wszystkich funkcji i operatorów binarnych.

Model cen

Opłata za zadanie wyszukiwania jest oparta na:

Wykonywanie zadania wyszukiwania — ilość danych skanowanych zadań wyszukiwania.
Wyniki zadania wyszukiwania — ilość danych, które znajduje zadanie wyszukiwania i które jest pozyskiwane do tabeli wyników, na podstawie zwykłych cen pozyskiwania danych dziennika.

Jeśli na przykład tabela zawiera 500 GB dziennie, w przypadku wyszukiwania w ciągu 30 dni opłata zostanie naliczona za 15 000 GB zeskanowanych danych. Jeśli zadanie wyszukiwania znajdzie 1000 rekordów pasujących do zapytania wyszukiwania, zostanie naliczona opłata za pozyskiwanie tych 1000 rekordów do tabeli wyników.

Aby uzyskać więcej informacji, zobacz Cennik usługi Azure Monitor.