Ausführen von Suchaufträgen in Azure Monitor

Artikel
07/20/2023

Suchaufträge sind asynchrone Abfragen, die Datensätze zur weiteren Analyse in eine neue Suchtabelle in Ihrem Arbeitsbereich abrufen. Der Suchauftrag arbeitet mit Parallelverarbeitung und kann für große Datasets über Stunden ausgeführt werden. In diesem Artikel wird beschrieben, wie Sie einen Suchauftrag erstellen und die resultierenden Daten abfragen.

Hinweis

Das Feature „Auftrag suchen“ wird zurzeit für Arbeitsbereichen mit kundenseitig verwalteten Schlüsseln nicht unterstützt.

Berechtigungen

Zum Ausführen eines Suchauftrags benötigen Sie die Berechtigungen Microsoft.OperationalInsights/workspaces/tables/write und Microsoft.OperationalInsights/workspaces/searchJobs/write für den Log Analytics-Arbeitsbereich, z. B. gemäß der integrierten Rolle „Log Analytics-Mitwirkender“.

Verwendung von Suchaufträgen

Verwenden Sie einen Suchauftrag, wenn das Timeout der Protokollabfrage von 10 Minuten nicht ausreicht, um große Datenmengen zu durchsuchen, oder wenn Sie eine langsame Abfrage ausführen.

Mit Suchaufträgen können Sie auch Datensätze aus den Tabellen Archivierte Protokolle und Basisprotokolle in eine neue Protokolltabelle abrufen, die Sie dann für Abfragen verwenden können. Auf diese Weise kann die Ausführung eines Suchauftrags eine Alternative für Folgendes sein:

Wiederherstellen von Daten aus archivierten Protokollen für einen bestimmten Zeitraum.
Verwenden Sie die Wiederherstellung, wenn Sie vorübergehend viele Abfragen für eine große Datenmenge ausführen müssen.
Direktes Abfragen von Basisprotokollen und Bezahlen für jede Abfrage.
Um die kostengünstigere Alternative zu ermitteln, vergleichen Sie die Kosten für die Abfrage von Basisprotokollen mit den Kosten für die Ausführung eines Suchauftrags und für das Speichern der Auftragsergebnisse.

Funktionsweise eines Suchauftrags

Ein Suchauftrag sendet seine Ergebnisse an eine neue Tabelle im gleichen Arbeitsbereich wie die Quelldaten. Die Ergebnistabelle ist verfügbar, sobald der Suchauftrag beginnt, es kann aber einige Zeit dauern, bis Ergebnisse angezeigt werden.

Die Ergebnistabelle des Suchauftrags ist eine Analytics-Tabelle, die für Protokollabfragen und andere Azure Monitor-Features verfügbar ist, die Tabellen in einem Arbeitsbereich verwenden. Die Tabelle verwendet den für den Arbeitsbereich festgelegten Aufbewahrungswert. Sie können diesen Wert jedoch nach der Tabellenerstellung ändern.

Das Tabellenschema für Suchergebnisse basiert auf dem Quelltabellenschema und der angegebenen Abfrage. Mithilfe der folgenden zusätzlichen Spalten können Sie die Quelldatensätze nachverfolgen:

Spalte	Wert
_OriginalType	Type-Wert aus der Quelltabelle.
_OriginalItemId	_ItemID-Wert aus der Quelltabelle.
_OriginalTimeGenerated	TimeGenerated-Wert aus der Quelltabelle.
TimeGenerated	Zeitpunkt, zu dem der Suchauftrag ausgeführt wurde.

Abfragen für die Ergebnistabelle werden in der Protokollabfrageüberwachung, aber nicht im anfänglichen Suchauftrag angezeigt.

Ausführen eines Suchauftrags

Führen Sie einen Suchauftrag aus, um Datensätze aus großen Datasets in eine neue Suchergebnistabelle in Ihrem Arbeitsbereich abzurufen.

Tipp

Für die Ausführung eines Suchauftrags fallen Gebühren an. Schreiben und optimieren Sie daher Ihre Abfrage im interaktiven Abfragemodus, bevor Sie den Suchauftrag ausführen.

So führen Sie einen Suchauftrag im Azure-Portal aus:

Wählen Sie im Menü Log Analytics-Arbeitsbereich die Option Protokolle aus.
Wählen Sie das Menü mit den Auslassungspunkten auf der rechten Seite des Bildschirms aus, und aktivieren Sie den Suchauftragsmodus.

Azure Monitor Logs Intellisense unterstützt KQL-Abfragebeschränkungen im Suchauftragsmodus, damit Sie Ihre Suchauftragsabfrage schreiben können.
Geben Sie den Datumsbereich für den Suchauftrag mithilfe der Uhrzeitauswahl an.
Geben Sie die Suchauftragsabfrage ein, und wählen Sie die Schaltfläche Suchauftrag aus.

Azure Monitor Logs fordert Sie auf, einen Namen für die Ergebnistabelle bereitzustellen, und informiert Sie darüber, dass der Suchauftrag abrechnungspflichtig ist.
Geben Sie einen Namen für die Suchauftragsergebnistabelle ein, und wählen Sie einen Suchauftrag aus.

Azure Monitor-Protokolle führen den Suchauftrag aus und erstellen eine neue Tabelle in Ihrem Arbeitsbereich für Ihre Suchauftragsergebnisse.
Wenn die neue Tabelle bereit ist, wählen Sie tablename_SRCH anzeigen aus, um die Tabelle in der Protokollanalyse anzuzeigen.

Sie können die Suchergebnisse des Suchauftrags sehen, während sie beginnen, in die neu erstellte Suchergebnistabelle fließen.

Azure Monitor-Protokolle zeigen die Meldung Suchauftrag abgeschlossen am Ende des Suchauftrags. Die Ergebnistabelle ist jetzt bereit mit allen Datensätzen, die der Suchabfrage entsprechen.

Rufen Sie zum Ausführen eines Suchauftrags die API Tabellen – Erstellen oder Aktualisieren auf. Der Aufruf enthält den Namen der zu erstellenden Ergebnistabelle. Der Name der Ergebnistabelle muss mit _SRCH enden.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Anforderungstext

Fügen Sie die folgenden Werte in den Text der Anforderung ein:

Name	Typ	BESCHREIBUNG
properties.searchResults.query	Zeichenfolge	In KQL geschriebene Protokollabfrage zum Abrufen von Daten.
properties.searchResults.limit	integer	Maximale Anzahl von Datensätzen im Resultset (bis zu einer Million Datensätze). (Optional)
properties.searchResults.startSearchTime	Zeichenfolge	Start des zu durchsuchenden Zeitbereichs.
properties.searchResults.endSearchTime	Zeichenfolge	Ende des zu durchsuchenden Zeitbereichs.

Beispielanforderung

In diesem Beispiel wird eine Tabelle namens Syslog_suspected_SRCH mit den Ergebnissen einer Abfrage erstellt, die nach bestimmten Datensätzen in der Tabelle Syslog sucht.

Anforderung

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Anforderungstext

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Antwort

Statuscode: 202 (akzeptiert).

Führen Sie zum Ausführen eines Suchauftrags den Befehl az monitor log-analytics workspace table search-job create aus. Der mit dem Parameter --name festgelegte Name der Ergebnistabelle muss mit _SRCH enden.

Beispiel:

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

Abrufen von Status und Details des Suchauftrags

Wählen Sie im Menü Log Analytics-Arbeitsbereich die Option Protokolle aus.
Wählen Sie auf der Registerkarte „Tabellen“ Suchergebnisse aus, um alle Ergebnistabellen von Suchaufträgen anzuzeigen.

Das Symbol in der Ergebnistabelle des Suchauftrags zeigt eine Aktualisierungsanzeige an, bis der Suchauftrag abgeschlossen ist.

Rufen Sie die API Tabellen – Abrufen auf, um den Status und die Details eines Suchauftrags abzurufen:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Status der Tabelle

Jede Suchauftragstabelle weist eine Eigenschaft namens provisioningState auf, die einen der folgenden Werte aufweisen kann:

Status	BESCHREIBUNG
Wird aktualisiert	Die Tabelle und ihr Schema werden aufgefüllt.
InProgress	Der Suchauftrag wird ausgeführt und ruft Daten ab.
Erfolgreich	Der Suchauftrag ist abgeschlossen.
Wird gelöscht	Die Suchauftragstabelle wird gelöscht.

Beispielanforderung

In diesem Beispiel wird der Tabellenstatus für den Suchauftrag im vorherigen Beispiel abgerufen.

Anforderung

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Antwort

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

Führen Sie zum Überprüfen des Status und der Details einer Suchauftragstabelle den Befehl az monitor log-analytics workspace table show aus.

Beispiel:

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

Löschen einer Suchauftragstabelle

Es wird empfohlen, die Suchauftragstabelle zu löschen, nachdem Sie die Tabelle abgefragt haben. Dadurch wird der Arbeitsbereich übersichtlicher, und Sie vermeiden zusätzliche Gebühren für die Datenaufbewahrung.

Einschränkungen

Suchaufträge unterliegen den folgenden Einschränkungen:

Optimiert zum Abfragen einer Tabelle nach der anderen.
Der Suchdatumsbereich kann bis zu einem Jahr sein.
Unterstützt zeitintensive Suchvorgänge mit einem Timeout von bis zu 24 Stunden.
Die Ergebnisse sind auf eine Million Datensätze im Recordset beschränkt.
Die gleichzeitige Ausführung ist auf fünf Suchaufträge pro Arbeitsbereich beschränkt.
Beschränkt auf 100 Suchergebnistabellen pro Arbeitsbereich.
Beschränkt auf 100 Suchauftragsausführungen pro Tag und Arbeitsbereich.

Wenn Sie das Datensatzlimit erreichen, bricht Azure den Auftrag mit dem Status teilweise erfolgreich ab, und die Tabelle enthält nur Datensätze, die bis zu diesem Zeitpunkt erfasst wurden.

KQL-Abfrageeinschränkungen

Suchaufträge sollen große Datenmengen in einer bestimmten Tabelle scannen. Daher müssen Suchauftragsabfragen immer mit einem Tabellennamen beginnen. Um eine asynchrone Ausführung mithilfe von Verteilung und Segmentierung zu aktivieren, unterstützt die Abfrage eine Teilmenge von KQL, einschließlich der Operatoren:

Sie können alle Funktionen und binären Operatoren innerhalb dieser Operatoren verwenden.

Preismodell

Die Gebühr für einen Suchauftrag basiert auf Folgendem:

Suchauftragsausführung – die Menge der Daten, die der Suchauftrag überprüft.
Suchauftragsergebnisse – die Menge der Daten, die der Suchauftrag findet und in die Ergebnistabelle aufgenommen wird, basierend auf den regulären Preisen für die Erfassung von Protokolldaten.

Wenn Ihre Tabelle beispielsweise 500 GB pro Tag enthält, werden Ihnen für eine Suche über 30 Tage 15.000 GB überprüfter Daten in Rechnung gestellt. Wenn der Suchauftrag 1.000 Datensätze findet, die der Suchabfrage entsprechen, werden Ihnen die Erfassung dieser 1.000 Datensätze in der Ergebnistabelle in Rechnung gestellt.

Weitere Informationen finden Sie unter Azure Monitor-Preise.