Выполнение заданий поиска в Azure Monitor

Задания поиска — это асинхронные запросы, которые извлекают записи в новую таблицу поиска в вашей рабочей области для дальнейшей аналитики. Задание поиска использует параллельную обработку и может выполняться в течение нескольких часов для больших наборов данных. В этой статье описано, как создать задание поиска и запросить полученные данные.

Примечание.

Функция задания поиска в настоящее время не поддерживается для рабочих областей с ключами, управляемыми клиентом.

Разрешения

Чтобы запустить задание поиска, вам потребуется Microsoft.OperationalInsights/workspaces/tables/write и Microsoft.OperationalInsights/workspaces/searchJobs/write разрешения для рабочей области Log Analytics, например, как указано встроенной ролью участника Log Analytics.

Когда следует использовать задания поиска

Используйте задание поиска, если время ожидания запроса журнала в течение 10 минут недостаточно для поиска по большим объемам данных или если выполняется медленный запрос.

Задания поиска также позволяют извлекать записи из таблиц Архивные журналы и Основные журналы в новую таблицу журналов, которую можно использовать для запросов. Таким образом, выполнение задания поиска может быть альтернативой следующим процессам:

• Восстановление данных из архивных журналов за указанный диапазон времени.
  Используйте восстановление, когда у вас есть временная необходимость выполнить множество запросов к большому объему данных.

• Запрашивание основных журналов напрямую с оплатой за каждый запрос.
  Чтобы определить, какая альтернатива является более экономичной, сравните стоимость запроса базовых журналов с стоимостью выполнения задания поиска и хранения результатов поиска.

Что делает задание поиска?

Задание поиска отправляет результаты обработки в новую таблицу в той же рабочей области, что и исходные данные. Таблица результатов доступна, как только начинается поисковое задание, но может пройти некоторое время, прежде чем результаты начнут появляться.

Таблица результатов поиска — это таблица аналитики, доступная для запросов журналов и других функций Azure Monitor, использующих таблицы в рабочей области. В таблице используется значение хранения, установленное для рабочей области, но вы можете изменить это значение после создания таблицы.

Схема таблицы результатов поиска основана на схеме исходной таблицы и указанном запросе. Следующие другие столбцы помогают отслеживать исходные записи:

Столбец	Значение
_OriginalType	Значение Type из исходной таблицы.
_OriginalItemId	Значение _ItemID из исходной таблицы.
_OriginalTimeGenerated	Значение TimeGenerated из исходной таблицы.
TimeGenerated	Время выполнения задания поиска.

Запросы в таблице результатов отображаются в журнале аудита запросов, но не в начальном задании поиска.

Выполнение задания поиска

Запустите задание поиска, чтобы получить записи из больших наборов данных в новую таблицу результатов поиска в рабочей области.

Совет

Плата за выполнение задания поиска взимается. Поэтому перед выполнением задания поиска напишите и оптимизируйте запрос в интерактивном режиме запроса.

Портал

Чтобы запустить задание поиска, в портал Azure выполните следующие действия:

1. В меню рабочей области Log Analytics выберите журналы.

2. Выберите меню с многоточием в правой части экрана и переключите режим задания поиска.

   

   Intellisense журналов Azure Monitor поддерживает ограничения запросов KQL в режиме задания поиска, чтобы помочь вам написать запрос задания поиска.

3. Укажите диапазон дат задания поиска с помощью средства выбора времени.

4. Введите запрос задания поиска и нажмите кнопку "Задание поиска".

   Журналы Azure Monitor запрашивают имя таблицы результирующих наборов и сообщают о том, что задание поиска подлежит выставлению счетов.

   

5. Введите имя таблицы результатов поиска и выберите команду "Выполнить задание поиска".

   Журналы Azure Monitor запускают задание поиска и создают новую таблицу в рабочей области для результатов поиска.

   

6. Когда новая таблица будет готова, выберите "Вид tablename_SRCH" , чтобы просмотреть таблицу в Log Analytics.

   

   Результаты задания поиска отображаются при начале потока в только что созданную таблицу результатов задания поиска.

   

   Журналы Azure Monitor показывают , что задание поиска выполняется в конце задания поиска. Теперь таблица результатов готова со всеми записями, соответствующими поисковому запросу.

   

API

Чтобы запустить задание поиска, вызовите API Таблицы — создание или обновление. Вызов включает имя создаваемой таблицы результатов. Имя таблицы результатов должно заканчиваться на _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Текст запроса

Включите в текст запроса следующие значения:

Имя.	Тип	Описание
properties.searchResults.query	строка	Запрос журнала, написанный на KQL для извлечения данных.
properties.searchResults.limit	integer	Максимальное количество записей в результирующем наборе (до 1 млн записей). (Необязательно)
properties.searchResults.startSearchTime	строка	Начало диапазона времени для поиска.
properties.searchResults.endSearchTime	строка	Конец диапазона времени для поиска.

Образец запроса

В этом примере создается таблица с именем Syslog_suspected_SRCH с результатами запроса, который ищет определенные записи в таблице Syslog.

Запросить

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Текст запроса

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Response

Код состояния: 202 accepted (принято).

CLI

Чтобы выполнить задание поиска, выполните команду az monitor log-analytics workspace table search-job create. Имя таблицы результатов, которое вы задаете с помощью параметра --name, должно заканчиваться на _SRCH.

Например:

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

Получение состояния и сведений о задании поиска

Портал

1. В меню рабочей области Log Analytics выберите журналы.

2. На вкладке "Таблицы" выберите результаты поиска, чтобы просмотреть все таблицы результатов задания поиска.

   Значок в таблице результатов поиска отображает указание обновления до завершения задания поиска.

   

API

Вызовите API Таблицы — получение для получения состояния и сведений о задании поиска.

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Состояние таблицы

Каждая таблица заданий поиска имеет свойство provisioningState, которое может принимать одно из следующих значений.

Состояние	Description
Обновление	Заполнение таблицы и ее схемы.
InProgress	Задание поиска выполняется, извлечение данных.
Выполнено успешно	Задание поиска завершено.
Удаление	Удаление таблицы заданий поиска.

Образец запроса

В этом примере извлекается состояние таблицы для задания поиска из предыдущего примера.

Запросить

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Response

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

CLI

Чтобы проверить состояние и сведения о таблице заданий поиска, выполните команду az monitor log-analytics workspace table show.

Например:

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

Удаление таблицы заданий поиска

Мы рекомендуем удалить таблицу заданий поиска при выполнении запроса к таблице. Это очистит ненужные рабочие области и исключит начисление дополнительной платы за хранение данных.

Ограничения

Задания поиска имеют следующие ограничения:

• Оптимизировано для запроса одной таблицы за раз.
• Диапазон дат поиска: до одного года.
• Поддержка длительного поиска, время ожидания: до 24 часов.
• Результаты ограничены 1 млн записей в наборе записей.
• Одновременное выполнение ограничено пятью заданиями поиска на рабочую область.
• Существует ограничение до 100 таблиц результатов поиска на рабочую область.
• Ограничено в 100 выполнений заданий поиска в день на рабочую область.

Когда вы достигаете максимального количества записей, Azure прерывает задание с состоянием частичного успеха, и таблица будет содержать только записи, полученные до этого момента.

Ограничения запросов KQL

Задания поиска предназначены для сканирования больших объемов данных в определенной таблице. Поэтому запросы задания поиска должны всегда начинаться с имени таблицы. Чтобы включить асинхронное выполнение с помощью распределения и сегментации, запрос поддерживает подмножество KQL, включая операторы:

• where
• extend
• project
• project-away
• project-keep
• project-rename
• project-reorder
• parse
• parse-where

Вы можете использовать все функции и бинарные операторы внутри этих операторов.

Модель ценообразования

На плату за задание поиска влияет:

• Выполнение задания поиска — объем данных, которые выполняет поиск задания.
• Результаты задания поиска — объем данных, которые находит задание поиска и подается в таблицу результатов на основе обычных цен на прием данных журнала.

Например, если таблица содержит 500 ГБ в день, для поиска в течение 30 дней вы будете взиматься за 15 000 ГБ отсканированных данных. Если задание поиска находит 1000 записей, соответствующих поисковому запросу, вы будете взиматься за прием этих 1000 записей в таблицу результатов.

Дополнительные сведения см. на странице цен на Azure Monitor.

Следующие шаги

• Узнайте больше о хранении и архивации данных.
• См. дополнительные сведения о восстановлении данных (еще один способ получения архивных данных).
• См. дополнительные сведения о непосредственном запрашивании базовых журналов.