Выполнение заданий поиска в Azure Monitor

Задание поиска — это асинхронный запрос, выполняемый на любых данных в Log Analytics , как в интерактивном, так и в долгосрочном хранении , что делает результаты запроса доступными для интерактивных запросов в новой таблице поиска в рабочей области. Задание поиска использует параллельную обработку и может выполняться в течение нескольких часов для больших наборов данных. В этой статье описано, как создать задание поиска и запросить полученные данные.

В этом видео объясняется, когда и как использовать задания поиска:

Требуемые разрешения

Действие	Требуемые разрешения
Выполнение задания поиска	Microsoft.OperationalInsights/workspaces/tables/write и Microsoft.OperationalInsights/workspaces/searchJobs/write разрешения для рабочей области Log Analytics, например, как указано встроенной ролью участника Log Analytics.

Примечание.

В настоящее время задания поиска между клиентами не поддерживаются, даже если клиенты идентификатора Записи управляются с помощью Azure Lighthouse.

Когда следует использовать задания поиска

Используйте задания поиска для:

• Извлеките записи из долгосрочных таблиц хранения и таблиц с помощью базовых и вспомогательных планов в новую таблицу Аналитики, где можно воспользоваться возможностями полной аналитики журнала Azure Monitor.
• Сканируйте большие объемы данных, если время ожидания запроса журнала в течение 10 минут недостаточно.

Что делает задание поиска?

Задание поиска отправляет результаты обработки в новую таблицу в той же рабочей области, что и исходные данные. Таблица результатов доступна, как только начинается поисковое задание, но может пройти некоторое время, прежде чем результаты начнут появляться.

Таблица результатов поиска — это таблица аналитики, доступная для запросов журналов и других функций Azure Monitor, использующих таблицы в рабочей области. В таблице используется значение хранения, установленное для рабочей области, но вы можете изменить это значение после создания таблицы.

Схема таблицы результатов поиска основана на схеме исходной таблицы и указанном запросе. Следующие другие столбцы помогают отслеживать исходные записи:

Столбец	Значение
_OriginalType	Значение Type из исходной таблицы.
_OriginalItemId	Значение _ItemID из исходной таблицы.
_OriginalTimeGenerated	Значение TimeGenerated из исходной таблицы.
TimeGenerated	Время выполнения задания поиска.

Запросы в таблице результатов отображаются в журнале аудита запросов, но не в начальном задании поиска.

Выполнение задания поиска

Запустите задание поиска, чтобы получить записи из больших наборов данных в новую таблицу результатов поиска в рабочей области.

Совет

Плата за выполнение задания поиска взимается. Поэтому перед выполнением задания поиска напишите и оптимизируйте запрос в интерактивном режиме запроса.

Портал

Чтобы запустить задание поиска, в портал Azure выполните следующие действия:

1. В меню рабочей области Log Analytics выберите журналы.

2. Выберите меню с многоточием в правой части экрана и переключите режим задания поиска.

   

   Intellisense журналов Azure Monitor поддерживает ограничения запросов KQL в режиме задания поиска, чтобы помочь вам написать запрос задания поиска.

3. Укажите диапазон дат задания поиска с помощью средства выбора времени.

4. Введите запрос задания поиска и нажмите кнопку "Задание поиска".

   Журналы Azure Monitor запрашивают имя таблицы результирующих наборов и сообщают о том, что задание поиска подлежит выставлению счетов.

   

5. Введите имя таблицы результатов поиска и выберите команду "Выполнить задание поиска".

   Журналы Azure Monitor запускают задание поиска и создают новую таблицу в рабочей области для результатов поиска.

   

6. Когда новая таблица будет готова, выберите "Вид tablename_SRCH" , чтобы просмотреть таблицу в Log Analytics.

   

   Результаты задания поиска отображаются при начале потока в только что созданную таблицу результатов задания поиска.

   

   Журналы Azure Monitor показывают , что задание поиска выполняется в конце задания поиска. Теперь таблица результатов готова со всеми записями, соответствующими поисковому запросу.

   

API

Чтобы запустить задание поиска, вызовите API Таблицы — создание или обновление. Вызов включает имя создаваемой таблицы результатов. Имя таблицы результатов должно заканчиваться на _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Текст запроса

Включите в текст запроса следующие значения:

Имя.	Тип	Описание
properties.searchResults.query	строка	Запрос журнала, написанный на KQL для извлечения данных.
properties.searchResults.limit	integer	Максимальное количество записей в результирующем наборе (до 1 млн записей). (Необязательно)
properties.searchResults.startSearchTime	строка	Начало диапазона времени для поиска.
properties.searchResults.endSearchTime	строка	Конец диапазона времени для поиска.

Образец запроса

В этом примере создается таблица с именем Syslog_suspected_SRCH с результатами запроса, который ищет определенные записи в таблице Syslog.

Запросить

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Текст запроса

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Response

Код состояния: 202 accepted (принято).

CLI

Чтобы выполнить задание поиска, выполните команду az monitor log-analytics workspace table search-job create. Имя таблицы результатов, которое вы задаете с помощью параметра --name, должно заканчиваться на _SRCH.

Пример

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

PowerShell

Чтобы запустить задание поиска, выполните команду New-AzOperationalInsightsSearchTable . Имя таблицы результатов, которое вы задаете с помощью параметра TableName, должно заканчиваться на _SRCH.

Пример

New-AzOperationalInsightsSearchTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -TableName HeartbeatByIp_SRCH -SearchQuery "Heartbeat" -StartSearchTime "01-01-2022 00:00:00" -EndSearchTime "01-01-2022 00:00:00"

Получение состояния и сведений о задании поиска

Портал

1. В меню рабочей области Log Analytics выберите журналы.

2. На вкладке "Таблицы" выберите результаты поиска, чтобы просмотреть все таблицы результатов задания поиска.

   Значок в таблице результатов поиска отображает указание обновления до завершения задания поиска.

   

API

Вызовите API Таблицы — получение для получения состояния и сведений о задании поиска.

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Состояние таблицы

Каждая таблица заданий поиска имеет свойство provisioningState, которое может принимать одно из следующих значений.

Состояние	Description
Обновление	Заполнение таблицы и ее схемы.
InProgress	Задание поиска выполняется, извлечение данных.
Выполнено	Задание поиска завершено.
Удаление	Удаление таблицы заданий поиска.

Образец запроса

В этом примере извлекается состояние таблицы для задания поиска из предыдущего примера.

Запросить

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Response

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

CLI

Чтобы проверить состояние и сведения о таблице заданий поиска, выполните команду az monitor log-analytics workspace table show.

Пример

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

PowerShell

Чтобы проверить состояние и сведения таблицы заданий поиска, выполните команду Get-AzOperationalInsightsTable .

Пример

Get-AzOperationalInsightsTable -ResourceGroupName "ContosoRG" -WorkspaceName "ContosoWorkspace" -tableName "HeartbeatByIp_SRCH"

Примечание.

Если параметр -TableName не указан, команда будет перечислять все таблицы, связанные с рабочей областью.

Удаление таблицы заданий поиска

Мы рекомендуем удалить таблицу заданий поиска при выполнении запроса к таблице. Это очистит ненужные рабочие области и исключит начисление дополнительной платы за хранение данных.

Ограничения

Задания поиска имеют следующие ограничения:

• Оптимизировано для запроса одной таблицы за раз.
• Диапазон дат поиска: до одного года.
• Поддержка длительного поиска, время ожидания: до 24 часов.
• Результаты ограничены 1 млн записей в наборе записей.
• Одновременное выполнение ограничено пятью заданиями поиска на рабочую область.
• Существует ограничение до 100 таблиц результатов поиска на рабочую область.
• Ограничено в 100 выполнений заданий поиска в день на рабочую область.

Когда вы достигнете предела записи, Azure прерывает задание с состоянием частичного успешного выполнения, а таблица содержит только записи, приемываемые до этой точки.

Ограничения запросов KQL

Задания поиска предназначены для сканирования больших объемов данных в определенной таблице. Поэтому запросы задания поиска должны всегда начинаться с имени таблицы. Чтобы включить асинхронное выполнение с помощью распределения и сегментации, запрос поддерживает подмножество KQL, включая операторы:

• where
• extend
• project
• project-away
• project-keep
• project-rename
• project-reorder
• parse
• parse-where

Вы можете использовать все функции и бинарные операторы внутри этих операторов.

Модель ценообразования

Плата за задание поиска основана на следующих принципах:

• Выполнение задания поиска:

  • План аналитики — объем данных, которые задание поиска сканирует в долгосрочном хранении. Плата за сканирование данных в таблицах Аналитики не взимается.
  • Базовые или вспомогательные планы — все данные задания поиска сканируются как в интерактивном, так и в долгосрочном сроке хранения.

  Дополнительные сведения об интерактивном и долгосрочном хранении см. в разделе "Управление хранением данных" в рабочей области Log Analytics.

• Результаты задания поиска — объем данных, которые находит задание поиска и вставляется в таблицу результатов на основе скорости приема данных для таблиц Аналитики.

Например, если поиск в таблице "Базовый" составляет 30 дней, а таблица содержит 500 ГБ данных в день, плата взимается за 15 000 ГБ отсканированных данных. Если задание поиска возвращает 1000 записей, вы платите за прием этих 1000 записей в таблицу результатов.

Дополнительные сведения см. на странице цен на Azure Monitor.

Следующие шаги

• Дополнительные сведения об управлении хранением данных в log Analytics worksapce.
• Узнайте, как напрямую запрашивать базовые и вспомогательные таблицы.