Выполнение заданий поиска в Azure Monitor

Задание поиска — это асинхронный запрос, выполняемый на любых данных в Log Analytics , как в аналитике, так и в долгосрочном хранении , что делает результаты запроса доступными для интерактивных запросов в новой таблице поиска в рабочей области. Задание поиска использует параллельную обработку и может выполняться в течение нескольких часов для больших наборов данных. В этой статье описано, как создать задание поиска и запросить полученные данные.

В этом видео объясняется, когда и как использовать задания поиска:

Требуемые разрешения

Действие	Требуемые разрешения
Выполнение задания поиска	Microsoft.OperationalInsights/workspaces/tables/write и Microsoft.OperationalInsights/workspaces/searchJobs/write разрешения для рабочей области Log Analytics, например, предоставленные встроенной ролью участника Log Analytics.

Примечание.

Задания поиска между клиентами не поддерживаются. Делегированный доступ к Azure Lighthouse также не поддерживается для заданий поиска или восстановления, даже если назначена делегированная роль, включающая разрешение searchJobs/write.

Когда следует использовать задания поиска

Используйте задания поиска для:

• Извлеките записи из долгосрочного хранения и таблиц из базового и вспомогательного планов в новую таблицу аналитики, где можно использовать возможности полной аналитики журнала Azure Monitor.
• Сканируйте большие объемы данных, если время ожидания запроса журнала в 10 минут недостаточно.

Что делает поисковая задача?

Задание поиска сканирует данные и отправляет результаты в новую таблицу в той же рабочей области, что и исходные данные. Таблица результатов доступна, как только начинается поисковое задание, но может пройти некоторое время, прежде чем результаты начнут появляться. Стоимость взимается на основе модели ценообразования отсканированных данных и объема полученных результатов. Перед выполнением задания поиска оценка затрат доступна, чтобы решить, следует ли запускать задание.

Таблица результатов поиска — это таблица аналитики, доступная для запросов журналов и других функций Azure Monitor, использующих таблицы в рабочей области. В таблице используется значение хранения, установленное для рабочей области, но вы можете изменить это значение после создания таблицы.

Схема таблицы результатов поиска основана на схеме исходной таблицы и указанном запросе. Следующие другие столбцы помогают отслеживать исходные записи:

Столбец	Значение
_OriginalType	Значение Type из исходной таблицы.
_OriginalItemId	Значение _ItemID из исходной таблицы.
_ОригинальноеВремяГенерации	Значение TimeGenerated из исходной таблицы.
Время генерации	Время выполнения задания поиска.

Запросы в таблице результатов отображаются в журнале аудита запросов, но не в начальном задании поиска.

Выполнение задания поиска

Запустите задание поиска, чтобы получить записи из больших наборов данных в новую таблицу результатов поиска в рабочей области.

Совет

За выполнение задания поиска вы несете расходы. Напишите и оптимизируйте запрос в интерактивном режиме запроса перед выполнением задания поиска. Используйте предварительную версию оценки затрат, чтобы понять потенциальные затраты.

Портал

Чтобы запустить задание поиска, в портал Azure выполните следующие действия:

1. В меню рабочей области Log Analytics выберите журналы.

2. Введите запрос задания поиска или просто выберите нужную таблицу.

3. Выберите меню с многоточием в правой части экрана и выберите задание поиска.

   

4. Или используйте раскрывающееся меню "Запуск " и выберите "Выполнить как поиск".

   

5. Укажите диапазон дат задания поиска с помощью средства выбора времени. Выберите любой период в течение общего периода хранения.

   Если запрос Kusto также задает диапазон времени, объединение диапазонов времени используется для задания поиска.

   

6. Введите имя таблицы результатов поиска и выберите Запустить задание поиска.

   Журналы Azure Monitor выполняют задание поиска и создают новую таблицу в вашей рабочей области для результатов этого поиска.

7. Когда новая таблица будет готова, выберите "Просмотреть <searchtablename>_SRCH" , чтобы просмотреть таблицу в Log Analytics.

   Результаты задания поиска доступны по мере поступления в недавно созданную таблицу результатов поиска.

   

   Журналы Azure Monitor показывают сообщение задание поиска завершено, когда оно выполнено. Когда вы видите это сообщение или индикатор выполнения показывает 100%, таблица результатов готова и содержит все записи, соответствующие поисковому запросу.

API

Чтобы запустить задание поиска, используйте операцию Create API таблиц. Вызов включает имя создаваемой таблицы результатов. Имя таблицы результатов должно заканчиваться на _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/{tablename_SRCH}?api-version={api-version}

Текст запроса

Включите в текст запроса следующие значения:

Имя.	Тип	Описание
свойства.результатыПоиска.запрос	строка	Запрос журнала, написанный на KQL для извлечения данных.
свойства.результатыПоиска.лимит	целое число	Максимальное количество записей в результирующем наборе до 100 миллионов записей. (Необязательно)
properties.searchResults.startSearchTime	строка	Начало диапазона времени для поиска.
свойства.результатыПоиска.времяОкончанияПоиска	строка	Конец диапазона времени для поиска.

Образец запроса

В этом примере создается таблица с именем Syslog_suspected_SRCH с результатами запроса, который ищет определенные записи в таблице Syslog.

Запросить

PUT https://management.azure.com/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/ContosoResourceGroup/providers/Microsoft.OperationalInsights/workspaces/ContosoWorkspace/tables/Syslog_suspected_SRCH?api-version={api-version}

Текст запроса

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2025-01-01T00:00:00Z",
                "endSearchTime": "2025-11-30T00:00:00Z"
            }
    }
}

Ответ

Код состояния: 202 accepted (принято).

CLI

Чтобы выполнить поисковое задание, выполните команду az monitor log-analytics workspace table search-job create. Имя таблицы результатов, которое вы задаете с помощью параметра --name, должно заканчиваться на _SRCH.

Пример

az monitor log-analytics workspace table search-job create --subscription aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e --resource-group ContosoResourceGroup --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "198.51.100.101"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

PowerShell

Чтобы запустить задание поиска, выполните команду New-AzOperationalInsightsSearchTable . Имя таблицы результатов, которое вы задаете с помощью параметра TableName, должно заканчиваться на _SRCH.

Пример

New-AzOperationalInsightsSearchTable -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -TableName HeartbeatByIp_SRCH -SearchQuery "Heartbeat" -StartSearchTime "01-01-2022 00:00:00" -EndSearchTime "01-01-2022 00:00:00"

Получение состояния и сведений о задании поиска

Портал

1. В меню рабочей области Log Analytics выберите журналы.

2. Врезультатах поиска> наведите указатель мыши на таблицу результатов поиска, чтобы просмотреть ход выполнения.

   Значок в таблице результатов поиска отображает значок индикатора обновления до завершения задания поиска.

   

API

Get Используйте операцию API таблиц для проверки состояния и сведений о задании поиска.

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/{tableName_SRCH}?api-version={api-version}

Состояние таблицы

Каждая таблица заданий поиска имеет свойство provisioningState, которое может принимать одно из следующих значений.

Состояние	Описание
Обновление	Заполнение таблицы и ее схемы.
InProgress	Задание поиска выполняется, извлечение данных.
Выполнено	Задание поиска завершено.
Удаление	Удаление таблицы заданий поиска.

Образец запроса

В этом примере извлекается состояние таблицы для задания поиска из предыдущего примера.

Запросить

GET https://management.azure.com/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/ContosoResourceGroup/providers/Microsoft.OperationalInsights/workspaces/ContosoWorkspace/tables/Syslog_SRCH?api-version={api-version}

Ответ

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/ContosoResourceGroup/providers/Microsoft.OperationalInsights/workspaces/ContosoWorkspace/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

CLI

Чтобы проверить состояние и сведения о таблице заданий поиска, выполните команду az monitor log-analytics workspace table show.

Пример

az monitor log-analytics workspace table show --subscription aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e --resource-group ContosoResourceGroup --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

PowerShell

Чтобы проверить состояние и сведения таблицы заданий поиска, выполните команду Get-AzOperationalInsightsTable .

Пример

Get-AzOperationalInsightsTable -ResourceGroupName "ContosoResourceGroup" -WorkspaceName "ContosoWorkspace" -tableName "HeartbeatByIp_SRCH"

Примечание.

Если параметр -TableName не указан, команда выводит список всех таблиц, связанных с рабочей областью.

Удаление таблицы заданий поиска

Мы рекомендуем удалить таблицу заданий поиска после завершения выполнения запросов к таблице. Эта рекомендация снижает нагрузку на рабочую область и дополнительные расходы на хранение данных.

Соображения

Поисковые задания подлежат следующим соображениям.

• Оптимизировано для запроса одной таблицы за раз
• Диапазон дат поиска — это любой период в пределах общего срока хранения.
• Поддерживает длительный процесс поиска с тайм-аутом до 24 часов
• Результаты ограничены 100 миллионами записей в наборе записей. Если ограничение превышено, Azure Monitor прерывает задание с состоянием частичного успешного выполнения, а таблица содержит только записи, полученные до этой точки.
• Параллельное выполнение ограничено десятью заданиями поиска на рабочую область.
• Ограничено 200 таблицами результатов поиска для каждой рабочей области
• Не более 200 выполнений заданий поиска в день на рабочую область
• Задания поиска между клиентами не поддерживаются
• Делегированный доступ к Azure Lighthouse не поддерживается для заданий поиска, даже если делегирование содержит соответствующее разрешение на поиск или запись. Сбой с сообщением об ошибке:
  Пользователь<managing-tenant-userId>не поддерживает доступ к действиям Microsoft.OperationalInsights/workspaces/searchJobs/write в области<делегированной рабочей области-resourceID>.

Рекомендации по запросу KQL

Задания поиска предназначены для сканирования больших объемов данных в определенной таблице, поэтому запросы задания поиска должны всегда начинаться с имени таблицы. Чтобы включить асинхронное выполнение с помощью распределения и сегментации, запрос поддерживает подмножество KQL, включая следующие табличные операторы:

• where
• extend
• project
• project-away
• project-keep
• project-rename
• project-reorder
• parse
• parse-where

Все функции и двоичные операторы в этих операторах доступны для использования.

Оператор contains строк заблокирован для использования в заданиях поиска, так как сложные текстовые совпадения оказывают значительное влияние на производительность. Вместо этого используйте has оператор строки. Дополнительные сведения о рекомендациях по повышению производительности см. в статье "Оптимизация запросов журналов" в Azure Monitor.

Модель ценообразования

Плата за задание поиска основана на следующих принципах:

• Выполнение задания поиска:

  • План аналитики — это объем данных, которые задача поиска сканирует и которые находятся в долгосрочном хранении. Плата за сканирование данных, находящихся на хранении в таблицах аналитики, не взимается.

  • Базовые или вспомогательные планы — все данные, которые задание поиска сканирует, находятся в долгосрочном хранении.

    Сканируемые данные определяются как объем данных в таблице, в которую выполняется задание поиска, в пределах указанного диапазона времени. Дополнительные сведения об аналитике и долгосрочном хранении см. в статье "Управление хранением данных" в рабочей области Log Analytics.

• Результаты поиска - объем данных, которые задание поиска обнаруживает и интегрирует в таблицу результатов, с учетом скорости загрузки данных для аналитических таблиц.

Например, если поиск в таблице "Базовый" составляет 30 дней, а таблица содержит 500 ГБ данных в день, плата взимается за 15 000 ГБ отсканированных данных. Если задание поиска возвращает 1000 записей, вы платите за внесение этих 1000 записей в таблицу результатов.

Дополнительные сведения см. на странице цен на Azure Monitor.

Связанный контент

• Дополнительные сведения об управлении хранением данных в рабочей области Log Analytics.
• Узнайте, как напрямую запрашивать базовые и вспомогательные таблицы.