Выполнение заданий поиска в Azure Monitor

Задание поиска — асинхронный запрос, выполняемый на любых данных в Log Analytics как в интерактивном режиме, так и в режиме долгосрочного хранения, который делает результаты запроса доступными для интерактивных запросов в новой таблице поиска в рабочей области. Задание поиска использует параллельную обработку и может выполняться в течение нескольких часов для больших наборов данных. В этой статье описано, как создать задание поиска и запросить полученные данные.

В этом видео объясняется, когда и как использовать задания поиска:

Требуемые разрешения

Действие	Требуемые разрешения
Выполнение задания поиска	Microsoft.OperationalInsights/workspaces/tables/write и Microsoft.OperationalInsights/workspaces/searchJobs/write разрешения для рабочей области Log Analytics, например, предоставленные встроенной ролью участника Log Analytics.

Примечание.

В настоящее время работы поиска между арендаторами не поддерживаются, даже если арендаторы Entra ID управляются через Azure Lighthouse.

Когда следует использовать задания поиска

Используйте задания поиска для:

• Извлеките записи из долгосрочного хранения и таблиц из базового и вспомогательного планов в новую таблицу аналитики, где можно использовать возможности полной аналитики журнала Azure Monitor.
• Сканируйте большие объемы данных, если время ожидания запроса журнала в 10 минут недостаточно.

Что делает поисковая задача?

Задание поиска отправляет результаты обработки в новую таблицу в той же рабочей области, что и исходные данные. Таблица результатов доступна, как только начинается поисковое задание, но может пройти некоторое время, прежде чем результаты начнут появляться.

Таблица результатов поиска — это таблица аналитики, доступная для запросов журналов и других функций Azure Monitor, использующих таблицы в рабочей области. В таблице используется значение хранения, установленное для рабочей области, но вы можете изменить это значение после создания таблицы.

Схема таблицы результатов поиска основана на схеме исходной таблицы и указанном запросе. Следующие другие столбцы помогают отслеживать исходные записи:

Столбец	Значение
_OriginalType	Значение Type из исходной таблицы.
_OriginalItemId	Значение _ItemID из исходной таблицы.
_ОригинальноеВремяГенерации	Значение TimeGenerated из исходной таблицы.
Время генерации	Время выполнения задания поиска.

Запросы в таблице результатов отображаются в журнале аудита запросов, но не в начальном задании поиска.

Выполнение задания поиска

Запустите задание поиска, чтобы получить записи из больших наборов данных в новую таблицу результатов поиска в рабочей области.

Совет

За выполнение задания поиска вы несете расходы. Поэтому перед выполнением задания поиска напишите и оптимизируйте запрос в интерактивном режиме запроса.

Портал

Чтобы запустить задание поиска, в портал Azure выполните следующие действия:

1. В меню рабочей области Log Analytics выберите журналы.

2. Введите запрос задания поиска или просто выберите нужную таблицу.

3. Выберите меню с многоточием в правой части экрана и выберите задание поиска.

   

4. Укажите диапазон дат задания поиска с помощью средства выбора времени. Максимальный диапазон составляет один год, но может охватывать любой годичный период в пределах допустимого срока хранения данных.

   Если запрос Kusto также задает диапазон времени, объединение диапазонов времени используется для задания поиска.

   

5. Введите имя таблицы результатов поиска и выберите Запустить задание поиска.

   Журналы Azure Monitor выполняют задание поиска и создают новую таблицу в вашей рабочей области для результатов этого поиска.

6. Когда новая таблица будет готова, выберите "Просмотреть <searchtablename>_SRCH" , чтобы просмотреть таблицу в Log Analytics.

   Результаты задания поиска доступны по мере поступления в недавно созданную таблицу результатов поиска.

   

   Журналы Azure Monitor показывают сообщение задание поиска завершено, когда оно выполнено. Когда вы видите это сообщение или индикатор выполнения показывает 100%, таблица результатов готова и содержит все записи, соответствующие поисковому запросу.

API

Чтобы запустить задание поиска, вызовите API Таблицы — создание или обновление. Вызов включает имя создаваемой таблицы результатов. Имя таблицы результатов должно заканчиваться на _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Текст запроса

Включите в текст запроса следующие значения:

Имя.	Тип	Описание
свойства.результатыПоиска.запрос	строка	Запрос журнала, написанный на KQL для извлечения данных.
свойства.результатыПоиска.лимит	целое число	Максимальное количество записей в результирующем наборе (до 1 млн записей). (Необязательно)
properties.searchResults.startSearchTime	строка	Начало диапазона времени для поиска.
свойства.результатыПоиска.времяОкончанияПоиска	строка	Конец диапазона времени для поиска.

Образец запроса

В этом примере создается таблица с именем Syslog_suspected_SRCH с результатами запроса, который ищет определенные записи в таблице Syslog.

Запросить

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Текст запроса

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Ответ

Код состояния: 202 accepted (принято).

CLI

Чтобы выполнить поисковое задание, выполните команду az monitor log-analytics workspace table search-job create. Имя таблицы результатов, которое вы задаете с помощью параметра --name, должно заканчиваться на _SRCH.

Пример

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

PowerShell

Чтобы запустить задание поиска, выполните команду New-AzOperationalInsightsSearchTable . Имя таблицы результатов, которое вы задаете с помощью параметра TableName, должно заканчиваться на _SRCH.

Пример

New-AzOperationalInsightsSearchTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -TableName HeartbeatByIp_SRCH -SearchQuery "Heartbeat" -StartSearchTime "01-01-2022 00:00:00" -EndSearchTime "01-01-2022 00:00:00"

Получение состояния и сведений о задании поиска

Портал

1. В меню рабочей области Log Analytics выберите журналы.

2. Врезультатах поискатаблиц> наведите указатель мыши на таблицу результатов поиска, чтобы просмотреть ход выполнения.

   Значок в таблице результатов поиска отображает значок индикатора обновления до завершения задания поиска.

   

API

Вызовите API Tables - Get, чтобы получить статус и детали поискового задания.

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Состояние таблицы

Каждая таблица заданий поиска имеет свойство provisioningState, которое может принимать одно из следующих значений.

Состояние	Описание
Обновление	Заполнение таблицы и ее схемы.
InProgress	Задание поиска выполняется, извлечение данных.
Выполнено	Задание поиска завершено.
Удаление	Удаление таблицы заданий поиска.

Образец запроса

В этом примере извлекается состояние таблицы для задания поиска из предыдущего примера.

Запросить

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Ответ

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

CLI

Чтобы проверить состояние и сведения о таблице заданий поиска, выполните команду az monitor log-analytics workspace table show.

Пример

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

PowerShell

Чтобы проверить состояние и сведения таблицы заданий поиска, выполните команду Get-AzOperationalInsightsTable .

Пример

Get-AzOperationalInsightsTable -ResourceGroupName "ContosoRG" -WorkspaceName "ContosoWorkspace" -tableName "HeartbeatByIp_SRCH"

Примечание.

Если параметр -TableName не указан, команда выводит список всех таблиц, связанных с рабочей областью.

Удаление таблицы заданий поиска

Мы рекомендуем удалить таблицу заданий поиска после завершения выполнения запросов к таблице. Эта рекомендация снижает нагрузку на рабочую область и дополнительные расходы на хранение данных.

Ограничения

Задания поиска имеют следующие ограничения:

• Оптимизировано для запроса одной таблицы за раз.
• Диапазон дат поиска: до одного года.
• Поддерживает длительные поисковые запросы с временем ожидания до 24 часов.
• Результаты ограничены 1 млн записей в наборе записей.
• Одновременное выполнение ограничено пятью заданиями поиска на рабочую область.
• Существует ограничение до 100 таблиц результатов поиска на рабочую область.
• Ограничение на 100 выполнений заданий поиска в день на рабочее пространство.

Когда вы достигнете лимита записей, Azure прерывает задание со статусом частичного успеха, и таблица содержит только записи, переданные до этой точки.

Ограничения запросов KQL

Задания поиска предназначены для сканирования больших объемов данных в определенной таблице. Поэтому запросы задания поиска должны всегда начинаться с имени таблицы. Чтобы включить асинхронное выполнение с помощью распределения и сегментации, запрос поддерживает подмножество KQL, включая операторы:

• [where](/azure/data-explorer/kusto/query/whereoperator)
• [extend](/azure/data-explorer/kusto/query/extendoperator)
• [project](/azure/data-explorer/kusto/query/projectoperator)
• [project-away](/azure/data-explorer/kusto/query/projectawayoperator)
• [project-keep](/azure/data-explorer/kusto/query/project-keep-operator)
• [project-rename](/azure/data-explorer/kusto/query/projectrenameoperator)
• [project-reorder](/azure/data-explorer/kusto/query/projectreorderoperator)
• [parse](/azure/data-explorer/kusto/query/parse-operator)
• [parse-where](/azure/data-explorer/kusto/query/parse-where-operator)

Вы можете использовать все функции и бинарные операторы внутри этих операторов.

Модель ценообразования

Плата за задание поиска основана на следующих принципах:

• Выполнение задания поиска:

  • План аналитики — это объем данных, которые задача поиска сканирует и которые находятся в долгосрочном хранении. Плата за сканирование данных в интерактивном хранении в таблицах аналитической системы не взимается.

  • Базовые или вспомогательные планы — все данные, которые сканирует задание поиска, в интерактивном и долгосрочном хранении.

    Сканируемые данные определяются как объем данных в таблице, в которую выполняется задание поиска, в пределах указанного диапазона времени. Дополнительные сведения об интерактивном и долгосрочном хранении см. в разделе "Управление хранением данных" в рабочей области Log Analytics.

• Результаты поиска - объем данных, которые задание поиска обнаруживает и интегрирует в таблицу результатов, с учетом скорости загрузки данных для аналитических таблиц.

Например, если поиск в таблице "Базовый" составляет 30 дней, а таблица содержит 500 ГБ данных в день, плата взимается за 15 000 ГБ отсканированных данных. Если задание поиска возвращает 1000 записей, вы платите за внесение этих 1000 записей в таблицу результатов.

Дополнительные сведения см. на странице цен на Azure Monitor.

Следующие шаги

• Дополнительные сведения об управлении хранением данных в рабочей области Log Analytics.
• Узнайте, как напрямую запрашивать базовые и вспомогательные таблицы.