Руководство. Добавление преобразования в правило сбора данных рабочей области с помощью портал Azure

Статья
07/17/2023

В этом руководстве описывается настройка примера преобразования в правиле сбора данных рабочей области (DCR) с помощью портал Azure. Преобразования в Azure Monitor позволяют фильтровать или изменять входящие данные до отправки в место назначения. Преобразования рабочей области обеспечивают поддержку преобразований времени приема для рабочих процессов, которые еще не используют конвейер приема данных Azure Monitor.

Преобразования рабочей области хранятся вместе в одном DCR для рабочей области, которая называется DCR рабочей области. Каждое преобразование связано с определенной таблицей. Преобразование будет применено ко всем данным, отправленным в эту таблицу из любого рабочего процесса, не использующего DCR.

Примечание.

В этом руководстве для настройки преобразования рабочей области используется портал Azure. В том же руководстве с помощью шаблонов Azure Resource Manager и REST API см . руководство. Добавление преобразования в правило сбора данных рабочей области в Azure Monitor с помощью шаблонов resource manager.

В этом руководстве описано следующее:

Настройте преобразование рабочей области для таблицы в рабочей области Log Analytics.
Напишите запрос журнала для преобразования рабочей области.

Необходимые компоненты

Для работы с этим учебником необходимы указанные ниже компоненты.

Рабочая область Log Analytics, в которой есть по крайней мере участник прав.
Разрешения на создание объектов DCR в рабочей области.
Таблица, которая уже содержит некоторые данные.
Эту таблицу невозможно связать с DCR преобразования рабочей области.

Общие сведения о руководстве

В этом учебнике вы снизите потребность в пространстве для хранения для таблицы LAQueryLogs путем фильтрации по определенным записям. Вы также удалите содержимое столбца при анализе его данных для сохранения фрагмента данных в пользовательском столбце. Таблица LAQueryLogs создается при включении аудита запросов к журналу в рабочей области. Этот же базовый процесс можно использовать для создания преобразования любой поддерживаемой таблицы в рабочей области Log Analytics.

В этом руководстве используется портал Azure, который предоставляет мастер для выполнения процесса создания преобразования во время приема. После завершения действий вы увидите, что мастер:

Обновления схему таблицы с любыми другими столбцами из запроса.
WorkspaceTransforms Создает DCR и связывает его с рабочей областью, если DCR по умолчанию еще не связан с рабочей областью.
Будет создано и добавлено в DCR преобразование времени приема.

Включение журналов аудита запросов

Чтобы создать таблицу LAQueryLogs, с которой вы будете работать, необходимо включить аудит запросов для рабочей области. Этот шаг не требуется для всех преобразований времени приема. Этот шаг необходим для создания демонстрационных данных, с которыми мы будем работать.

В меню рабочих областей Log Analytics в портал Azure выберите пункт "Параметры диагностики" "Добавить параметр диагностики>".
Введите имя параметра диагностики. Выберите рабочую область, чтобы данные аудита хранились в той же рабочей области. Выберите категорию аудита и нажмите кнопку "Сохранить", чтобы сохранить параметр диагностики и закрыть страницу параметров диагностики.
Выберите Журналы, а затем выполните несколько запросов для заполнения таблицы LAQueryLogs данными. Для добавления в журнал аудита этим запросам не требуется ничего возвращать.

Добавление преобразования в таблицу

Теперь, когда таблица создана, для нее можно создать преобразование.

В меню рабочих областей Log Analytics в портал Azure выберите "Таблицы". Перейдите к таблице LAQueryLogs и выберите Создать преобразование.
Так как это преобразование является первым в рабочей области, необходимо создать DCR преобразования рабочей области. Если вы создаете преобразования для других таблиц в той же рабочей области, они будут храниться в этом же DCR. Выберите " Создать новое правило сбора данных". Параметры Подписка и Группа ресурсов для рабочей области будут уже заполнены. Введите имя DCR и нажмите кнопку "Готово".
Нажмите кнопку "Рядом ", чтобы просмотреть примеры данных из таблицы. При определении преобразования результат будет применен к образцу данных. По этой причине вы можете оценить результаты перед применением его к фактическим данным. Выберите редактор преобразования, чтобы определить преобразование.
В редакторе преобразования можно увидеть преобразование, которое будет применено к данным перед их приемом в таблице. Входящие данные представлены виртуальной таблицей под названием source с тем же набором столбцов, что и целевая таблица. Преобразование изначально содержит простой запрос, возвращающий таблицу source без изменений.
Измените запрос на следующий пример:
```
source
| where QueryText !contains 'LAQueryLogs'
| extend Context = parse_json(RequestContext)
| extend Workspace_CF = tostring(Context['workspaces'][0])
| project-away RequestContext, Context
```
Изменение вносит следующие изменения:
- Строки, связанные с запросом самой LAQueryLogs таблицы, были удалены для экономии места, так как эти записи журнала не полезны.
- Добавлен столбец имени рабочей области, запрашиваемой.
- Данные из столбца RequestContext были удалены для экономии места.
Примечание.

При использовании портала Azure выходные данные преобразования будут при необходимости инициировать изменения в схеме таблицы. В соответствии с этими выходными данными будут добавляться требуемые столбцы. Убедитесь, что выходные данные не содержат столбцов, которые вы не хотите добавить в таблицу. Если выходные данные не содержат столбцы, которые уже находятся в таблице, эти столбцы не будут удалены, но данные не будут добавлены.

Все настраиваемые столбцы, добавленные в встроенную таблицу, должны заканчиваться _CF. Столбцы, добавленные в настраиваемую таблицу, не должны иметь этот суффикс. Пользовательская таблица имеет имя, которое заканчивается _CL.
Скопируйте запрос в редактор преобразования и выберите "Выполнить ", чтобы просмотреть результаты из примера данных. Вы можете убедиться, что новый столбец Workspace_CF содержится в запросе.
Нажмите кнопку "Применить" , чтобы сохранить преобразование, а затем нажмите кнопку "Далее ", чтобы просмотреть конфигурацию. Выберите "Создать", чтобы обновить DCR с помощью нового преобразования.

Тестирование преобразования

Преобразование вступает в силу в течение 30 минут. После этого протестируйте его, выполнив запрос к таблице. Будут затронуты только данные, отправленные в таблицу после применения преобразования.

Для работы с этим учебником выполните несколько примеров запросов для отправки данных в таблицу LAQueryLogs. Включите некоторые запросы, LAQueryLogs чтобы убедиться, что преобразование фильтрует эти записи. Теперь выходные данные имеют новый Workspace_CF столбец, для которых нет записей LAQueryLogs.

Устранение неполадок

В этом разделе описаны различные условия ошибки, которые могут возникнуть и как их исправить.

IntelliSense в Log Analytics не распознает новые столбцы в таблице

Кэш, который управляет IntelliSense, может занять до 24 часов для обновления.

Преобразование в динамическом столбце не работает

Известная проблема в настоящее время влияет на динамические столбцы. Временное решение заключается в явном анализе данных динамического столбца перед parse_json() выполнением любых операций с ними.

Share via