Руководство. Добавление преобразования для данных рабочей области Azure Cosmos DB с помощью портал Azure
В этом руководстве описывается настройка примера преобразования в правиле сбора данных рабочей области (DCR) с помощью портал Azure.
Примечание.
Чтобы повысить затраты на включение Log Analytics, теперь мы поддерживаем добавление правил сбора данных и преобразований в ресурсы Log Analytics для фильтрации столбцов, уменьшения количества возвращаемых результатов и создания новых столбцов перед отправкой данных в место назначения.
Преобразования рабочей области хранятся вместе в одном DCR для рабочей области, которая называется DCR рабочей области. Каждое преобразование связано с определенной таблицей. Преобразование применяется ко всем данным, отправленным в эту таблицу из любого рабочего процесса, не использующим DCR.
Примечание.
В этом руководстве для настройки преобразования рабочей области используется портал Azure. В том же руководстве с помощью шаблонов Azure Resource Manager и REST API см . руководство. Добавление преобразования в правило сбора данных рабочей области в Azure Monitor с помощью шаблонов resource manager.
В этом руководстве описано следующее:
- Настройте преобразование рабочей области для таблицы в рабочей области Log Analytics.
- Напишите запрос журнала для преобразования рабочей области.
Необходимые компоненты
Для работы с этим учебником необходимы указанные ниже компоненты.
- Рабочая область Log Analytics, в которой у вас есть по крайней мере права участника.
- Разрешения на создание объектов DCR в рабочей области.
- Таблица, которая уже содержит некоторые данные.
- Эту таблицу невозможно связать с DCR преобразования рабочей области.
Общие сведения о руководстве
В этом руководстве вы уменьшите требования к хранилищу CDBDataPlaneRequests
для таблицы, отфильтровав определенные записи. Вы также удаляете содержимое столбца при анализе данных столбца для хранения части данных в пользовательском столбце. Таблица CDBDataPlaneRequests создается при включении аналитики журналов в рабочей области.
В этом руководстве используется портал Azure, который предоставляет мастер для выполнения процесса создания преобразования во время приема. После завершения действий вы увидите, что мастер:
- Обновляет схему таблицы с любыми другими столбцами из запроса.
WorkspaceTransformation
Создает DCR и связывает его с рабочей областью, если DCR по умолчанию еще не связан с рабочей областью.- Будет создано и добавлено в DCR преобразование времени приема.
Включение журналов аудита запросов
Необходимо включить log analytics для рабочей области, чтобы создать таблицу CDBDataPlaneRequests
, с которыми вы работаете. Этот шаг не требуется для всех преобразований времени приема. Это просто создание примеров данных, с которыми мы работаем.
Добавление преобразования в таблицу
Теперь, когда таблица создана, для нее можно создать преобразование.
В меню рабочих областей Log Analytics в портал Azure выберите "Таблицы". Перейдите к таблице
CDBDataPlaneRequests
и выберите Создать преобразование.Так как это преобразование является первым в рабочей области, необходимо создать DCR преобразования рабочей области. Если вы создаете преобразования для других таблиц в той же рабочей области, они хранятся в этом же DCR. Выберите " Создать новое правило сбора данных". Подписка и группа ресурсов уже заполнены для рабочей области. Введите имя DCR и нажмите кнопку "Готово".
Нажмите кнопку "Рядом ", чтобы просмотреть примеры данных из таблицы. При определении преобразования результат применяется к примеру данных. По этой причине вы можете оценить результаты перед применением его к фактическим данным. Выберите редактор преобразования, чтобы определить преобразование.
В редакторе преобразований можно увидеть преобразование, которое применяется к данным до приема в таблицу. Виртуальная таблица с именем
source
представляет входящие данные, которые имеют тот же набор столбцов, что и сама целевая таблица. Преобразование изначально содержит простой запрос, возвращающий таблицуsource
без изменений.Измените запрос на следующий пример:
source | where StatusCode != 200 // searching for requests that are not successful | project-away Type, TenantId
Изменение вносит следующие изменения:
- Строки, связанные с запросом самой
CDBDataPlaneRequests
таблицы, были удалены для экономии места, так как эти записи журнала не полезны. - Данные из
TenantId
Type
столбцов были удалены для экономии места. - Преобразования также поддерживают добавление столбцов с помощью
extend
оператора в запросе.
Примечание.
При использовании портала Azure выходные данные преобразования будут при необходимости инициировать изменения в схеме таблицы. В соответствии с этими выходными данными будут добавляться требуемые столбцы. Убедитесь, что выходные данные не содержат столбцов, которые вы не хотите добавить в таблицу. Если выходные данные не содержат столбцы, которые уже находятся в таблице, эти столбцы не будут удалены, но данные не будут добавлены.
Все настраиваемые столбцы, добавленные в встроенную таблицу, должны заканчиваться
_CF
. Столбцы, добавленные в настраиваемую таблицу, не должны иметь этот суффикс. Пользовательская таблица имеет имя, которое заканчивается_CL
.- Строки, связанные с запросом самой
Скопируйте запрос в редактор преобразования и выберите "Выполнить ", чтобы просмотреть результаты из примера данных. Вы можете убедиться, что новый столбец
Workspace_CF
содержится в запросе.Нажмите кнопку "Применить" , чтобы сохранить преобразование, а затем нажмите кнопку "Далее ", чтобы просмотреть конфигурацию. Выберите "Создать", чтобы обновить DCR с помощью нового преобразования.
Тестирование преобразования
Преобразование вступает в силу в течение 30 минут. После этого протестируйте его, выполнив запрос к таблице. Это преобразование влияет только на данные, отправленные в таблицу после применения преобразования.
Для работы с этим учебником выполните несколько примеров запросов для отправки данных в таблицу CDBDataPlaneRequests
. Включите некоторые запросы, CDBDataPlaneRequests
чтобы убедиться, что преобразование фильтрует эти записи.
Устранение неполадок
В этом разделе описаны различные условия ошибки, которые могут возникнуть и как их исправить.
IntelliSense в Log Analytics не распознает новые столбцы в таблице
Кэш, который управляет IntelliSense, может занять до 24 часов для обновления.
Преобразование в динамическом столбце не работает
Известная проблема в настоящее время влияет на динамические столбцы. Временное решение заключается в явном анализе данных динамического столбца перед parse_json()
выполнением любых операций с ними.