Поделиться через


Экспорт данных рабочей области Log Analytics в Azure Monitor

Экспорт данных в рабочей области Log Analytics позволяет непрерывно экспортировать данные в выбранные таблицы вашей рабочей области. Вы можете экспортировать данные в учетную запись службы хранения Azure или Центров событий Azure по мере их поступления в конвейер Azure Monitor. В данной статье представлены подробные сведения о данной функции, а также шаги по настройке экспорта данных в ваших рабочих областях.

Обзор

Данные в Log Analytics доступны для периода хранения, определенного в рабочей области. Он используется в различных опытах, предоставляемых в Azure Monitor и службах Azure. В некоторых случаях необходимо использовать другие средства:

  • Соответствие требованиям защищенных от несанкционированного вмешательства хранилищ: данные нельзя изменить в Log Analytics после приема, но их можно удалить. Экспорт в учетную запись хранения с политиками неизменяемости для защиты данных от изменений.
  • Интеграция со службами Azure и другими инструментами. Экспорт в Центры событий в качестве поступающих данных и обрабатывается в Azure Monitor.
  • Долгосрочное хранение данных аудита и безопасности: экспорт в учетную запись хранения в регионе рабочей области. Кроме того, вы можете реплицировать данные в другие регионы, используя любой из вариантов избыточности хранилища Azure, включая GRS и GZRS.

После настройки правил экспорта данных в рабочей области Log Analytics новые данные для таблиц в правилах экспортируются из конвейера Azure Monitor в учетную запись хранения или центры событий по мере поступления. Трафик экспорта данных находится в магистральной сети Azure и не покидает сеть Azure.

Схема, показывающая поток экспорта данных.

Данные экспортируются без фильтрации. Например, при настройке правила экспорта данных для таблицы SecurityEvent все данные, отправленные в таблицу SecurityEvent, экспортируются начиная с времени настройки. Кроме того, можно отфильтровать или изменить экспортированные данные, настроив преобразования в рабочей области, которые применяются к входящим данным, прежде чем они будут отправлены в рабочие области Log Analytics и в места экспорта.

Другие варианты экспорта

Экспорт данных из рабочей области Log Analytics постоянно перемещает данные, отправленные в вашу рабочую область Log Analytics. Существуют и другие способы экспорта данных для конкретных сценариев.

  • Если ресурс Azure уже отправляет журналы в рабочую область Log Analytics через параметры журнала диагностики, рассмотрите возможность обновления параметров диагностики непосредственно на ресурсе Azure, чтобы добавить новое место назначения, вместо регулярного выполнения экспорта данных. Этот подход имеет меньшую задержку по сравнению с экспортом данных, но не отправляет исторические данные.
  • Запланируйте экспорт данных на основе запроса журнала, который вы определяете с помощью API запросов Log Analytics. Используйте Службу синхронизации данных Azure, Функции Azure или Логические приложения Azure для оркестрации запросов в рабочей области и экспорта данных в конечный пункт. Этот метод аналогичен функции экспорта данных, но его можно использовать для экспорта исторических данных из рабочей области с помощью фильтров и агрегирования. Этот метод применяется к ограничениям запросов журнала и не предназначен для масштабирования. Дополнительные сведения см. в статье "Экспорт данных из рабочей области Log Analytics" в учетную запись хранения с помощью Logic Apps.
  • Используйте одноразовый экспорт на локальный компьютер с помощью скрипта PowerShell. Дополнительные сведения см. в разделе Invoke-AzOperationalInsightsQueryExport.

Требуются разрешения

Действие Требуются разрешения
Создание или обновление правила экспорта данных Microsoft.OperationalInsights/workspaces/dataexports/write разрешения на рабочую область Log Analytics, как указано для встроенной роли Участника Log Analytics, например
Удаление правила экспорта данных Microsoft.OperationalInsights/workspaces/dataexports/delete разрешения на рабочую область Log Analytics, как указано для встроенной роли Участника Log Analytics, например
Экспорт в аккаунт хранения Microsoft.Storage/storageAccounts/blobServices/containers/write разрешения на хранилище, например, предоставляемые встроенной ролью участника хранилища.
Экспорт в Концентратор событий Microsoft.EventHub/namespaces/eventhubs/write, Microsoft.EventHub/namespaces/eventhubs/messages/write, Microsoft.EventHub/namespaces/authorizationRules/listkeys/action разрешения на концентратор событий, как, например, указано встроенными ролями владельца данных Центров событий Azure.
Журналы запросов в таблице Microsoft.OperationalInsights/workspaces/query/<table>/readразрешения на рабочую область Log Analytics, как предусмотрено встроенной ролью Log Analytics Reader, например
Запрос журналов в таблице (операция с таблицей) Microsoft.OperationalInsights/workspaces/tables/query/readразрешения на рабочую область Log Analytics, как предусмотрено встроенной ролью Log Analytics Reader, например

Ограничения

  • Пользовательские журналы, созданные с помощью API сборщика данных HTTP, нельзя экспортировать, включая текстовые журналы, используемые агентом Log Analytics. Пользовательские журналы, созданные с помощью правил сбора данных, включая текстовые журналы, можно экспортировать.
  • Экспорт данных постепенно поддерживает больше таблиц. См. раздел "Неподдерживаемые таблицы ".
  • Максимальное количество активных правил для каждой рабочей области равно 10, каждое из них может включать несколько таблиц.
  • Учетная запись хранения должна быть уникальной в пределах правил в рабочей области.
  • Поддерживаемые планы таблиц — план аналитика и план базовый. Вспомогательный план не поддерживается.
  • Целевые объекты должны находиться в том же регионе, что и рабочая область Log Analytics.
  • Экспорт в учетную запись хранилища класса Premium не поддерживается.

Полнота данных

Экспорт данных оптимизирован для перемещения больших объемов данных в места назначения. В случае, если пункт назначения имеет недостаточный масштаб или доступность, процесс повторных попыток может продолжаться до 12 часов и привести к дублированию части экспортированных записей. Следуйте рекомендациям по назначению учетной записи хранения и центров событий , чтобы повысить надежность. Если пункты назначения по-прежнему недоступны после периода повтора, данные удаляются.

Дополнительные сведения об ограничениях назначения и рекомендуемых оповещениях см. в статье "Создание или обновление правила экспорта данных".

Модель ценообразования

Расходы на экспорт данных основаны на количестве байтов, экспортированных в назначения в формате JSON, и измеряются в ГБ (10^9 байт). Вычисления размера экспорта данных нельзя выполнить с помощью запроса рабочей области, так как вычисление размера не включает затраты на форматирование JSON. Используйте метод в этом примере скрипта PowerShell, чтобы вычислить общий объём для выставления счетов контейнера BLOB. В настоящее время нет платы за экспорт в суверенные облака. Уведомление будет отправлено перед включением.

Дополнительные сведения, включая график выставления счетов за экспорт данных, см. в разделе Цены Azure Monitor. Выставление счетов за экспорт данных было включено в начале октября 2023 года.

Направления экспорта

Назначение экспорта данных должно быть доступно перед созданием правил экспорта в рабочей области. Пункты назначения могут находиться в разных подписках. С помощью Azure Lighthouse также можно отправлять данные в пункты назначения в другом клиенте Microsoft Entra.

Учетная запись хранения

Предотвращение сбоев входа данных в хранилище из-за задержки или превышения ограничений скорости с помощью существующей учетной записи хранения, не содержащей других данных, не относящихся к мониторингу. Это помогает лучше контролировать доступ к данным и повысить надежность экспорта данных.

Чтобы отправить данные в неизменяемую учетную запись хранения, задайте политику неизменяемости для учетной записи хранения, как описано в разделе Настройка и управление политиками неизменяемости для хранилища Blob в Azure. Необходимо выполнить все действия, описанные в этой статье, в том числе включить защищенные операции записи для добавления BLOB-объектов.

Учетная запись хранения не может быть Premium, должна быть StorageV1 или более поздней версии и находиться в том же регионе, что и рабочая область. Если необходимо реплицировать данные в другие учетные записи хранения в других регионах, используйте любой из вариантов избыточности службы хранилища Azure, включая GRS и GZRS.

Данные отправляются в учетные записи хранения по мере их поступления в Azure Monitor и экспортируются в пункты назначения, расположенные в регионе рабочей области. Контейнер создается для каждой таблицы в учетной записи хранения с именем, которое начинается с am-, за которым следует имя таблицы. К примеру, таблица SecurityEvent будет отправлена в контейнер с именем am-SecurityEvent.

Большие двоичные объекты (Blobs) хранятся в 5-минутных папках по следующей структуре пути: WorkspaceResourceId=/subscriptions/subscription-id/resourcegroups/<resource-group>/providers/microsoft.operationalinsights/workspaces/<workspace>/y=<четырехзначный числовой год>/m=<двузначный числовой месяц>/d=<двузначный числовой день>/h=<двузначный час в формате 24 часов>/m=<двузначная минута из 60 минут>/PT05M.json. Добавление к BLOB-объектам ограничено 50K операциями записи. В папку будут добавлены новые файлы в формате PT05M_#.json*, где "#" — это порядковый номер блоба.

Примечание.

Добавление к BLOB-объектам записывается на основе поля TimeGenerated и возникает при получении исходных данных. Данные, поступающие в Azure Monitor с задержкой или повторно отправленные после ограничения полосы пропускания получателей, записываются в объекты Blob в соответствии с их TimeGenerated.

Формат двоичных объектов в учётной записи хранилища представлен в строках формата JSON, где каждая запись разделена новой строкой, без внешнего массива записей и без запятых между записями JSON.

Снимок экрана, показывающий формат данных в BLOB.

Центры событий

Избегайте использования концентратора событий с существующими данными без мониторинга. Эта рекомендация помогает предотвратить сбои входящего трафика из-за задержки или превышения ограничений скорости.

Данные отправляются в Концентратор событий, как только они достигают Azure Monitor, и экспортируются в места назначения, расположенные в регионе рабочей области. Создайте несколько правил экспорта для одной области имен концентратора событий, указав другое Event Hub name в правиле. Когда Event Hub name не предоставлен, создается концентратор событий по умолчанию для таблиц, которые вы экспортируете, с именем am-, за которым следует имя таблицы. Например, таблица SecurityEvent будет отправлена в Концентратор событий с именем am-SecurityEvent.

Число поддерживаемых центров событий на уровнях пространства имен "Базовый" и "Стандартный" составляет 10. При экспорте более 10 таблиц на эти уровни можно разделить таблицы между несколькими правилами экспорта в разные пространства имен Центров событий или указать имя концентратора событий для экспорта всех таблиц в него.

Примечание.

  • Уровень пространства имен "Базовые центры событий" ограничен. Он поддерживает уменьшенный размер события и не включает опцию автовосполнения для автоматического масштабирования и увеличения числа единиц пропускной способности. По мере того как объем данных в рабочей области увеличивается со временем, и вследствие этого требуется масштабирование концентратора событий, используйте уровни "Стандартный", "Премиум" или "Выделенный концентратор событий" с функцией автоматического расширения, включенной. Дополнительные сведения см. в статье «Автоматическое масштабирование единиц пропускной способности Центров событий Azure».
  • Экспортируемые данные не попадают в ресурсы Центров событий, когда включены виртуальные сети. Чтобы обойти этот параметр брандмауэра в Концентраторе событий и предоставить доступ к вашим Центрам событий, необходимо выбрать флажок Разрешить службам Azure из списка доверенных служб доступ к этой учетной записи хранения.

Запросы к экспортированным данным

Экспорт данных из рабочих областей в учетные записи хранения помогает удовлетворить различные сценарии, упомянутые в обзоре, и может использоваться средствами, которые могут считывать блобы из учетных записей хранения. Следующие методы позволяют запрашивать данные с помощью языка запросов Log Analytics, который совпадает с Azure Data Explorer.

  1. Используйте Azure Data Explorer для запроса данных в Azure Data Lake.
  2. Используйте Azure Data Explorer для загрузки данных из учетной записи хранения.
  3. Используйте рабочую область Log Analytics для запроса ингерированных данных с помощью API загрузки журналов. Данные, подлежащие обработке, отправляются в настраиваемую таблицу журналов, а не в исходную таблицу.

Включить экспорт данных

Для включения функции экспорта данных Log Analytics необходимо выполнить следующие действия.

Регистрация поставщика ресурсов

Поставщик ресурсов Azure Microsoft.Insights должен быть зарегистрирован в подписке, чтобы включить экспорт данных Log Analytics.

Для большинства пользователей Azure Monitor указанный поставщик ресурсов, вероятно, уже будет зарегистрирован. Для проверки перейдите в раздел Подписки на портале Azure. Выберите подписку и выберите поставщики ресурсов в разделе "Параметры" меню. Найдите Microsoft.Insights. Если ее статус помечен как Зарегистрировано, значит, она уже зарегистрирована. Если нет, выберите "Зарегистрировать ", чтобы зарегистрировать его.

Вы также можете воспользоваться любым из доступных методов для регистрации поставщика ресурсов, как описано в разделе Поставщики и типы ресурсов Azure. Следующая пример команды использует Azure CLI:

az provider register --namespace 'Microsoft.insights'

Следующая примерная команда использует PowerShell:

Register-AzResourceProvider -ProviderNamespace Microsoft.insights

Разрешить доверенные службы Microsoft

Если вы настроили аккаунт хранения для разрешения доступа из выбранных сетей, необходимо добавить исключение, чтобы разрешить Azure Monitor записывать в аккаунт. В брандмауэрах и виртуальных сетях для учетной записи хранения выберите разрешить службам Azure в списке доверенных служб доступ к этой учетной записи хранения.

Снимок экрана: параметр

Отслеживание мест назначения

Внимание

Для мест назначения экспорта действуют ограничения, и их необходимо отслеживать для снижения регулирования, числа сбоев и длительности задержки. Дополнительные сведения см. в разделе "Масштабируемость учетной записи хранения" и квоты пространства имен Центров событий.

Следующие метрики доступны для операций экспорта данных и оповещений

Имя метрики Описание
Экспорт байтов Общее количество байтов, экспортированных в место назначения из рабочей области Log Analytics в пределах выбранного диапазона времени. Размер экспортируемых данных — это количество байтов в экспортированных данных в формате JSON. 1 ГБ = 10^9 байт.
Сбои экспорта Общее количество неудачных запросов экспорта в место назначения из рабочей области Log Analytics в течение выбранного диапазона времени. Это число включает неудачные попытки экспорта из-за ограничения ресурсов назначения, ошибки запрещенного доступа или какой-либо ошибки сервера. Процесс повторных попыток обрабатывает неудачные попытки, и число не является признаком отсутствия данных.
Экспортированные записи Общее количество записей, экспортированных из рабочей области Log Analytics в выбранном диапазоне времени. Это число подсчитывает записи для операций, закончившихся успешно.

Мониторинг учетной записи хранения

  1. Используйте отдельную учетную запись хранения для экспорта.

  2. Настройте оповещение для метрики:

    Область Пространство имен метрик Метрика Агрегация Порог
    имя хранилища Учетная запись Вход Сумма 80 % от максимального входящего трафика за период оценки оповещений. Например, ограничение составляет 60 Гбит/с для общего назначения версии 2 в западной части США. Пороговое значение генерации оповещений составляет 1676 ГиБ за 5-минутный период оценки.
  3. Действия по исправлению оповещений:

    • Используйте отдельную учетную запись хранения для экспорта, которая не используется совместно с данными, не относящимися к мониторингу.
    • Хранилище Azure стандартные учетные записи поддерживают более высокий предел входящего трафика по запросу. Чтобы запросить увеличение, обратитесь в Службу поддержки Azure.
    • Распределите таблицы между несколькими учетными записями хранения.

Мониторинг центров событий

  1. Настройте оповещения на основе метрик:

    Область Пространство имен метрик Метрика Агрегация Порог
    namespaces-name Стандартные метрики Центра событий Входящие байты Сумма 80 % от максимального входящего трафика за период оценки оповещений. Например, ограничение составляет 1 МБ/с на единицу (TU или PU) и пять единиц, используемых. Пороговое значение составляет 228 МиБ за 5-минутный период оценки.
    namespaces-name Стандартные метрики Центра событий Входящие запросы Количество 80 % максимальных событий на период оценки оповещений. Например, ограничение составляет 1000/с на единицу (TU или PU) при использовании пяти единиц. Пороговое значение составляет 1200 000 за 5-минутный период оценки.
    namespaces-name Стандартные метрики Центра событий Ошибки превышения квоты Количество Около 1% запроса. Например, запросы в течение 5 минут составляют 600 000. Пороговое значение составляет 6 000 за 5-минутный период оценки.
  2. Действия по исправлению оповещений:

    • Используйте отдельное пространство имен Event Hubs для экспорта, которое не используется для данных, не связанных с мониторингом.
    • Настройте функцию автоматического раздувания, чтобы автоматически масштабировать и увеличить количество единиц пропускной способности в соответствии с потребностями использования.
    • Проверьте увеличение единиц пропускной способности для размещения объёма данных.
    • Разделение таблиц между дополнительными пространствами имен.
    • Используйте уровни "Премиум" или "Выделенный" для повышения пропускной способности.

Создание или обновление правила экспорта данных

Правило экспорта данных определяет назначение и таблицы, для которых экспортируются данные. Подготовка правил занимает около 30 минут до начала операции экспорта. Рекомендации по экспорту данных:

  • Учетная запись хранения должна быть уникальной в пределах правил в рабочей области.
  • Несколько правил могут использовать одно и то же пространство имен Центров событий при отправке в отдельные центры событий.
  • Экспорт в учетную запись хранения: отдельный контейнер создается в учетной записи хранения для каждой таблицы.
  • Экспорт в Центры событий: если имя концентратора событий не указано, для каждой таблицы создается отдельный концентратор событий. Число поддерживаемых центров событий на уровнях пространства имен "Базовый" и "Стандартный" составляет 10. Если вы экспортируете более чем 10 таблиц для этих уровней, либо распределите таблицы между несколькими правилами экспорта в разные пространства имен Центров событий, либо укажите имя концентратора событий в правиле, чтобы экспортировать в него все таблицы.
  1. В меню рабочей области Log Analytics в портал Azure выберите пункт "Экспорт данных" в разделе "Параметры". Выберите новое правило экспорта в верхней части области.

    Снимок экрана: точка входа экспорта данных.

  2. Выполните действия, а затем нажмите кнопку "Создать". На вкладке "Источник" отображаются только таблицы с данными.

    Снимок экрана: конфигурация правила экспорта.

Просмотр конфигурации правила экспорта данных

  1. В меню рабочей области Log Analytics в портал Azure выберите пункт "Экспорт данных" в разделе "Параметры".

    Снимок экрана: экран экспорта данных.

  2. Выберите правило для представления конфигурации.

    Снимок экрана: представление правила экспорта данных.

Отключение или обновление правила экспорта

Правила экспорта можно отключить, чтобы остановить экспорт в течение определенного периода, например при тестировании. В меню рабочей области Log Analytics в портал Azure выберите пункт "Экспорт данных" в разделе "Параметры". Выберите переключатель состояния , чтобы отключить или включить правило экспорта.

Снимок экрана: отключение правила экспорта данных.

Удалить правило экспорта

В меню рабочей области Log Analytics в портал Azure выберите пункт "Экспорт данных" в разделе "Параметры". Выберите многоточие справа от правила и нажмите кнопку "Удалить".

Снимок экрана: удаление правила экспорта данных.

Просмотр всех правил экспорта данных в рабочей области

В меню рабочей области Log Analytics в портал Azure выберите пункт "Экспорт данных" в разделе "Параметры", чтобы просмотреть все правила экспорта в рабочей области.

Снимок экрана: представление правил экспорта данных.

Неподдерживаемые таблицы

Примечание.

Если правило экспорта данных включает неподдерживаемую таблицу, конфигурация будет успешной, но данные для этой таблицы не будут экспортированы. При поддержке таблицы экспорт данных начнется. Мы в процессе добавления поддержки для дополнительных таблиц. Регулярно проверяйте эту статью.

 таблица  Ограничения
ADXDataOperation
Предупреждение Частичная поддержка. Прием данных для оповещений Zabbix не поддерживается.
История предупреждений
AzureActivity Частичная поддержка. Данные, поступающие из агента Log Analytics или агента Azure Monitor, полностью поддерживаются при экспорте. Данные, поступающие через агент расширения диагностики, собираются через хранилище. Этот путь не поддерживается при экспорте.
AzureDiagnostics
AzureMetrics
Изменение конфигурации
Конфигурационные данные Частичная поддержка. Некоторые данные обрабатываются через внутренние службы, которые не поддерживаются при экспорте. В настоящее время эта часть отсутствует в экспорте.
DatabricksDatabricks SQL
DatabricksSQL
ЗапускПриложенияУстройства
Календарь устройства
Сессия подключения устройства
DeviceEtw
DeviceHealth
DeviceHeartbeat
Событие ETW Частичная поддержка. Данные, поступающие из агента Log Analytics или агента Azure Monitor, полностью поддерживаются при экспорте. Данные, поступающие через агент расширения диагностики, собираются через хранилище. Этот путь не поддерживается при экспорте.
Мероприятие Частичная поддержка. Данные, поступающие из агента Log Analytics или агента Azure Monitor, полностью поддерживаются при экспорте. Данные, поступающие через агент расширения диагностики, собираются через хранилище. Этот путь не поддерживается при экспорте.
Анализ и метрики Частичная поддержка. Некоторые данные обрабатываются через внутренние службы, которые не поддерживаются при экспорте. В настоящее время эта часть отсутствует в экспорте.
Сетевые сессии
Операция Частичная поддержка. Некоторые данные обрабатываются через внутренние службы, которые не поддерживаются при экспорте. В настоящее время эта часть отсутствует в экспорте.
Статус защиты
Операционное событие ServiceFabric Частичная поддержка. Данные, поступающие из агента Log Analytics или агента Azure Monitor, полностью поддерживаются при экспорте. Данные, поступающие через агент расширения диагностики, собираются через хранилище. Этот путь не поддерживается при экспорте.
ServiceFabricReliableActorEvent Частичная поддержка. Данные, поступающие из агента Log Analytics или агента Azure Monitor, полностью поддерживаются при экспорте. Данные, поступающие через агент расширения диагностики, собираются через хранилище. Этот путь не поддерживается при экспорте.
Событие надежного сервиса ServiceFabric Частичная поддержка. Данные, поступающие из агента Log Analytics или агента Azure Monitor, полностью поддерживаются при экспорте. Данные, поступающие через агент расширения диагностики, собираются через хранилище. Этот путь не поддерживается при экспорте.
Обновить Частичная поддержка. Некоторые данные обрабатываются через внутренние службы, которые не поддерживаются при экспорте. В настоящее время эта часть отсутствует в экспорте.
VMBoundPort
VMComputer
VMConnection
VMProcess
W3CIISLog Частичная поддержка. Данные, поступающие из агента Log Analytics или агента Azure Monitor, полностью поддерживаются при экспорте. Данные, поступающие через агент расширения диагностики, собираются через хранилище. Этот путь не поддерживается при экспорте.
Данные проводной связи Частичная поддержка. Некоторые данные обрабатываются через внутренние службы, которые не поддерживаются при экспорте. В настоящее время эта часть отсутствует в экспорте.

Следующие шаги

Запрос экспортированных данных из Azure Data Explorer