Обзор конвейера Azure Monitor
Конвейер Azure Monitor является частью процесса сбора данных типа ETL, который улучшает устаревшие методы сбора данных для Azure Monitor. Этот процесс использует общий конвейер приема данных для всех источников данных и стандартный метод конфигурации, который является более управляемым и масштабируемым, чем другие методы. К конкретным преимуществам сбора данных с помощью конвейера относятся следующие преимущества:
- Общий набор назначений для разных источников данных.
- Возможность применить преобразование для фильтрации или изменить входящие данные перед помещением их на хранение.
- Согласованный метод для настройки различных источников данных.
- Масштабируемые параметры конфигурации, поддерживающие модель "инфраструктура как код" и процессы DevOps.
- Возможность пограничного конвейера в собственной среде обеспечить высокоуровневую масштабируемость, многоуровневую конфигурацию сети и периодическое подключение.
Примечание.
После завершения реализации все данные, собранные Azure Monitor, будут использовать конвейер. В настоящее время поддерживаются только определенные методы сбора данных, и они могут иметь ограниченные параметры конфигурации. Нет разницы между данными, собранными с помощью конвейера Azure Monitor и собранных данных с помощью других методов. Данные хранятся вместе в виде журналов и метрик, поддерживая такие функции Azure Monitor, как запросы журналов, оповещения и книги. Единственное различие заключается в методе сбора.
Компоненты сбора данных конвейера
Сбор данных с помощью конвейера Azure Monitor показан на схеме ниже. Все данные обрабатываются через облачный конвейер, который автоматически доступен в подписке и не нуждается в настройке. Каждый сценарий сбора настраивается в правиле сбора данных (DCR), который представляет собой набор инструкций, описывающих такие сведения, как схема входящих данных, преобразование для дополнительного изменения данных и назначения, в котором должны быть отправлены данные.
Некоторые среды могут реализовать локальный пограничный конвейер для управления сбором данных перед отправкой в облако. Дополнительные сведения об этом параметре см . в пограничном конвейере .
Правила сбора данных
Правила сбора данных (DCR) — это наборы инструкций, поддерживающих сбор данных с помощью конвейера Azure Monitor. В зависимости от сценария контроллеры домена указывают такие сведения, как сбор данных, преобразование этих данных и его отправки. В некоторых сценариях можно использовать портал Azure для настройки сбора данных, а для других сценариев может потребоваться создать собственный DCR и управлять ими. Дополнительные сведения о создании и работе с контроллерами домена см . в правилах сбора данных в Azure Monitor .
Преобразования
Преобразования позволяют изменять входящие данные, прежде чем он хранится в Azure Monitor. Они представляют собой запросы KQL, определенные в DCR, которые выполняются в облачном конвейере. Дополнительные сведения о создании и использовании преобразований см . в преобразованиях сбора данных в Azure Monitor .
Ниже приведены конкретные варианты использования конвейера Azure Monitor.
- Сокращение затрат. Удалите ненужные записи или столбцы, чтобы сэкономить на затратах на прием.
- Удаление конфиденциальных данных. Фильтрация или скрытие частных данных.
- Обогащение данных. Добавьте вычисляемый столбец для упрощения запросов к журналам.
- Форматирование данных. Измените формат входящих данных, чтобы соответствовать схеме целевой таблицы.
Пограничный конвейер
Пограничный конвейер расширяет конвейер Azure Monitor в собственный центр обработки данных. Он обеспечивает масштабируемую сбор и маршрутизацию данных телеметрии перед доставкой в Azure Monitor в облаке Azure. Дополнительные сведения о настройке пограничного конвейера в Azure Monitor см. в статье "Настройка пограничного конвейера".
Ниже приведены конкретные варианты использования для пограничного конвейера Azure Monitor:
- Масштабируемость. Пограничный конвейер может обрабатывать большие объемы данных из отслеживаемых ресурсов, которые могут быть ограничены другими методами сбора, такими как агент Azure Monitor.
- Периодическое подключение. Некоторые среды могут иметь ненадежное подключение к облаку или могут иметь длительные непредвиденные периоды без подключения. Пограничный конвейер может кэшировать данные локально и синхронизироваться с облаком при восстановлении подключения.
- Многоуровневая сеть. В некоторых средах сеть сегментирована и данные не могут отправляться непосредственно в облако. Пограничный конвейер можно использовать для сбора данных из отслеживаемых ресурсов без доступа к облаку и управления подключением к Azure Monitor в облаке.
Сценарии сбора данных
В следующей таблице описаны сценарии сбора данных, которые в настоящее время поддерживаются с помощью конвейера Azure Monitor. Дополнительные сведения см. по ссылкам в каждой записи.
| Сценарий | Description |
|---|---|
| Виртуальные машины | Установите агент Azure Monitor на виртуальной машине и свяжите его с одним или несколькими контроллерами домена, определяющими события и данные о производительности для сбора данных из клиентской операционной системы. Эту конфигурацию можно выполнить с помощью портал Azure, чтобы не нужно было напрямую редактировать DCR. См. статью "Сбор событий и счетчиков производительности" на виртуальных машинах с помощью агента Azure Monitor. |
| При включении аналитики виртуальных машин на виртуальной машине он развертывает агент Azure Monitor для телеметрии из клиента виртуальной машины. DCR создается автоматически для сбора предопределенного набора данных о производительности. Общие сведения о включении виртуальной машины Аналитика. |
|
| Аналитика контейнеров | Если включить аналитику контейнеров в кластере Kubernetes, она развертывает контейнерную версию агента Azure Monitor для отправки журналов из кластера в рабочую область Log Analytics. DCR создается автоматически, но может потребоваться изменить его для настройки параметров коллекции. См. статью "Настройка сбора данных в аналитике контейнеров" с помощью правила сбора данных. |
| API приема журналов | API приема журналов позволяет отправлять данные в рабочую область Log Analytics из любого клиента REST. Вызов API указывает DCR для принятия своих данных и указывает конечную точку DCR. DCR распознает структуру входящих данных, включает в себя преобразование, которое гарантирует, что данные имеют формат целевой таблицы, а также указывает рабочую область и таблицу для отправки преобразованных данных. См . API приема журналов в Azure Monitor. |
| Центры событий Azure | Отправка данных в рабочую область Log Analytics из Центры событий Azure. DCR определяет входящий поток и определяет преобразование для форматирования данных для целевой рабочей области и таблицы. См. руководство. Прием событий из Центры событий Azure в журналы Azure Monitor (общедоступная предварительная версия). |
| DCR преобразования рабочей области | Преобразование рабочей области — это специальный DCR, связанный с рабочей областью Log Analytics, и позволяет выполнять преобразования данных, собираемых с помощью других методов. Вы создаете один DCR для рабочей области и добавляете преобразование в одну или несколько таблиц. Преобразование применяется к любым данным, отправленным в эти таблицы с помощью метода, который не использует DCR. См . раздел DCR преобразования рабочей области в Azure Monitor. |