Правила сбора данных (DCR) в Azure Monitor
Правила сбора данных (DCR) являются частью процесса сбора данных, подобного ETL, который улучшает устаревшие методы сбора данных для Azure Monitor. Этот процесс использует общий конвейер приема данных, конвейер Azure Monitor для всех источников данных и стандартный метод конфигурации, который является более управляемым и масштабируемым, чем другие методы. К конкретным преимуществам сбора данных на основе DCR относятся следующие преимущества:
- Согласованный метод для настройки различных источников данных.
- Возможность применить преобразование для фильтрации или изменить входящие данные перед помещением их на хранение.
- Масштабируемые параметры конфигурации, поддерживающие модель "инфраструктура как код" и процессы DevOps.
- Возможность пограничного конвейера в собственной среде обеспечить высокоуровневую масштабируемость, многоуровневую конфигурацию сети и периодическое подключение.
Сбор данных с помощью конвейера Azure Monitor показан на схеме ниже. Каждый сценарий сбора определяется в DCR, который указывает, как должны обрабатываться данные и где он должен быть отправлен. Конвейер Azure Monitor состоит из двух компонентов:
- Облачный конвейер — это компонент Azure Monitor, который автоматически доступен в подписке Azure. Он не требует настройки и не отображается в портал Azure. Он представляет путь обработки данных, отправленных в Azure Monitor. DCR предоставляет инструкции по обработке данных, получаемых в облачном конвейере.
- Пограничный конвейер — это необязательный компонент, который расширяет конвейер Azure Monitor до собственного центра обработки данных. Он обеспечивает масштабируемую коллекцию и маршрутизацию данных телеметрии перед доставкой в облачный конвейер. Дополнительные сведения о значении этого компонента см . в конвейере Edge.
Использование правил сбора данных
Правила сбора данных (DCR) хранятся в Azure, чтобы их можно было централизованно развертывать и управлять, как и любой другой ресурс Azure. Они задают инструкции, поддерживающие сбор данных с помощью конвейера Azure Monitor. Они предоставляют согласованный и централизованный способ определения и настройки различных сценариев сбора данных. В зависимости от сценария контроллеры домена указывают такие сведения, как сбор данных, преобразование этих данных и его отправки.
Существует два основных способа указания контроллеров домена для определенного сценария сбора данных, как описано в следующих разделах.
Связи правил сбора данных (DCRA)
Сопоставления правил сбора данных (DCRAs) используются для связывания DCR с отслеживаемого ресурса. Это связь "многие ко многим", где один DCR может быть связан с несколькими ресурсами, а один ресурс может быть связан с несколькими контроллерами домена. Это позволяет разработать стратегию для поддержания мониторинга между наборами ресурсов с различными требованиями.
Например, на следующей схеме показана сбор данных для агента Azure Monitor (AMA), работающего на виртуальной машине. Когда агент установлен, он подключается к Azure Monitor, чтобы получить все контроллеры домена, связанные с ним. В этом сценарии DCR указывает события и данные производительности для сбора, которые агент использует для определения данных, собираемых с компьютера и отправки в Azure Monitor. После доставки данных облачный конвейер запускает любое преобразование, указанное в DCR, для фильтрации и изменения данных, а затем отправляет данные в указанную рабочую область и таблицу.
Прямое прием
При прямом приеме определенный DCR указывается для обработки входящих данных. Например, на следующей схеме показаны данные из пользовательского приложения с помощью API приема журналов. Каждый вызов API указывает DCR, который будет обрабатывать свои данные. DCR распознает структуру входящих данных, включает в себя преобразование, которое гарантирует, что данные имеют формат целевой таблицы, а также указывает рабочую область и таблицу для отправки преобразованных данных.
Преобразования
Преобразования позволяют изменять входящие данные, прежде чем он хранится в Azure Monitor. Вы можете отфильтровать ненужные данные, чтобы сократить затраты на прием, удалить конфиденциальные данные, которые не должны сохраняться в рабочей области Log Analytics, или форматировать данные, чтобы обеспечить соответствие схеме назначения. Преобразования — это запросы KQL, определенные в DCR, которые выполняются в облачном конвейере.
Конечные точки
Данные, отправляемые в облачный конвейер, должны отправляться по URL-адресу конкретной конечной точки. В зависимости от сценария это может быть общедоступная конечная точка, конечная точка, предоставляемая самим DCR, или конечная точка сбора данных (DCE), созданная в подписке Azure. Дополнительные сведения о конечных точках сбора данных, используемых в разных сценариях сбора данных, см . в Azure Monitor .
Пограничный конвейер
Пограничный конвейер расширяет конвейер Azure Monitor в собственный центр обработки данных. Он обеспечивает масштабируемую сбор и маршрутизацию данных телеметрии перед доставкой в Azure Monitor в облаке Azure.
Конкретные варианты использования для пограничного конвейера Azure Monitor:
- Масштабируемость. Пограничный конвейер может обрабатывать большие объемы данных из отслеживаемых ресурсов, которые могут быть ограничены другими методами сбора, такими как агент Azure Monitor.
- Периодическое подключение. Некоторые среды могут иметь ненадежное подключение к облаку или могут иметь длительные непредвиденные периоды без подключения. Пограничный конвейер может кэшировать данные локально и синхронизироваться с облаком при восстановлении подключения.
- Многоуровневая сеть. В некоторых средах сеть сегментирована и данные не могут отправляться непосредственно в облако. Пограничный конвейер можно использовать для сбора данных из отслеживаемых ресурсов без доступа к облаку и управления подключением к Azure Monitor в облаке.
Сценарии сбора данных
В следующей таблице описаны сценарии сбора данных, которые в настоящее время поддерживаются с помощью контроллеров домена и конвейера Azure Monitor. Дополнительные сведения о конфигурации см. по ссылкам в каждой записи.
| Сценарий | Description |
|---|---|
| Виртуальные машины | Установите агент Azure Monitor на виртуальной машине и свяжите его с одним или несколькими контроллерами домена, определяющими события и данные о производительности для сбора данных из клиентской операционной системы. Эту конфигурацию можно выполнить с помощью портал Azure, чтобы не нужно было напрямую редактировать DCR. См. статью "Сбор данных с помощью агента Azure Monitor". |
| При включении аналитики виртуальных машин на виртуальной машине он развертывает агент Azure Monitor для телеметрии из клиента виртуальной машины. DCR создается автоматически для сбора предопределенного набора данных о производительности. Общие сведения о включении VM Insights. |
|
| Аналитика контейнеров | Если включить аналитику контейнеров в кластере Kubernetes, она развертывает контейнерную версию агента Azure Monitor для отправки журналов из кластера в рабочую область Log Analytics. DCR создается автоматически, но может потребоваться изменить его для настройки параметров коллекции. См. статью "Настройка сбора данных в аналитике контейнеров" с помощью правила сбора данных. |
| API приема журналов | API приема журналов позволяет отправлять данные в рабочую область Log Analytics из любого клиента REST. Вызов API указывает DCR для принятия своих данных и указывает конечную точку DCR. DCR распознает структуру входящих данных, включает в себя преобразование, которое гарантирует, что данные имеют формат целевой таблицы, а также указывает рабочую область и таблицу для отправки преобразованных данных. См . API приема журналов в Azure Monitor. |
| Центры событий Azure | Отправка данных в рабочую область Log Analytics из Центры событий Azure. DCR определяет входящий поток и определяет преобразование для форматирования данных для целевой рабочей области и таблицы. См. руководство. Прием событий из Центры событий Azure в журналы Azure Monitor (общедоступная предварительная версия). |
| DCR преобразования рабочей области | Преобразование рабочей области — это специальный DCR, связанный с рабочей областью Log Analytics, и позволяет выполнять преобразования данных, собираемых с помощью других методов. Вы создаете один DCR для рабочей области и добавляете преобразование в одну или несколько таблиц. Преобразование применяется к любым данным, отправленным в эти таблицы с помощью метода, который не использует DCR. См . раздел DCR преобразования рабочей области в Azure Monitor. |
Регионы DCR
Правила сбора данных доступны во всех общедоступных регионах, где поддерживаются рабочие области Log Analytics и Azure для государственных организаций и облака Китая. Облака с воздушным взглядом пока не поддерживаются. DCR создается и хранится в определенном регионе и резервируется в парном регионе в пределах одной географической области. Служба развертывается во всех трех зонах доступности в регионе. По этой причине это служба с избыточностью между зонами, которая увеличивает доступность.
Размещение данных в одном регионе — это предварительная версия функции для хранения данных клиентов в одном регионе и в настоящее время доступна только в регионе Юго-Восточной Азии (Сингапур) азиатско-тихоокеанского региона и южной Бразилии (штат Сан-Паулу) региона Бразилии Гео. По умолчанию в этих регионах включена однорегионная резиденция.
Следующие шаги
Дополнительные сведения о работе с контроллерами домена см. в следующих статьях.
- Структура правила сбора данных для описания структуры контроллеров домена JSON и различных элементов, используемых для различных рабочих процессов.
- Примеры правил сбора данных (DCR) для примеров контроллеров домена для различных сценариев сбора данных.
- Создание и изменение правил сбора данных (DCR) в Azure Monitor для различных методов создания контроллеров домена для различных сценариев сбора данных.
- Ограничения службы Azure Monitor для ограничений , применяемых к каждому DCR.