Что такое журналы сети контейнеров (предварительная версия)?

Журналы сети контейнеров в расширенных сетевых службах контейнеров для службы Azure Kubernetes (AKS) дают глубокое представление о сетевом трафике в кластерах AKS.

Журналы записывают необходимые метаданные, включая исходные и конечные IP-адреса, имена модулей pod и службы, порты, протоколы и направление трафика для подробного анализа поведения сети.

Журналы сети контейнеров записывают трафик уровня 3 (IP), уровня 4 (TCP/UDP) и трафика уровня 7 (HTTP/gRPC/Kafka), чтобы эффективно отслеживать подключение, устранять неполадки, визуализировать топологию сети и применять политику безопасности.

Выберите один из двух режимов:

• Сохраненные журналы
• Журналы по запросу

Сохраненные журналы

Режим хранимых журналов обеспечивает непрерывное создание и сбор журналов в кластере AKS при включении расширенных сетевых служб контейнеров и настройке пользовательских фильтров. Коллекция журналов отключена по умолчанию.

Чтобы включить коллекцию журналов, необходимо определить настраиваемые ресурсы , чтобы указать типы трафика для отслеживания. Примерами являются пространства имен, модули pod, службы и протоколы. Эта функция остается активной, пока не отключите ее.

Режим хранимых журналов поддерживает расширенное хранение журналов, но также поддерживает фильтрацию трафика. Для снижения затрат на хранение и упрощения анализа можно собирать и хранить журналы, относящиеся к вам.

Как работает режим хранимых журналов

Расширенные сетевые службы контейнеров используют технологию eBPF с Cilium для получения журналов из узлов в кластере. Чтобы начать сбор журналов, необходимо определить один или несколько пользовательских ресурсов, чтобы указать типы трафика для отслеживания.

Специально настроенные ресурсы позволяют точно задавать и фиксировать трафик, который вам важен. Агент Cilium, работающий на каждом узле, собирает сетевой трафик, соответствующий критериям, заданным в пользовательских ресурсах. Журналы хранятся в формате JSON на узле, предоставляя структурированный и доступный формат для дальнейшего использования.

Кроме того, если включена надстройка мониторинга Azure, агенты для аналитики контейнеров собирают журналы из узла, применяют ограничения регулирования по умолчанию и отправляют их в рабочую область Log Analytics. Система агрегирует и сохраняет журнал эффективно, чтобы обеспечить видимость сетевого трафика для мониторинга, устранения неполадок и обеспечения безопасности.

Дополнительные сведения о регулировании и аналитике контейнеров см. в документации по аналитике контейнеров.

Ключевые возможности режима хранимых журналов

• Настраиваемые фильтры. Вы можете настроить ведение журнала, определив настраиваемые ресурсы типа RetinaNetworkFlowLog . Используйте настраиваемые ресурсы для применения детализированных фильтров по пространству имен, pod, службе, порту, протоколу, вердикту или направлению трафика (входящего трафика или исходящего трафика). Гибкость обеспечивает точную сбор данных, адаптированную к конкретным вариантам использования. Регистрируется только соответствующий трафик, а хранилище оптимизировано для повышения производительности, соответствия требованиям и устранения неполадок.

• Параметры хранилища журналов. Функция журналов сети контейнеров имеет два основных варианта хранения: неуправляемое хранилище и управляемое хранилище.

  • Неуправляемое хранилище: При применении настраиваемого ресурса для начала сбора журналов журналы сетевых потоков хранятся локально на хост-узлах в фиксированном /var/log/acns/hubble расположении подключения. Это временное расположение хранилища, так как сам узел не является постоянным решением для хранения. Кроме того, когда файлы журналов достигают размера 50 МБ, они автоматически поворачиваются, поэтому старые журналы перезаписываются. Это решение для хранения данных подходит для мониторинга в режиме реального времени, но не поддерживает долгосрочное хранение.

    Для получения дополнительных возможностей управления журналами можно интегрировать службы ведения журналов партнеров, такие как сборщик OpenTelemetry. Интеграция партнеров обеспечивает гибкость управления журналами за пределами экосистемы Azure и полезна, если вы уже развернули определенную платформу управления журналами.

  • Управляемое хранилище: Для долгосрочного хранения и расширенной аналитики рекомендуется настроить мониторинг Azure в кластере AKS для сбора и хранения журналов в рабочей области Log Analytics. Эта настройка помогает обеспечить безопасное и соответствующее хранилище журналов. Он также предоставляет доступ к мощным возможностям, таким как обнаружение аномалий, настройка производительности и анализ исторических данных. Исторические журналы можно использовать для выявления тенденций, базовых параметров и для упреждающего решения повторяющихся проблем.

    Например, вы можете использовать управляемую службу Prometheus для настройки оповещений по метрикам и логам для мониторинга в реальном времени и быстрого обнаружения выбросов.

    Для хранения журналов используется та же рабочая область. Во время подключения вы настроили место для хранения журналов. Планы таблиц аналитики и базовых журналов поддерживают планы хранения для этой функции. Дополнительные сведения о планах таблиц см. в журналах Azure Monitor.

• Простая визуализация в панелях мониторинга Log Analytics и Grafana. Журналы и данные, представленные на панелях мониторинга Grafana, упрощают сложные сведения, упрощают понимание данных и упрощают принятие решений.

Визуализация журналов на портале Azure

Вы можете визуализировать, запрашивать и анализировать журналы потоков на портале Azure в рабочей области Log Analytics для кластера.

Визуализация журналов на панелях мониторинга Grafana

• Доступ к журналам потоков в управляемом экземпляре Grafana Azure.

  Чтобы упростить анализ журналов, мы предоставляем две предварительно настроенные панели мониторинга Grafana:

  • Перейдите в Azure>Insights>Контейнеры>Сетевое>Логирование Потоков. На этой панели мониторинга показано, какие рабочие нагрузки AKS взаимодействуют друг с другом, включая сетевые запросы, ответы, потери и ошибки. В настоящее время в качестве промежуточного шага во время предварительной версии необходимо импортировать панели мониторинга Grafana с помощью идентификатора пользователя для просмотра панели мониторинга журналов потоков на портале Azure.

    

  • Перейдите в Azure>Insights>Контейнеры>Сетевые>журналы потоков (внешний трафик). На этой панели мониторинга показано, какие рабочие нагрузки AKS отправляют и получают сообщения извне кластера AKS, включая сетевые запросы, ответы, удаления и ошибки.

    

    Дополнительные сведения см. в статье Настройка Azure Managed Grafana с помощью расширенных сетевых служб контейнеров.

• Доступ к журналам потоков на портале Azure с помощью панели мониторинга с параметром Grafana .

  

На панелях мониторинга портала Azure имеются следующие основные компоненты:

• Полный обзор работоспособности сети. Вы увидите ключевые метрики, такие как общие журналы потоков, уникальные запросы, удаленные запросы и перенаправленные запросы для быстрого обнаружения аномалий и эффективного устранения неполадок. Панель мониторинга классифицирует статистику по протоколу и поведению, включая удаленные DNS-запросы, ответы HTTP 2xx, частоту запросов и ответов уровня 4 и количество удаленных запросов. Граф зависимостей службы визуализирует взаимодействие приложения или кластера, выделение потока трафика, узких мест и зависимостей для оптимизации производительности.

  

• Журналы потоков и журналы ошибок для быстрого анализа. Журналы потоков можно фильтровать для анализа первопричин. Например, для проблем с системой доменных имен (DNS) фильтруйте журналы ошибок по протоколу DNS.

  

  Разделение разделов журналов потоков и журналов ошибок помогает быстрее анализировать проблемы. Вы можете быстро выявлять и устранять ошибки, не отвлекаясь на несвязанную информацию, чтобы повысить эффективность процессов устранения неполадок и отладки.

  Используйте четкие метки и метки времени для каждой записи журнала, чтобы упростить выявление определенных событий или ошибок в системах или процессах.

  

• Основные пространства имен, рабочие нагрузки и ошибки DNS. Визуализация журналов потоков сети жизненно важна для мониторинга и анализа связи в кластере AKS. Он содержит сведения о пространствах имен, рабочих нагрузках и использовании портов и запросов. Это помогает выявлять тенденции, обнаруживать узкие места и диагностировать проблемы. Обнаружение значительных сетевых действий, просмотр запросов на удаление и оценка распределения протоколов (например, TCP и UDP). В этом разделе обзора панели мониторинга поддерживается работоспособность кластера, оптимизация ресурсов и безопасность путем обнаружения и отображения необычных шаблонов трафика.

  

Журналы по запросу

Расширенные сетевые службы контейнеров обеспечивают сбор журналов потоков сети по запросу. Получите видимость в режиме реального времени без предварительной конфигурации или постоянного хранилища с помощью интерфейса командной строки Hubble и пользовательского интерфейса Hubble. Этот режим для получения журналов по запросу доступен. Сведения о настройке хранилища журналов по запросу см. в разделе Настройка интерфейса командной строки Hubble и пользовательского интерфейса Hubble.

Hubble CLI

Интерфейс командной строки Hubble предоставляет гибкий и интерактивный способ запроса, фильтрации и анализа журналов потоков непосредственно в терминале. Вы можете выполнять команды в режиме реального времени для проверки потоков трафика, просмотра метаданных пакета и устранения неполадок с сетью, не покидая рабочую среду.

Пользовательский интерфейс Hubble

Веб-интерфейс Hubble предлагает интуитивно понятную и визуальную платформу для мониторинга. С помощью таких функций, как панели мониторинга динамического трафика, сводки потоков и журналы, доступные для поиска, можно легко отслеживать обмен данными между службами, обнаруживать аномалии и получать аналитические сведения о действиях кластера.

Средства в пользовательском интерфейсе Hubble обеспечивают видимость в режиме реального времени и полезные аналитические сведения для ускорения устранения неполадок и улучшения управления сетями.

Основные преимущества журналов по запросу

• Быстрое разрешение проблем. Подробные и практические сведения о сетевом трафике позволяют быстрее выявлять и устранять проблемы с подключением или производительностью, минимизируя время простоя и нарушения работы.
• Оптимизированная операционная эффективность. Агрегированные и эффективно хранимые журналы снижают затраты на управление данными. Ваша команда может сосредоточиться на анализе и принятии решений вместо управления большими объемами необработанных данных.
• Улучшенная надежность приложения. Отслеживая взаимодействие между службами и обнаруживая аномалии, можно упреждающе устранять потенциальные проблемы, обеспечивая более гладкое и более надежное взаимодействие с приложениями.
• Улучшено принятие решений. Визуализация шаблонов сети в Управляемой Grafana Azure и применение карт служб дает четкое представление о сетевом поведении приложения. Результатом является улучшение планирования и оптимизации инфраструктуры.
• Сокращение расходов. Эффективное агрегирование журналов и настраиваемые области ведения журнала снижают затраты на хранение и прием данных для эффективного решения для долгосрочного мониторинга сети.
• Упрощенное соответствие требованиям и безопасность. Постоянные и комплексные журналы поддерживают результаты аудита, соответствие нормативным требованиям и быструю идентификацию подозрительного трафика. Они помогают поддерживать безопасную и соответствующую среду.

Ограничения

• Сетевые журналы контейнеров в режиме хранимых журналов в настоящее время работают только с плоскостем данных Cilium.
• Журналы потоков уровня 7 записываются только в том случае, если включена поддержка политики уровня 7. Дополнительные сведения см. в разделе "Настройка политики уровня 7".
• Потоки и метрики DNS записываются только в том случае, если применяется сетевая политика Cilium для FQDN. Дополнительные сведения см. в разделе "Настройка политики полного доменного имени".
• Подключение с помощью Terraform в настоящее время не поддерживается.
• Если Log Analytics не настроен для хранилища журналов, сетевые журналы контейнеров ограничены не более 50 МБ хранилища. По достижении этого ограничения новые записи перезаписывают старые журналы.
• Если для плана таблицы задано значение "Базовые журналы", предварительно созданные панели мониторинга Grafana не работают.
• Схема таблицы вспомогательных журналов не поддерживается.

Ценообразование

Это важно

Расширенные услуги контейнерной сети предоставляются на платной основе.

Дополнительные сведения о ценах см. в разделе "Расширенные сетевые службы контейнеров" — цены.

Связанный контент

• Узнайте, как настроить журналы сети контейнеров.
• Дополнительные сведения об услугах расширенной настройки сетей контейнеров для AKS.
• Изучите функцию наблюдения за сетями контейнеров в расширенных сетевых службах контейнеров.
• Изучите функцию безопасности сети контейнеров в расширенных сетевых службах контейнеров.