Руководство по миграции Log Analytics для кластеров Azure HDInsight
Azure HDInsight — это служба управляемых кластеров, готовая для корпоративного применения. Данная служба предоставляет такие платформы аналитики с открытым кодом, как Apache Spark, Hadoop, HBase и Kafka в Azure. Azure HDInsight интегрирована с другими службами Azure, чтобы клиенты могли лучше управлять своими приложениями аналитики больших данных.
Log Analytics предоставляет инструмент на портале Azure, позволяющий изменять и выполнять запросы журналов. Запросы выполняются для данных, собранных журналами Azure Monitor, а их результаты анализируются в интерактивном режиме. Клиенты могут использовать запросы Log Analytics для извлечения записей, соответствующих указанным условиям. Они также могут использовать запросы для выявления трендов, анализа закономерностей и извлечения ценных сведений из данных.
Служба Azure HDInsight начала поддерживать интеграцию с Log Analytics в 2017 году. Клиенты HDInsight быстро освоили эту функцию для отслеживания кластеров HDInsight и выполнения запросов к журналам в кластерах. После более глубокого внедрения этой функции клиенты дали отзывы об интеграции.
- Клиенты не могут решить, какие журналы хранить, а хранение всех журналов может оказаться дорогостоящим.
- Журналы с текущими схемами HDInsight не соответствуют единым соглашениям об именовании, а некоторые таблицы повторяются.
- Клиенты хотят получить готовую панель мониторинга, чтобы легко отслеживать КПЭ своих кластеров HDInsight.
- Клиентам приходится переходить в Log Analytics для выполнения простых запросов.
Обзор решения
Учитывая отзывы клиентов, команда разработчиков Azure HDInsight реализовала интеграцию с Azure Monitor. Эта интеграция предоставляет следующие возможности.
- Новый набор таблиц в рабочей области Log Analytics клиентов. Новые таблицы доставляются через новый конвейер Log Analytics.
- Более высокая надежность
- Ускоренная доставка журналов
- Группирование таблиц на основе ресурсов и запросы по умолчанию
Примечание.
Новая интеграция Azure Montitor доступна в общедоступной предварительной версии во всех регионах, где доступна служба HDInsight.
Преимущества новой интеграции с Azure Monitor
Этот документ описывает изменения в интеграции с Azure Monitor и дает рекомендации по использованию новых таблиц.
Переработанные схемы. Форматирование схем для новой интеграции с Azure Monitor стало лучше организованным и более понятным. Число схем уменьшилось на две трети, чтобы устранить как можно больше неоднозначностей в предыдущих схемах.
Выборочное ведение журнала. Существуют журналы и метрики, доступные в Log Analytics. Чтобы помочь вам сэкономить на затратах на мониторинг, мы выпустим новую функцию выборочного ведения журнала. Эта функция позволяет включать и отключать различные журналы и источники метрик. Благодаря ей вы будете платить только за то, что используете. Дополнительные сведения см. в разделе Выборочное ведение журнала.
Интеграция с порталом кластера для журналов. На портале кластера HDInsight появилась панель Журналы. Любой пользователь, имеющий доступ к кластеру, может перейти на эту панель, чтобы запросить любую таблицу, в которую ресурс кластера отправляет записи. Пользователям больше не требуется доступ к рабочей области Log Analytics, чтобы просматривать записи для определенного ресурса кластера.
Интеграция с порталом кластера для аналитики. На портале кластера HDInsight также появилась панель Аналитика. После включения новой интеграции с Azure Monitor вы можете выбрать панель Аналитика, при этом готовые журналы и панель мониторинга метрик, зависящие от типа кластера, будут заполняться автоматически. Эти панели мониторинга были взяты из наших предыдущих решений Azure и переработаны. Они дают подробную информацию о производительности и работоспособности кластера.
Пользовательские сценарии
В следующих разделах описано, как клиенты могут использовать новую интеграцию с Azure Monitor в различных сценариях. Раздел Активация новой интеграции с Azure Monitor описывает способы активации и использования новой интеграции с Azure Monitor. Раздел Переход на новую интеграцию с Azure Monitor содержит дополнительные сведения для пользователей, которые зависят от старой интеграции с Azure Monitor.
Примечание.
Для новой интеграции мониторинга Azure подходят только кластеры, созданные в конце до сентября 2020 года и позже.
Активация новой интеграции с Azure Monitor
Примечание.
Перед включением новой интеграции необходимо создать рабочую область Log Analytics в подписке, к которой у вас есть доступ. Дополнительные сведения о создании рабочей области Log Analytics см. в разделе Создание рабочей области Log Analytics на портале Azure.
Активируйте новую интеграцию, перейдя на страницу портала кластера и прокрутив вниз меню слева, пока не появится раздел Мониторинг. В разделе Мониторинг выберите Интеграция с Monitor. Затем выберите Включить, и вы сможете выбрать рабочую область Log Analytics, куда будут отправляться журналы. После выбора рабочей области выберите Сохранить.
Доступ к новым таблицам
Доступ к новым таблицам можно получить двумя способами.
Подход 1.
Первый способ доступа к новым таблицам заключается в использовании рабочей области Log Analytics.
- Перейдите в рабочую область Log Analytics, выбранную при включении интеграции.
- Прокрутите вниз меню в левой части экрана и выберите Журналы. Откроется окно редактора запросов журналов со списком всех таблиц в рабочей области.
- Если таблицы сгруппированы по параметру Решение, новые таблицы HDI находятся в разделе Управление журналами.
- Если таблицы сгруппированы по параметру Тип ресурсов (Ти, таблицы находятся в разделе Кластеры HDInsight, как показано на рисунке ниже.
Примечание.
Этот процесс описывает, как доступ к журналам осуществлялся в старой интеграции. Для этого пользователь должен иметь доступ к рабочей области.
Подход 2.
Второй способ доступа к новым таблицам заключается в использовании портала кластера.
- Перейдите на страницу портала кластера и прокрутите вниз меню слева, пока не появится раздел Мониторинг. В этом разделе вы увидите панель Журналы.
- Выберите Журналы, и откроется окно редактора запросов журналов. Этот редактор содержит все журналы, связанные с ресурсом кластера. Вы отправили журналы в рабочую область Log Analytics при включении интеграции. Эти журналы обеспечивают управление доступом на основе ресурсов (RBAC). При использовании RBAC пользователи, имеющие доступ к кластеру, но не к рабочей области, могут просматривать журналы, связанные с кластером.
Для сравнения на следующих снимках экрана показаны представления рабочей области для старой и новой интеграции.
Представление рабочей области для старой интеграции
Представление рабочей области для новой интеграции
Использование новых таблиц
Эти интеграции могут помочь в использовании новых таблиц.
Запросы по умолчанию для использования с новыми таблицами
В редакторе запросов журналов установите переключатель над списком таблиц в положение Запросы. Убедитесь, что запросы группируются по параметру Тип ресурсов, а для типа ресурса не задан никакой фильтр, отличный от Кластеры HDInsight. На следующем рисунке показано, как выглядят результаты при группировании по параметру Тип ресурсов и фильтрации по параметру Кластеры HDInsight. Просто выберите один из элементов, и он появится в редакторе запросов журналов. Обязательно прочтите комментарии, содержащиеся в запросах, так как в некоторых случаях для успешного выполнения запроса может потребоваться ввести некоторую информацию, например имя кластера.
Создание собственных запросов
В редакторе запросов журналов можно вводить собственные запросы. Запросы, используемые для старых таблиц, не будут работать в новых таблицах, так как многие из новых таблиц имеют новые доработанные схемы. Запросы по умолчанию являются отличной основой для создания запросов для новых таблиц.
Аналитические выводы (Insights)
Аналитика — это панели мониторинга визуализации, относящиеся к кластеру, которые созданы с помощью книг Azure. Эти панели мониторинга содержат подробные графы и визуализации о работе кластера. На панелях мониторинга есть разделы для каждого типа кластера, YARN, системных метрик и журналов компонентов. Доступ к панели мониторинга кластера можно получить, перейдя на страницу кластера на портале, прокрутив вниз до раздела Мониторинг и выбрав область Аналитика. Панель мониторинга загружается автоматически, если вы включили новую интеграцию. Подождите несколько секунд, чтобы графы запросили журналы и загрузились.
Пользовательские книги Azure
Вы можете создавать собственные книги Azure с пользовательскими графами и визуализациями. На странице портала кластера прокрутите вниз до раздела Мониторинг и выберите область Книги в меню слева. Вы можете использовать либо пустой шаблон, либо один из шаблонов в разделе Кластеры HDInsight. Существует шаблон для каждого типа кластера. Шаблоны удобны, если необходимо сохранить определенные настройки, которые аналитика HDInsight Insights по умолчанию не предоставляет. Вы можете отправлять запросы на новые функции в HDInsight Insights, если вы считаете, что там чего-нибудь не хватает.
видны узлы
Вы можете добавить настраиваемые оповещения в кластеры и рабочие области в редакторе запросов журналов. Перейдите в редактор запросов журналов, выбрав область Журналы на портале кластеров или рабочих областей. Выполните запрос, а затем выберите Новое правило генерации оповещений, как показано на следующем снимке экрана. Для получения дополнительных сведений ознакомьтесь с настройкой оповещений.
Переход на новую интеграцию с Azure Monitor
Если вы используете классическую интеграцию с Azure Monitor, после переключения на новую интеграцию с Azure Monitor нужно внести некоторые изменения в новые форматы таблиц.
Чтобы включить новую интеграцию с Azure Monitor, выполните действия, описанные в разделе Активация новой интеграции с Azure Monitor.
Выполнение запросов в Log Analytics
Так как новый формат таблиц отличается от предыдущего, нужно переработать запросы, чтобы можно было использовать новые таблицы. После включения новой интеграции с Azure Monitor вы можете просмотреть таблицы и схемы, чтобы найти поля, используемые в старых запросах.
Мы предоставляем таблицу сопоставления между старой и новой таблицами, которая поможет быстро найти новые поля, которые следует использовать для переноса панелей мониторинга и запросов.
Запросы по умолчанию. Мы создали запросы по умолчанию, которые показывают, как использовать новые таблицы в типичных ситуациях. Запросы по умолчанию также показывают, какие сведения доступны в каждой таблице. Вы можете получить доступ к запросам по умолчанию, следуя инструкциям в разделе Запросы по умолчанию для использования с новыми таблицами этой статьи.
Обновление панелей мониторинга для кластеров HDInsight
Если вы создали несколько панелей мониторинга для отслеживания кластеров HDInsight, то после включения новой интеграции с Azure Monitor нужно скорректировать запрос, используемый для таблицы. Имя таблицы или имя поля в новой интеграции может измениться, однако все сведения, содержащиеся в старой интеграции, сохраняются.
Чтобы обновить запрос, используемый для панелей мониторинга, см. таблицу сопоставления между старой таблицей или схемой и новой таблицей или схемой.
Готовые панели мониторинга
Мы также улучшили готовые панели мониторинга на уровне кластера. В правом верхнем углу каждого графа есть кнопка, позволяющая увидеть базовый запрос, формирующий данную информацию. Граф — это отличный способ познакомиться с эффективным выполнением запросов для новых таблиц.
Включение обеих интеграций для ускорения миграции
Можно одновременно активировать классическую и новую интеграции с Azure Monitor в кластере, который подходит для обеих интеграций, чтобы быстрее перейти на новую интеграцию с Azure Monitor. Новая интеграция доступна для всех кластеров, созданных после середины сентября 2020 года.
Таким образом, вы можете легко и наглядно сравнивать используемые запросы.
Включение классической интеграции
Если вы используете кластер, созданный после середины сентября 2020 года, на портале кластера появится новый интерфейс. Чтобы включить новый конвейер, выполните действия, описанные в разделе Активация новой интеграции с Azure Monitor. Чтобы активировать классическую интеграцию в этом кластере, перейдите на страницу портала кластера. Выберите область Интеграция с Monitor в разделе Мониторинг меню, расположенного в левой части страницы портала кластера. Выберите Настройка Azure Monitor для интеграции кластеров HDInsight (классическая модель). Откроется боковое контекстное окно с переключателем, который можно использовать для включения и отключения классической интеграции мониторинга Azure.
Примечание.
Вы не увидите журналы или метрики из классической интеграции на странице аналитики или в журналах портала кластера. Там будут представлены только журналы и метрики из новой интеграции.
Создание кластеров с использованием классической интеграции с Azure Monitor после 1 января 2023 года невозможно.
Сроки выпуска и поддержки
- Классическая интеграция мониторинга Azure будет недоступна после 15 октября 2021 года. После этой даты включить классическую интеграцию мониторинга Azure будет невозможно.
- Существующие классические интеграции мониторинга Azure продолжат работать. Для классической интеграции мониторинга Azure будет предоставляться ограниченная поддержка.
- При отправке клиентами запроса в службу поддержки проблемы будут исследованы.
- Если для решения требуется сменить образ, клиентам необходимо перейти на новую интеграцию.
- Мы не будем вносить исправления в кластеры классической интеграции мониторинга Azure, за исключением критических проблем безопасности.
Приложение. Сопоставление таблиц
Сопоставления таблиц журналов из классической интеграции Azure Monitor с новой см. в разделе "Сопоставление таблиц журналов".
Связанный контент
Мониторинг кластеров HDInsight с помощью запросов к журналам Azure Monitor