Обновление HDInsight в кластерах и пулах кластеров AKS
Примечание.
Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.
До даты выхода на пенсию будет доступна только базовая поддержка.
Внимание
Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.
Узнайте, как обновить HDInsight в кластерах и пулах кластеров AKS до последних исправлений AKS, обновлений системы безопасности, исправлений кластера и исправлений кластера с обновлением на месте.
Почему обновить
HDInsight в AKS — это служба, которая позволяет запускать Apache Flink, Apache Spark, Trino на Служба Azure Kubernetes (AKS). HDInsight в AKS предоставляет преимущества масштабируемости облака, надежности и гибкости, а также позволяет использовать существующие инструменты и приложения.
Одним из важных функций HDInsight в AKS является обновление кластеров и пулов кластеров с помощью последних обновлений программного обеспечения. Это означает, что вы можете наслаждаться последними исправлениями, обновлениями системы безопасности и исправлениями AKS без повторного создания кластеров.
Так как HDInsight в AKS использует базовую инфраструктуру Служба Azure Kubernetes (AKS), ее необходимо периодически обновлять, чтобы обеспечить безопасность и совместимость с последними функциями. Важно обновить последние выпуски системы безопасности и получить доступ к последним функциям Kubernetes и оставаться в окне поддержки AKS, соответствующего hdInsight в пуле кластеров AKS. Корпорация Майкрософт предоставляет исправления и новые образы для узлов образов в AKS часто (еженедельно), но запущенные узлы не получают новые образы, если не выполняется обновление ОС узла.
Например, вы можете обновить кластер Spark, чтобы получить последние улучшения исправлений, исправления безопасности для операционной системы узла и обновления исправлений AKS, чтобы обеспечить актуальность программного обеспечения кластера и пулов кластеров.
В этой статье показано, как обновить HDInsight в кластерах AKS и пулах кластеров с помощью портал Azure.
Мы делимся некоторыми рекомендациями, которые помогут вам в процессе обновления.
Типы обновлений
В следующей таблице приведены сведения о типах обновлений и частоте, которые можно ожидать от обновлений для пулов кластеров и кластеров.
| Тип обновления | Применимость | Частота обновления | Обновление «на месте» |
|---|---|---|---|
| Обновление версии AKS (дополнительное обновление) или HDInsight в akS Minor version upgrade | Пул кластеров, кластер | Примерно каждые шесть месяцев | ✅ |
| HDInsight в AKS — версия исправления кластера | Кластер | Приблизительно ежемесячно | ✅ |
| HDInsight в AKS — исправления кластера | Кластер | По мере необходимости | ✅ |
| Обновление версии исправлений AKS | Пул кластеров, кластер | Приблизительно еженедельно (зависит от исправлений UPSTREAM AKS) | ✅ |
| Обновления ОС узла | Пул кластеров, кластер | Неделя | ✅ |
| Исправления безопасности и горячие исправления для образов узлов | Пул кластеров, кластер | По мере необходимости | ✅ |
Дополнительные сведения о HDInsight в службе управления версиями AKS.
Так как HDInsight в AKS использует Служба Azure Kubernetes (AKS) в качестве базовой инфраструктуры, она должна периодически обновляться, чтобы обеспечить безопасность и совместимость с последними функциями.
Существует два компонента кластера AKS, необходимые для обслуживания:
Обновления исправлений AKS и дополнительных версий: часть жизненного цикла кластера AKS включает обновление до последней версии Kubernetes. Важно обновить последние выпуски системы безопасности и получить доступ к последним функциям Kubernetes и оставаться в окне поддержки AKS. Версия пула кластеров HDInsight в AKS сопоставляется с дополнительными версиями AKS.
Исправления AKS выполняются с помощью обновлений исправлений AKS, которые можно применить к пулу кластеров и кластерам в HDInsight в AKS, начиная с пула кластеров версии 1.1.
Дополнительные версии AKS выполняются с помощью дополнительного обновления версий AKS, который обновляет пул кластеров и кластеры до последней дополнительной версии AKS, поддерживаемой в HDInsight на начальном пуле кластеров AKS версии 1.* HDInsight в AKS, направлен на то, чтобы оставаться на вершине политики поддержки Kubernetes N-2 вместе с календарем выпуска AKS, чтобы обеспечить возможность выполнения дополнительных обновлений на месте, и мы рекомендуем вам спланировать обновление до последних дополнительных версий, как только они доступны.
Обновления ОС узла: AKS регулярно предоставляет новые образы узлов с последними обновлениями ОС и среды выполнения. Рекомендуется регулярно обновлять образы узлов, чтобы обеспечить поддержку последних функций AKS и применить важные исправления безопасности и горячие исправления на уровне AKS. Объявления об обновлении изображений включены в заметки о выпуске AKS и могут занять до недели для развертывания этих обновлений во всех регионах. При этом обновлении мы обновляем только образы пула узлов, не обновляя версию Kubernetes. В HDInsight в AKS это обновление выполняется с помощью обновлений ОС узла, которые можно применить к пулу кластеров и кластерам, начиная с пула кластеров версии 1.1.
Чтобы воспользоваться новейшими функциями HDInsight в AKS, мы рекомендуем регулярно обновлять HDInsight в кластерах AKS с исправлениями и исправлениями. HDInsight в AKS поддерживает обновления на месте, где существующие кластеры можно обновить более новые исправления и исправления. Вам не нужно удалять и повторно создавать новый кластер, если кластер имеет право на обновление, состояние обновления программного обеспечения отражает ожидание обновления, и вы можете выполнить обновление с помощью нескольких щелчков мыши и периодов обслуживания.
Выпуски исправлений HDInsight в AKS происходят каждые 30–60 дней. Всегда хорошо перейти к последнему исправлению как можно раньше. Рекомендуемая максимальная длительность обновления кластера составляет менее трех месяцев.
Обновления исправлений: выпуски исправлений выполняются по мере необходимости, и они включают только несколько исправлений для ограниченного количества модулей в пакете кластера. Исправления применимы к кластерам, и когда такие обновления доступны в кластере, будут отражать ожидающие обновления состояния обновлений программного обеспечения для выполнения операций обслуживания с обновлением на месте.
Обновления исправлений: ресурсы в Azure становятся доступными поставщиком ресурсов. HdInsight в поставщике ресурсов AKS отвечает за создание, управление и удаление кластеров. HDInsight в AKS обновляет свои образы в реестре контейнеров Azure на постоянной основе, чтобы объединить компоненты программного обеспечения с открытым исходным кодом (OSS), которые можно развернуть в кластере. Эти образы содержат базовую операционную систему Azure Linux и основные компоненты, такие как Spark, Flink, Trino. Ежемесячные исправления приводят к исправлениям ошибок, от поставщика ресурсов, а также компонентов с открытым исходным кодом, а также других ошибок функций или улучшений, которые относятся к работающему кластеру. Обновления исправлений применимы к кластерам, и при наличии таких обновлений кластер будет отражать ожидающие обновления состояния обновлений программного обеспечения для выполнения операций обслуживания с обновлением на месте.
Проверка доступных обновлений
Перед началом обновления необходимо проверить доступные обновления для HDInsight в кластере AKS.
Обновления зависят от версии кластера или пула кластера, текущей версии HDInsight в AKS, а также версии AKS.
Чтобы проверить наличие обновлений программного обеспечения, можно проверить актуальность или ожидание обновлений программного обеспечения в колонке обзора.
Если у вас есть доступное обновление программного обеспечения, обратите внимание, что кластер отображает обновление программного обеспечения в состоянии ожидания, и вы можете выбрать обновление с помощью портал Azure.
Чтобы проверить доступные обновления с помощью портал Azure, выполните следующие действия.
Войдите на портал Azure.
В поле поиска введите HDInsight в AKS.
Выбор HDInsight в пуле кластеров AKS
На странице обзора кластера проверьте состояние обновления программного обеспечения.
Щелкните обновление
В колонке обновления отображаются доступные обновления.
На основе доступных обновлений вы можете выбрать и выполнить обновление.
После активации обновления вы получите уведомление службы на портале.
Состояние обновления кластера переходит от ожидающего обновления к обновлению, а состояние пула кластеров переходит к NodeOSUpgrading.
По мере того как вы решили обновить пулы кластера и кластеры вместе, кластеры также перемещаются в аналогичные состояния.
После завершения обновления вы получите обновление баннера и состояния обновления программного обеспечения отражается в пуле кластеров и кластерах (если кластер также обновлен с помощью пула кластеров), а обновления уведомлений отражают успешность обновления.
Планирование обновления hdInsight в кластерах и пулах кластеров AKS
После проверки доступных версий обновления и выбора подходящего для вас кластера HDInsight можно обновить кластеры HDInsight в AKS с помощью портал Azure. Процесс обновления может занять некоторое время в зависимости от размера и конфигурации кластеров и количества кластеров в пуле кластеров.
Во время обновления кластер остается рабочим и доступным, но может возникнуть некоторое снижение производительности или временные прерывания. Поэтому рекомендуется обновлять кластеры в нерабочие часы или когда кластер не загружается.
Рекомендации по обновлению HDInsight на месте в кластерах AKS и пулах кластеров
Чтобы обеспечить плавное и успешное обновление HDInsight в кластерах и пулах кластеров AKS, выполните следующие рекомендации.
Перед началом обновления убедитесь, что кластер работоспособный и стабильный, а состояние кластера не возникает.
Перед обновлением просмотрите заметки о выпуске новой версии HDInsight в AKS и подготовьтесь к любым необходимым изменениям в приложениях или сценариях для адаптации к новым функциям или изменениям. Протестируйте их в более низкой среде перед переходом в рабочую среду.
Перед обновлением запланируйте период обслуживания, где можно выполнить обновление кластера в запланированном окне. Обновления на месте (как кластер, так и пул кластеров) влияют на производительность среды и заданий могут столкнуться с простоем во время выполнения обновления.
Во время обновления не вносите никаких изменений в ресурсы кластера, например добавление или удаление узлов или масштабирование, обновление конфигураций или удаление. Это может повлиять на процесс обновления и вызвать ошибки или сбои.
Во время обновления отслеживайте доступность кластера. Чтобы проверить состояние обновления программного обеспечения, можно использовать портал Azure.
Если обновление завершается сбоем или возникает какие-либо проблемы, можно обратиться к поддержка Azure или выполнить операцию отката вручную, чтобы восстановить обновление до используемой ранее версии.
После обновления убедитесь, что кластер работает должным образом. Вы можете проверить версию кластера, работоспособность и конфигурации с помощью портал Azure, Azure CLI, Azure PowerShell или Работоспособность служб. Вы также можете выполнять некоторые тестовые задания или запросы для проверки функциональности кластера.
Шаги по обновлению
Обновления ОС узла
После нажатия кнопки "Обновить" в колонке обзора и выберите узел обновления ОС на панели обновления слева.
При обновлении ОС узла оба пула кластеров и кластеры одновременно проходят обновление.
После активации обновления вы получите уведомление службы на портале.
Состояние обновления кластера переходит от ожидающего обновления до обновления, а состояние пула кластеров перемещается в
NodeOSUpgrading.
По мере того как вы решили обновить пулы кластера и кластеры вместе, кластеры также перемещаются в аналогичные состояния.
После завершения обновления вы получите обновление баннера и состояния обновления программного обеспечения отражается в пуле кластеров и кластерах (если кластер также был обновлен с помощью пула кластеров), а обновления уведомлений отражают успешность обновления.
Обновления исправлений AKS
Щелкнув колонку обзора, выберите обновление исправлений AKS в области обновления слева.
В обновлении исправлений AKS пул кластеров и кластеры одновременно не проходят обновление. Отдельные кластеры должны применять обновления исправлений AKS на основе запланированных периодов обслуживания для кластеров.
После активации обновления вы получите уведомление службы на портале.
Состояние обновления кластера переходит от ожидающего обновления к обновлению, а состояние пула кластеров переходит к AksPatchUpgrading.
После завершения обновления вы получите обновление баннера и состояния обновления программного обеспечения отражается в пуле кластеров и кластерах (если кластеры также были обновлены с помощью пула кластеров), а обновления уведомлений отражают успешное обновление.
После применения исправления для пула кластеров вы можете применить исправления AKS к кластерам в пуле кластеров одновременно или перейти к отдельному кластеру и применить исправление на основе расписаний обслуживания.
При использовании обновления всех кластеров на странице пула кластеров для завершения обновления всех кластеров в пуле кластеров одновременно.
В области обновления справа отображаются сведения об обновлении версий исправлений AKS (текущий и путь обновления).
После начала обновления значок уведомления показывает, что обновление кластера выполняется.
Область обзора кластера в пуле кластеров также отражает состояние обновлений.
После завершения обновления баннер обзора и область уведомлений обновляются.
Обновления исправлений
На странице обзора кластера можно увидеть, что для кластера ожидается обновление исправлений.
После нажатия кнопки "Обновить" перейдите в раздел обновлений кластера с подробными сведениями о ожидании обновления.
После начала обновления уведомление отображает ход обновления, а на странице обзора кластера отображается состояние обновления как исправление и изменение состояния обновления программного обеспечения для обновления.
После завершения обновления баннер обзора для изменений состояния кластера, изменения состояния обновления программного обеспечения в актуальном состоянии, а баннер уведомлений в разделе обзора обновляется.
