Заметки о выпуске Azure HDInsight в AKS
В этой статье содержатся сведения о последних обновлениях выпуска AZURE HDInsight в AKS. Дополнительные сведения о более ранних выпусках см . в заметках о выпуске AZURE HDInsight в архивных заметках о выпуске AKS. Если вы хотите подписаться на заметки о выпуске, перейдите в этот репозиторий GitHub.
Итоги
HDInsight в AKS — это современная, надежная, безопасная и полностью управляемая платформа как услуга (PaaS), которая работает на Служба Azure Kubernetes (AKS). HDInsight в AKS позволяет развертывать популярные рабочие нагрузки Open-Source Analytics, такие как Apache Spark™, Apache Flink®️ и Trino без затрат на управление контейнерами и мониторинг.
Вы можете создавать комплексные приложения больших данных, масштабируемые петабайты, охватывающие потоковую передачу через Apache Flink, проектирование данных и машинное обучение с помощью Apache Spark и мощного обработчика запросов Trino.
Все эти возможности в сочетании с HDInsight на сильном фокусе разработчика AKS позволяют предприятиям и цифровым языкам иметь глубокий технический опыт для создания и эксплуатации приложений, которые подходят для своих потребностей. HDInsight в AKS позволяет разработчикам получать доступ ко всем богатым конфигурациям, предоставляемым программным обеспечением с открытым исходным кодом, и расширяемостью, чтобы легко включить другие предложения экосистемы. Это предложение позволяет разработчикам тестировать и настраивать свои приложения, чтобы извлечь оптимальную производительность при оптимальной стоимости.
Примечание.
Сведения о hdInsight для управления версиями и поддержке AKS см. в схеме управления версиями.
Вы можете ознакомиться с новой страницей всех сведений о функциях, которые в настоящее время находятся в общедоступной предварительной версии для этого выпуска.
Внимание
HDInsight в AKS использует безопасные методики развертывания, которые включают постепенное развертывание региона. Для нового выпуска или новой версии в всех регионах может потребоваться до 10 рабочих дней.
Сведения о выпуске
Дата выпуска: 20 марта 2024 г.
Этот выпуск применяется к следующему
- Версия пула кластеров: 1.1
- Версия кластера: 1.1.1
- ВЕРСИЯ AKS: 1.27
Новые возможности
Кластер режима приложения Apache Flink
Кластеры в режиме приложения предназначены для поддержки выделенных ресурсов для больших и длительных заданий. При наличии ресурсоемких или обширных задач обработки данных можно использовать кластер режима приложения. Этот режим позволяет выделить выделенные ресурсы для конкретных приложений Apache Flink, обеспечивая эффективное использование вычислительных ресурсов и памяти для эффективной обработки больших рабочих нагрузок.
Дополнительные сведения см. в разделе "Режим приложения Apache Flink" в HDInsight в AKS.
Частные кластеры для HDInsight в AKS
С помощью частных кластеров и параметров исходящего кластера теперь можно управлять входящего трафика и исходящим трафиком из HDInsight в пулах и кластерах AKS.
- Используйте Брандмауэр Azure или группы безопасности сети (NSG) для управления исходящим трафиком при выборе исходящего пула кластеров с подсистемой балансировки нагрузки.
- Используйте пул исходящих кластеров с определяемой пользователем маршрутизацией для управления исходящим трафиком на уровне подсети.
- Используйте функцию кластера Private AKS. Чтобы убедиться, что уровень управления AKS или сервер API имеет внутренние IP-адреса. Сетевой трафик между плоскостями управления AKS или сервером API и HDInsight в пулах узлов AKS (кластерах) остается только в частной сети.
- Избегайте создания общедоступных IP-адресов для кластера. Используйте функцию частного входящего трафика в кластерах.
Дополнительные сведения см. в разделе "Управление сетевым трафиком из HDInsight" в пулах и кластерах кластера AKS.
Обновление на месте
Обновите кластеры и пулы кластеров с помощью последних обновлений программного обеспечения. Это означает, что вы можете наслаждаться последними исправлениями пакета кластера, обновлениями системы безопасности и исправлениями AKS без повторного создания кластеров. Дополнительные сведения см. в статье Об обновлении HDInsight в кластерах AKS и пулах кластеров.
Внимание
Чтобы воспользоваться всеми этими новейшими функциями, необходимо создать новый пул кластеров с версией 1.1 и кластером версии 1.1.1.
Известные проблемы
- Ограничение удостоверения рабочей нагрузки:
- При переходе на удостоверение рабочей нагрузки существует известное ограничение . Это ограничение обусловлено характером операций FIC с учетом разрешений. Пользователи не могут выполнить удаление кластера, удалив группу ресурсов. Запросы на удаление кластера должны активироваться приложением/ пользователем или субъектом с разрешениями FIC/delete. В случае сбоя удаления FIC удаление кластера высокого уровня также завершается ошибкой.
- Поддержка управляемых удостоверений пользователей (UAMI) — существует ограничение в 20 FICs на UAMI. В удостоверении можно создать только 20 федеративных учетных данных. В HDInsight в кластере AKS FIC (учетные данные федеративного удостоверения) и SA имеют сопоставление "один к одному", а для MSI можно создать только 20 SAS. Если вы хотите создать больше кластеров, необходимо предоставить различные MSIs для преодоления ограничения.
- Создание учетных данных федеративного удостоверения в настоящее время не поддерживается для управляемых удостоверений, назначенных пользователем, созданных в этих регионах.
Версия операционной системы
- Mariner OS 2.0
Версии рабочей нагрузки
| Рабочая нагрузка | Версия |
|---|---|
| Трино | 426 |
| Flink | 1.17.0 |
| Apache Spark | 3.3.1 |
Поддерживаемые версии Java и Scala
| Рабочая нагрузка | Java | Scala |
|---|---|---|
| Трино | Открытие JDK 17.0.7 | - |
| Flink | Открытие JDK 11.0.21 | 2.12.7 |
| Spark | Открытие JDK 1.8.0_345 | 2.12.15 |
Предварительная версия доступна в следующих регионах.
Если у вас есть дополнительные вопросы, обратитесь в службу поддержки Azure или перейдите на страницу параметров поддержки. Если у вас есть отзывы о продукте, напишите нам на aka.ms/askhdinsight.