Partager via

Notes de publication d’Azure HDInsight sur AKS

  • Article

Cet article fournit des informations sur les mises à jour les plus récentes versions d’Azure HDInsight sur AKS. Pour plus d’informations sur les versions antérieures, consultez les Notes de publication archivées d’Azure HDInsight sur AKS. Si vous souhaitez vous abonner aux notes de publication, regardez les communiqués sur ce référentiel GitHub.

Résumé

HDInsight sur AKS est une plateforme en tant que service (PaaS) moderne, fiable, sécurisée et entièrement gérée qui s'exécute sur Azure Kubernetes Service (AKS). HDInsight sur AKS vous permet de déployer des charges de travail Open-Source Analytics populaires telles que Apache Spark™, Apache Flink®️ et Trino sans les frais généraux liés à la gestion et à la surveillance des conteneurs.

Vous pouvez créer des applications Big Data de bout en bout, à l’échelle du pétaoctet, couvrant la diffusion en continu via Apache Flink, l’engineering données et l’apprentissage automatique à l’aide d’Apache Spark et le puissant moteur de requêtes de Trino.

Toutes ces capacités, combinées à HDInsight et à la forte orientation développeur d’AKS, permettent aux entreprises et aux natifs du numérique dotés d’une expertise technique approfondie de créer et d’exploiter des applications parfaitement adaptées à leurs besoins. HDInsight sur AKS permet aux développeurs d'accéder à toutes les configurations riches fournies par les logiciels open source et à l'extensibilité nécessaire pour inclure de manière transparente d'autres offres de l'écosystème. Cette offre permet aux développeurs de tester et d'ajuster leurs applications pour en extraire les meilleures performances à un coût optimal.

Remarque

Pour comprendre le contrôle de versions et la prise en charge d'HDInsight sur AKS, reportez-vous au schéma de contrôle de version.

Vous pouvez vous référer à la page Quoi de neuf pour tous les détails des fonctionnalités actuellement en préversion publique pour cette version.

Important

HDInsight sur AKS applique des pratiques de déploiement sécurisé qui impliquent un déploiement graduel des régions. La mise à disposition d’une nouvelle version dans toutes les régions peut durer jusqu’à 10 jours ouvrés.

Informations de version

Date de publication : 20 mars 2024

Cette version s'applique aux éléments suivants

  • Version du pool de clusters : 1.1
  • Version de cluster : 1.1.1
  • Version AKS : 1.27

Nouvelles fonctionnalités

Cluster en mode application Apache Flink

Les clusters en mode application sont conçus pour prendre en charge des ressources dédiées pour les tâches longues et volumineuses. Lorsque vous avez des tâches de traitement de données gourmandes en ressources ou exigeantes, vous pouvez utiliser le cluster en mode application. Ce mode vous permet d’allouer des ressources dédiées pour des applications Apache Flink spécifiques, en vous assurant qu’elles disposent de la puissance de calcul et de la mémoire nécessaires pour gérer efficacement les charges de travail volumineuses.

Pour plus d’informations, consultez Cluster Apache Flink Application Mode sur HDInsight sur AKS.

Clusters privés pour HDInsight sur AKS

Avec les clusters privés et les paramètres de cluster sortant, vous pouvez désormais contrôler le trafic d’entrée et de sortie à partir de HDInsight sur les pools de clusters et clusters AKS.

  • Utilisez le Pare-feu Azure ou les groupes de sécurité réseau (NSG) pour contrôler le trafic de sortie, lorsque vous choisissez d’utiliser un pool de clusters sortants avec l’équilibreur de charge.
  • Utilisez le pool de clusters sortants avec le routage défini par l’utilisateur pour contrôler le trafic de sortie au niveau du sous-réseau.
  • Utilisez la fonctionnalité de cluster AKS privé : pour vous assurer que le plan de contrôle AKS ou le serveur d’API possède des adresses IP internes. Le trafic réseau entre le plan de contrôle AKS/le serveur API et HDInsight sur les pools de nœuds (clusters) AKS reste uniquement sur le réseau privé.
  • Évitez de créer des adresses IP publiques pour le cluster. Utilisez la fonctionnalité d’entrée privée sur vos clusters.

Pour plus d’informations, consultez Contrôler le trafic réseau depuis HDInsight sur les clusters et les pools du Cluster AKS.

Mise à niveau sur place

Mettez à niveau vos clusters et pools de clusters avec les dernières mises à jour de logiciel. Cela signifie que vous pouvez profiter des derniers correctifs logiciels du package de cluster, des mises à jour de sécurité et des correctifs AKS, sans créer de nouveaux clusters. Pour plus d’informations, consultez Mettre à niveau vos clusters et pools de clusters HDInsight sur AKS.

Important

Pour bénéficier de toutes ces nouvelles fonctionnalités, vous devez créer un nouveau pool de cluster avec la version 1.1 et la version 1.1.1 du cluster.

Problèmes connus

  • Limitation d’identité de charge de travail :
    • Il existe une limitation connue lors de la transition vers l’identité de charge de travail. Cette limitation est due à la nature sensible aux autorisations des opérations FIC. Les utilisateurs ne peuvent pas supprimer un cluster en supprimant le groupe de ressources. Les demandes de suppression de cluster doivent être déclenchées par l’application/l’utilisateur/le principal avec les autorisations de suppression/FIC. En cas d’échec de la suppression FIC, la suppression de cluster de haut niveau échoue également.
    • Prise en charge des identités managées affectées par l’utilisateur (UAMI) : il existe une limite de 20 FIC par UAMI. Vous ne pouvez créer que 20 informations d’identification fédérées sur une identité. Dans HDInsight, sur le cluster AKS, les FIC (Informations d’identification de l’identité fédérée) et SA ont un mappage un-à-un et seuls 20 SA peuvent être créés sur une MSI. Si vous souhaitez créer d’autres clusters, vous devez fournir différentes MSI pour contourner cette limitation.
    • La création d’informations d’identification d’identité fédérée n’est pas prise en charge actuellement sur les identités managées affectées par l’utilisateur créées dans ces régions

Version du système d’exploitation.

  • Navigateur OS 2.0

Versions de charge de travail

Charge de travail Version
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

Versions Java et Scala prises en charge

Charge de travail Java Scala
Trino Open JDK 17.0.7 - 
Flink Open JDK 11.0.21 2.12.7
Spark Open JDK 1.8.0_345 2.12.15

L'aperçu est disponible dans les régions suivantes.

Si vous avez d’autres questions, contactez le Support Azure ou reportez-vous à la page Options de support. Si vous avez des commentaires spécifiques au produit, écrivez-nous sur aka.ms/askhdinsight.

Étapes suivantes