Mettre à niveau vos clusters HDInsight sur AKS et les pools de clusters
Remarque
Nous allons mettre hors service Azure HDInsight sur AKS le 31 janvier 2025. Avant le 31 janvier 2025, vous devrez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent afin d’éviter leur arrêt brutal. Les clusters restants de votre abonnement seront arrêtés et supprimés de l’hôte.
Seul le support de base sera disponible jusqu’à la date de mise hors service.
Important
Cette fonctionnalité est disponible actuellement en mode Aperçu. Les Conditions d’utilisation supplémentaires pour les préversions de Microsoft Azure contiennent davantage de conditions légales qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou ne se trouvant pas encore en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les Informations sur la préversion d’Azure HDInsight sur AKS. Pour toute question ou pour des suggestions à propos des fonctionnalités, veuillez envoyer vos requêtes et leurs détails sur AskHDInsight, et suivez-nous sur la Communauté Azure HDInsight pour plus de mises à jour.
Découvrez comment mettre à jour vos clusters HDInsight sur AKS et les pools de clusters vers les derniers patches AKS, mises à jour de sécurité, correctifs de cluster et correctifs logiciels de cluster avec une mise à niveau sur place.
Pourquoi effectuer cette mise à niveau ?
HDInsight sur AKS est un service qui vous permet d’exécuter Apache Flink, Apache Spark, Trino sur Azure Kubernetes Service (AKS). HDInsight sur AKS vous offre les avantages de la scalabilité, de la fiabilité et de la flexibilité du cloud, tout en vous permettant d’utiliser vos outils et applications existants.
L’une des fonctionnalités importantes de HDInsight sur AKS est que vous pouvez mettre à niveau vos clusters et pools de clusters avec les dernières mises à jour logicielles. Cela signifie que vous pouvez bénéficier des derniers correctifs, mises à jour de sécurité et patches AKS sans recréer de clusters.
Comme HDInsight sur AKS repose sur l’infrastructure sous-jacente Azure Kubernetes Service (AKS), il doit être mis à jour régulièrement pour garantir la sécurité et la compatibilité avec les dernières fonctionnalités. Il est important d’effectuer la mise à niveau pour appliquer les dernières versions de sécurité et accéder aux dernières fonctionnalités de Kubernetes, et pour rester dans la fenêtre de prise en charge AKS correspondant à votre pool de clusters HDInsight sur AKS. Microsoft fournit fréquemment (chaque semaine) des patches et de nouvelles images pour les nœuds d’image sur AKS, mais vos nœuds en cours d’exécution ne reçoivent pas les nouvelles images, sauf si vous effectuez une mise à niveau du système d'exploitation du nœud.
Par exemple, vous pouvez mettre à niveau votre cluster Spark pour obtenir les dernières améliorations des correctifs logiciels, les correctifs de sécurité pour votre système d’exploitation de nœud et les mises à jour des patches AKS pour maintenir les logiciels de votre cluster et pools de clusters à jour.
Dans cet article, nous vous montrons comment mettre à niveau vos clusters et pools de clusters HDInsight sur AKS en utilisant le portail Azure.
Nous partageons certaines meilleures pratiques pour vous aider dans le processus de mise à niveau.
Types de mises à niveau
Le tableau suivant récapitule les détails des types de mises à niveau et de la fréquence à laquelle vous pouvez anticiper les mises à jour pour les pools de clusters et les clusters.
| Type de mise à niveau | Applicabilité | Fréquence de mise à niveau | Mise à niveau sur place |
|---|---|---|---|
| Mise à niveau de la version (mineure) d’AKS / Mise à niveau de la version mineure de HDInsight sur AKS | Pool de clusters, Cluster | Environ tous les six mois | ✅ |
| HDInsight sur AKS – Version du patch du cluster | Cluster | Environ tous les mois | ✅ |
| HDInsight sur AKS – Correctifs logiciels de cluster | Cluster | En fonction des besoins | ✅ |
| Mise à niveau de la version du patch AKS | Pool de clusters, Cluster | Environ chaque semaine (selon la mise à jour corrective AKS en amont) | ✅ |
| Mises à niveau du système d’exploitation du nœud | Pool de clusters, Cluster | Hebdomadaire | ✅ |
| Correctifs de sécurité et correctifs à chaud pour les images de nœud | Pool de clusters, Cluster | En fonction des besoins | ✅ |
En savoir plus sur le contrôle de version HDInsight sur AKS.
Comme HDInsight sur AKS utilise Azure Kubernetes Service (AKS) en tant qu’infrastructure sous-jacente, il doit être mis à jour régulièrement pour garantir la sécurité et la compatibilité avec les dernières fonctionnalités.
Il existe deux composants d’un cluster AKS qui sont nécessaires à la maintenance :
Mises à niveau mineures et patches AKS : une partie du cycle de vie du cluster AKS implique l’exécution de mises à niveau périodiques vers la dernière version de Kubernetes. Il est important que vous effectuiez la mise à niveau pour appliquer les dernières versions de sécurité et accéder aux dernières fonctionnalités de Kubernetes, ainsi que pour rester dans la fenêtre de support AKS. La version du pool de clusters HDInsight sur AKS est mappée aux versions mineures d’AKS.
Les correctifs AKS sont effectués à l’aide de mises à niveau de patches AKS, qui peuvent être appliquées au pool de clusters et aux clusters dans HDInsight sur AKS, à partir du pool de clusters version 1.1.
Les versions mineures d’AKS sont réalisées à l’aide de la mise à niveau de la version mineure d’AKS, qui met à niveau le pool de clusters et les clusters vers la dernière version mineure d’AKS prise en charge sur HDInsight sur AKS à partir de la version 1*. HDInsight sur AKS vise à rester en tête de la politique de support N-2 de Kubernetes ainsi que du calendrier de publication d’AKS, afin de continuer à vous fournir la possibilité d'effectuer des mises à niveau mineures sur place, et nous vous encourageons à planifier la mise à niveau vers les dernières versions mineures dès qu'elles sont disponibles.
Mises à niveau du système d'exploitation du nœud : AKS fournit régulièrement de nouvelles images du nœud avec les dernières mises à jour du système d’exploitation et des runtimes. Il est avantageux de mettre à niveau régulièrement les images de vos nœuds pour garantir la prise en charge des dernières fonctionnalités d’AKS et appliquer des correctifs de sécurité essentiels et des correctifs logiciel sur la couche AKS. Les annonces de mise à niveau d’images sont incluses dans les Notes de publication d’AKS et le déploiement de ces mises à jour dans toutes les régions peut prendre jusqu’à une semaine. Avec cette mise à niveau, nous mettons uniquement à jour les images du pool de nœuds sans mettre à niveau la version de Kubernetes. Dans HDInsight sur AKS, cette mise à niveau s’effectue à l’aide des mises à niveau du système d’exploitation du nœud, qui peuvent être appliquées au pool de clusters et aux clusters, à compter de la version 1.1 du pool de clusters.
Pour bénéficier des dernières fonctionnalités de HDInsight sur AKS, nous vous recommandons de mettre régulièrement à jour vos clusters HDInsight sur AKS avec les correctifs logiciels et patches. HDInsight sur AKS prend en charge les mises à niveau sur place où des clusters existants peuvent être mis à niveau vers les derniers correctifs logiciel et patches. Vous n’avez pas besoin de supprimer et de recréer un nouveau cluster, lorsque votre cluster est éligible à une mise à niveau, l’état de la mise à jour logicielle reflète la mise à niveau en attente, et vous pouvez effectuer une mise à niveau en quelques clics et des fenêtres de maintenance.
Les versions des patches HDInsight sur AKS sont publiées tous les 30 à 60 jours. Il est toujours bon de passer au dernier patch dès que possible. La durée maximale recommandée pour les mises à niveau de cluster est inférieure à trois mois.
Mises à niveau des correctifs logiciels : les mises en production des correctifs sont effectuées si nécessaire, et elles n’incluent que quelques correctifs pour un nombre limité de modules dans le package de cluster. Les correctifs logiciels s’appliquent à vos clusters et, lorsque ces mises à jour sont disponibles, votre cluster reflète les mises à jour en attente sur l’état des mises à jour logicielles, vous permettant d'effectuer des opérations de maintenance avec une mise à niveau sur place.
Mises à niveau des patches : les ressources dans Azure sont mises à disposition par un fournisseur de ressources. Le fournisseur de ressources HDInsight sur AKS est responsable de la création, de la gestion et de la suppression des clusters. HDInsight sur AKS met à jour ses images sur le registre de conteneurs Azure de façon continue pour mettre en place des composants logiciels open source (OSS) qui peuvent être déployés sur un cluster. Ces images contiennent le système d’exploitation Azure Linux de base et les composants principaux tels que Spark, Flink, Trino. Les patches mensuels apportent les correctifs de bogues du fournisseur de ressources, ainsi que des composants open source et d’autres bogues ou améliorations de fonctionnalités spécifiques au cluster que vous utilisez. Les mises à niveau de patches s’appliquent à vos clusters et, lorsque ces mises à jour sont disponibles, votre cluster reflète les mises à jour en attente sur l’état des mises à jour logicielles, vous permettant d'effectuer des opérations de maintenance avec une mise à niveau sur place.
Comment vérifier les mises à niveau disponibles
Avant de commencer la mise à niveau, vous devez vérifier les mises à niveau disponibles pour votre cluster HDInsight sur AKS.
Les mises à jour dépendent de la version du cluster ou de la version du pool de clusters, c’est-à-dire de la version actuelle de HDInsight sur AKS et également de la version de AKS.
Vous pouvez consulter le panneau vue d’ensemble de la mise à jour de logiciel pour vérifier si vous avez des mises à jour logicielles à jour ou en attente.
Si vous disposez d’une mise à jour de logiciel est disponible, vous constatez que votre cluster affiche la mise à jour logicielle en état en attente et que vous pouvez opter pour la mise à niveau à l’aide du portail Azure.
Pour vérifier les mises à jour disponibles à l’aide du portail Azure, procédez comme suit :
Connectez-vous au portail Azure.
Dans la zone de recherche, tapez HDInsight sur AKS.
Sélectionnez votre cluster pool HDInsight sur AKS.
Dans la page vue de page de présentation du cluster, recherchez l’état de la mise à jour logicielle.
Cliquez sur Mettre à niveau.
Dans le panneau de mise à niveau, vous voyez les mises à niveau disponibles.
En fonction de la mise à niveau disponible, vous avez la possibilité de sélectionner et d’effectuer la mise à niveau.
Une fois la mise à niveau déclenchée, vous recevez la notification de service sur le portail.
L’état de la mise à jour du cluster passe de En attente à En cours de mise à niveau, et l’état du pool de clusters passe à NodeOSUpgrading.
Comme vous avez choisi de mettre à jour à la fois les pools de clusters et les clusters, les clusters passent également à des états similaires.
Une fois votre mise à niveau terminée, la bannière est mise à jour et l’état de la mise à jour logicielle sur le pool de clusters est reflété dans l'ensemble du pool de clusters et des clusters (si votre cluster est également mis à niveau avec le pool de clusters), et les mises à jour de notification reflètent le succès de la mise à niveau.
Planification d’une mise à niveau pour vos clusters et pools de clusters HDInsight sur AKS
Après avoir vérifié les versions de mise à niveau disponibles et choisi celle qui répond à vos besoins, vous pouvez mettre à niveau vos clusters HDInsight sur AKS à l’aide du portail Azure. Le processus de mise à niveau peut prendre un certain temps, en fonction de la taille et de la configuration de vos clusters, ainsi que du nombre de clusters au sein d’un pool de clusters.
Pendant la mise à niveau, votre cluster reste opérationnel et accessible, mais vous pouvez rencontrer une dégradation des performances ou des interruptions temporaires. Par conséquent, nous vous recommandons de mettre à niveau vos clusters pendant les heures creuses ou lorsque le cluster n’est pas soumis à une charge importante.
Meilleures pratiques pour la mise à niveau sur place de vos clusters et pools de clusters HDInsight sur AKS
Pour garantir une mise à niveau fluide et réussie de vos clusters et pools de clusters HDInsight sur AKS, suivez les bonnes pratiques suivantes :
Avant de commencer la mise à niveau, assurez-vous que votre cluster est sain et stable, et que son état n’est pas en erreur.
Avant la mise à niveau, passez en revue les notes de publication de la nouvelle version de HDInsight sur AKS et préparez les modifications nécessaires à vos applications ou scripts pour vous adapter aux nouvelles fonctionnalités ou modifications. Testez-les dans un environnement moins critique avant de passer à la production.
Avant la mise à niveau, planifiez la fenêtre de maintenance dans laquelle vous pouvez effectuer les mises à niveau de cluster dans la fenêtre planifiée. Les mises à niveau sur place (cluster et pool de clusters) affectent les performances de votre environnement et des tâches peuvent rencontrer un temps d’arrêt pendant que la mise à niveau est en cours.
Pendant la mise à niveau, ne faites aucune modification à vos ressources de cluster, telles que l'ajout ou la suppression de nœuds, la mise à l'échelle, la mise à jour des configurations ou la suppression. Cela peut interférer avec le processus de mise à niveau et provoquer des erreurs ou des échecs.
Pendant la mise à niveau, surveillez la disponibilité du cluster. Vous pouvez utiliser le portail Azure pour vérifier l’état de la mise à jour logicielle.
Si la mise à niveau échoue ou rencontre des problèmes, vous pouvez contacter le support Azure ou effectuer une opération de restauration manuelle pour restaurer la mise à niveau vers la version que vous avez utilisée précédemment.
Après la mise à niveau, vérifiez que le cluster fonctionne comme prévu. Vous pouvez vérifier la version, l’intégrité et les configurations du cluster à l’aide du portail Azure, d’Azure CLI, d’Azure PowerShell ou d’intégrité du service. Vous pouvez également exécuter des travaux de test ou des requêtes pour vérifier la fonctionnalité du cluster.
Étapes des mises à niveau
Mises à niveau du système d’exploitation du nœud
Une fois que vous avez cliqué sur Mettre à niveau dans le panneau Vue d’ensemble, sélectionnez Mise à niveau du système d’exploitation des nœuds dans le volet de mise à niveau à gauche.
S’il existe une mise à niveau du système d’exploitation des nœuds, le pool de clusters et les clusters passent simultanément par le biais de la mise à niveau.
Une fois la mise à niveau déclenchée, vous recevez la notification de service sur le portail.
L’état de la mise à jour du cluster passe d’En attente à En cours de mise à niveau, et l’état du pool de clusters passe à
NodeOSUpgrading.
Comme vous avez choisi de mettre à jour à la fois les pools de clusters et les clusters, les clusters passent également à des états similaires.
Une fois votre mise à niveau terminée, la bannière est mise à jour et l’état de la mise à jour logicielle sur le pool de clusters est reflété dans l'ensemble du pool de clusters et des clusters (si les clusters sont également mis à niveau avec le pool de clusters), et les mises à jour de notification reflètent le succès de la mise à niveau.
Mises à niveau des patches AKS
Une fois que vous avez cliqué sur Mettre à niveau dans le panneau Vue d’ensemble, sélectionnez Mise à niveau du patch AKS dans le volet de mise à niveau à gauche.
Dans la mise à niveau des correctifs AKS, le pool de clusters et les clusters ne passent pas simultanément par la mise à niveau. Les clusters individuels doivent appliquer les mises à niveau des correctifs AKS en fonction des fenêtres de maintenance planifiées pour vos clusters.
Une fois la mise à niveau déclenchée, vous recevez la notification de service sur le portail.
L’état de la mise à jour du cluster passe de En attente à En cours de mise à niveau, et l’état du pool de clusters passe à AksPatchUpgrading.
Une fois votre mise à niveau terminée, la bannière est mise à jour et l’état de la mise à jour logicielle sur le pool de clusters est reflété dans l'ensemble du pool de clusters et des clusters (si les clusters sont également mis à niveau avec le pool de clusters), et les mises à jour de notification reflètent le succès de la mise à niveau.
Une fois que vous avez appliqué le correctif pour le pool de clusters, vous pouvez appliquer les patches AKS aux clusters du pool de clusters en même temps ou accéder à un cluster individuel et appliquer le correctif en fonction des planifications de maintenance.
Lorsque vous utilisez la mise à niveau de tous les clusters, sur la page du pool de clusters, cela permet de mettre à niveau simultanément tous les clusters du pool de clusters en une seule fois.
Le volet de mise à niveau sur le côté droit affiche les détails de la mise à niveau sur les versions des correctifs AKS (chemin d’accès actuel et de mise à niveau).
Une fois que la mise à niveau a démarré, l’icône de notification indique que la mise à niveau du cluster est en cours
Le volet de vue d’ensemble du cluster sur le pool de clusters reflète également l’état des mises à niveau.
Une fois la mise à niveau terminée, la bannière de vue d’ensemble et la zone de notification sont mises à jour.
Mises à niveau des correctifs logiciels
Sur la page de présentation du cluster, vous pouvez observer que vous disposez d’une mise à niveau de correctif logiciel en attente pour votre cluster.
Une fois que vous avez cliqué pour effectuer la mise à niveau, accédez à la section des mises à niveau du cluster avec les détails de la mise à niveau en attente.
Une fois que vous avez lancé la mise à niveau, la notification indique la progression de la mise à niveau, et la page de présentation du cluster reflète l’état de mise à niveau des correctifs logiciels et le statut de la mise à jour logicielle passe à en cours de mise à niveau.
Une fois la mise à niveau terminée, la bannière de vue d’ensemble de l’état du cluster est en cours d’exécution, l’état de la mise à jour logicielle est mis à jour et la bannière de notification dans la section d'aperçu est mise à jour.
