Créer un pool de clusters et un cluster
HDInsight sur AKS dispose du concept de pools de clusters et de clusters.
Des pools de clusters sont un regroupement logique de clusters et gèrent un ensemble de clusters dans le même pool, ce qui permet de générer une interopérabilité robuste entre plusieurs types de clusters. Ils peuvent être créés dans un réseau virtuel existant ou en dehors d’un réseau virtuel.
Un pool de clusters dans HDInsight sur AKS correspond à un seul cluster dans l’infrastructure AKS.
Des clusters sont des charges de travail de calcul individuelles, telles qu’Apache Spark, Apache Flink ou Trino, qui peuvent être créées dans le même pool de clusters.
Pour créer des clusters Apache Spark, Apache Flink ou Trino, vous devez d’abord créer un pool de clusters.
Prérequis
Vérifiez que vous remplissez les prérequis de l’abonnement et les prérequis des ressources avant de créer un pool de clusters.
Créer un pool de clusters
Connectez-vous au portail Azure.
Dans la barre de recherche du portail Azure, tapez « pool de clusters HDInsight sur AKS », puis sélectionnez « pools de clusters Azure HDInsight sur AKS » dans la liste déroulante.
Cliquez sur + Créer.
Sous l’onglet Informations de base, entrez les informations suivantes :
Propriété Description Abonnement Dans la liste déroulante, sélectionnez l’abonnement Azure sous lequel vous souhaitez créer le pool de clusters HDInsight sur AKS. Resource group Dans la liste déroulante, sélectionnez un groupe de ressources existant ou Créer. Nom du pool Entrez le nom du pool de clusters à créer. La longueur du nom du pool de clusters ne peut pas dépasser 26 caractères. Il doit commencer par un caractère alphabétique, se terminer par un caractère alphanumérique et doit contenir uniquement des caractères alphanumériques et des traits d’union. Région Dans la liste déroulante, sélectionnez la région du pool de clusters. Vérifier la disponibilité de la région. Pour les pools de clusters dans un réseau virtuel, la région du réseau virtuel et le pool de clusters doivent être identiques. Version du pool de clusters Dans la liste déroulante, sélectionnez la version du pool de clusters HDInsight sur AKS. Machine virtuelle Dans la liste déroulante, sélectionnez la taille de la machine virtuelle du pool de clusters en fonction de vos besoins. Groupe de ressources géré (Facultatif) Donner un nom au groupe de ressources managé. Il contient des ressources auxiliaires créées par HDInsight sur AKS. Sélectionnez Suivant : Sécurité + mise en réseau pour continuer.
Sur la page Sécurité + mise en réseau, fournissez les informations suivantes :
Propriété Description Réseau virtuel (VNet) Dans la liste déroulante, sélectionnez un réseau virtuel qui se trouve dans la même région que le pool de clusters. Subnet Dans la liste déroulante, sélectionnez le nom du sous-réseau que vous envisagez d’associer au pool de clusters. Sélectionnez Suivant : Intégrations pour continuer.
Sur la page Intégrations, fournissez les informations suivantes :
Propriété Description Log Analytics (Facultatif) Sélectionner cette option pour permettre à Logs Analytics d’afficher des insights et des journaux directement dans votre cluster en envoyant des métriques et des journaux à un espace de travail Log Analytics. Azure Prometheus Vous pouvez activer cette option une fois la création du pool de clusters terminée. Sélectionnez Suivant : Étiquettes pour continuer.
Sur la page Étiquettes, entrez les étiquettes (facultatif) que vous souhaitez attribuer au pool de clusters.
Propriété Description Nom Entrez un nom (clé) qui vous aide à identifier les ressources en fonction des paramètres pertinents pour votre organisation. Par exemple, « Environnement » pour suivre l’environnement de déploiement de vos ressources. Valeur Entrez la valeur qui vous aide à établir une relation avec les ressources. Par exemple, « Production » pour identifier les ressources déployées en production. Ressource Sélectionnez le type de ressource applicable. Sélectionnez Suivant : Vérifier + créer pour continuer.
Sur la page Vérifier + créer, recherchez le message Validation réussie en haut de la page, puis cliquez sur Créer.
La page Le déploiement est en cours s’affiche pendant la création du pool de clusters, et la page Votre déploiement est terminé s’affiche une fois que le pool de clusters est entièrement déployé et prêt à être utilisé.
Si vous quittez la page, vous pouvez vérifier l’état du déploiement en cliquant sur l’icône Notifications.
Conseil
Pour résoudre les erreurs de déploiement, vous pouvez vous consulter cette page.
Une fois le déploiement du pool de clusters terminé, continuez à utiliser le portail Azure pour créer un cluster Trino, Flink et Spark.
Créer un cluster
Il existe trois manières de créer un cluster Azure HDInsight sur AKS à partir du portail Azure :
- Recherchez et créez un « Cluster Azure HDInsight sur AKS» à partir du marketplace.
- Recherchez et sélectionnez « Clusters Azure HDInsight sur AKS » dans le Portail Azure pour créer un cluster à partir de la page affichant tous les clusters HDInsight sur AKS.
- Créez un cluster en sélectionnant Nouveau dans la page de Présentation d’un pool de clusters existant. Cette option vous offre deux façons de créer des clusters.
Créez un cluster en fournissant un nombre minimal d’entrées et en n’utilisant pas de configuration avancée. Cette option préremplit les champs de configuration requis avec des valeurs intelligentes par défaut et crée automatiquement des ressources obligatoires.
La taille de la référence SKU de machine virtuelle est prérenseignée avec la référence SKU recommandée la moins coûteuse. En l’absence de référence SKU recommandée, elle est prérenseignée avec la référence SKU ayant le moins de vCores et le quota maximal disponible au moment de la création du cluster. Le cluster est créé avec un nombre constant par défaut de cinq nœuds. Les clusters Flink et Trino auront deux nœuds principaux, tandis que les clusters Spark en auront trois.
L’identité managée et le compte de stockage affectés à l’utilisateur seront créés automatiquement dans le groupe de ressources managées. Vous pouvez passer en revue les configurations du cluster qui seraient créées dans l’onglet Évaluer+créer. Une fois que vous cliquez sur Créer, la page « Déploiement en cours » s’affiche pendant la création du cluster. Un message indiquant que « Votre déploiement est terminé » s’affiche une fois le cluster entièrement déployé et prêt à être utilisé.
Si vous souhaitez avoir plus de flexibilité pour personnaliser les configurations de cluster, activez l’option « Utiliser la configuration avancée ».
Important
Pour créer un cluster dans un nouveau pool de clusters, attribuez le rôle MSI « Opérateur d’identité managée » au pool d’agents AKS sur l’identité managée attribuée par l’utilisateur créée dans le cadre des prérequis des ressources. Lorsqu’un utilisateur a l’autorisation d’attribuer les rôles RBAC Azure, ils sont attribués automatiquement.
L’identité managée du pool d’agents AKS est créée lors de la création du pool de clusters. Vous pouvez identifier l’identité managée du pool d’agents AKS par (nom de votre pool de clusters)-agentpool. Effectuez ces étapes pour attribuer le rôle.
Pour obtenir un guide de démarrage rapide, reportez-vous aux étapes suivantes.
Une fois la création du pool de clusters terminée, cliquez sur Accéder à la ressource à partir de la page Votre déploiement est terminé ou de la zone Notifications. Si l’option Accéder à la ressource n’est pas disponible, tapez Pool de clusters HDInsight sur AKS dans la barre de recherche du portail Azure, puis sélectionnez le pool de clusters que vous avez créé.
Sélectionnez + Nouveau cluster, puis fournissez les informations suivantes :
Propriété Description Abonnement Par défaut, il est rempli avec l’abonnement utilisé pour le pool de clusters. Resource group Par défaut, il est rempli avec le groupe de ressources utilisé pour le pool de clusters. Pool de clusters Représente le pool de clusters dans lequel le cluster doit être créé. Pour créer un cluster dans un autre pool, recherchez ce pool de clusters sur le portail, puis cliquez sur + Nouveau cluster. Région Par défaut, elle est remplie avec la région utilisée pour le pool de clusters. Version du pool de clusters Par défaut, elle est remplie avec la version utilisée pour le pool de clusters. Version de HDInsight sur AKS Dans la liste déroulante, sélectionnez la version de HDInsight sur AKS. Pour plus d’informations, consultez Contrôle de version. Type de cluster Dans la liste déroulante, sélectionnez le type de cluster que vous souhaitez créer : Trino, Flink ou Spark. Package de cluster Sélectionnez le package de cluster avec la version du composant disponible pour le type de cluster sélectionné. Nom du cluster Entrez le nom du nouveau cluster. Identité managée affectée par l’utilisateur Sélectionnez l’identité managée à utiliser avec le cluster. Compte de stockage (ADLS Gen2) Sélectionnez un compte de stockage et un conteneur qui deviendra l’emplacement par défaut des journaux de cluster et autres sorties. Il est obligatoire pour un type de cluster Apache Flink et Spark. Réseau virtuel (VNet) Réseau virtuel du cluster. Il est dérivé du pool de clusters. Subnet Sous-réseau du réseau virtuel du cluster. Il est dérivé du pool de clusters. Cliquez sur Suivant : Configuration pour continuer.
Sur la page Configuration, fournissez les informations suivantes :
Propriété Description Taille du nœud principal Cette valeur est identique à la taille du nœud Worker. Nombre de nœuds principaux Cette valeur est définie par défaut en fonction du type de cluster. Taille du nœud Worker Dans la liste déroulante, sélectionnez la référence SKU recommandée ou vous pouvez choisir la référence SKU disponible dans votre abonnement en cliquant sur Sélectionner la taille de machine virtuelle. Nombre de nœuds Worker Sélectionnez le nombre de nœuds Worker requis pour votre cluster. Mise à l’échelle automatique (Facultatif) Sélectionnez cette option pour activer la fonctionnalité de mise à l’échelle automatique Configuration Secure Shell (SSH) (Facultatif) Sélectionnez cette option pour activer le nœud SSH. En activant SSH, d’autres nœuds de machine virtuelle sont créés. Remarque
Vous verrez une section supplémentaire pour fournir des configurations de service aux clusters Apache Flink.
Cliquez sur Suivant : Intégrations pour continuer.
Sur la page Intégrations, fournissez les informations suivantes :
Propriété Description Log Analytics (Facultatif) Sélectionner cette option pour permettre à Logs Analytics d’afficher des insights et des journaux directement dans votre cluster en envoyant des métriques et des journaux à un espace de travail Log Analytics. Azure Prometheus (Facultatif) Sélectionner cette option pour permettre à Azure Managed Prometheus d’afficher des insights et des journaux directement dans votre cluster en envoyant des métriques et des journaux à un espace de travail Azure Monitor. Remarque
Pour activer Log Analytics et Azure Prometheus, ils doivent d’abord être activés au niveau du pool de clusters.
Sélectionnez Suivant : Étiquettes pour continuer.
Sur la page Étiquettes, entrez les étiquettes (facultatif) que vous souhaitez attribuer au cluster.
Propriété Description Nom Entrez un nom (clé) qui vous aide à identifier les ressources en fonction des paramètres pertinents pour votre organisation. « Environnement » pour suivre l’environnement de déploiement de vos ressources. Valeur Entrez la valeur qui vous aide à établir une relation avec les ressources. « Production » pour identifier les ressources déployées en production. Ressource Sélectionnez le type de ressource applicable. Sélectionnez Suivant : Vérifier + créer pour continuer.
Sur la page Vérifier + créer, recherchez le message Validation réussie en haut de la page, puis cliquez sur Créer.
La page Le déploiement est en cours s’affiche pendant la création du cluster, et la page « Votre déploiement est terminé » s’affiche une fois que le cluster est entièrement déployé et prêt à être utilisé.
Conseil
Pour résoudre les problèmes liés à des erreurs de déploiement, vous pouvez consulter cette page.
Commentaires
Bientôt disponible : Tout au long de l’année 2024, nous abandonnerons progressivement le mécanisme de retour d’information GitHub Issues pour le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultez : https://aka.ms/ContentUserFeedback.
Soumettre et afficher des commentaires pour