Créer un cluster Apache Flink® dans HDInsight sur AKS avec le Portail Azure
Remarque
Nous allons mettre hors service Azure HDInsight sur AKS le 31 janvier 2025. Avant le 31 janvier 2025, vous devrez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent afin d’éviter leur arrêt brutal. Les clusters restants de votre abonnement seront arrêtés et supprimés de l’hôte.
Seul le support de base sera disponible jusqu’à la date de mise hors service.
Important
Cette fonctionnalité est disponible actuellement en mode Aperçu. Les Conditions d’utilisation supplémentaires pour les préversions de Microsoft Azure contiennent davantage de conditions légales qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou ne se trouvant pas encore en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les Informations sur la préversion d’Azure HDInsight sur AKS. Si vous avez des questions ou des suggestions de fonctionnalités, soumettez une demande sur AskHDInsight avec les détails et suivez-nous pour obtenir les dernières actualités sur la Communauté Azure HDInsight.
Effectuez les étapes suivantes pour créer un cluster Apache Flink en tirant parti du Portail Azure.
Prérequis
Remplissez les conditions préalables dans les sections suivantes :
Important
- Pour créer un cluster dans un nouveau pool de clusters, attribuez le rôle MSI « Opérateur d’identité managée » au pool d’agents AKS sur l’identité managée affectée par l’utilisateur créée dans le cadre des prérequis pour les ressources. Si vous disposez des autorisations requises, cette étape est automatisée lors de la création.
- L’identité managée du pool d’agents AKS est créée lors de la création du pool de clusters. Vous pouvez identifier l’identité managée du pool d’agents AKS par (nom de votre pool de clusters)-agentpool. Effectuez ces étapes pour attribuer le rôle.
Créer un cluster Apache Flink
Les clusters Flink peuvent être créés une fois le déploiement du pool de clusters terminé. Passons en revue les étapes à suivre si vous commencez avec un pool de clusters existant.
Dans le portail Azure, tapez Pools de clusters HDInsight/HDInsight/HDInsight sur AKS et sélectionnez Pools de clusters Azure HDInsight sur AKS pour accéder à la page des pools de clusters. Dans la page des pools de clusters HDInsight sur AKS, sélectionnez le pool de clusters dans lequel vous souhaitez créer un cluster Flink.
Dans la page du pool de clusters spécifique, cliquez sur + Nouveau cluster et fournissez les informations suivantes :
Propriété Description Abonnement Ce champ est renseigné automatiquement avec l’abonnement Azure inscrit pour le pool de clusters. Groupe de ressources Ce champ est renseigné automatiquement et affiche le groupe de ressources sur le pool de clusters. Région Ce champ est renseigné automatiquement et affiche la région sélectionnée sur le pool de clusters. Pool de clusters Ce champ est renseigné automatiquement et montre le nom du pool de clusters sur lequel le cluster est en cours de création. Pour créer un cluster dans un autre pool, recherchez ce pool de clusters sur le portail, puis cliquez sur + Nouveau cluster. Version du pool HDInsight sur AKS Ce champ est renseigné automatiquement et affiche la version du pool de clusters sur laquelle le cluster est maintenant créé. Version de HDInsight sur AKS Sélectionnez la version mineure ou corrective de HDInsight sur AKS du nouveau cluster. Type de cluster Dans la liste déroulante, sélectionnez Flink. Nom du cluster Entrez le nom du nouveau cluster. Identité managée affectée par l’utilisateur Dans la liste déroulante, sélectionnez l’identité managée à utiliser avec le cluster. Si vous êtes propriétaire de l’identité du service managé (MSI) et que celle-ci ne dispose pas du rôle Opérateur d’identité managée sur le cluster, cliquez sur le lien situé sous la zone pour attribuer l’autorisation nécessaire à partir de l’identité MSI du pool d’agents AKS. Si l’identité MSI dispose déjà des autorisations appropriées, aucun lien n’est affiché. Consultez les Prérequis pour connaître les autres attributions de rôles requises pour l’identité MSI. Storage account Dans la liste déroulante, sélectionnez le compte de stockage à associer au cluster Flink et spécifiez le nom du conteneur. L’identité managée se verra de plus automatiquement accorder l’accès au compte de stockage spécifié, à l’aide du rôle « Propriétaire des données Blob du stockage » durant la création du cluster. Réseau virtuel Réseau virtuel pour le cluster. Subnet Sous-réseau virtuel pour le cluster. Activation du Catalogue Hive pour Flink SQL.
Propriété Description Utiliser le catalogue Hive Activez cette option pour utiliser un metastore Hive externe. SQL Database pour Hive Dans la liste déroulante, sélectionnez l’instance SQL Database dans laquelle ajouter des tables hive-metastore. Nom d’utilisateur de l’administrateur SQL Entrez le nom de l’utilisateur administrateur du serveur SQL. Ce compte est utilisé par le metastore pour communiquer avec la base de données SQL. Key vault Dans la liste déroulante, sélectionnez le coffre de clés, qui contient un secret avec un mot de passe pour le nom de l’utilisateur administrateur du serveur SQL. Vous devez configurer une stratégie d’accès avec toutes les autorisations requises, telles que les autorisations de clé, les autorisations de secret et les autorisations de certificat sur l’identité MSI, qui est utilisée pour la création du cluster. L’identité MSI a besoin du rôle Administrateur Key Vault ; ajoutez les autorisations requises à l’aide d’IAM. Nom de la clé secrète du mot de passe SQL Entrez le nom de la clé secrète du coffre de clés où le mot de passe de la base de données SQL est stocké. 
Remarque
Par défaut, nous utilisons le Compte de stockage pour le catalogue Hive identique au compte de stockage et au conteneur utilisés lors de la création du cluster.
Sélectionnez Suivant : Configuration pour continuer.
Dans la page Configuration, fournissez les informations suivantes :
Propriété Description Taille du nœud Sélectionnez la taille de nœud à utiliser pour les nœuds Flink (à la fois les nœuds principaux et Worker). Nombre de nœuds Sélectionnez le nombre de nœuds pour le cluster Flink ; par défaut, les nœuds principaux sont au nombre de deux. Le dimensionnement des nœuds Worker permet de déterminer les configurations du gestionnaire de tâches pour le cluster Flink. Le gestionnaire de travaux et le serveur d’historique se trouvent sur les nœuds principaux. Dans la section Configuration du service, fournissez les informations suivantes :
Propriété Description UC de gestionnaires de tâches Integer. Entrez la taille des processeurs des gestionnaires de tâches (en cœurs). Mémoire du gestionnaire de tâches en Mo Entrez la taille de mémoire du gestionnaire de tâches en Mo. La taille minimale est 1800 Mo. UC du gestionnaire de travaux Integer. Entrez le nombre de processeurs pour le gestionnaire de travaux (en cœurs). Mémoire du gestionnaire de travaux en Mo Entrez la taille de mémoire en Mo. La taille minimale est 1800 Mo. Processeur du serveur d’historique Integer. Entrez le nombre de processeurs pour le gestionnaire de travaux (en cœurs). Mémoire du serveur d’historique en Mo Entrez la taille de mémoire en Mo. La taille minimale est 1800 Mo. 
Remarque
- Le serveur d’historique peut être activé/désactivé en fonction des besoins.
- La mise à l’échelle automatique basée sur la planification est prise en charge dans Flink. Vous pouvez planifier le nombre de nœuds Worker en fonction des besoins. Par exemple, vous pouvez activer la mise à l’échelle automatique basée sur une planification avec trois nœuds Worker par défaut. Et pendant les jours ouvrables de 9:00 UTC à 20:00 UTC, la planification indique que les nœuds Worker doivent être au nombre de dix. Plus tard dans la journée, la valeur par défaut de trois nœuds doit être rétablie (entre 20:00 UTC et 09:00 UTC le lendemain). Pendant les week-ends de 9:00 UTC à 20:00 UTC, il y a quatre nœuds Worker.
Dans la section Mise à l’échelle automatique et SSH, mettez à jour les éléments suivants :
Propriété Description Échelle automatique Lors de la sélection, vous pouvez choisir la mise à l’échelle automatique basée sur la planification pour configurer la planification des opérations de mise à l’échelle. Activation de SSH Lors de la sélection, vous pouvez choisir le nombre total de nœuds SSH requis, qui sont les points d’accès de l’interface CLI Flink à l’aide de Secure Shell. Le nombre maximal de nœuds SSH autorisés est de cinq. 
Cliquez sur le bouton Suivant : Intégration pour passer à la page suivante.
Dans la page Intégration, fournissez les informations suivantes :
Propriété Description Log Analytics Cette fonctionnalité est disponible uniquement si un espace de travail Log Analytics est associé au pool de clusters. Une fois qu’elle est activée, vous pouvez sélectionner les journaux à collecter. Azure Prometheus Cette fonctionnalité permet d’afficher des insights et des journaux directement dans votre cluster en envoyant des métriques et des journaux à un espace de travail Azure Monitor. 
Cliquez sur le bouton Suivant : Étiquettes pour passer à la page suivante.
Dans la page Étiquettes, indiquez les informations suivantes :
Propriété Description Nom facultatif. Entrez un nom tel que HDInsight sur AKS pour identifier facilement toutes les ressources associées à vos ressources de cluster. Valeur Vous pouvez laisser ce champ vide. Ressource Sélectionnez Toutes les ressources sélectionnées. Sélectionnez Suivant : Vérifier + créer pour continuer.
Dans la page Vérifier + créer, recherchez le message Validation réussie en haut de la page, puis cliquez sur Créer.
La page Le déploiement est en cours s’affiche, indiquant la création du cluster. La création du cluster prend de cinq à dix minutes. Une fois le cluster créé, le message « Votre déploiement a été effectué » s’affiche. Si vous quittez la page, vous pouvez consulter vos notifications afin de connaître l’état actuel.
Remarque
Apache, Apache Flink, Flink et les noms de projet open source associés sont des marques d’Apache Software Foundation (ASF).