Créer un cluster Apache Flink® dans HDInsight sur AKS avec le Portail Azure

Important

Cette fonctionnalité est disponible actuellement en mode Aperçu. L’Avenant aux conditions d’utilisation des préversions de Microsoft Azure comporte des clauses juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou pas encore en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les Informations sur la préversion d’Azure HDInsight sur AKS. Si vous avez des questions ou des suggestions de fonctionnalités, soumettez une demande sur AskHDInsight avec les détails et suivez-nous pour obtenir les dernières actualités sur la Communauté Azure HDInsight.

Effectuez les étapes suivantes pour créer un cluster Apache Flink en tirant parti du Portail Azure.

Prérequis

Remplissez les conditions préalables dans les sections suivantes :

• Conditions préalables d’abonnement
• Prérequis pour les ressources
• Créer un pool de clusters

Important

• Pour créer un cluster dans un nouveau pool de clusters, attribuez le rôle MSI « Opérateur d’identité managée » au pool d’agents AKS sur l’identité managée affectée par l’utilisateur créée dans le cadre des prérequis pour les ressources. Si vous disposez des autorisations requises, cette étape est automatisée lors de la création.
• L’identité managée du pool d’agents AKS est créée lors de la création du pool de clusters. Vous pouvez identifier l’identité managée du pool d’agents AKS par (nom de votre pool de clusters)-agentpool. Effectuez ces étapes pour attribuer le rôle.

Créer un cluster Apache Flink

Les clusters Flink peuvent être créés une fois le déploiement du pool de clusters terminé. Passons en revue les étapes à suivre si vous commencez avec un pool de clusters existant.

1. Dans le portail Azure, tapez Pools de clusters HDInsight/HDInsight/HDInsight sur AKS et sélectionnez Pools de clusters Azure HDInsight sur AKS pour accéder à la page des pools de clusters. Dans la page des pools de clusters HDInsight sur AKS, sélectionnez le pool de clusters dans lequel vous souhaitez créer un cluster Flink.

   

2. Dans la page du pool de clusters spécifique, cliquez sur + Nouveau cluster et fournissez les informations suivantes :

   Propriété	Description
   Abonnement	Ce champ est renseigné automatiquement avec l’abonnement Azure inscrit pour le pool de clusters.
   Groupe de ressources	Ce champ est renseigné automatiquement et affiche le groupe de ressources sur le pool de clusters.
   Région	Ce champ est renseigné automatiquement et affiche la région sélectionnée sur le pool de clusters.
   Pool de clusters	Ce champ est renseigné automatiquement et affiche le nom du pool de clusters sur lequel le cluster est maintenant créé. Pour créer un cluster dans un autre pool, recherchez ce pool de clusters dans le portail et cliquez sur + Nouveau cluster.
   Version du pool HDInsight sur AKS	Ce champ est renseigné automatiquement et affiche la version du pool de clusters sur laquelle le cluster est maintenant créé.
   Version de HDInsight sur AKS	Sélectionnez la version mineure ou corrective de HDInsight sur AKS du nouveau cluster.
   Type de cluster	Dans la liste déroulante, sélectionnez Flink.
   Nom du cluster	Entrez le nom du nouveau cluster.
   Identité managée affectée par l’utilisateur	Dans la liste déroulante, sélectionnez l’identité managée à utiliser avec le cluster. Si vous êtes propriétaire de l’identité du service managé (MSI) et que celle-ci ne dispose pas du rôle Opérateur d’identité managée sur le cluster, cliquez sur le lien situé sous la zone pour attribuer l’autorisation nécessaire à partir de l’identité MSI du pool d’agents AKS. Si l’identité MSI dispose déjà des autorisations appropriées, aucun lien n’est affiché. Consultez les Prérequis pour connaître les autres attributions de rôles requises pour l’identité MSI.
   Storage account	Dans la liste déroulante, sélectionnez le compte de stockage à associer au cluster Flink et spécifiez le nom du conteneur. L’identité managée se verra de plus automatiquement accorder l’accès au compte de stockage spécifié, à l’aide du rôle « Propriétaire des données Blob du stockage » durant la création du cluster.
   Réseau virtuel	Réseau virtuel pour le cluster.
   Subnet	Sous-réseau virtuel pour le cluster.

3. Activation du Catalogue Hive pour Flink SQL.

   Propriété	Description
   Utiliser le catalogue Hive	Activez cette option pour utiliser un metastore Hive externe.
   SQL Database pour Hive	Dans la liste déroulante, sélectionnez l’instance SQL Database dans laquelle ajouter des tables hive-metastore.
   Nom d’utilisateur de l’administrateur SQL	Entrez le nom de l’utilisateur administrateur du serveur SQL. Ce compte est utilisé par le metastore pour communiquer avec la base de données SQL.
   Key vault	Dans la liste déroulante, sélectionnez le coffre de clés, qui contient un secret avec un mot de passe pour le nom de l’utilisateur administrateur du serveur SQL. Vous devez configurer une stratégie d’accès avec toutes les autorisations requises, telles que les autorisations de clé, les autorisations de secret et les autorisations de certificat sur l’identité MSI, qui est utilisée pour la création du cluster. L’identité MSI a besoin du rôle Administrateur Key Vault ; ajoutez les autorisations requises à l’aide d’IAM.
   Nom de la clé secrète du mot de passe SQL	Entrez le nom de la clé secrète du coffre de clés où le mot de passe de la base de données SQL est stocké.

   

   Remarque

   Par défaut, nous utilisons le Compte de stockage pour le catalogue Hive identique au compte de stockage et au conteneur utilisés lors de la création du cluster.

4. Sélectionnez Suivant : Configuration pour continuer.

5. Dans la page Configuration, fournissez les informations suivantes :

   Propriété	Description
   Taille du nœud	Sélectionnez la taille de nœud à utiliser pour les nœuds Flink (à la fois les nœuds principaux et Worker).
   Nombre de nœuds	Sélectionnez le nombre de nœuds pour le cluster Flink ; par défaut, les nœuds principaux sont au nombre de deux. Le dimensionnement des nœuds Worker permet de déterminer les configurations du gestionnaire de tâches pour le cluster Flink. Le gestionnaire de travaux et le serveur d’historique se trouvent sur les nœuds principaux.

6. Dans la section Configuration du service, fournissez les informations suivantes :

   Propriété	Description
   UC de gestionnaires de tâches	Integer. Entrez la taille des processeurs des gestionnaires de tâches (en cœurs).
   Mémoire du gestionnaire de tâches en Mo	Entrez la taille de mémoire du gestionnaire de tâches en Mo. La taille minimale est 1800 Mo.
   UC du gestionnaire de travaux	Integer. Entrez le nombre de processeurs pour le gestionnaire de travaux (en cœurs).
   Mémoire du gestionnaire de travaux en Mo	Entrez la taille de mémoire en Mo. La taille minimale est 1800 Mo.
   Processeur du serveur d’historique	Integer. Entrez le nombre de processeurs pour le gestionnaire de travaux (en cœurs).
   Mémoire du serveur d’historique en Mo	Entrez la taille de mémoire en Mo. La taille minimale est 1800 Mo.

   

   Remarque

   • Le serveur d’historique peut être activé/désactivé en fonction des besoins.
   • La mise à l’échelle automatique basée sur la planification est prise en charge dans Flink. Vous pouvez planifier le nombre de nœuds Worker en fonction des besoins. Par exemple, vous pouvez activer la mise à l’échelle automatique basée sur une planification avec trois nœuds Worker par défaut. Et pendant les jours ouvrables de 9:00 UTC à 20:00 UTC, la planification indique que les nœuds Worker doivent être au nombre de dix. Plus tard dans la journée, la valeur par défaut de trois nœuds doit être rétablie (entre 20:00 UTC et 09:00 UTC le lendemain). Pendant les week-ends de 9:00 UTC à 20:00 UTC, il y a quatre nœuds Worker.

7. Dans la section Mise à l’échelle automatique et SSH, mettez à jour les éléments suivants :

   Propriété	Description
   Échelle automatique	Lors de la sélection, vous pouvez choisir la mise à l’échelle automatique basée sur la planification pour configurer la planification des opérations de mise à l’échelle.
   Activation de SSH	Lors de la sélection, vous pouvez choisir le nombre total de nœuds SSH requis, qui sont les points d’accès de l’interface CLI Flink à l’aide de Secure Shell. Le nombre maximal de nœuds SSH autorisés est de cinq.

   

   

8. Cliquez sur le bouton Suivant : Intégration pour passer à la page suivante.

9. Dans la page Intégration, fournissez les informations suivantes :

   Propriété	Description
   Log Analytics	Cette fonctionnalité est disponible uniquement si un espace de travail Log Analytics est associé au pool de clusters. Une fois qu’elle est activée, vous pouvez sélectionner les journaux à collecter.
   Azure Prometheus	Cette fonctionnalité permet d’afficher des insights et des journaux directement dans votre cluster en envoyant des métriques et des journaux à un espace de travail Azure Monitor.

   

10. Cliquez sur le bouton Suivant : Étiquettes pour passer à la page suivante.

11. Dans la page Étiquettes, indiquez les informations suivantes :

    Propriété	Description
    Nom	facultatif. Entrez un nom tel que HDInsight sur AKS pour identifier facilement toutes les ressources associées à vos ressources de cluster.
    Valeur	Vous pouvez laisser ce champ vide.
    Ressource	Sélectionnez Toutes les ressources sélectionnées.

12. Sélectionnez Suivant : Vérifier + créer pour continuer.

13. Dans la page Vérifier + créer, recherchez le message Validation réussie en haut de la page, puis cliquez sur Créer.

La page Le déploiement est en cours s’affiche, indiquant la création du cluster. La création du cluster prend de cinq à dix minutes. Une fois le cluster créé, le message « Votre déploiement a été effectué » s’affiche. Si vous quittez la page, vous pouvez consulter vos notifications afin de connaître l’état actuel.

Remarque

Apache, Apache Flink, Flink et les noms de projet open source associés sont des marques d’Apache Software Foundation (ASF).