Créer un cluster Spark dans HDInsight sur AKS (préversion)
Remarque
Nous allons mettre hors service Azure HDInsight sur AKS le 31 janvier 2025. Avant le 31 janvier 2025, vous devrez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent afin d’éviter leur arrêt brutal. Les clusters restants de votre abonnement seront arrêtés et supprimés de l’hôte.
Seul le support de base sera disponible jusqu’à la date de mise hors service.
Important
Cette fonctionnalité est disponible actuellement en mode Aperçu. Les Conditions d’utilisation supplémentaires pour les préversions de Microsoft Azure contiennent davantage de conditions légales qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou ne se trouvant pas encore en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les Informations sur la préversion d’Azure HDInsight sur AKS. Pour toute question ou pour des suggestions à propos des fonctionnalités, veuillez envoyer vos requêtes et leurs détails sur AskHDInsight, et suivez-nous sur la Communauté Azure HDInsight pour plus de mises à jour.
Une fois les étapes de prérequis d’abonnement et de prérequis de ressources effectuées et qu’un pool de clusters est déployé, continuez à utiliser le Portail Azure pour créer un cluster Spark. Vous pouvez utiliser le portail Azure pour créer un cluster Apache Spark dans le pool de clusters. Vous pouvez ensuite créer un Jupyter Notebook et l’utiliser pour exécuter des requêtes Spark SQL sur des tables Apache Hive.
Dans le portail Azure, tapez Pools de clusters et sélectionnez Pools de clusters pour accéder à la page du même nom. Dans la page Pools de clusters, sélectionnez le pool de clusters dans lequel vous pouvez ajouter un nouveau cluster Spark.
Dans la page du pool de clusters spécifique, cliquez sur + Nouveau cluster.
Cette étape ouvre la page de création de cluster.
Propriété Description Abonnement L’abonnement Azure qui a été inscrit pour une utilisation avec HDInsight sur AKS dans la section Prérequis est prérenseigné. Groupe de ressources Le groupe de ressources identique à celui du pool de clusters est prérenseigné. Région La même région que celle du pool de clusters et du réseau virtuel est prérenseignée. Pool de clusters Le nom du pool de clusters est prérenseigné. Version du pool HDInsight La version du pool de clusters est prérenseignée d’après la sélection effectuée lors de la création du pool. Version de HDInsight sur AKS Spécifiez la version de HDI sur AKS. Type de cluster Dans la liste déroulante, sélectionnez Spark. Version de cluster Sélectionnez la version de l’image à utiliser. Nom du cluster Entrez le nom du nouveau cluster. Identité managée affectée par l’utilisateur Sélectionnez l’identité managée affectée par l’utilisateur qui fonctionnera en tant que chaîne de connexion avec le stockage. Compte de stockage Sélectionnez le compte de stockage précréé qui doit être utilisé comme stockage principal pour le cluster. Nom du conteneur Sélectionnez le nom du conteneur (unique) s’il est précréé, ou créez un conteneur. Catalogue Hive (facultatif) Sélectionnez le metastore Hive précréé (Azure SQL DB). Base de données SQL pour Hive Dans la liste déroulante, sélectionnez l’instance SQL Database dans laquelle ajouter des tables hive-metastore. Nom d’utilisateur de l’administrateur SQL Entrez le nom d’utilisateur de l’administrateur SQL. Key vault Dans la liste déroulante, sélectionnez le coffre de clés, qui contient un secret avec un mot de passe pour le nom de l’utilisateur administrateur SQL. Nom de la clé secrète du mot de passe SQL Entrez le nom de la clé secrète du coffre de clés où le mot de passe de la base de données SQL est stocké. Remarque
- Actuellement, HDInsight prend uniquement en charge les bases de données MS SQL Server.
- En raison des limitations de Hive, le caractère « - » (trait d’union) n’est pas pris en charge dans le nom de la base de données metastore.
Sélectionnez Suivant : Configuration + prix pour continuer.
Propriété Description Taille du nœud Sélectionnez la taille du nœud à utiliser pour les nœuds Spark. Nombre de nœuds Worker Sélectionnez le nombre de nœuds pour le cluster Spark. Parmi ceux-ci, trois nœuds sont réservés pour les services système et de coordination, les nœuds restants étant dédiés aux Workers Spark, un Worker par nœud. Par exemple, dans un cluster à cinq nœuds, il y a deux Workers. Mise à l’échelle automatique Cliquez sur le bouton bascule pour activer la mise à l’échelle automatique. Type de mise à l’échelle automatique Sélectionnez la mise à l’échelle automatique basée sur la charge ou sur une planification. Délai d’expiration de désaffectation appropriée Spécifiez le délai d’expiration de désaffectation appropriée. Nombre de nœuds Worker par défaut Sélectionnez le nombre de nœuds pour la mise à l’échelle automatique. Fuseau horaire Sélectionnez le fuseau horaire. Règles de mise à l’échelle automatique Sélectionnez le jour, l’heure de début, l’heure de fin et le nombre de nœuds Worker. Activation de SSH Si cette option est activée, elle vous permet de définir le préfixe et le nombre de nœuds SSH. Cliquez sur Suivant : Intégrations pour activer et sélectionner Log Analytics pour la journalisation.
Azure Prometheus pour le monitoring et les métriques peut être activé après la création du cluster.
Cliquez sur Suivant : Étiquettes pour passer à l’écran suivant.
Dans la page Étiquettes, entrez les étiquettes que vous souhaitez ajouter à votre ressource.
Propriété Description Nom facultatif. Entrez un nom tel que HDInsight sur AKS préversion privée pour identifier facilement toutes les ressources associées à vos ressources Valeur Laissez ce champ vide. Ressource Sélectionnez Toutes les ressources sélectionnées. Cliquez sur Suivant : Vérifier + créer.
Dans la page Vérifier + créer, recherchez le message Validation réussie en haut de la page, puis cliquez sur Créer.
La page Le déploiement est en cours s’affiche, indiquant la création du cluster. La création du cluster prend de cinq à dix minutes. Une fois le cluster créé, le message Votre déploiement a été effectué s’affiche. Si vous quittez la page, vous pouvez consulter vos notifications afin de connaître l’état.
Accédez à la page de vue d’ensemble du cluster ; vous pouvez y voir des liens de point de terminaison.
