Créer un cluster Spark dans HDInsight sur AKS (préversion)

Important

Cette fonctionnalité est disponible actuellement en mode Aperçu. Les Conditions d’utilisation supplémentaires pour les préversions de Microsoft Azure contiennent davantage de conditions légales qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou ne se trouvant pas encore en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les Informations sur la préversion d’Azure HDInsight sur AKS. Pour toute question ou pour des suggestions à propos des fonctionnalités, veuillez envoyer vos requêtes et leurs détails sur AskHDInsight, et suivez-nous sur la Communauté Azure HDInsight pour plus de mises à jour.

Une fois les étapes de prérequis d’abonnement et de prérequis de ressources effectuées et qu’un pool de clusters est déployé, continuez à utiliser le Portail Azure pour créer un cluster Spark. Vous pouvez utiliser le portail Azure pour créer un cluster Apache Spark dans le pool de clusters. Vous pouvez ensuite créer un Jupyter Notebook et l’utiliser pour exécuter des requêtes Spark SQL sur des tables Apache Hive.

1. Dans le portail Azure, tapez Pools de clusters et sélectionnez Pools de clusters pour accéder à la page du même nom. Dans la page Pools de clusters, sélectionnez le pool de clusters dans lequel vous pouvez ajouter un nouveau cluster Spark.

2. Dans la page du pool de clusters spécifique, cliquez sur + Nouveau cluster.

   

   Cette étape ouvre la page de création de cluster.

   

   Propriété	Description
   Abonnement	L’abonnement Azure qui a été inscrit pour une utilisation avec HDInsight sur AKS dans la section Prérequis est prérenseigné.
   Groupe de ressources	Le groupe de ressources identique à celui du pool de clusters est prérenseigné.
   Région	La même région que celle du pool de clusters et du réseau virtuel est prérenseignée.
   Pool de clusters	Le nom du pool de clusters est prérenseigné.
   Version du pool HDInsight	La version du pool de clusters est prérenseignée d’après la sélection effectuée lors de la création du pool.
   Version de HDInsight sur AKS	Spécifiez la version de HDI sur AKS.
   Type de cluster	Dans la liste déroulante, sélectionnez Spark.
   Version de cluster	Sélectionnez la version de l’image à utiliser.
   Nom du cluster	Entrez le nom du nouveau cluster.
   Identité managée affectée par l’utilisateur	Sélectionnez l’identité managée affectée par l’utilisateur qui fonctionnera en tant que chaîne de connexion avec le stockage.
   Compte de stockage	Sélectionnez le compte de stockage précréé qui doit être utilisé comme stockage principal pour le cluster.
   Nom du conteneur	Sélectionnez le nom du conteneur (unique) s’il est précréé, ou créez un conteneur.
   Catalogue Hive (facultatif)	Sélectionnez le metastore Hive précréé (Azure SQL DB).
   Base de données SQL pour Hive	Dans la liste déroulante, sélectionnez l’instance SQL Database dans laquelle ajouter des tables hive-metastore.
   Nom d’utilisateur de l’administrateur SQL	Entrez le nom d’utilisateur de l’administrateur SQL.
   Key vault	Dans la liste déroulante, sélectionnez le coffre de clés, qui contient un secret avec un mot de passe pour le nom de l’utilisateur administrateur SQL.
   Nom de la clé secrète du mot de passe SQL	Entrez le nom de la clé secrète du coffre de clés où le mot de passe de la base de données SQL est stocké.

   Remarque

   • Actuellement, HDInsight prend uniquement en charge les bases de données MS SQL Server.
   • En raison des limitations de Hive, le caractère « - » (trait d’union) n’est pas pris en charge dans le nom de la base de données metastore.

3. Sélectionnez Suivant : Configuration + prix pour continuer.

   

   

   

   Propriété	Description
   Taille du nœud	Sélectionnez la taille du nœud à utiliser pour les nœuds Spark.
   Nombre de nœuds Worker	Sélectionnez le nombre de nœuds pour le cluster Spark. Parmi ceux-ci, trois nœuds sont réservés pour les services système et de coordination, les nœuds restants étant dédiés aux Workers Spark, un Worker par nœud. Par exemple, dans un cluster à cinq nœuds, il y a deux Workers.
   Mise à l’échelle automatique	Cliquez sur le bouton bascule pour activer la mise à l’échelle automatique.
   Type de mise à l’échelle automatique	Sélectionnez la mise à l’échelle automatique basée sur la charge ou sur une planification.
   Délai d’expiration de désaffectation appropriée	Spécifiez le délai d’expiration de désaffectation appropriée.
   Nombre de nœuds Worker par défaut	Sélectionnez le nombre de nœuds pour la mise à l’échelle automatique.
   Fuseau horaire	Sélectionnez le fuseau horaire.
   Règles de mise à l’échelle automatique	Sélectionnez le jour, l’heure de début, l’heure de fin et le nombre de nœuds Worker.
   Activation de SSH	Si cette option est activée, elle vous permet de définir le préfixe et le nombre de nœuds SSH.

4. Cliquez sur Suivant : Intégrations pour activer et sélectionner Log Analytics pour la journalisation.

   Azure Prometheus pour le monitoring et les métriques peut être activé après la création du cluster.

   

5. Cliquez sur Suivant : Étiquettes pour passer à l’écran suivant.

   

6. Dans la page Étiquettes, entrez les étiquettes que vous souhaitez ajouter à votre ressource.

   Propriété	Description
   Nom	facultatif. Entrez un nom tel que HDInsight sur AKS préversion privée pour identifier facilement toutes les ressources associées à vos ressources
   Valeur	Laissez ce champ vide.
   Ressource	Sélectionnez Toutes les ressources sélectionnées.

7. Cliquez sur Suivant : Vérifier + créer.

8. Dans la page Vérifier + créer, recherchez le message Validation réussie en haut de la page, puis cliquez sur Créer.

9. La page Le déploiement est en cours s’affiche, indiquant la création du cluster. La création du cluster prend de cinq à dix minutes. Une fois le cluster créé, le message Votre déploiement a été effectué s’affiche. Si vous quittez la page, vous pouvez consulter vos notifications afin de connaître l’état.

10. Accédez à la page de vue d’ensemble du cluster ; vous pouvez y voir des liens de point de terminaison.