Guide pratique pour configurer les paramètres de Cluster Big Data après le déploiement

S’applique à : SQL Server 2019 (15.x)

Important

Le module complémentaire Clusters Big Data Microsoft SQL Server 2019 sera mis hors service. La prise en charge de la plateforme Clusters Big Data Microsoft SQL Server 2019 se terminera le 28 février 2025. Tous les utilisateurs existants de SQL Server 2019 avec Software Assurance seront entièrement pris en charge sur la plateforme, et le logiciel continuera à être maintenu par les mises à jour cumulatives SQL Server jusqu’à ce moment-là. Pour plus d’informations, consultez le billet de blog d’annonce et les Options Big Data sur la plateforme Microsoft SQL Server.

Les paramètres du cluster, du service et de l’étendue des ressources pour les Clusters Big Data SQL Server peuvent être configurés après le déploiement par le biais de l’interface CLI azdata. Cette fonctionnalité permet aux administrateurs de Clusters Big Data SQL Server d’ajuster les configurations pour toujours satisfaire aux exigences de charge de travail. Cet article passe en revue des exemples de scénarios relatifs à la configuration du fuseau horaire et des exigences de charge de travail Spark. La fonctionnalité de configuration après le déploiement suit un flux Set, Diff, Apply.

Notes

La configuration des paramètres après le déploiement est uniquement disponible dans les déploiements Clusters Big Data SQL Server CU9 et versions ultérieures. La configuration des paramètres n’inclut pas celle de l’échelle, du stockage ou du point de terminaison. Vous trouverez les options et instructions de configuration d’un Clusters Big Data SQL Server avant l’application de CU9 ici.

Scénario pas à pas : Configurer le fuseau horaire sur Clusters Big Data SQL Server

À partir de Clusters Big Data SQL Server CU13, il est possible de personnaliser la configuration du fuseau horaire du cluster, de sorte que les horodateurs des services s’alignent sur le fuseau horaire sélectionné. Le paramètre ne s’applique pas au plan de contrôle du cluster Big Data, il définit la nouvelle configuration de fuseau horaire pour tous les pools SQL Server (principal, calcul et données), les composants Hadoop, et Spark.

Notes

Par défaut, Clusters Big Data SQL Server définit le fuseau horaire sur UTC.

Utilisez la commande suivante pour définir la configuration du fuseau horaire :

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Appliquer les paramètres en attente au cluster

La commande suivante applique la configuration et redémarre tous les services. Passez en revue les dernières sections de cet article sur le suivi des modifications et le contrôle du processus de configuration.

azdata bdc settings apply

Scénario pas à pas : Configurez le cluster pour répondre aux exigences de votre charge de travail Spark

Afficher les configurations actuelles du service Spark du cluster Big Data

L’exemple suivant montre comment afficher les paramètres configurés par l’utilisateur du service Spark. Vous pouvez afficher tous les paramètres configurables, les paramètres gérés par le système et tous les paramètres configurables, ainsi que les paramètres en attente par le biais de paramètres facultatifs. Pour plus d’informations, consultez Instruction azdata bdc spark.

azdata bdc spark settings show

Exemple de sortie

Service Spark

Paramètre	Valeur d'exécution
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

Modifier le nombre de cœurs et la mémoire par défaut pour le pilote Spark

Mettez à jour le nombre de cœurs par défaut en le définissant sur deux et la mémoire par défaut en la définissant sur 7424 Mo pour le service Spark. Cela affecte toutes les ressources avec Spark, pour le service Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Modifier le nombre de cœurs et la mémoire par défaut pour les exécuteurs Spark dans le pool de stockage

Mettez à jour le nombre de cœurs Exécuteur par défaut en le définissant sur 4 pour le pool de stockage.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Configurer des chemins d’accès supplémentaires au classpath par défaut des applications Spark

Le chemin d’accès /opt/hadoop/share/hadoop/tools/lib/ contient plusieurs bibliothèques à utiliser par vos applications Spark, mais le chemin d’accès indiqué n’est pas chargé par défaut dans le classpath des applications Spark. Pour activer ce paramètre, appliquez le modèle de configuration suivant.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Afficher les modifications de paramètres en attente indexées dans le cluster Big Data

Affichez les modifications de paramètres en attente pour le service Spark uniquement et dans l’ensemble du cluster Big Data.

Paramètres du service Spark en attente

azdata bdc spark settings show --filter-option=pending --include-details

Service Spark

Paramètre	Valeur d'exécution	Valeur configurée	Configurable	Configuré	Heure de la dernière mise à jour
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Tous les paramètres en attente

azdata bdc settings show --filter-option=pending --include-details --recursive

Paramètres du service Spark - En attente

Paramètre	Valeur d'exécution	Valeur configurée	Configurable	Configuré	Heure de la dernière mise à jour
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Paramètres Spark des ressources Stockage-0 - En attente

Paramètre	Valeur d'exécution	Valeur configurée	Configurable	Configuré	Heure de la dernière mise à jour
spark-defaults-conf.spark.executor.cores	1	4	true	true

Appliquer les paramètres en attente au cluster Big Data

azdata bdc settings apply

Surveiller l’état de mise à jour de la configuration

azdata bdc status show

Étapes facultatives

Rétablir les paramètres de configuration en attente

Si vous déterminez que vous n’avez plus besoin de modifier les paramètres de configuration en attente, vous pouvez annuler l’indexation de ces paramètres. Les paramètres en attente sont alors rétablis dans toutes les étendues.

azdata bdc settings revert

Abandonner la mise à niveau de la configuration

Si la mise à niveau de la configuration échoue pour l’un des composants, vous pouvez annuler le processus de mise à niveau et rétablir les configurations précédentes du cluster. Les paramètres indexés pour modification pendant la mise à niveau seront de nouveau listés en tant que paramètres en attente.

azdata bdc settings cancel-apply

Étapes suivantes

Configurer un cluster Big Data SQL Server