Stratégie de capacité
S’applique à : ✅Azure Data Explorer
Une stratégie de capacité est utilisée pour contrôler les ressources de calcul des opérations de gestion des données sur le cluster.
Objet de stratégie de capacité
La stratégie de capacité est constituée des composants suivants :
- IngestionCapacity
- ExtentsMergeCapacity
- ExtentsPurgeRebuildCapacity
- ExportCapacity
- ExtentsPartitionCapacity
- MaterializedViewsCapacity
- StoredQueryResultsCapacity
- StreamingIngestionPostProcessingCapacity
- PurgeStorageArtifactsCleanupCapacity
- PeriodicStorageArtifactsCleanupCapacity
Pour afficher la capacité de votre cluster, utilisez la commande de capacité .show.
Capacité d’ingestion
Propriété | Type | Description |
---|---|---|
ClusterMaximumConcurrentOperations |
long |
Nombre maximal d’opérations d’ingestion simultanées autorisées dans un cluster. Cette valeur limite la capacité d’ingestion totale, comme indiqué dans la formule suivante. |
CoreUtilizationCoefficient |
real |
Détermine le pourcentage de cœurs à utiliser dans le calcul de la capacité d’ingestion. |
Formule
La commande .show capacity retourne la capacité d’ingestion du cluster en fonction de la formule suivante :
Minimum(ClusterMaximumConcurrentOperations
,
Nombre de nœuds dans le nombre de cœurs de cluster *
Maximum(1,
par nœud *
CoreUtilizationCoefficient))
Remarque
Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations d’ingestion. Par conséquent, le nombre de nœuds du cluster est réduit d’un.
Capacité de fusion d’étendues
Propriété | Type | Description |
---|---|---|
MinimumConcurrentOperationsPerNode |
long |
Nombre minimal d’opérations de fusion/reconstruction simultanées sur un nœud unique. La valeur par défaut est 1 . |
MaximumConcurrentOperationsPerNode |
long |
Nombre maximal d’opérations de fusion/reconstruction simultanées sur un nœud unique. La valeur par défaut est 5 . |
Formule
La commande .show capacity retourne la capacité de fusion des étendues du cluster en fonction de la formule suivante :
Nombre de nœuds dans les opérations simultanées du cluster *
par nœud
La valeur effective des opérations simultanées par nœud est automatiquement ajustée par le système dans la plage [MinimumConcurrentOperationsPerNode
,MaximumConcurrentOperationsPerNode
, tant que le taux de réussite des opérations de fusion est de 90 % ou supérieur.
Remarque
Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations de fusion. Par conséquent , le nombre de nœuds du cluster est réduit d’un.
Capacité de reconstruction d’étendues lors de vidages
Propriété | Type | Description |
---|---|---|
MaximumConcurrentOperationsPerNode |
long |
Nombre maximal d’étendues de reconstruction simultanées pour les opérations de vidage sur un seul nœud. |
Formule
La commande de capacité .show retourne la capacité de reconstruction des extensions du cluster en fonction de la formule suivante :
Nombre de nœuds dans le cluster x MaximumConcurrentOperationsPerNode
Remarque
Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations de vidage. Par conséquent , le nombre de nœuds du cluster est réduit d’un.
Capacité d’exportation
Propriété | Type | Description |
---|---|---|
ClusterMaximumConcurrentOperations |
long |
Nombre maximal d’opérations d’exportation simultanées dans un cluster. Cette valeur limite la capacité d’exportation totale, comme indiqué dans la formule suivante. |
CoreUtilizationCoefficient |
long |
Détermine le pourcentage de cœurs à utiliser dans le calcul de la capacité d’exportation. |
Formule
La commande .show capacity retourne la capacité d’exportation du cluster en fonction de la formule suivante :
Minimum(ClusterMaximumConcurrentOperations
,
Nombre de nœuds dans le nombre de cœurs de cluster *
Maximum(1,
par nœud *
CoreUtilizationCoefficient))
Remarque
Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations d’exportation. Le Number of nodes in cluster
est réduit à un.
Capacité de partitionnement d’étendues
Propriété | Type | Description |
---|---|---|
ClusterMinimumConcurrentOperations |
long |
Nombre minimal d’opérations de partition d’étendues simultanées dans un cluster. La valeur par défaut est 1 . |
ClusterMaximumConcurrentOperations |
long |
Nombre maximal d’opérations de partition d’étendues simultanées dans un cluster. La valeur par défaut est 32 . |
La valeur effective des opérations simultanées est automatiquement ajustée par le système dans la plage [ClusterMinimumConcurrentOperations
,ClusterMaximumConcurrentOperations
tant que le taux de réussite des opérations de partitionnement est de 90 % ou supérieur.
Stratégie de capacité des vues matérialisées
La stratégie peut être utilisée pour modifier les paramètres d’accès concurrentiel pour les vues matérialisées. La modification de la stratégie de capacité de vues matérialisées peut être utile lorsqu’il existe plus d’une vue matérialisée définie sur un cluster.
Propriété | Type | Description |
---|---|---|
ClusterMinimumConcurrentOperations |
long |
Nombre minimal d’opérations de matérialisation simultanées dans un cluster. La valeur par défaut est 1 . |
ClusterMaximumConcurrentOperations |
long |
Nombre maximal d’opérations de matérialisation simultanées dans un cluster. La valeur par défaut est 10 . |
La valeur effective des opérations simultanées est automatiquement ajustée par le système dans la plage [ClusterMinimumConcurrentOperations
,ClusterMaximumConcurrentOperations
], en fonction du nombre de vues matérialisées dans le cluster et du processeur du cluster.
Avertissement
ClusterMinimumConcurrentOperations
Augmentez uniquement si le cluster dispose de ressources suffisantes (faible utilisation du processeur et mémoire disponible). L’élévation de ces valeurs sous contraintes de ressources peut entraîner une épuisement et dégrader considérablement les performances du cluster.
Capacité de résultats de requête stockée
Propriété | Type | Description |
---|---|---|
MaximumConcurrentOperationsPerDbAdmin |
long |
Nombre maximal d’opérations d’ingestion simultanées dans un nœud admin de cluster. |
CoreUtilizationCoefficient |
real |
Détermine le pourcentage de cœurs à utiliser dans le calcul de création des résultats de la requête stockée. |
Formule
La commande .show capacity retourne la capacité de création des résultats de requête stockée du cluster en fonction de la formule suivante :
Nombre de nœuds dans le nombre de cœurs de cluster *
Maximum(1,
par nœud *
CoreUtilizationCoefficient)
Remarque
Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations de création de résultats de requête stockées. Par conséquent, le nombre de nœuds du cluster est réduit d’un.
Capacité de post-traitement d’ingestion de streaming
Propriété | Type | Description |
---|---|---|
MaximumConcurrentOperationsPerNode |
long |
Nombre maximal d’opérations de post-traitement d’ingestion de streaming simultanées sur chaque nœud de cluster. |
Formule
La commande de capacité .show retourne la capacité de post-traitement d’ingestion de streaming du cluster en fonction de la formule suivante :
Nombre de nœuds dans le cluster x MaximumConcurrentOperationsPerNode
Remarque
Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas au post-traitement de l’ingestion de streaming. Le nombre de nœuds du cluster est donc réduit d’un.
Vider la capacité de nettoyage des artefacts de stockage
Propriété | Type | Description |
---|---|---|
MaximumConcurrentOperationsPerCluster |
long |
Nombre maximal d’opérations de nettoyage simultanées des artefacts de stockage purgés sur le cluster. |
Formule
La commande .show capacity retourne la capacité de nettoyage des artefacts de stockage de vidage du cluster en fonction de la formule suivante :
MaximumConcurrentOperationsPerCluster
Capacité de nettoyage périodique des artefacts de stockage
Propriété | Type | Description |
---|---|---|
MaximumConcurrentOperationsPerCluster |
long |
Nombre maximal d’opérations de nettoyage simultanées d’artefacts de stockage périodiques sur le cluster. |
Formule
La commande .show capacity retourne la capacité de nettoyage des artefacts de stockage périodiques du cluster en fonction de la formule suivante :
MaximumConcurrentOperationsPerCluster
Valeurs par défaut
La stratégie de capacité par défaut a la représentation JSON suivante :
{
"IngestionCapacity": {
"ClusterMaximumConcurrentOperations": 512,
"CoreUtilizationCoefficient": 0.75
},
"ExtentsMergeCapacity": {
"MinimumConcurrentOperationsPerNode": 1,
"MaximumConcurrentOperationsPerNode": 3
},
"ExtentsPurgeRebuildCapacity": {
"MaximumConcurrentOperationsPerNode": 1
},
"ExportCapacity": {
"ClusterMaximumConcurrentOperations": 100,
"CoreUtilizationCoefficient": 0.25
},
"ExtentsPartitionCapacity": {
"ClusterMinimumConcurrentOperations": 1,
"ClusterMaximumConcurrentOperations": 32
},
"MaterializedViewsCapacity": {
"ClusterMaximumConcurrentOperations": 1,
"ExtentsRebuildCapacity": {
"ClusterMaximumConcurrentOperations": 50,
"MaximumConcurrentOperationsPerNode": 5
}
},
"StoredQueryResultsCapacity": {
"MaximumConcurrentOperationsPerDbAdmin": 250,
"CoreUtilizationCoefficient": 0.75
},
"StreamingIngestionPostProcessingCapacity": {
"MaximumConcurrentOperationsPerNode": 4
},
"PurgeStorageArtifactsCleanupCapacity": {
"MaximumConcurrentOperationsPerCluster": 2
},
"PeriodicStorageArtifactsCleanupCapacity": {
"MaximumConcurrentOperationsPerCluster": 2
}
}
Commandes de gestion
Avertissement
Consultez l’équipe de support technique avant de modifier une stratégie de capacité.
- Utilisez
.show cluster policy capacity
pour montrer la stratégie de capacité actuelle du cluster. - Utilisez
.alter-merge cluster policy capacity
pour modifer la stratégie de capacité du cluster.
Limitation des commandes de gestion
Kusto limite le nombre de demandes simultanées pour les commandes initiées par l’utilisateur suivantes :
- Ingestions
- Cette catégorie comprend les commandes qui ingèrent à partir du stockage, ingèrent à partir d’une requête et ingèrent inline.
- La limite est définie par la capacité d’ingestion.
- Vidages
- La limite globale est actuellement fixée à un par cluster.
- La capacité de reconstruction lors de vidages est utilisée en interne pour déterminer le nombre d’opérations de reconstruction simultanées pendant les commandes de vidage. Les commandes de vidage ne seront pas bloquées ni limitées à cause de ce processus, mais elles s’exécuteront plus rapidement ou plus lentement en fonction de la capacité de reconstruction lors de vidages.
- Exportations
- La limite est définie dans la capacité d’exportation.
Lorsque le cluster détecte qu’une opération a dépassé la limite de demandes simultanées :
- L’état de la commande, tel que présenté par les commandes d’informations système devient
Throttled
. - Le message d’erreur indique le type de commande, l’origine de la limitation et la capacité qui a été dépassée. Par exemple :
- Par exemple :
The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'
.
- Par exemple :
- Le code de réponse HTTP sera
429
. Le sous-code seraTooManyRequests
. - Le type de l’exception sera
ControlCommandThrottledException
.
Remarque
Les commandes de gestion peuvent également être limitées en raison du dépassement de la limite définie par la stratégie de limite du taux de requête d’un groupe de charge de travail.