Partage via

Stratégie de capacité

  • Article

S’applique à : ✅Azure Data Explorer

Une stratégie de capacité est utilisée pour contrôler les ressources de calcul des opérations de gestion des données sur le cluster.

Objet de stratégie de capacité

La stratégie de capacité est constituée des composants suivants :

Pour afficher la capacité de votre cluster, utilisez la commande de capacité .show.

Capacité d’ingestion

Propriété Type Description
ClusterMaximumConcurrentOperations long Nombre maximal d’opérations d’ingestion simultanées autorisées dans un cluster. Cette valeur limite la capacité d’ingestion totale, comme indiqué dans la formule suivante.
CoreUtilizationCoefficient real Détermine le pourcentage de cœurs à utiliser dans le calcul de la capacité d’ingestion.

Formule

La commande .show capacity retourne la capacité d’ingestion du cluster en fonction de la formule suivante :

Minimum(ClusterMaximumConcurrentOperations, Nombre de nœuds dans le nombre de cœurs de cluster * Maximum(1, par nœud * CoreUtilizationCoefficient))

Remarque

Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations d’ingestion. Par conséquent, le nombre de nœuds du cluster est réduit d’un.

Capacité de fusion d’étendues

Propriété Type Description
MinimumConcurrentOperationsPerNode long Nombre minimal d’opérations de fusion/reconstruction simultanées sur un nœud unique. La valeur par défaut est 1.
MaximumConcurrentOperationsPerNode long Nombre maximal d’opérations de fusion/reconstruction simultanées sur un nœud unique. La valeur par défaut est 5.

Formule

La commande .show capacity retourne la capacité de fusion des étendues du cluster en fonction de la formule suivante :

Nombre de nœuds dans les opérations simultanées du cluster * par nœud

La valeur effective des opérations simultanées par nœud est automatiquement ajustée par le système dans la plage [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode, tant que le taux de réussite des opérations de fusion est de 90 % ou supérieur.

Remarque

Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations de fusion. Par conséquent , le nombre de nœuds du cluster est réduit d’un.

Capacité de reconstruction d’étendues lors de vidages

Propriété Type Description
MaximumConcurrentOperationsPerNode long Nombre maximal d’étendues de reconstruction simultanées pour les opérations de vidage sur un seul nœud.

Formule

La commande de capacité .show retourne la capacité de reconstruction des extensions du cluster en fonction de la formule suivante :

Nombre de nœuds dans le cluster x MaximumConcurrentOperationsPerNode

Remarque

Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations de vidage. Par conséquent , le nombre de nœuds du cluster est réduit d’un.

Capacité d’exportation

Propriété Type Description
ClusterMaximumConcurrentOperations long Nombre maximal d’opérations d’exportation simultanées dans un cluster. Cette valeur limite la capacité d’exportation totale, comme indiqué dans la formule suivante.
CoreUtilizationCoefficient long Détermine le pourcentage de cœurs à utiliser dans le calcul de la capacité d’exportation.

Formule

La commande .show capacity retourne la capacité d’exportation du cluster en fonction de la formule suivante :

Minimum(ClusterMaximumConcurrentOperations, Nombre de nœuds dans le nombre de cœurs de cluster * Maximum(1, par nœud * CoreUtilizationCoefficient))

Remarque

Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations d’exportation. Le Number of nodes in cluster est réduit à un.

Capacité de partitionnement d’étendues

Propriété Type Description
ClusterMinimumConcurrentOperations long Nombre minimal d’opérations de partition d’étendues simultanées dans un cluster. La valeur par défaut est 1.
ClusterMaximumConcurrentOperations long Nombre maximal d’opérations de partition d’étendues simultanées dans un cluster. La valeur par défaut est 32.

La valeur effective des opérations simultanées est automatiquement ajustée par le système dans la plage [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations tant que le taux de réussite des opérations de partitionnement est de 90 % ou supérieur.

Stratégie de capacité des vues matérialisées

La stratégie peut être utilisée pour modifier les paramètres d’accès concurrentiel pour les vues matérialisées. La modification de la stratégie de capacité de vues matérialisées peut être utile lorsqu’il existe plus d’une vue matérialisée définie sur un cluster.

Propriété Type Description
ClusterMinimumConcurrentOperations long Nombre minimal d’opérations de matérialisation simultanées dans un cluster. La valeur par défaut est 1.
ClusterMaximumConcurrentOperations long Nombre maximal d’opérations de matérialisation simultanées dans un cluster. La valeur par défaut est 10.

Par défaut, une seule matérialisation s’exécute simultanément (voir comment fonctionnent les vues matérialisées). Le système ajuste la concurrence actuelle dans la plage [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], en fonction du nombre de vues matérialisées dans le cluster et du processeur du cluster. Vous pouvez augmenter/diminuer la concurrence en modifiant cette stratégie. Par exemple, si le cluster a dix vues matérialisées, la définition de la ClusterMinimumConcurrentOperations valeur cinq garantit qu’au moins cinq d’entre eux peuvent se matérialiser simultanément. Vous pouvez afficher la valeur effective de la concurrence actuelle à l’aide de la commande de capacité .show

Avertissement

Le déclenchement du cluster ClusterMinimumConcurrentOperations peut entraîner une épuisement des ressources et dégrader les performances du cluster. Surveillez soigneusement l’intégrité du cluster et augmentez progressivement la concurrence si vous modifiez manuellement cette stratégie.

Capacité de résultats de requête stockée

Propriété Type Description
MaximumConcurrentOperationsPerDbAdmin long Nombre maximal d’opérations d’ingestion simultanées dans un nœud admin de cluster.
CoreUtilizationCoefficient real Détermine le pourcentage de cœurs à utiliser dans le calcul de création des résultats de la requête stockée.

Formule

La commande .show capacity retourne la capacité de création des résultats de requête stockée du cluster en fonction de la formule suivante :

Nombre de nœuds dans le nombre de cœurs de cluster * Maximum(1, par nœud * CoreUtilizationCoefficient)

Remarque

Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas aux opérations de création de résultats de requête stockées. Par conséquent, le nombre de nœuds du cluster est réduit d’un.

Capacité de post-traitement d’ingestion de streaming

Propriété Type Description
MaximumConcurrentOperationsPerNode long Nombre maximal d’opérations de post-traitement d’ingestion de streaming simultanées sur chaque nœud de cluster.

Formule

La commande de capacité .show retourne la capacité de post-traitement d’ingestion de streaming du cluster en fonction de la formule suivante :

Nombre de nœuds dans le cluster x MaximumConcurrentOperationsPerNode

Remarque

Dans les clusters avec quatre nœuds ou plus, le nœud administrateur ne participe pas au post-traitement de l’ingestion de streaming. Le nombre de nœuds du cluster est donc réduit d’un.

Vider la capacité de nettoyage des artefacts de stockage

Propriété Type Description
MaximumConcurrentOperationsPerCluster long Nombre maximal d’opérations de nettoyage simultanées des artefacts de stockage purgés sur le cluster.

Formule

La commande .show capacity retourne la capacité de nettoyage des artefacts de stockage de vidage du cluster en fonction de la formule suivante :

MaximumConcurrentOperationsPerCluster

Capacité de nettoyage périodique des artefacts de stockage

Propriété Type Description
MaximumConcurrentOperationsPerCluster long Nombre maximal d’opérations de nettoyage simultanées d’artefacts de stockage périodiques sur le cluster.

Formule

La commande .show capacity retourne la capacité de nettoyage des artefacts de stockage périodiques du cluster en fonction de la formule suivante :

MaximumConcurrentOperationsPerCluster

Valeurs par défaut

La stratégie de capacité par défaut a la représentation JSON suivante :

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Commandes de gestion

Avertissement

Consultez l’équipe de support technique avant de modifier une stratégie de capacité.

Limitation des commandes de gestion

Kusto limite le nombre de demandes simultanées pour les commandes initiées par l’utilisateur suivantes :

Lorsque le cluster détecte qu’une opération a dépassé la limite de demandes simultanées :

  • L’état de la commande, tel que présenté par les commandes d’informations système, est Throttled.
  • Le message d’erreur inclut le type de commande, l’origine de la limitation et la capacité qui a été dépassée. Par exemple :
    • Par exemple : The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
  • Le code de réponse HTTP est 429. Le sous-code est TooManyRequests.
  • Le type d’exception est ControlCommandThrottledException.

Remarque

Les commandes de gestion peuvent également être limitées en raison du dépassement de la limite définie par la stratégie de limite du taux de requête d’un groupe de charge de travail.

Contenu connexe