Compartilhar via

Política de capacidade

  • Artigo

Aplica-se a: ✅Azure Data Explorer

Uma política de capacidade é usada para controlar os recursos de computação das operações de gerenciamento de dados no cluster.

O objeto de política de capacidade

A política de capacidade é composta pelos seguintes componentes:

Para exibir a capacidade do cluster, use o comando .show capacity .

Capacidade de ingestão

Propriedade Type Descrição
ClusterMaximumConcurrentOperations long O número máximo de operações de ingestão simultâneas permitidas em um cluster. Esse valor limita a capacidade total de ingestão, conforme mostrado na fórmula a seguir.
CoreUtilizationCoefficient real Determina a porcentagem de núcleos a serem usados no cálculo da capacidade de ingestão.

Fórmula

O comando .show capacity retorna a capacidade de ingestão do cluster com base na seguinte fórmula:

Minimum(ClusterMaximumConcurrentOperations, Número de nós no cluster * Maximum(1, Contagem de núcleos por nó * CoreUtilizationCoefficient))

Observação

Em clusters com quatro ou mais nós, o nó admin não participa das operações de ingestão, portanto, o número de nós no cluster é reduzido em um.

Capacidade de mesclagem de extensões

Propriedade Type Descrição
MinimumConcurrentOperationsPerNode long O número mínimo de operações simultâneas de mesclagem/reconstrução de extensões em um único nó. O padrão é 1.
MaximumConcurrentOperationsPerNode long O número máximo de operações simultâneas de mesclagem/reconstrução de extensões em um único nó. O padrão é 5.

Fórmula

O comando .show capacity retorna a capacidade de mesclagem de extensões do cluster com base na seguinte fórmula:

Número de nós no cluster * Operações simultâneas por nó

O valor efetivo para Operações simultâneas por nó é ajustado automaticamente pelo sistema no intervalo [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], desde que a taxa de sucesso das operações de mesclagem seja de 90% ou mais.

Observação

Em clusters com quatro ou mais nós, o nó admin não participa das operações de mesclagem, portanto , o número de nós no cluster é reduzido em um.

Extensões, limpa, capacidade de reconstrução

Propriedade Type Descrição
MaximumConcurrentOperationsPerNode long O número máximo de extensões de reconstrução simultâneas para operações de limpeza em um único nó.

Fórmula

O comando .show capacity retorna a capacidade de reconstrução de limpeza de extensões do cluster com base na seguinte fórmula:

Número de nós no cluster x MaximumConcurrentOperationsPerNode

Observação

Em clusters com quatro ou mais nós, o nó admin não participa de operações de limpeza, portanto , o número de nós no cluster é reduzido em um.

Capacidade de exportação

Propriedade Type Descrição
ClusterMaximumConcurrentOperations long O número máximo de operações de exportação simultâneas em um cluster. Esse valor limita a capacidade total de exportação, conforme mostrado na fórmula a seguir.
CoreUtilizationCoefficient long Determina a porcentagem de núcleos a serem usados no cálculo da capacidade de exportação.

Fórmula

O comando .show capacity retorna a capacidade de exportação do cluster com base na seguinte fórmula:

Minimum(ClusterMaximumConcurrentOperations, Número de nós no cluster * Maximum(1, Contagem de núcleos por nó * CoreUtilizationCoefficient))

Observação

Em clusters com quatro ou mais nós, o nó admin não participa das operações de exportação. O Number of nodes in cluster é reduzido em um.

Capacidade de partição de extensões

Propriedade Type Descrição
ClusterMinimumConcurrentOperations long O número mínimo de operações de partição de extensões simultâneas em um cluster. O padrão é 1.
ClusterMaximumConcurrentOperations long O número máximo de operações de partição de extensões simultâneas em um cluster. O padrão é 32.

O valor efetivo para operações simultâneas é ajustado automaticamente pelo sistema no intervalo [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], desde que a taxa de sucesso das operações de particionamento seja de 90% ou mais.

Política de capacidade de exibições materializadas

A política pode ser usada para alterar as configurações de simultaneidade para exibições materializadas. Alterar a política de capacidade de exibições materializadas pode ser útil quando há mais de uma única exibição materializada definida em um cluster.

Propriedade Type Descrição
ClusterMinimumConcurrentOperations long O número mínimo de operações de materialização simultâneas em um cluster. O padrão é 1.
ClusterMaximumConcurrentOperations long O número máximo de operações de materialização simultâneas em um cluster. O padrão é 10.

O valor efetivo para operações simultâneas é ajustado automaticamente pelo sistema no intervalo [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], com base no número de exibições materializadas no cluster e na CPU do cluster.

Aviso

Aumente ClusterMinimumConcurrentOperations apenas se o cluster tiver recursos amplos (baixo uso da CPU e memória disponível). Aumentar esses valores sob restrições de recursos pode levar ao esgotamento e degradar significativamente o desempenho do cluster.

Capacidade de resultados de consulta armazenados

Propriedade Type Descrição
MaximumConcurrentOperationsPerDbAdmin long O número máximo de operações de ingestão simultâneas em um nó de administração do cluster.
CoreUtilizationCoefficient real Determina a porcentagem de núcleos a serem usados no cálculo de criação de resultados de consulta armazenados.

Fórmula

O comando .show capacity retorna a capacidade de criação de resultados de consulta armazenados do cluster com base na seguinte fórmula:

Número de nós no cluster * Maximum(1, Contagem de * núcleos por nó CoreUtilizationCoefficient)

Observação

Em clusters com quatro ou mais nós, o nó admin não participa das operações de criação de resultados de consulta armazenados, portanto, o número de nós no cluster é reduzido em um.

Capacidade de pós-processamento de ingestão de streaming

Propriedade Type Descrição
MaximumConcurrentOperationsPerNode long O número máximo de operações simultâneas de pós-processamento de ingestão de streaming em cada nó de cluster.

Fórmula

O comando .show capacity retorna a capacidade de pós-processamento de ingestão de streaming do cluster com base na seguinte fórmula:

Número de nós no cluster x MaximumConcurrentOperationsPerNode

Observação

Em clusters com quatro ou mais nós, o nó admin não participa do pós-processamento de ingestão de streaming, portanto , o número de nós no cluster é reduzido em um.

Limpar a capacidade de limpeza de artefatos de armazenamento

Propriedade Type Descrição
MaximumConcurrentOperationsPerCluster long O número máximo de operações simultâneas de limpeza de artefatos de armazenamento no cluster.

Fórmula

O comando .show capacity retorna a capacidade de limpeza de artefatos de armazenamento de limpeza do cluster com base na seguinte fórmula:

MaximumConcurrentOperationsPerCluster

Capacidade de limpeza periódica de artefatos de armazenamento

Propriedade Type Descrição
MaximumConcurrentOperationsPerCluster long O número máximo de operações de limpeza periódicas simultâneas de artefatos de armazenamento no cluster.

Fórmula

O comando .show capacity retorna a capacidade de limpeza de artefatos de armazenamento periódicos do cluster com base na seguinte fórmula:

MaximumConcurrentOperationsPerCluster

Padrões

A política de capacidade padrão tem a seguinte representação JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Comandos de gerenciamento

Aviso

Consulte a equipe de suporte antes de alterar uma política de capacidade.

Limitação de comandos de gerenciamento

O Kusto limita o número de solicitações simultâneas para os seguintes comandos iniciados pelo usuário:

  • Ingestão
  • Expurgos
    • O limite global está atualmente fixado em um por cluster.
    • A capacidade de reconstrução de limpeza é usada internamente para determinar o número de operações de reconstrução simultâneas durante os comandos de limpeza. Os comandos de limpeza não serão bloqueados ou limitados devido a esse processo, mas serão concluídos mais rápido ou mais lentamente, dependendo da capacidade de reconstrução de limpeza.
  • Exportações
    • O limite é definido na capacidade de exportação.

Quando o cluster detecta que uma operação excedeu o limite de solicitações simultâneas:

  • O estado do comando, conforme apresentado pelos comandos de informações do sistema, será Throttled.
  • A mensagem de erro incluirá o tipo de comando, a origem da limitação e a capacidade que foi excedida. Por exemplo:
    • Por exemplo: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
  • O código de resposta HTTP será 429. O subcódigo será TooManyRequests.
  • O tipo de exceção será ControlCommandThrottledException.

Observação

Os comandos de gerenciamento também podem ser limitados como resultado de exceder o limite definido pela política de limite de taxa de solicitação de um grupo de carga de trabalho.

Conteúdo relacionado