Sdílet prostřednictvím

Zásady kapacity

  • Článek

Platí pro: ✅Azure Data Explorer

Zásady kapacity se používají k řízení výpočetních prostředků operací správy dat v clusteru.

Objekt zásad kapacity

Zásady kapacity jsou tvořeny následujícími komponentami:

Pokud chcete zobrazit kapacitu clusteru, použijte příkaz .show capacity .

Kapacita příjmu dat

Vlastnost Type Popis
ClusterMaximumConcurrentOperations long Maximální počet souběžných operací příjmu dat povolených v clusteru. Tato hodnota limituje celkovou kapacitu příjmu dat, jak je znázorněno v následujícím vzorci.
CoreUtilizationCoefficient real Určuje procento jader, která se mají použít při výpočtu kapacity příjmu dat.

Vzorec

Příkaz .show capacity vrátí kapacitu clusteru pro příjem dat na základě následujícího vzorce:

Minimum(ClusterMaximumConcurrentOperations, Počet uzlů v počtu jader clusteru * Maximum(1, na uzel * CoreUtilizationCoefficient))

Poznámka:

V clusterech se čtyřmi nebo více uzly se uzel správce neúčastní operací příjmu dat, takže počet uzlů v clusteru se sníží o jeden.

Kapacita sloučení rozsahů

Vlastnost Type Popis
MinimumConcurrentOperationsPerNode long Minimální počet souběžných operací sloučení a opětovného sestavení na jednom uzlu. Výchozí hodnota je 1.
MaximumConcurrentOperationsPerNode long Maximální počet souběžných operací sloučení/opětovného sestavení na jednom uzlu. Výchozí hodnota je 5.

Vzorec

Příkaz .show capacity vrátí kapacitu sloučení rozsahů clusteru na základě následujícího vzorce:

Počet uzlů v souběžných operacích clusteru * na uzel

Efektivní hodnota souběžných operací na uzel se automaticky upraví systémem v rozsahu [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], pokud je úspěšnost operací sloučení 90 % nebo vyšší.

Poznámka:

V clusterech se čtyřmi nebo více uzly se uzel správce neúčastní operací sloučení, takže počet uzlů v clusteru se zmenší o jeden.

Vyprázdnění kapacity opětovného sestavení rozsahů

Vlastnost Type Popis
MaximumConcurrentOperationsPerNode long Maximální počet souběžných rozsahů opětovného sestavení pro operace vyprázdnění na jednom uzlu.

Vzorec

Příkaz .show capacity vrátí kapacitu vyprázdnění rozsahů clusteru na základě následujícího vzorce:

Počet uzlů v clusteru x MaximumConcurrentOperationsPerNode

Poznámka:

Vclusterch

Export kapacity

Vlastnost Type Popis
ClusterMaximumConcurrentOperations long Maximální počet souběžných operací exportu v clusteru. Tato hodnota limituje celkovou kapacitu exportu, jak je znázorněno v následujícím vzorci.
CoreUtilizationCoefficient long Určuje procento jader, která se mají použít při výpočtu kapacity exportu.

Vzorec

Příkaz .show capacity vrátí kapacitu exportu clusteru na základě následujícího vzorce:

Minimum(ClusterMaximumConcurrentOperations, Počet uzlů v počtu jader clusteru * Maximum(1, na uzel * CoreUtilizationCoefficient))

Poznámka:

V clusterechsechch Zmenší se Number of nodes in cluster o jeden.

Kapacita oddílů rozsahů

Vlastnost Type Popis
ClusterMinimumConcurrentOperations long Minimální počet souběžných operací oddílů v clusteru. Výchozí hodnota je 1.
ClusterMaximumConcurrentOperations long Maximální počet souběžných operací oddílů v clusteru. Výchozí hodnota je 32.

Efektivní hodnota souběžných operací se automaticky upraví systémem v rozsahu [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], pokud je úspěšnost operací dělení 90 % nebo vyšší.

Materializovaná zobrazení – zásady kapacity

Zásady lze použít ke změně nastavení souběžnosti pro materializovaná zobrazení. Změna zásad kapacity materializovaných zobrazení může být užitečná v případech, kdy je v clusteru definováno více materializovaných zobrazení.

Vlastnost Type Popis
ClusterMinimumConcurrentOperations long Minimální počet souběžných materializačních operací v clusteru Výchozí hodnota je 1.
ClusterMaximumConcurrentOperations long Maximální počet souběžných operací materializace v clusteru. Výchozí hodnota je 10.

Ve výchozím nastavení se souběžně spouští pouze jedna materializace (podívejte se, jak materializovaná zobrazení fungují). Systém upraví aktuální souběžnost v rozsahu [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], na základě počtu materializovaných zobrazení v clusteru a procesoru clusteru. Změnou této zásady můžete zvýšit nebo snížit souběžnost. Pokud má například cluster deset materializovaných zobrazení, nastavení ClusterMinimumConcurrentOperations na pět zajistí, že nejméně pět z nich může materializovat současně. Efektivní hodnotu pro aktuální souběžnost můžete zobrazit pomocí příkazu .show capacity

Upozorňující

Zvýšení výkonu ClusterMinimumConcurrentOperations může vést k vyčerpání prostředků a snížení výkonu clusteru. Pokud tuto zásadu ručně změníte, pečlivě monitorujte stav clusteru a postupně zvyšte souběžnost.

Uložená kapacita výsledků dotazů

Vlastnost Type Popis
MaximumConcurrentOperationsPerDbAdmin long Maximální počet souběžných operací příjmu dat v uzlu správce clusteru.
CoreUtilizationCoefficient real Určuje procento jader, která se mají použít při výpočtu vytvoření uložených výsledků dotazu.

Vzorec

Příkaz .show capacity vrátí kapacitu uložených výsledků dotazu clusteru na základě následujícího vzorce:

Počet uzlů v počtu jader clusteru * Maximum(1, na uzel * CoreUtilizationCoefficient)

Poznámka:

V clusterech se čtyřmi nebo více uzly se uzel správce neúčastní operací vytváření uložených výsledků dotazů, takže počet uzlů v clusteru se sníží o jeden.

Kapacita příjmu streamovaných dat po zpracování

Vlastnost Type Popis
MaximumConcurrentOperationsPerNode long Maximální počet souběžných operací příjmu dat po zpracování streamování na každém uzlu clusteru.

Vzorec

Příkaz .show capacity vrátí kapacitu streamování clusteru po zpracování na základě následujícího vzorce:

Počet uzlů v clusteru x MaximumConcurrentOperationsPerNode

Poznámka:

Vclusterch

Vymazání kapacity čištění artefaktů úložiště

Vlastnost Type Popis
MaximumConcurrentOperationsPerCluster long Maximální počet souběžných operací čištění artefaktů úložiště v clusteru.

Vzorec

Příkaz .show capacity vrátí kapacitu vyprázdnění artefaktů úložiště clusteru na základě následujícího vzorce:

MaximumConcurrentOperationsPerCluster

Kapacita čištění pravidelných artefaktů úložiště

Vlastnost Type Popis
MaximumConcurrentOperationsPerCluster long Maximální počet souběžných pravidelných operací čištění artefaktů úložiště v clusteru.

Vzorec

Příkaz .show capacity vrátí pravidelnou kapacitu vyčištění artefaktů úložiště clusteru na základě následujícího vzorce:

MaximumConcurrentOperationsPerCluster

Defaults

Výchozí zásady kapacity mají následující reprezentaci JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Příkazy pro správu

Upozorňující

Před změnou zásad kapacity se obraťte na tým podpory.

Omezování příkazů správy

Kusto omezuje počet souběžných požadavků pro následující příkazy iniciované uživatelem:

  • Příjem dat
  • Očišťuje
    • Globální limit je aktuálně pevný v jednom clusteru.
    • Kapacita vyprázdnění opětovného sestavení se používá interně k určení počtu souběžných operací opětovného sestavení během příkazů mazání. Příkazy mazání nebudou kvůli tomuto procesu blokovány ani omezeny, ale v závislosti na kapacitě opětovného sestavení vyprázdnění se dokončí rychleji nebo pomaleji.
  • Exporty
    • Limit je definovaný v kapacitě exportu.

Když cluster zjistí, že operace překročila limit souběžných požadavků:

  • Stav příkazu, jak je znázorněno příkazy systémové informace, je Throttled.
  • Chybová zpráva obsahuje typ příkazu, původ omezování a překročenou kapacitu. Příklad:
    • Například: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
  • Kód odpovědi HTTP je 429. Podkód je TooManyRequests.
  • Typ výjimky je ControlCommandThrottledException.

Poznámka:

Příkazy pro správu se také můžou omezit v důsledku překročení limitu definovaného zásadami omezení četnosti požadavků skupiny úloh.

Související obsah