Udostępnij za pośrednictwem

Zasady pojemności

  • Artykuł

Dotyczy: ✅Azure Data Explorer

Zasady pojemności są używane do kontrolowania zasobów obliczeniowych operacji zarządzania danymi w klastrze.

Obiekt zasad pojemności

Zasady pojemności składają się z następujących składników:

Aby wyświetlić pojemność klastra, użyj polecenia .show capacity .

Pojemność pozyskiwania

Właściwość Type Opis
ClusterMaximumConcurrentOperations long Maksymalna liczba współbieżnych operacji pozyskiwania dozwolonych w klastrze. Ta wartość powoduje ograniczenie całkowitej pojemności pozyskiwania, jak pokazano w poniższej formule.
CoreUtilizationCoefficient real Określa procent rdzeni do użycia w obliczeniu pojemności pozyskiwania.

Formuła

Polecenie .show capacity zwraca pojemność klastra na podstawie następującej formuły:

Minimum(ClusterMaximumConcurrentOperations, Liczba węzłów w liczbie rdzeni klastra * Maximum(1, na węzeł * CoreUtilizationCoefficient))

Uwaga

W klastrach z co najmniej czterema węzłami węzeł administracyjny nie uczestniczy w operacjach pozyskiwania, więc liczba węzłów w klastrze jest zmniejszana o jeden.

Pojemność scalania zakresów

Właściwość Type Opis
MinimumConcurrentOperationsPerNode long Minimalna liczba współbieżnych zakresów scalania/ponownego kompilowania w jednym węźle. Wartość domyślna to 1.
MaximumConcurrentOperationsPerNode long Maksymalna liczba współbieżnych zakresów scalania/ponownego kompilowania w jednym węźle. Wartość domyślna to 5.

Formuła

Polecenie .show capacity zwraca zakresy klastra scalanie pojemności na podstawie następującej formuły:

Liczba węzłów w klastrze * Współbieżne operacje na węzeł

Efektywna wartość operacji współbieżnych na węzeł jest automatycznie dostosowywana przez system w zakresie [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], o ile wskaźnik powodzenia operacji scalania wynosi 90% lub więcej.

Uwaga

W klastrach z co najmniej czterema węzłami węzeł administracyjny nie uczestniczy w operacjach scalania, więc liczba węzłów w klastrze jest zmniejszana o jeden.

Przeczyszczanie zakresów i ponowne kompilowanie pojemności

Właściwość Type Opis
MaximumConcurrentOperationsPerNode long Maksymalna liczba współbieżnych zakresów ponownej kompilacji dla operacji przeczyszczania w jednym węźle.

Formuła

Polecenie .show capacity zwraca zakresy przeczyszczania klastra ponownie skompilować pojemność na podstawie następującej formuły:

Liczba węzłów w klastrze x MaximumConcurrentOperationsPerNode

Uwaga

W klastrach z co najmniej czterema węzłami węzeł administracyjny nie uczestniczy w operacjach przeczyszczania, więc liczba węzłów w klastrze jest zmniejszana o jeden.

Pojemność eksportu

Właściwość Type Opis
ClusterMaximumConcurrentOperations long Maksymalna liczba współbieżnych operacji eksportu w klastrze. Ta wartość powoduje ograniczenie całkowitej pojemności eksportu, jak pokazano w poniższej formule.
CoreUtilizationCoefficient long Określa procent rdzeni do użycia w obliczeniu pojemności eksportu.

Formuła

Polecenie .show capacity zwraca pojemność eksportu klastra na podstawie następującej formuły:

Minimum(ClusterMaximumConcurrentOperations, Liczba węzłów w liczbie rdzeni klastra * Maximum(1, na węzeł * CoreUtilizationCoefficient))

Uwaga

W klastrach z co najmniej czterema węzłami węzeł administracyjny nie uczestniczy w operacjach eksportowania. Wartość Number of nodes in cluster jest zmniejszana o jeden.

Pojemność partycji zakresów

Właściwość Type Opis
ClusterMinimumConcurrentOperations long Minimalna liczba współbieżnych zakresów operacji partycji w klastrze. Wartość domyślna to 1.
ClusterMaximumConcurrentOperations long Maksymalna liczba współbieżnych zakresów operacji partycji w klastrze. Wartość domyślna to 32.

Efektywna wartość operacji współbieżnych jest automatycznie dostosowywana przez system w zakresie [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], o ile współczynnik powodzenia operacji partycjonowania wynosi 90% lub więcej.

Zmaterializowane zasady pojemności widoków

Zasady mogą służyć do zmieniania ustawień współbieżności dla zmaterializowanych widoków. Zmiana zmaterializowanych zasad pojemności widoków może być przydatna, gdy w klastrze zdefiniowano więcej niż jeden zmaterializowany widok.

Właściwość Type Opis
ClusterMinimumConcurrentOperations long Minimalna liczba współbieżnych operacji materializacji w klastrze. Wartość domyślna to 1.
ClusterMaximumConcurrentOperations long Maksymalna liczba współbieżnych operacji materializacji w klastrze. Wartość domyślna to 10.

Domyślnie tylko jedna materializacja jest uruchamiana współbieżnie (zobacz , jak działają zmaterializowane widoki). System dostosowuje bieżącą współbieżność w zakresie [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], na podstawie liczby zmaterializowanych widoków w klastrze i procesora CPU klastra. Możesz zwiększyć/zmniejszyć współbieżność, zmieniając te zasady. Jeśli na przykład klaster ma zmaterializowane widoki, ustawienie ClusterMinimumConcurrentOperations wartości na pięć gwarantuje, że co najmniej pięć z nich może zmaterializować się współbieżnie. Wartość obowiązującą dla bieżącej współbieżności można wyświetlić przy użyciu polecenia .show capacity

Ostrzeżenie

Podniesienie poziomu ClusterMinimumConcurrentOperations może prowadzić do wyczerpania zasobów i obniżenia wydajności klastra. Uważnie monitoruj kondycję klastra i stopniowo zwiększaj współbieżność, jeśli ręcznie zmienisz te zasady.

Pojemność przechowywanych wyników zapytania

Właściwość Type Opis
MaximumConcurrentOperationsPerDbAdmin long Maksymalna liczba współbieżnych operacji pozyskiwania w węźle administracyjnym klastra.
CoreUtilizationCoefficient real Określa procent rdzeni do użycia w przechowywanych obliczeniach wyników zapytania.

Formuła

Polecenie show capacity zwraca pojemność przechowywanego w klastrze wydajności tworzenia wyników zapytania na podstawie następującej formuły:

Liczba węzłów w liczbie rdzeni klastra * Maximum(1, na węzeł * CoreUtilizationCoefficient)

Uwaga

W klastrach z co najmniej czterema węzłami węzeł administracyjny nie uczestniczy w przechowywanych operacjach tworzenia wyników zapytania, więc liczba węzłów w klastrze jest zmniejszana o jeden.

Wydajność przetwarzania po pozyskiwaniu danych przesyłanych strumieniowo

Właściwość Type Opis
MaximumConcurrentOperationsPerNode long Maksymalna liczba współbieżnych operacji pozyskiwania danych przesyłanych strumieniowo po przetworzeniu w każdym węźle klastra.

Formuła

Polecenie .show capacity zwraca wydajność pozyskiwania strumieniowego klastra po przetworzeniu na podstawie następującej formuły:

Liczba węzłów w klastrze x MaximumConcurrentOperationsPerNode

Uwaga

W klastrach z co najmniej czterema węzłami węzeł administracyjny nie uczestniczy w przetwarzaniu po pozyskiwaniu przesyłania strumieniowego, więc liczba węzłów w klastrze jest zmniejszana o jeden.

Przeczyszczanie artefaktów magazynu — pojemność oczyszczania

Właściwość Type Opis
MaximumConcurrentOperationsPerCluster long Maksymalna liczba równoczesnych operacji czyszczenia artefaktów magazynu w klastrze.

Formuła

Polecenie show capacity zwraca pojemność artefaktów magazynu przeczyszczania klastra w oparciu o następującą formułę:

MaximumConcurrentOperationsPerCluster

Okresowe czyszczenie artefaktów magazynu

Właściwość Type Opis
MaximumConcurrentOperationsPerCluster long Maksymalna liczba współbieżnych okresowych operacji oczyszczania artefaktów magazynu w klastrze.

Formuła

Polecenie .show capacity zwraca okresową pojemność magazynu klastra w oparciu o następującą formułę:

MaximumConcurrentOperationsPerCluster

Defaults

Domyślne zasady pojemności mają następującą reprezentację w formacie JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Polecenia zarządzania

Ostrzeżenie

Przed zmianą zasad pojemności skontaktuj się z zespołem pomocy technicznej.

Ograniczanie przepustowości poleceń zarządzania

Usługa Kusto ogranicza liczbę współbieżnych żądań dla następujących poleceń inicjowanych przez użytkownika:

  • Pozyskiwanie
  • Przeczyszcza
    • Limit globalny jest obecnie stały na poziomie jednego klastra.
    • Pojemność ponownego kompilowania przeczyszczania jest używana wewnętrznie w celu określenia liczby równoczesnych operacji ponownego kompilowania podczas przeczyszczania poleceń. Polecenia przeczyszczania nie będą blokowane ani ograniczane z powodu tego procesu, ale będą wykonywane szybciej lub wolniej w zależności od pojemności ponownej kompilacji przeczyszczania.
  • Eksporty

Gdy klaster wykryje, że operacja przekroczyła limit żądań współbieżnych:

  • Stan polecenia, jak przedstawiono w poleceniach Informacje o systemie, to Throttled.
  • Komunikat o błędzie zawiera typ polecenia, źródło ograniczania i przekroczoną pojemność . Na przykład: .
    • Na przykład: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
  • Kod odpowiedzi HTTP to 429. Kod podrzędny to TooManyRequests.
  • Typ wyjątku to ControlCommandThrottledException.

Uwaga

Polecenia zarządzania mogą być również ograniczane w wyniku przekroczenia limitu zdefiniowanego przez zasady limitu liczby żądań grupy obciążeń.

Powiązana zawartość