Перенос кластера для поддержки нескольких зон доступности (предварительная версия)

Многие Azure регионы предоставляют зоны доступности, которые являются отдельными группами центров обработки данных в пределах региона. Зоны доступности располагаются достаточно близко для установления подключений с низкой задержкой к другим зонам доступности. Они подключены высокопроизводительной сетью с задержкой кругового пути менее 2 мс. Однако зоны доступности расположены достаточно далеко друг от друга, чтобы уменьшить вероятность того, что более чем одна из них будет затронута локальными сбоями или погодными условиями. Зоны доступности имеют независимую инфраструктуру питания, охлаждения и сетевую инфраструктуру. Они разработаны таким образом, чтобы региональные службы, емкость и высокий уровень доступности поддерживались остальными зонами, если одна зона испытывает сбой. Дополнительные сведения см. в разделе Azure Зоны доступности.

Azure Data Explorer кластеры можно настроить для использования зон доступности в поддерживаемых регионах. Используя зоны доступности, кластер может лучше противостоять сбою одного центра обработки данных в регионе для поддержки сценариев непрерывности бизнес-процессов.

Зоны доступности можно настроить при создании кластера на портале Azure или программно с помощью одного из следующих методов:

REST API
Пакет SDK для C#
пакет SDK Python
PowerShell
Шаблон ARM

Внимание

После настройки кластера с зонами доступности невозможно изменить кластер, чтобы не использовать зоны доступности.
Не во всех регионах поддерживается несколько зон. Поэтому кластеры, расположенные в этих регионах, не могут быть настроены для использования зон доступности.
Использование зон доступности несет дополнительные затраты на хранилище.

Примечание.

Прежде чем продолжить, убедитесь, что вы знакомы с процессом миграции и рекомендациями.
Эти действия также можно использовать для изменения зон существующего кластера, использующего зоны доступности.

В этой статье раскрываются следующие темы:

Настройка кластера для поддержки зон доступности
Архитектура кластеров с зонами доступности
Процесс миграции и рекомендации

Предварительные условия

Убедитесь, что кластер находится в регионе, где поддерживаются несколько зон доступности.
Для миграции кластера для поддержки зон доступности требуется кластер, который был развернут без поддержки зоны доступности.
Для изменения зон кластера требуется кластер, настроенный для работы в зонах доступности.
Для REST API ознакомьтесь с управлением ресурсами Azure с помощью REST API.
Сведения о других программных методах см. в разделе "Предварительные требования".

Получение списка зон доступности для региона кластера

Список зон доступности для кластера можно получить следующим образом:

портал Azure
PowerShell

На портале Azure перейдите на страницу Overview кластера.
В разделе Параметры выберите Увеличить масштаб.
В строке для вашего кластера зоны доступности перечислены в столбце зон доступности.

Прежде чем начать, убедитесь, что у вас установлены az.Kusto командлеты и выполнен вход в систему, а затем выполните следующую команду, чтобы получить список зон доступности для региона вашего кластера:

Задайте идентификатор ресурса кластера. Идентификатор ресурса кластера можно получить на портале Azure на странице Properties.
```
$resource_id = "<ClusterResourceID>"
```

Получение сведений о кластере.

$mycluster = Get-AzKustoCluster -InputObject $resource_id

Получите расположение кластера.

Внимание

Get-AzLocation требует модуль Az.Resources. Если он не установлен, выполните команду Install-Module Az.Resources.
```
$location = (Get-AzLocation | where DisplayName -EQ $mycluster.Location).location
```

Получите идентификатор кластера.

$mycluster.Id  -match "/subscriptions/(.*?)/" | Out-Null; $subscription = $Matches[1]

Получите список зон доступности для региона кластера.

$bearer = (Get-AzAccessToken).Token
$rest_result = (Invoke-RestMethod -Uri https://management.azure.com/subscriptions/$subscription/providers/Microsoft.Kusto/locations/${location}/skus?api-version=2022-11-11 -Headers @{Authorization="Bearer $bearer"})
$zones = $rest_result | select -ExpandProperty Value | where name -eq $mycluster.SkuName | select -ExpandProperty locationInfo | select zones
$zones

Настройка кластера для поддержки зон доступности

Чтобы добавить зоны доступности в существующий кластер, необходимо обновить атрибут кластера zones со списком целевых зон доступности. Следуйте инструкциям для предпочтительного метода, используя сведения в следующей таблице:

Параметр	Значение
`subscriptionId`	Идентификатор подписки кластера
`resourceGroupName`	Имя группы ресурсов кластера
`clusterName`	Имя кластера
`apiVersion`	`2023-05-02` или новее

Следуйте инструкциям по развертыванию шаблона.

Сделайте вызов REST API к следующей конечной точке, заменив параметры на ваши значения.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Kusto/clusters/{clusterName}?api-version={apiVersion}

Укажите зоны доступности в тексте запроса. Например, чтобы настроить кластер для использования зон доступности 1, 2 и 3, задайте текст следующим образом:
```
{ "zones": [ "{zone1}", "{zone2}", "{zone3}" ] }
```

Если у вас не установлены библиотеки Azure.Identity и Azure.ResourceManager.Kusto, используйте следующие команды для их установки:
```
dotnet add package Azure.Identity
dotnet add package Azure.ResourceManager.Kusto
```

В приложении добавьте следующий код:

"zones": [ "{zone1}", "{zone2}", "{zone3}" ]

Например, чтобы задать для зон значение 1, 2 и 3 в регионе Северной Европы, используйте следующий код:

using Azure.Core;
using Azure.ResourceManager.Kusto;
using Azure.ResourceManager.Kusto.Models;
using ArmClient = Azure.ResourceManager.ArmClient;
using ClientSecretCredential = Azure.Identity.ClientSecretCredential;
using WaitUntil = Azure.WaitUntil;

var tenantId = "{tenantId}";
var clientId = "{clientId}";
var clientSecret = "{clientSecret}";
var subscriptionId = "{subscriptionId}";
var resourceGroupName = "{resourceGroupName}";
var clusterName = "{clusterName}";

var credentials = new ClientSecretCredential(tenantId, clientId, clientSecret);
var resourceManagementClient = new ArmClient(credentials, subscriptionId);
var resourceIdentifier = new ResourceIdentifier($"/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Kusto/Clusters/{clusterName}");
var cluster = resourceManagementClient.GetKustoClusterResource(resourceIdentifier);

var kustoClusterPatch = new KustoClusterPatch(AzureLocation.NorthEurope);
kustoClusterPatch.Zones.Clear();
kustoClusterPatch.Zones.Add("1");
kustoClusterPatch.Zones.Add("2");
kustoClusterPatch.Zones.Add("3");

var armOperation = await cluster.UpdateAsync(WaitUntil.Started, kustoClusterPatch).ConfigureAwait(false);

var response = armOperation.UpdateStatus();
Console.WriteLine($"ClientRequestId: {response.ClientRequestId}");

while (true)
{
  Console.WriteLine($"{DateTime.UtcNow:o} {response.Status, -5} {response.ReasonPhrase}");
  if (armOperation.HasCompleted)
    break;

  await Task.Delay(60000).ConfigureAwait(false);
  response = await armOperation.UpdateStatusAsync().ConfigureAwait(false);
}

Запустите приложение.

В приложении добавьте следующий код:

"zones": [ "{zone1}", "{zone2}", "{zone3}" ]

Например, чтобы задать для зон значение 1, 2 и 3 в регионе Северной Европы, используйте следующий код:

from azure.identity import DefaultAzureCredential
from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto import models
import time
from azure.core.exceptions import HttpResponseError 

subscription_id = "{subscriptionId}"
resource_group_name = "{resourceGroupName}"
cluster_name = "{clusterName}"

client = KustoManagementClient(DefaultAzureCredential(), subscription_id)
lro_poller = client.clusters.begin_update(resource_group_name, cluster_name, models.ClusterUpdate.from_dict({"zones": ["1", "2", "3"]}))

while (not(lro_poller.done())):
    time.sleep(60)

print (f"status: {lro_poller.status()}")

try:
    lro_poller.result()
except HttpResponseError as e:
    print (f"Exception: {e}")

Запустите приложение.

Следующая команда PowerShell позволяет настроить кластер для использования зон доступности. Убедитесь, что библиотеки инструментов Kusto установлены, и замените параметры вашими значениями.

Update-AzKustoCluster -SubscriptionId {subscriptionId} -ResourceGroupName {resourceGroupName} -Name {clusterName} -Zone "{zone1}", "{zone2}", "{zone3}"

В шаблоне ARM добавьте следующее свойство в ресурс Майкрософт.Kusto/clusters:

"zones": [ "{zone1}", "{zone2}", "{zone3}" ]

Например, чтобы задать зоны 1, 2 и 3 в регионе Северной Европы, используйте следующий шаблон:

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
      "clusters_clusterName_name": {
          "defaultValue": "clusterName",
          "type": "string"
      }
  },
  "variables": {},
  "resources": [
      {
          "type": "Microsoft.Kusto/clusters",
          "apiVersion": "2023-05-02",
          "name": "[parameters('clusters_clusterName_name')]",
          "location": "North Europe",
          "sku": {
              "name": "{skuName}",
              "tier": "Basic",
              "capacity": 1
          },
          "zones": ["1","2","3"],
          "identity": {
              "type": "SystemAssigned"
          },
          "properties": {
              "trustedExternalTenants": [],
              "enableDiskEncryption": false,
              "enableStreamingIngest": false,
              "languageExtensions": {
                  "value": []
              },
              "enablePurge": false,
              "enableDoubleEncryption": false,
              "engineType": "V3",
              "acceptedAudiences": [],
              "restrictOutboundNetworkAccess": "Disabled",
              "allowedFqdnList": [],
              "publicNetworkAccess": "Enabled",
              "allowedIpRangeList": [],
              "enableAutoStop": true,
              "publicIPType": "IPv4"
          }
      }
  ]
}

Разверните шаблон ARM. Дополнительные сведения см. в разделе Развертывание ресурсов с использованием шаблонов ARM и Azure CLI.

Во время миграции на странице обзора кластера появится следующее сообщение на портале Azure. Сообщение удаляется после завершения миграции.

Изменение зональности для хранилища этого кластера выполняется. Время обновления может отличаться в зависимости от объема данных.

Архитектура кластеров с зонами доступности

При настройке зон доступности ресурсы кластера развертываются следующим образом:

Вычислительный уровень: Azure Data Explorer — это распределенная вычислительная платформа с двумя или более узлами. Если зоны доступности настроены, вычислительные узлы распределяются по определенным зонам доступности для максимальной устойчивости внутри региона. Сбой зоны может снизить производительность кластера, пока не будут развернуты неисправные вычислительные ресурсы в выживших зонах. Мы рекомендуем настроить максимальные доступные зоны в регионе.
Примечание.
- В некоторых случаях из-за ограничений емкости вычислений для уровня вычислений будут доступны только частичные зоны доступности.
- Вычислительный слой кластера реализует оптимальный подход к равномерному распространению экземпляров между выбранными зонами.
Уровень постоянного хранения: Кластеры используют служба хранилища Azure в качестве надежного уровня устойчивости. Если зоны доступности настроены, то ZRS включается, размещая три реплики хранилища в нескольких зонах доступности для максимальной устойчивости внутри региона.
Примечание.
- ZRS предполагает дополнительные затраты.
- Если зоны доступности не настроены, ресурсы хранилища разворачиваются с использованием параметра по умолчанию локально избыточного хранилища (LRS), при котором все 3 копии размещаются в одной зоне.

Процесс миграции

Когда существующий кластер, который был развернут без зон доступности, настроен для поддержки зон доступности, в процессе миграции необходимо выполнить следующие действия.

Вычислительные ресурсы распределены в определенных зонах доступности

Процесс распространения вычислительных ресурсов включает этап подготовки, в котором кэш зональных вычислительных ресурсов нагревается. На этапе подготовки вычислительные ресурсы существующего кластера продолжают функционировать, обеспечивая непрерывную работу службы. Этот этап подготовки может занять до десятков минут. Переход к новым вычислительным ресурсам происходит только после полной подготовки и эксплуатации. Этот подход параллельной обработки обеспечивает относительно беспрепятственную работу, при этом в процессе переключения происходит лишь небольшое нарушение работы службы, продолжительность которого составляет от одной до трех минут. Однако важно отметить, что производительность запросов может быть затронута во время миграции SKU. Степень влияния может отличаться в зависимости от конкретных шаблонов использования.
Исторические данные постоянного хранилища переносятся в ZRS

Процесс миграции зависит от региональной поддержки перехода от LRS к хранилищу ZRS, а также доступной емкости учетных записей хранения в выбранных зонах. Передача исторических данных может быть длительным процессом, потенциально занимает несколько часов или даже расширяется до нескольких недель.
Все новые данные записываются в ZRS

После запуска запроса на миграцию в зоны доступности все новые данные реплицируются и хранятся в конфигурации ZRS.
Примечание.
- После запроса миграции может возникнуть задержка до нескольких минут до начала записи всех новых данных в конфигурации ZRS.
- Если в кластере есть прием потоковой передачи, повторное использование новых данных для записи в виде данных ZRS может занять до 30 дней.
Обновлено состояние зоны

После завершения запроса на миграцию по зонам доступности статус зоны обновляется для отражения поддерживаемых зон. Если состояние зоны является зональным несоответствием, это означает, что некоторые вычислительные ресурсы или ресурсы хранилища не удалось перенести и не зональные. Обычно это происходит, если для некоторых ресурсов недостаточно зональной емкости. В таких случаях рекомендуется повторить миграцию позже, когда емкость доступна.

Обратная связь

Были ли сведения на этой странице полезными?

Last updated on 2025-03-09