Перенос кластера для поддержки нескольких зон доступности (предварительная версия)

Многие регионы Azure предоставляют зоны доступности, которые разделены группами центров обработки данных в пределах региона. Зоны доступности располагаются достаточно близко для установления подключений с низкой задержкой к другим зонам доступности. Они подключены высокопроизводительной сетью с задержкой кругового пути менее 2 мс. Однако зоны доступности расположены достаточно далеко друг от друга, чтобы снизить вероятность воздействия локальных сбоев или погода сразу не несколько из них. Зоны доступности имеют независимую инфраструктуру питания, охлаждения и сетевую инфраструктуру. Они разработаны таким образом, чтобы региональные службы, емкость и высокий уровень доступности поддерживались остальными зонами, если одна зона испытывает сбой. Дополнительные сведения см. в Зоны доступности Azure.

Кластеры Обозреватель данных Azure можно настроить для использования зон доступности в поддерживаемых регионах. Используя зоны доступности, кластер может лучше противостоять сбою одного центра обработки данных в регионе для поддержки сценариев непрерывности бизнес-процессов.

При создании кластера в портал Azure или программно можно настроить зоны доступности с помощью одного из следующих методов:

• REST API
• Пакет SDK для C#
• Пакет SDK для Python
• PowerShell
• Шаблон ARM

Внимание

• После настройки кластера с зонами доступности невозможно изменить кластер, чтобы не использовать зоны доступности.
• Несколько зон не поддерживаются во всех регионах. Поэтому кластеры, расположенные в этих регионах, не могут быть настроены для использования зон доступности.
• Использование зон доступности несет дополнительные затраты.

Примечание.

• Прежде чем продолжить, убедитесь, что вы знакомы с процессом миграции и рекомендациями.
• Эти действия также можно использовать для изменения зон существующего кластера, использующего зоны доступности.

В этой статье раскрываются следующие темы:

• Настройка кластера для поддержки зон доступности
• Архитектура кластеров с зонами доступности
• Процесс миграции и рекомендации

Необходимые компоненты

• Убедитесь, что кластер находится в регионе, где поддерживается миграция в несколько зон доступности. Дополнительные сведения см. в разделе "Поддерживаемые регионы".

• Для переноса кластера для поддержки зон доступности требуется кластер, который был развернут без каких-либо зон доступности.

• Для изменения зон кластера требуется кластер, настроенный с зонами доступности.

• Для REST API ознакомьтесь с управлением ресурсами Azure с помощью REST API.

• Сведения о других программных методах см. в разделе "Предварительные требования".

Поддерживаемые регионы

Миграция в несколько зон доступности ограничена регионами, у которых нет ограничений емкости. В настоящее время поддерживаются следующие регионы:

• Восточная Австралия
• Центральная Канада
• Северный Китай 3
• Центральная Индия
• Северная Европа
• Восточная Норвегия;
• Северная часть ЮАР;
• Центральная Швеция
• Северная часть ОАЭ;
• южная часть Соединенного Королевства

Получение списка зон доступности для региона кластера

Список зон доступности для кластера можно получить следующим образом:

Портал Azure

1. В портал Azure перейдите на страницу обзора кластера.

2. В разделе Параметры выберите элемент Вертикально увеличить масштаб.

3. В строке кластера зоны доступности перечислены в столбце зон доступности.

   

PowerShell

Прежде чем начать, убедитесь, что у вас есть az. Командлеты Kusto установлены и вошли в систему, а затем выполните следующую команду, чтобы получить список зон доступности для региона кластера:

1. Задайте идентификатор ресурса кластера. Идентификатор ресурса кластера можно получить из портал Azure на странице свойств кластера.

   $resource_id = "<ClusterResourceID>"
   

2. Получение сведений о кластере.

   $mycluster = Get-AzKustoCluster -InputObject $resource_id
   

3. Получите расположение кластера.

   Внимание

   Get-AzLocation требуется Az.Resources модуль. Если он не установлен, выполните команду Install-Module Az.Resources.

   $location = (Get-AzLocation | where DisplayName -EQ $mycluster.Location).location
   

4. Получите идентификатор кластера.

   $mycluster.Id  -match "/subscriptions/(.*?)/" | Out-Null; $subscription = $Matches[1]
   

5. Получите список зон доступности для региона кластера.

   $bearer = (Get-AzAccessToken).Token
   $rest_result = (Invoke-RestMethod -Uri https://management.azure.com/subscriptions/$subscription/providers/Microsoft.Kusto/locations/${location}/skus?api-version=2022-11-11 -Headers @{Authorization="Bearer $bearer"})
   $zones = $rest_result | select -ExpandProperty Value | where name -eq $mycluster.SkuName | select -ExpandProperty locationInfo | select zones
   $zones
   

Настройка кластера для поддержки зон доступности

Чтобы добавить зоны доступности в существующий кластер, необходимо обновить атрибут кластера zones со списком целевых зон доступности. Следуйте инструкциям для предпочтительного метода, используя сведения в следующей таблице:

Параметр	Значение
subscriptionId	Идентификатор подписки кластера
resourceGroupName	Имя группы ресурсов кластера
clusterName	Имя кластера
apiVersion	2023-05-02 или более поздней версии.

Внимание

Изменение зон доступности для существующего кластера изменяет только зоны доступности для вычислительных ресурсов. Постоянное хранилище не изменяется.

REST API

Следуйте инструкциям по развертыванию шаблона.

1. Вызов REST API к следующей конечной точке, в которой вы замените параметры значениями:

   PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Kusto/clusters/{clusterName}?api-version={apiVersion}
   

2. Укажите зоны доступности в тексте запроса. Например, чтобы настроить кластер для использования зон доступности 1, 2 и 3, задайте текст следующим образом:

   { "zones": [ "{zone1}", "{zone2}", "{zone3}" ] }
   

C#

1. Если у вас нет библиотек Azure.Identity и Azure.ResourceManager.Kusto , используйте следующие команды для их установки:

   dotnet add package Azure.Identity
   dotnet add package Azure.ResourceManager.Kusto
   

2. В приложении добавьте следующий код:

   "zones": [ "{zone1}", "{zone2}", "{zone3}" ]
   

   Например, чтобы задать для зон значение 1, 2 и 3 в регионе Северной Европы, используйте следующий код:

   using Azure.Core;
   using Azure.ResourceManager.Kusto;
   using Azure.ResourceManager.Kusto.Models;
   using ArmClient = Azure.ResourceManager.ArmClient;
   using ClientSecretCredential = Azure.Identity.ClientSecretCredential;
   using WaitUntil = Azure.WaitUntil;
   
   var tenantId = "{tenantId}";
   var clientId = "{clientId}";
   var clientSecret = "{clientSecret}";
   var subscriptionId = "{subscriptionId}";
   var resourceGroupName = "{resourceGroupName}";
   var clusterName = "{clusterName}";
   
   var credentials = new ClientSecretCredential(tenantId, clientId, clientSecret);
   var resourceManagementClient = new ArmClient(credentials, subscriptionId);
   var resourceIdentifier = new ResourceIdentifier($"/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Kusto/Clusters/{clusterName}");
   var cluster = resourceManagementClient.GetKustoClusterResource(resourceIdentifier);
   
   var kustoClusterPatch = new KustoClusterPatch(AzureLocation.NorthEurope);
   kustoClusterPatch.Zones.Clear();
   kustoClusterPatch.Zones.Add("1");
   kustoClusterPatch.Zones.Add("2");
   kustoClusterPatch.Zones.Add("3");
   
   var armOperation = await cluster.UpdateAsync(WaitUntil.Started, kustoClusterPatch).ConfigureAwait(false);
   
   var response = armOperation.UpdateStatus();
   Console.WriteLine($"ClientRequestId: {response.ClientRequestId}");
   
   while (true)
   {
     Console.WriteLine($"{DateTime.UtcNow:o} {response.Status, -5} {response.ReasonPhrase}");
     if (armOperation.HasCompleted)
       break;
   
     await Task.Delay(60000).ConfigureAwait(false);
     response = await armOperation.UpdateStatusAsync().ConfigureAwait(false);
   }
   

3. Запустите приложение.

Python

1. В приложении добавьте следующий код:

   "zones": [ "{zone1}", "{zone2}", "{zone3}" ]
   

   Например, чтобы задать для зон значение 1, 2 и 3 в регионе Северной Европы, используйте следующий код:

   from azure.identity import DefaultAzureCredential
   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto import models
   import time
   from azure.core.exceptions import HttpResponseError 
   
   subscription_id = "{subscriptionId}"
   resource_group_name = "{resourceGroupName}"
   cluster_name = "{clusterName}"
   
   client = KustoManagementClient(DefaultAzureCredential(), subscription_id)
   lro_poller = client.clusters.begin_update(resource_group_name, cluster_name, models.ClusterUpdate.from_dict({"zones": ["1", "2", "3"]}))
   
   while (not(lro_poller.done())):
       time.sleep(60)
   
   print (f"status: {lro_poller.status()}")
   
   try:
       lro_poller.result()
   except HttpResponseError as e:
       print (f"Exception: {e}")
   

2. Запустите приложение.

PowerShell

Следующая команда PowerShell позволяет настроить кластер для использования зон доступности. Убедитесь, что библиотеки инструментов Kusto установлены и заменяют параметры вашими значениями.

Update-AzKustoCluster -SubscriptionId {subscriptionId} -ResourceGroupName {resourceGroupName} -Name {clusterName} -Zone "{zone1}", "{zone2}", "{zone3}"

Шаблон ARM

1. В шаблоне ARM добавьте в ресурс следующее Microsoft.Kusto/clusters свойство:

   "zones": [ "{zone1}", "{zone2}", "{zone3}" ]
   

   Например, чтобы задать зоны 1, 2 и 3 в регионе Северной Европы, используйте следующий шаблон:

   {
     "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
     "contentVersion": "1.0.0.0",
     "parameters": {
         "clusters_clusterName_name": {
             "defaultValue": "clusterName",
             "type": "string"
         }
     },
     "variables": {},
     "resources": [
         {
             "type": "Microsoft.Kusto/clusters",
             "apiVersion": "2023-05-02",
             "name": "[parameters('clusters_clusterName_name')]",
             "location": "North Europe",
             "sku": {
                 "name": "{skuName}",
                 "tier": "Basic",
                 "capacity": 1
             },
             "zones": ["1","2","3"],
             "identity": {
                 "type": "SystemAssigned"
             },
             "properties": {
                 "trustedExternalTenants": [],
                 "enableDiskEncryption": false,
                 "enableStreamingIngest": false,
                 "languageExtensions": {
                     "value": []
                 },
                 "enablePurge": false,
                 "enableDoubleEncryption": false,
                 "engineType": "V3",
                 "acceptedAudiences": [],
                 "restrictOutboundNetworkAccess": "Disabled",
                 "allowedFqdnList": [],
                 "publicNetworkAccess": "Enabled",
                 "allowedIpRangeList": [],
                 "enableAutoStop": true,
                 "publicIPType": "IPv4"
             }
         }
     ]
   }
   

2. Разверните шаблон Resource Manager. Дополнительные сведения см. в статье Развертывание ресурсов с помощью шаблонов ARM и Azure CLI.

Во время миграции на странице обзора кластера появится следующее сообщение в портал Azure. Сообщение удаляется после завершения миграции.

Изменение зональности для хранилища этого кластера выполняется. Время обновления может отличаться в зависимости от объема данных.

Архитектура кластеров с зонами доступности

При настройке зон доступности ресурсы кластера развертываются следующим образом:

• Уровень вычислений: Обозреватель данных Azure — это платформа распределенных вычислений с двумя или более узлами. Если зоны доступности настроены, вычислительные узлы распределяются по определенной зоне доступности для максимальной устойчивости внутри региона. Сбой зоны может снизить производительность кластера, пока не будут развернуты неисправные вычислительные ресурсы в выживших зонах. Мы рекомендуем настроить максимальные доступные зоны в регионе.

  Примечание.

  • В некоторых случаях из-за ограничений емкости вычислений для уровня вычислений будут доступны только частичные зоны доступности.
  • Вычислительный слой кластера реализует оптимальный подход к равномерному распространению экземпляров между выбранными зонами.

• Постоянный уровень хранения. Кластеры используют служба хранилища Azure в качестве устойчивого уровня сохраняемости. Если зоны доступности настроены, ZRS включен, разместите реплика хранилища во всех трех зонах доступности для максимальной устойчивости внутри региона.

  Примечание.

  • ZRS несет дополнительную стоимость.
  • Если зоны доступности не настроены, ресурсы хранилища развертываются с параметром по умолчанию локально избыточного служба хранилища (LRS), где все 3 реплика — это одна зона.

Процесс миграции

Когда существующий кластер, который был развернут без зон доступности, настроен для поддержки зон доступности, в процессе миграции необходимо выполнить следующие действия.

• Вычислительные ресурсы распределены в определенных зонах доступности

  Процесс распространения вычислительных ресурсов включает этап подготовки, в котором прогреется зональный кэш вычислительных ресурсов. На этапе подготовки вычислительные ресурсы существующего кластера продолжают функционировать, обеспечивая непрерывную работу службы. Этот этап подготовки может занять до десятков минут. Переход к новым вычислительным ресурсам происходит только после полной подготовки и эксплуатации. Этот подход параллельной обработки обеспечивает относительно простой опыт работы, при этом в процессе переключения обычно выполняется только минимальное нарушение работы службы, обычно продолжительность от одного до трех минут. Однако важно отметить, что производительность запросов может повлиять на производительность во время миграции SKU. Степень влияния может отличаться в зависимости от конкретных шаблонов использования.

• Исторические данные сохраняемого хранилища переносятся в ZRS

  Процесс миграции зависит от региональной поддержки перехода от LRS к хранилищу ZRS, а также доступной емкости учетных записей хранения в выбранных зонах. Передача исторических данных может быть длительным процессом, потенциально занимает несколько часов или даже расширяется до нескольких недель.

• Все новые данные записываются в ZRS

  После запуска запроса на миграцию в зоны доступности все новые данные реплика и хранятся в конфигурации ZRS.

  Примечание.

  • После запроса миграции может возникнуть задержка до нескольких минут до начала записи всех новых данных в конфигурации ZRS.
  • Если в кластере есть прием потоковой передачи, повторное использование новых данных для записи в виде данных ZRS может занять до 30 дней.

Рекомендации

Запрос на миграцию в зоны доступности может оказаться не успешным из-за ограничений емкости. Для успешной миграции должно быть достаточно вычислительных ресурсов и хранилища для поддержки миграции. При наличии ограничений емкости вы получите сообщение об ошибке, указывающее на проблему.

Связанный контент

• Общие сведения о непрерывности бизнес-процессов и аварийном восстановлении