Создание кэша Azure HPC

Для создания кэша используйте портал Azure или Azure CLI.

Портал

Определение основных деталей

В разделе Сведения о проекте выберите подписку и группу ресурсов, в которой будет размещаться кэш.

В разделе Сведения о службе задайте имя кэша и следующие другие атрибуты:

• Расположение — выберите один из поддерживаемых регионов.

  Если этот регион поддерживает зоны доступности, выберите зону, в которой будут размещены ресурсы кэша. Azure HPC Cache — это зональная служба.

• Виртуальная сеть — вы можете выбрать существующую или создать новую виртуальную сеть.

• Подсеть — выберите или создайте подсеть, содержащую не менее 64 IP-адресов (/24). Эта подсеть должна использоваться только для этого экземпляра кэша Azure HPC.

Выбор типа и емкости кэша

На странице Кэш укажите тип и размер создаваемого кэша. Эти значения определяют возможности кэша, в том числе:

• Как быстро кэш может обслуживать запросы клиентов
• Объем данных в кэше
• Поддерживает ли кэш режим кэширования чтения/записи
• Сколько целевых объектов хранилища может быть
• Стоимость кэша

Прежде чем выбрать пропускную способность или емкость хранилища, необходимо выбрать тип кэша. Возможные варианты:

• Стандартное кэширование для чтения и записи: гибкий кэш общего назначения
• Кэширование только для чтения: кэш с высокой пропускной способностью, предназначенный для минимизации задержки доступа к файлам; Изменения обрабатываются с помощью синхронных операций сквозной записи
• Кэширование уровня "Премиум" для чтения и записи (предварительная версия): оптимизированный для NVMe кэш с минимальной задержкой и максимальной пропускной способностью

Подробнее об этих типах кэша читайте ниже в разделе Выберите тип кэша для ваших нужд.

Подсказка

Типы кэша "чтение-запись" могут быть настроены с помощью целевых объектов хранилища с использованием моделей использования кэширования чтения или кэширования чтения-записи. Типы кэша "только для чтения" поддерживают только типы NFS и целевые хранилища ADLS-NFS только с моделями использования кэширования для чтения. Дополнительные сведения о режимах кэширования см. в статье Общие сведения о моделях использования кэша.

Номер SKU кэша "Стандартный" позволяет выбрать емкость кэша для заданного выбора пропускной способности, в то время как кэши "Премиум" и "только для чтения" имеют фиксированную емкость для каждого заданного выбора пропускной способности. Возможности кэша определяются двумя вариантами развертывания:

• Максимальная пропускная способность — скорость передачи данных для кэша, в ГБ/с
• Размер кэша — объем хранилища, выделенный для кэшированных данных, в ТБ

Общие сведения о пропускной способности и размере кэша

На эффективность высокопроизводительного кэша может влиять несколько факторов, но выбор подходящего значения пропускной способности и размера хранилища кэша является одним из наиболее важных.

При выборе значения пропускной способности учитывайте, что фактическая скорость передачи данных зависит от рабочей нагрузки, скорости сети и типа целевого хранилища.

Выбранные значения задают максимальную пропускную способность для всей системы кэша, но часть этой пропускной способности используется для выполнения накладных задач. Например, если клиент запрашивает файл, который еще не сохранен в кэше, или если файл помечен как устаревший, кэш использует часть своей пропускной способности для его извлечения из внутреннего хранилища.

Azure HPC Cache управляет тем, какие файлы кэшируются и предварительно загружаются, чтобы максимизировать частоту попаданий в кэш. Содержимое кэша постоянно оценивается, а файлы перемещаются в долгосрочное хранилище, когда к ним обращаются реже.

Выберите размер кэш-памяти, в котором может комфортно разместиться активный набор рабочих файлов, а также дополнительное пространство для метаданных и других накладных расходов.

Если вам нужна помощь в правильном определении размера кэша, обратитесь в службу поддержки Майкрософт.

Выберите тип кэша в соответствии с вашими потребностями

Существует два основных типа кэша: «стандартный» и «премиум».

Стандартные кэши — это системы общего использования HPC Cache. После выбора значения пропускной способности можно выбрать один из нескольких размеров хранилища, а также подключить любой из типов целевых хранилищ, поддерживаемых HPC Cache.

Кэши ценовой категории "Премиум" предназначены для работы файловой службы с максимальной производительностью. Они используют устройства хранения NVMe с высокой пропускной способностью, что означает, что кэши ценовой категории "Премиум" имеют другую структуру ценообразования, емкость статического кэша и не могут быть временно остановлены.

Параметры кэша включают в себя:

• Стандартное кэширование для чтения-записи

  При использовании стандартных кэшей вы можете выбрать одно из нескольких значений размера кэша. Эти кэши могут быть настроены с помощью моделей использования целевого хранилища как для чтения (сквозной записи), так и для кэширования чтения и записи.

• Кэширование только для чтения

  Этот тип кэша обеспечивает более высокую пропускную способность и меньшую задержку по сравнению со стандартным кэшем, но предназначен для оптимизации только доступа для чтения файлов и каталогов. Вы не можете настроить кэш только для чтения для использования моделей использования кэша чтения и записи, но рабочая нагрузка чтения после записи приведет к попаданию в кэш, так как записи сохраняются синхронно в целевом хранилище. Этот тип кэша имеет только один вариант размера кэша для каждого варианта пропускной способности.

• Кэширование уровня "Премиум" для чтения и записи (предварительная версия)

  Кэш с высокой пропускной способностью, который можно настроить для кэширования только для чтения или чтения и записи. Эти кэши имеют только один вариант размера кэша для каждого параметра пропускной способности.

В этой таблице объясняются важные различия между тремя типами кэша.

Свойство	Read-Write Стандартное кэширование	Read-Only Кэширование	Read-Write Кэширование премиум-класса
Размеры пропускной способности	2, 4 или 8 ГБ/с	4,5, 9 или 16 ГБ/с	5, 10 или 20 ГБ/с
Размеры кэша	3, 6 или 12 ТБ для 2 ГБ/с 6, 12 или 24 ТБ для 4 ГБ/с 12, 24 или 48 ТБ для 8 ГБ/с	21 ТБ для 4,5 ГБ/с 42 ТБ для 9 ГБ/с 84 ТБ для 16 ГБ/с	21 ТБ для 5 ГБ/с 42 ТБ для 10 ГБ/с 84 ТБ для 20 ГБ/с
Совместимые типы целевых хранилищ	Azure Blob NFS (локальная) ADLS-NFS (Azure Blob с поддержкой NFSv3)	NFS (локальная) ADLS-NFS (Azure Blob с поддержкой NFSv3)	Azure Blob NFS (локальная) ADLS-NFS (Azure Blob с поддержкой NFSv3)
Стили кэширования	Кэширование для чтения и записи	Кэширование только для чтения	Кэширование для чтения и записи
Кэш можно остановить для экономии средств, когда он не нужен	Да	нет	нет

Все три варианта кэширования имеют максимальное целевое количество хранилища, равное 20.

Узнайте больше об этих вариантах:

• Режимы кэширования чтения и записи

Включение шифрования Azure Key Vault (необязательно)

Если вы хотите управлять ключами шифрования, используемыми для хранения кэша, укажите сведения о Azure Key Vault на странице Ключи шифрования диска . Хранилище ключей должно находиться в том же регионе и в той же подписке, что и кэш.

Этот раздел можно пропустить, если вам не нужны ключи, управляемые клиентом. По умолчанию Azure шифрует данные с помощью ключей, управляемых корпорацией Майкрософт. Дополнительные сведения см. в статье Шифрование хранилища Azure .

Замечание

После создания кэша нельзя переключаться между ключами, управляемыми корпорацией Майкрософт, и ключами, управляемыми клиентом.

Полное описание процесса шифрования ключа, управляемого клиентом, см. в статье Использование ключей шифрования, управляемых клиентом, для Azure HPC Cache.

Выберите Управляемый клиентом , чтобы выбрать шифрование ключа, управляемого клиентом. Отобразятся поля спецификации хранилища ключей. Выберите Azure Key Vault для использования, а затем выберите ключ и версию, которые будут использоваться для этого кэша. Ключ должен представлять собой 2048-битный ключ RSA. На этой странице можно создать новое хранилище ключей, ключ или версию ключа.

Установите флажок Всегда использовать текущую версию ключа, если требуется автоматическая смена ключей.

Если вы хотите использовать определенное управляемое удостоверение для этого кэша, настройте его в разделе Управляемые удостоверения . Дополнительные сведения см. в статье Что такое управляемые удостоверения для ресурсов Azure?

Замечание

Изменить назначенное удостоверение после создания кэша не удастся.

Если вы используете управляемое удостоверение, назначенное системой, или удостоверение, назначенное пользователем, у которого еще нет доступа к хранилищу ключей, после создания кэша необходимо выполнить дополнительное действие. На этом ручном этапе управляемое удостоверение кэша авторизуется для использования хранилища ключей.

• Прочтите статью Выбор параметра управляемого удостоверения для кэша , чтобы понять различия в параметрах управляемого удостоверения.
• Ознакомьтесь с материалом Авторизация шифрования Azure Key Vault из кэша, чтобы узнать о выполнении этого шага вручную.

Добавление тегов ресурсов (необязательно)

На странице "Теги" можно добавить теги ресурсов в экземпляр кэша Azure HPC.

Завершение создания кэша

После настройки нового кэша перейдите на вкладку Просмотр + создание . Портал проверяет ваш выбор и позволяет просматривать его варианты. Если все верно, нажмите «Создать».

Создание кэша занимает около 10 минут. Ход выполнения можно отслеживать на панели уведомлений портала Azure.

После завершения создания появится уведомление со ссылкой на новый экземпляр кэша Azure HPC, а кэш появится в списке ресурсов подписки.

Замечание

Если кэш использует ключи шифрования, управляемые клиентом, и требует ручной авторизации после создания, кэш может появиться в списке ресурсов до того, как его состояние развертывания изменится на завершение. Как только кэш получит статус Ожидание ключа , вы можете авторизовать его для использования хранилища ключей.

Azure CLI

Создание кэша с помощью Azure CLI

Настройка Azure CLI для Azure HPC Cache.

Замечание

В настоящее время Azure CLI не поддерживает создание кэша с ключами шифрования, управляемыми клиентом. Используйте портал Azure.

Используйте команду az hpc-cache create для создания нового кэша Azure HPC.

Укажите следующие значения:

• Имя группы ресурсов кэша

• Имя кэша

• регион Azure

• Подсеть кэша, в таком формате:

  --subnet "/subscriptions/<subscription_id>/resourceGroups/<cache_resource_group>/providers/Microsoft.Network/virtualNetworks/<virtual_network_name>/subnets/<cache_subnet_name>"

  Подсети кэша требуется не менее 64 IP-адресов (/24), и в ней не могут размещаться никакие другие ресурсы.

• Емкость кэша. Максимальная пропускная способность кэша Azure HPC задается двумя значениями:

  • Размер кэша (в ГБ)
  • Номер SKU виртуальных машин, используемых в инфраструктуре кэша

  В списке SKU az HPC-cache отображаются доступные номера SKU и допустимые параметры размера кэша для каждого из них. Размер кэша варьируется от 3 ТБ до 48 ТБ, но поддерживаются только некоторые значения.

  На этой диаграмме показано, какие комбинации кэша и SKU действительны на момент подготовки этого документа (июль 2020 г.).

  Размер кэша	Standard_2G	Standard_4G	Standard_8G
  3072 ГБ	да	нет	нет
  6144 ГБ	да	да	нет
  12288 ГБ	да	да	да
  24576 ГБ	нет	да	да
  49152 ГБ	нет	нет	да

  Ознакомьтесь с разделом Настройка емкости кэша на вкладке инструкций портала, чтобы получить важную информацию о ценах, пропускной способности и о том, как правильно определить размер кэша для рабочего процесса.

Пример создания кэша:

az hpc-cache create --resource-group doc-demo-rg --name my-cache-0619 \
    --location "eastus" --cache-size-gb "3072" \
    --subnet "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default" \
    --sku-name "Standard_2G"

Создание кэша занимает несколько минут. При успешном выполнении команда create возвращает следующий вывод:

{
  "cacheSizeGb": 3072,
  "health": {
    "state": "Healthy",
    "statusDescription": "The cache is in Running state"
  },
  "id": "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.StorageCache/caches/my-cache-0619",
  "location": "eastus",
  "mountAddresses": [
    "10.3.0.17",
    "10.3.0.18",
    "10.3.0.19"
  ],
  "name": "my-cache-0619",
  "provisioningState": "Succeeded",
  "resourceGroup": "doc-demo-rg",
  "sku": {
    "name": "Standard_2G"
  },
  "subnet": "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default",
  "tags": null,
  "type": "Microsoft.StorageCache/caches",
  "upgradeStatus": {
    "currentFirmwareVersion": "5.3.42",
    "firmwareUpdateDeadline": "0001-01-01T00:00:00+00:00",
    "firmwareUpdateStatus": "unavailable",
    "lastFirmwareUpdate": "2020-04-01T15:19:54.068299+00:00",
    "pendingFirmwareVersion": null
  }
}

Сообщение содержит некоторую полезную информацию, в том числе следующие пункты:

• Адреса подключения клиентов - Используйте эти IP-адреса, когда вы будете готовы подключить клиентов к кэшу. Дополнительные сведения см. в статье Подключение кэша Azure HPC .
• Состояние обновления — при выпуске обновления программного обеспечения это сообщение изменится. Вы можете обновить программное обеспечение кэша вручную в удобное для вас время, или оно будет применено автоматически через несколько дней.

Azure PowerShell

Осторожность

Модуль PowerShell Az.HPCCache в настоящее время находится в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания. Это не рекомендуется для рабочих нагрузок в рабочей среде. Некоторые функции могут не поддерживаться или иметь ограниченные возможности. Для получения дополнительной информации см. Дополнительные условия использования для предварительных версий Microsoft Azure.

Требования

Если вы решили использовать PowerShell локально, для работы с этой статьей установите модуль PowerShell Az и подключитесь к учетной записи Azure с помощью командлета Connect-AzAccount. Для получения дополнительной информации об установке модуля Az PowerShell, смотрите Установка Azure PowerShell. Если вы решили использовать Cloud Shell, дополнительные сведения см. в статье Обзор Azure Cloud Shell.

Это важно

Пока модуль PowerShell Az.HPCCache находится в предварительной версии, его необходимо установить отдельно с помощью Install-Module командлета. После того как этот модуль PowerShell станет общедоступным, он станет частью будущих выпусков модуля Az PowerShell и будет доступен в Azure Cloud Shell.

Install-Module -Name Az.HPCCache

Создание кэша с помощью Azure PowerShell

Замечание

В настоящее время Azure PowerShell не поддерживает создание кэша с ключами шифрования, управляемыми клиентом. Используйте портал Azure.

Используйте командлет New-AzHpcCache , чтобы создать новый кэш Azure HPC.

Укажите следующие значения:

• Имя группы ресурсов кэша

• Имя кэша

• регион Azure

• Подсеть кэша, в таком формате:

  -SubnetUri "/subscriptions/<subscription_id>/resourceGroups/<cache_resource_group>/providers/Microsoft.Network/virtualNetworks/<virtual_network_name>/subnets/<cache_subnet_name>"

  Подсети кэша требуется не менее 64 IP-адресов (/24), и в ней не могут размещаться никакие другие ресурсы.

• Емкость кэша. Максимальная пропускная способность кэша Azure HPC задается двумя значениями:

  • Размер кэша (в ГБ)
  • Номер SKU виртуальных машин, используемых в инфраструктуре кэша

  Get-AzHpcCacheSku показывает доступные номера SKU и допустимые параметры размера кэша для каждого из них. Размер кэша варьируется от 3 ТБ до 48 ТБ, но поддерживаются только некоторые значения.

  На этой диаграмме показано, какие комбинации кэша и SKU действительны на момент подготовки этого документа (июль 2020 г.).

  Размер кэша	Standard_2G	Standard_4G	Standard_8G
  3072 ГБ	да	нет	нет
  6144 ГБ	да	да	нет
  12 288 ГБ	да	да	да
  24 576 ГБ	нет	да	да
  49 152 ГБ	нет	нет	да

  Ознакомьтесь с разделом Настройка емкости кэша на вкладке инструкций портала, чтобы получить важную информацию о ценах, пропускной способности и о том, как правильно определить размер кэша для рабочего процесса.

Пример создания кэша:

$cacheParams = @{
  ResourceGroupName = 'doc-demo-rg'
  CacheName = 'my-cache-0619'
  Location = 'eastus'
  cacheSize = '3072'
  SubnetUri = "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default"
  Sku = 'Standard_2G'
}
New-AzHpcCache @cacheParams

Создание кэша занимает несколько минут. При успешном выполнении команда create возвращает следующие выходные данные:

cacheSizeGb       : 3072
health            : @{state=Healthy; statusDescription=The cache is in Running state}
id                : /subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.StorageCache/caches/my-cache-0619
location          : eastus
mountAddresses    : {10.3.0.17, 10.3.0.18, 10.3.0.19}
name              : my-cache-0619
provisioningState : Succeeded
resourceGroup     : doc-demo-rg
sku               : @{name=Standard_2G}
subnet            : /subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default
tags              :
type              : Microsoft.StorageCache/caches
upgradeStatus     : @{currentFirmwareVersion=5.3.42; firmwareUpdateDeadline=1/1/0001 12:00:00 AM; firmwareUpdateStatus=unavailable; lastFirmwareUpdate=4/1/2020 10:19:54 AM; pendingFirmwareVersion=}

Сообщение содержит некоторую полезную информацию, в том числе следующие пункты:

• Адреса подключения клиентов - Используйте эти IP-адреса, когда вы будете готовы подключить клиентов к кэшу. Дополнительные сведения см. в статье Подключение кэша Azure HPC .
• Состояние обновления — при выпуске обновления программного обеспечения это сообщение изменяется. Вы можете обновить программное обеспечение кэша вручную в удобное для него время, или оно будет применено автоматически через несколько дней.

Дальнейшие шаги

После того как кэш появится в списке ресурсов , вы можете перейти к следующему шагу.

• Определите целевые места хранения , чтобы предоставить кэшу доступ к источникам данных.
• Если вы используете ключи шифрования, управляемые клиентом, и вам необходимо авторизовать шифрование Azure Key Vault на странице обзора кэша для завершения настройки кэша, следуйте рекомендациям в статье Использование ключей шифрования, управляемых клиентом. Этот шаг необходимо выполнить, прежде чем можно будет добавить хранилище.