Создание Azure HPC Cache

Кэш создается на портале Azure или в Azure CLI.

Портал

Определение основных сведений

В области Сведения о проекте выберите подписку и группу ресурсов, в которых будет размещаться кэш.

В области Сведения о службе задайте имя кэша и следующие атрибуты:

• Расположение — выберите один из поддерживаемых регионов.

  Если этот регион поддерживает зоны доступности, выберите зону, в которую будут размещаться ресурсы кэша. Azure HPC Cache — это зональная служба.

• Виртуальная сеть — вы можете создать виртуальную сеть или выбрать имеющуюся.

• Подсеть — выберите или создайте подсеть, содержащую не менее 64 IP-адресов (/24). Эту подсеть следует использовать только для данного экземпляра Azure HPC Cache.

Выбор типа кэша и емкости

На странице кэша укажите тип и размер создаваемого кэша. Эти значения определяют возможности кэша, в том числе:

• Как быстро кэш может обслуживать запросы клиента
• Объем данных, которые может хранить кэш
• Поддерживает ли кэш режим кэширования чтения и записи
• Сколько целевых объектов хранилища может иметь
• Стоимость кэша

Прежде чем выбрать пропускную способность или емкость хранилища, необходимо выбрать тип кэша. Возможные варианты:

• Кэширование стандартного чтения и записи: гибкий кэш общего назначения
• Кэширование только для чтения: кэш высокой пропускной способности, предназначенный для минимизации задержки доступа к файлам; изменения обрабатываются синхронными операциями записи
• Кэширование уровня "Премиум для чтения" (предварительная версия): оптимизированный для NVMe кэш с наименьшей задержкой и максимальной пропускной способностью

Дополнительные сведения об этих типах кэша см. в разделе "Выбор типа кэша" для ваших потребностей.

Совет

Типы кэша чтения и записи можно настроить с целевыми объектами хранения с помощью моделей кэширования чтения или кэширования чтения и записи. Типы кэша только для чтения поддерживают только типы целевых объектов хранилища NFS и ADLS-NFS с только моделями использования для чтения. Дополнительные сведения о режимах кэширования см. в разделе "Общие сведения о моделях использования кэша".

Номер SKU кэша "Стандартный" позволяет выбрать емкость кэша для заданного выбора пропускной способности, а кэши "Премиум" и "только для чтения" имеют фиксированные емкости для каждого выбранного выбора пропускной способности. Возможности кэша определяются двумя вариантами развертывания:

• Максимальная пропускная способность — скорость передачи данных для кэша в ГБ/секунде
• Размер кэша — объем хранилища, выделенного для кэшированных данных, в ТБ

Общие сведения о пропускной способности и размере кэша

На эффективность HPC Cache влияют несколько факторов, но выбор соответствующего значения пропускной способности и объема хранилища кэша является одним из наиболее важных.

При выборе значения пропускной способности имейте в виду, что реальная скорость передачи данных зависит от рабочей нагрузки, скорости сети и типа целевых объектов хранилища.

Выбранные значения задают максимальную пропускную способность всей системы кэширования, но часть ее используется для дополнительных задач. Например, если клиент запрашивает файл, который еще не хранится в кэше, или если файл помечен как устаревший, кэш использует часть своей пропускной способности для выборки из серверного хранилища.

Azure HPC Cache определяет, какие файлы необходимо кэшировать и предварительно загрузить, чтобы максимально увеличить количество попаданий в кэше. Содержимое кэша постоянно оценивается, и файлы, доступ к которым осуществляется нечасто, перемещаются в долговременное хранилище.

Выберите размер хранилища кэша, в котором можно удобно разместить активный набор рабочих файлов, с дополнительным пространством для метаданных и других служебных данных.

Если вам нужна помощь в выборе размера кэша, обратитесь в службу поддержки Майкрософт.

Выбор типа кэша в соответствии с потребностями

Существует два основных типа кэша: "стандартный" и "премиум".

Стандартные кэши являются системами HPC Cache общего использования. Вы можете выбрать один из нескольких размеров хранилища после выбора значения пропускной способности и подключить любой из поддерживаемых типов целевых объектов хранилища HPC Cache.

Кэши класса Premium предназначены для службы файлов с наивысшей производительностью. Они используют устройства хранилища NVMe с высокой пропускной способностью, что означает, что кэши класса Premium имеют другую структуру ценообразования, емкость статического кэша и не могут быть временно остановлены.

Параметры кэша включают:

• Кэширование в режиме чтения и записи в стандартном режиме

  Для стандартных кэшей можно выбрать одно из нескольких значений размера кэша. Эти кэши можно настроить с помощью моделей целевого использования хранилища для кэширования чтения (записи) и записи.

• Кэширование только для чтения

  Этот тип кэша обеспечивает более высокую пропускную способность и низкую задержку, чем стандартный кэш, но предназначен для оптимизации доступа только к файлам и каталогам. Невозможно настроить кэш только для чтения для использования моделей использования кэша чтения и записи, но рабочая нагрузка чтения после записи приведет к попаданию в кэш, так как записи сохраняются синхронно с целевым объектом хранения. Этот тип кэша имеет только один параметр размера кэша для каждого выбора пропускной способности.

• Кэширование категории "Премиум" для чтения и записи (предварительная версия)

  Кэш высокой пропускной способности, который можно настроить для кэширования только для чтения или записи. Эти кэши имеют только один параметр размера кэша для каждого параметра пропускной способности.

В этой таблице описываются важные различия между тремя типами кэша.

Атрибут	Кэширование для чтения и записи уровня "Стандартный"	Кэширование только для чтения	Кэширование для чтения и записи уровня "Премиум"
Размеры пропускной способности	2, 4 или 8 ГБ/с	4,5, 9 или 16 ГБ/с	5, 10 или 20 ГБ/с
Размеры кэша	3, 6 или 12 ТБ для 2 ГБ/с 6, 12 или 24 ТБ для 4 ГБ/с 12, 24 или 48 ТБ для 8 ГБ/с	21 ТБ за 4,5 ГБ/с 42 ТБ за 9 ГБ/с 84 ТБ для 16 ГБ/с	21 ТБ для 5 ГБ/с 42 ТБ за 10 ГБ/с 84 ТБ за 20 ГБ/с
Совместимые типы целевых расположений хранилища	Большой двоичный объект Azure NFS (локальная среда) ADLS-NFS (большой двоичный объект Azure с поддержкой NFSv3)	NFS (локальная среда) ADLS-NFS (большой двоичный объект Azure с поддержкой NFSv3)	Большой двоичный объект Azure NFS (локальная среда) ADLS-NFS (большой двоичный объект Azure с поддержкой NFSv3)
Стили кэширования	Кэширование чтения и записи	Кэширование только чтения	Кэширование чтения и записи
Можно остановить кэширование, чтобы снизить затраты, если это не требуется	Да	Нет	No

Все три варианта кэширования имеют максимальное число целевых объектов хранения 20.

Подробнее об этих вариантах:

• Кэширование для чтения и записи

Включение шифрования Azure Key Vault (необязательно)

Если требуется управлять ключами шифрования, используемыми для хранилища кэша, укажите сведения о Azure Key Vault на странице Ключи шифрования диска. Хранилище ключей должно находиться в тех же регионе и подписке, что и кэш.

Этот раздел можно пропустить, если использовать ключи, управляемые клиентом, не требуется. По умолчанию Azure шифрует данные с помощью ключей, управляемых корпорацией Майкрософт. Дополнительные сведения см. в статье Шифрование хранилища Azure.

Примечание.

После создания кэша переключаться между ключами, управляемыми корпорацией Майкрософт, и ключами, управляемыми клиентом, нельзя.

Полное описание процесса шифрования с помощью ключа, управляемого клиентом, см. в статье Использование ключей шифрования, управляемых клиентом, для Azure HPC Cache.

Выберите Управляемый клиентом, чтобы выбрать шифрование с помощью ключа, управляемого клиентом. Отобразятся поля спецификации хранилища ключей. Выберите Azure Key Vault, а затем ключ и версию, которые следует использовать для этого кэша. Ключ должен представлять собой 2048-битный ключ RSA. На этой странице можно создать новое хранилище ключей, ключ или версию ключа.

Установите флажок Всегда использовать текущую версию ключа, если требуется автоматическая смена ключей.

Если для этого кэша требуется использовать определенное управляемое удостоверение, настройте его в разделе Управляемые удостоверения. Подробнее см. в разделе Что такое управляемые удостоверения для ресурсов Azure?.

Примечание.

Изменить назначенное удостоверение после создания кэша не удастся.

Если вы используете назначенное системой управляемое удостоверение или удостоверение, назначенное пользователем, которое еще не имеет доступа к вашему хранилищу ключей, после создания кэша необходимо выполнить дополнительные действия. Этот шаг, выполняемый вручную, позволяет авторизовать управляемое удостоверение кэша для использования хранилища ключей.

• Сведения о различиях в настройках управляемого удостоверения см. в разделе Выбор варианта управляемого удостоверения для кэша.
• Подробнее о шагах, выполняемых вручную, см. в статье Авторизация шифрования Azure Key Vault из кэша.

Добавление тегов ресурсов (необязательно)

На странице Теги можно добавлять теги ресурсов в экземпляр Azure HPC Cache.

Завершение создания кэша

После настройки нового кэша перейдите на вкладку Проверка и создание. Портал проверяет выбранные значения и позволяет их просматривать. Если все правильно, нажмите кнопку Создать.

Создание кэша занимает около 10 минут. Вы можете отслеживать ход создания на панели уведомлений на портале Azure.

По завершении создания появится уведомление со ссылкой на новый экземпляр Azure HPC Cache, а кэш отобразится в списке Ресурсы в подписке.

Примечание.

Кэш, который использует ключи шифрования, управляемые клиентом, и требует авторизации вручную после создания, кэш может отображаться в списке ресурсов до того, как состояние развертывания изменится на "Завершено". Как только кэш переходит в состояние Ожидание ключа, его можно авторизовать для использования хранилища ключей.

Azure CLI

Создание кэша с помощью Azure CLI

Настройка Azure CLI для Azure HPC Cache.

Примечание.

В настоящее время Azure CLI не поддерживает создание кэша с помощью ключей шифрования, управляемых клиентом. воспользуйтесь порталом Azure.

Для создания нового кэша Azure HPC Cache используйте команду az hpc-cache create.

Укажите следующие значения.

• Имя группы ресурсов кэша

• Имя кэша

• Регион Azure

• Подсеть кэша в следующем формате:

  --subnet "/subscriptions/<subscription_id>/resourceGroups/<cache_resource_group>/providers/Microsoft.Network/virtualNetworks/<virtual_network_name>/subnets/<cache_subnet_name>"

  Подсети кэша требуется по крайней мере 64 IP-адреса (/24). Кроме того, в ней нельзя размещать другие ресурсы.

• Емкость кэша. Максимальную пропускную способность Azure HPC Cache задают два значения:

  • размер кэша (в ГБ);
  • номер SKU виртуальных машин, используемых в инфраструктуре кэша.

  Команда az hpc-cache skus list показывает доступные номера SKU и допустимые варианты размера кэша для каждого из них. Варианты размера кэша находятся в диапазоне от 3 ТБ до 48 ТБ, однако поддерживаются только некоторые значения.

  На этой диаграмме показано, какие сочетания размера кэша и номера SKU являются допустимыми на момент подготовки настоящего документа (июль 2020 г.).

  Размер кэша	Standard_2G	Standard_4G	Standard_8G
  3072 ГБ	yes	no	no
  6144 ГБ	yes	yes	no
  12 288 ГБ	yes	yes	yes
  24 576 ГБ	no	yes	yes
  49 152 ГБ	no	no	yes

  Прочитайте раздел Задание емкости кэша на вкладке инструкций на портале, чтобы ознакомиться с важными сведениями о ценах, пропускной способности и правильном задании размера кэша для рабочего процесса.

Пример создания кэша:

az hpc-cache create --resource-group doc-demo-rg --name my-cache-0619 \
    --location "eastus" --cache-size-gb "3072" \
    --subnet "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default" \
    --sku-name "Standard_2G"

Создание кэша займет несколько минут. При успешном выполнении команда create возвращает выходные данные, аналогичные следующим:

{
  "cacheSizeGb": 3072,
  "health": {
    "state": "Healthy",
    "statusDescription": "The cache is in Running state"
  },
  "id": "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.StorageCache/caches/my-cache-0619",
  "location": "eastus",
  "mountAddresses": [
    "10.3.0.17",
    "10.3.0.18",
    "10.3.0.19"
  ],
  "name": "my-cache-0619",
  "provisioningState": "Succeeded",
  "resourceGroup": "doc-demo-rg",
  "sku": {
    "name": "Standard_2G"
  },
  "subnet": "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default",
  "tags": null,
  "type": "Microsoft.StorageCache/caches",
  "upgradeStatus": {
    "currentFirmwareVersion": "5.3.42",
    "firmwareUpdateDeadline": "0001-01-01T00:00:00+00:00",
    "firmwareUpdateStatus": "unavailable",
    "lastFirmwareUpdate": "2020-04-01T15:19:54.068299+00:00",
    "pendingFirmwareVersion": null
  }
}

Сообщение содержит некоторую полезную информацию, в том числе следующие элементы.

• Адреса подключения клиентов — используйте эти IP-адреса для подключения клиентов к кэшу. Дополнительные сведения см. в статье Подключение Azure HPC Cache.
• Состояние обновления — при выпуске обновления программного обеспечения это сообщение будет изменено. Программное обеспечение для кэширования можно обновить вручную в любой момент. В противном случае обновление применяется автоматически через несколько дней.

Azure PowerShell

Внимание

Модуль Az.HPCCache в PowerShell сейчас предоставляется на условиях общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания. Мы не рекомендуем использовать ее с рабочими нагрузками в производственной среде. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Требования

Если вы решили использовать PowerShell локально, для работы с этой статьей установите модуль PowerShell Az и подключитесь к учетной записи Azure с помощью командлета Connect-AzAccount. См. сведения об установке модуля Azure PowerShell. Если вы решили использовать Cloud Shell, дополнительные сведения см. в статье Обзор Azure Cloud Shell.

Важно!

Так как модуль Az.HPCCache в PowerShell предоставляется в режиме предварительной версии, его нужно установить отдельно с помощью командлета Install-Module. Как только этот модуль PowerShell станет общедоступным, он будет включен в один из будущих выпусков модуля Az PowerShell и встроен в Azure Cloud Shell.

Install-Module -Name Az.HPCCache

Создание кэша с помощью Azure PowerShell

Примечание.

В настоящее время Azure PowerShell не поддерживает создание кэша с помощью ключей шифрования, управляемых клиентом. воспользуйтесь порталом Azure.

Используйте командлет New-AzHpcCache для создания нового кэша Azure HPC Cache.

Укажите следующие значения:

• Имя группы ресурсов кэша

• Имя кэша

• Регион Azure

• Подсеть кэша в следующем формате:

  -SubnetUri "/subscriptions/<subscription_id>/resourceGroups/<cache_resource_group>/providers/Microsoft.Network/virtualNetworks/<virtual_network_name>/subnets/<cache_subnet_name>"

  Подсети кэша требуется по крайней мере 64 IP-адреса (/24). Кроме того, в ней нельзя размещать другие ресурсы.

• Емкость кэша. Максимальную пропускную способность Azure HPC Cache задают два значения:

  • размер кэша (в ГБ);
  • номер SKU виртуальных машин, используемых в инфраструктуре кэша.

  Команда Get-AzHpcCacheSku показывает доступные номера SKU и допустимые варианты размера кэша для каждого из них. Варианты размера кэша находятся в диапазоне от 3 ТБ до 48 ТБ, однако поддерживаются только некоторые значения.

  На этой диаграмме показано, какие сочетания размера кэша и номера SKU являются допустимыми на момент подготовки настоящего документа (июль 2020 г.).

  Размер кэша	Standard_2G	Standard_4G	Standard_8G
  3072 ГБ	yes	no	no
  6144 ГБ	yes	yes	no
  12 288 ГБ	yes	yes	yes
  24 576 ГБ	no	yes	yes
  49 152 ГБ	no	no	yes

  Прочитайте раздел Задание емкости кэша на вкладке инструкций на портале, чтобы ознакомиться с важными сведениями о ценах, пропускной способности и правильном задании размера кэша для рабочего процесса.

Пример создания кэша:

$cacheParams = @{
  ResourceGroupName = 'doc-demo-rg'
  CacheName = 'my-cache-0619'
  Location = 'eastus'
  cacheSize = '3072'
  SubnetUri = "/subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default"
  Sku = 'Standard_2G'
}
New-AzHpcCache @cacheParams

Создание кэша займет несколько минут. При успешном выполнении команда create возвращает следующие выходные данные.

cacheSizeGb       : 3072
health            : @{state=Healthy; statusDescription=The cache is in Running state}
id                : /subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.StorageCache/caches/my-cache-0619
location          : eastus
mountAddresses    : {10.3.0.17, 10.3.0.18, 10.3.0.19}
name              : my-cache-0619
provisioningState : Succeeded
resourceGroup     : doc-demo-rg
sku               : @{name=Standard_2G}
subnet            : /subscriptions/<subscription-ID>/resourceGroups/doc-demo-rg/providers/Microsoft.Network/virtualNetworks/vnet-doc0619/subnets/default
tags              :
type              : Microsoft.StorageCache/caches
upgradeStatus     : @{currentFirmwareVersion=5.3.42; firmwareUpdateDeadline=1/1/0001 12:00:00 AM; firmwareUpdateStatus=unavailable; lastFirmwareUpdate=4/1/2020 10:19:54 AM; pendingFirmwareVersion=}

Сообщение содержит некоторую полезную информацию, в том числе следующие элементы.

• Адреса подключения клиентов — используйте эти IP-адреса для подключения клиентов к кэшу. Дополнительные сведения см. в статье Подключение Azure HPC Cache.
• Состояние обновления — при выпуске обновления программного обеспечения это сообщение будет изменено. Программное обеспечение для кэширования можно обновить вручную в любой момент. В противном случае обновление применяется автоматически через несколько дней.

Следующие шаги

После того как кэш появится в списке ресурсов, можно переходить к следующему шагу.

• Определите целевые расположения хранилища, чтобы предоставить кэшу доступ к источникам данных.
• Если вы используете ключи шифрования, управляемые клиентом, необходимо авторизовать шифрование Azure Key Vault на странице обзора кэша, чтобы завершить настройку кэша. Следуйте инструкциям в разделе Использование управляемых пользователем ключей шифрования. Добавить хранилище можно будет только после выполнения этого шага.