Предварительные условия для Azure HPC Cache

Статья
03/25/2023

Перед созданием нового Кэша HPC Azure убедитесь, что среда соответствует этим требованиям.

Подписка Azure.

Рекомендуется использовать платную подписку.

Инфраструктура сети

Прежде чем использовать кэш, необходимо настроить эти необходимые компоненты, связанные с сетью:

Выделенная подсеть для экземпляра Azure HPC Cache.
Поддержка DNS, чтобы кэш мог обращаться к хранилищу и другим ресурсам.
Доступ из подсети к дополнительным службам инфраструктуры Microsoft Azure, включая серверы NTP и службу служба хранилища очереди Azure.

Подсеть кэша

Для кэша Azure HPC Cache требуется выделенная подсеть со следующими характеристиками.

В подсети должны быть доступны по меньшей мере 64 IP-адреса.
Обмен данными внутри подсети должен быть неограниченным. Если вы используете группу безопасности сети для подсети кэша, убедитесь, что она разрешает все службы между внутренними IP-адресами.
Подсеть не может размещать другие виртуальные машины, даже для связанных служб, таких как клиентские компьютеры.
При использовании нескольких экземпляров Azure HPC Cache каждому из них требуется собственная подсеть.

Рекомендуем создать новую подсеть для каждого кэша. Вы можете создать виртуальную сеть и подсеть в процессе создания кэша.

При создании этой подсети будьте внимательны, чтобы его параметры безопасности разрешали доступ к необходимым службам инфраструктуры, упоминание далее в этом разделе. Вы можете ограничить исходящее подключение к Интернету, но убедитесь, что существуют исключения для элементов, описанных здесь.

Доступ к DNS

Для доступа к ресурсам за пределами его виртуальной сети кэшу требуется DNS. В зависимости от того, какие ресурсы вы используете, может потребоваться настроить настраиваемый DNS-сервер и настроить пересылку между этим сервером и серверами Azure DNS:

Для доступа к конечным точкам Хранилища BLOB-объектов Azure и другим внутренним ресурсам необходим DNS-сервер на основе Azure.
Для доступа к локальному хранилищу нужно настроить пользовательский DNS-сервер, способный разрешать имена узлов хранилища. Это необходимо сделать до создания кэша.

Если вы используете только Хранилище BLOB-объектов, для кэша можно использовать DNS-сервер по умолчанию, предоставляемый Azure. Однако, если вам нужен доступ к хранилищу или другим ресурсам за пределами Azure, необходимо создать пользовательский DNS-сервер и настроить его для пересылки любых запросов на разрешение, относящихся к Azure, на DNS-сервер Azure.

Чтобы использовать пользовательский DNS-сервер, перед созданием кэша нужно выполнить следующие действия.

Создайте виртуальную сеть, в которой будет размещаться Azure HPC Cache.
Создайте DNS-сервер.
Добавьте DNS-сервер в виртуальную сеть кэша.

Выполните приведенные ниже действия, чтобы добавить DNS-сервер в виртуальную сеть с помощью портала Azure.
1. Откройте виртуальную сеть на портале Azure.
2. Выберите DNS-серверы в меню "Параметры" на боковой панели.
3. Выбор пользовательского
4. В поле "IP-адрес" введите IP-адрес DNS-сервера.

Простой DNS-сервер также можно использовать для балансировки нагрузки подключений клиентов между всеми доступными точками подключения кэша.

Дополнительные сведения о виртуальных сетях Azure и конфигурациях DNS-серверов см. в разделе Разрешение имен ресурсов в виртуальных сетях Azure.

Доступ NTP

HpC Cache должен получить доступ к серверу NTP для регулярной работы. Если вы ограничиваете исходящий трафик из виртуальных сетей, убедитесь, что трафик разрешен по крайней мере одному NTP-серверу. Сервер по умолчанию time.windows.com, а кэш связывается с этим сервером через порт UDP 123.

Создайте правило в группе безопасности сети кэша, которая разрешает исходящий трафик на сервер NTP. Правило может просто разрешить весь исходящий трафик через порт UDP 123 или иметь дополнительные ограничения.

В этом примере явным образом открывается исходящий трафик к IP-адресу 168.61.215.74, который является адресом, используемым time.windows.com.

Приоритет	Имя	Порт	Протокол	Источник	Назначение	Действие
200	NTP	Любое	UDP	Любое	168.61.215.74	Разрешить

Убедитесь, что правило NTP имеет более высокий приоритет, чем любые правила, которые широко запрещают исходящий доступ.

Дополнительные советы по доступу NTP:

Если у вас есть брандмауэры между кэшем HPC и сервером NTP, убедитесь, что эти брандмауэры также разрешают доступ NTP.
Вы можете настроить сервер NTP, который использует hpC Cache на странице "Сеть ". Дополнительные сведения см. в статье "Настройка дополнительных параметров".

Доступ служба хранилища очереди Azure

Кэш должен иметь безопасный доступ к службе очередей Azure служба хранилища из выделенной подсети. Azure HPC Cache использует службу очередей при обмене данными о конфигурации и состоянии.

Если кэш не может получить доступ к службе очередей, при создании кэша может появиться сообщение Cache Подключение ivityError.

Существует два способа предоставления доступа:

Создайте конечную точку службы служба хранилища Azure в подсети кэша. Сведения о добавлении конечной точки службы Microsoft.служба хранилища см. в статье "Добавление подсети виртуальной сети".
Индивидуально настройте доступ к домену службы очередей хранилища Azure в группе безопасности сети или других брандмауэрах.

Добавьте правила для разрешения доступа к этим портам:
- TCP-порт 443 для безопасного трафика к любому узлу в домене queue.core.windows.net (*.queue.core.windows.net).
- TCP-порт 80 — используется для проверки сертификата на стороне сервера. Иногда это называется списком отзыва сертификатов (CRL) проверка связи с протоколом состояния сертификатов (OCSP). Все *.queue.core.windows.net используют один и тот же сертификат и таким образом те же серверы CRL/OCSP. Имя узла хранится в SSL-сертификате на стороне сервера.
Дополнительные сведения см. в советах по правилу безопасности в NTP-доступе .

Эта команда содержит список серверов CRL и OSCP, которым требуется разрешить доступ. Эти серверы должны быть разрешаемыми DNS и доступны через порт 80 из подсети кэша.
```
openssl s_client -connect azure.queue.core.windows.net:443 2>&1 < /dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text -in /dev/stdin |egrep -i crl\|ocsp|grep URI
```
Выходные данные выглядят примерно так, и могут измениться, если ssl-сертификат обновляется:
```
OCSP - URI:http://ocsp.msocsp.com
CRL - URI:http://mscrl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
CRL - URI:http://crl.microsoft.com/pki/mscorp/crl/Microsoft%20RSA%20TLS%20CA%2002.crl
```

Подключение подсети можно проверка с помощью этой команды из тестовой виртуальной машины в подсети:

openssl s_client -connect azure.queue.core.windows.net:443 -status 2>&1 < /dev/null |grep "OCSP Response Status"

Успешное подключение дает следующий ответ:

OCSP Response Status: successful (0x0)

Доступ к серверу событий

Azure HPC Cache использует конечные точки сервера событий Azure для мониторинга работоспособности кэша и отправки диагностических сведений.

Убедитесь, что кэш может безопасно обращаться к узлам в домене events.data.microsoft.com . То есть откройте TCP-порт 443 для трафика *.events.data.microsoft.com.

Разрешения

Прежде чем начать создание кэша, проверьте следующие предварительные условия, касающиеся разрешений.

Экземпляр кэша должен иметь возможность создания виртуальных сетевых интерфейсов (NIC). Пользователь, создающий кэш, должен иметь достаточные привилегии в подписке для создания сетевых интерфейсов.
При использовании Хранилища BLOB-объектов кэшу Azure HPC Cache требуется авторизация для доступа к вашей учетной записи хранения. Используйте управление доступом на основе ролей Azure (Azure RBAC), чтобы предоставить кэшу доступ к Хранилищу BLOB-объектов. Нужны две роли: "Участник учетных записей хранения" и "Участник для данных BLOB-объектов хранилища".

Чтобы добавить роли, следуйте инструкциям в разделе Добавление целевых объектов хранилища.

Инфраструктура хранилища

Кэш поддерживает контейнеры BLOB-объектов Azure, экспорт аппаратного хранилища NFS и контейнеры BLOB-объектов ADLS, подключенные к NFS. Добавьте целевые расположения хранилища после создания кэша.

Каждый тип хранилища имеет определенные предварительные требования.

Требования к хранилищу BLOB-объектов

Если вы хотите использовать Хранилище BLOB-объектов Azure со своим кэшем, вам потребуется совместимая учетная запись хранения и пустой контейнер BLOB-объектов или контейнер, заполненный данными в формате кэша Azure HPC Cache, как описано в разделе Перенос данных в хранилище BLOB-объектов Azure.

Примечание.

Для хранилища BLOB-объектов, подключенного к NFS, применяются другие требования. Дополнительные сведения см. в разделе Требования к хранилищу ADLS-NFS.

Создайте учетную запись, прежде чем пытаться добавить целевое расположение хранилища. Контейнер можно создать при добавлении целевого объекта.

Чтобы создать совместимую учетную запись хранения, используйте одно из следующих сочетаний.

Производительность	Тип	Репликация	Уровень доступа
Standard	StorageV2 (общего назначения, версия 2)	Локально избыточное хранилище (LRS) или хранилище, избыточное между зонами (ZRS)	высокая
Premium	Блочные BLOB-объекты	Локально избыточное хранилище (LRS)	высокая

Учетная запись хранения должна быть доступна из частной подсети кэша. Если ваша учетная запись использует частную конечную точку или общедоступную конечную точку, которая ограничена конкретными виртуальными сетями, включите доступ из подсети кэша. (Открытая общедоступная конечная точка не рекомендуется.)

Ознакомьтесь с рекомендациями по использованию частных конечных точек с целевыми объектами хранилища HPC Cache.

Рекомендуется использовать учетную запись хранения, которая находится в том же регионе Azure, что и кэш.

Вы также должны предоставить приложению кэша доступ к своей учетной записи хранения Azure, как упоминалось в разделе Разрешения выше. Выполните процедуру, описанную в разделе Добавление целевых объектов хранилища, чтобы предоставить кэшу необходимые роли доступа. Если вы не являетесь владельцем учетной записи хранения, выполните этот шаг.

Требования к хранилищу NFS

Если используется система хранения NFS (например, локальная аппаратная система NAS), убедитесь, что она соответствует этим требованиям. Для проверки этих параметров может потребоваться привлечь администраторов сети или диспетчеров брандмауэра, обслуживающих систему хранения (или центр обработки данных).

Примечание.

Создание целевого расположения хранилища завершится сбоем, если кэш не имеет достаточных прав доступа к системе хранения NFS.

Дополнительные сведения см. в статье Устранение неполадок с конфигурацией NAS и целевым расположением хранилища NFS.

Сетевое подключение. Azure HPC Cache требует доступ к сети с высокой пропускной способностью между подсетью кэша и центром обработки данных системы NFS. Рекомендуется использовать ExpressRoute или аналогичный способ доступа. При использовании VPN может потребоваться настроить его для фиксации максимального размера сегмента (MSS) TCP на уровне 1350, чтобы предотвратить блокировку больших пакетов. Дополнительные сведения об устранении неполадок параметров VPN см. в разделеОграничения размера пакетов VPN.
Доступ к портам: кэшу требуется доступ к конкретным портам TCP/UDP в системе хранения. Различные типы хранилища имеют разные требования к портам.

Чтобы проверить параметры системы хранения, выполните описанную ниже процедуру.
- Выполните команду rpcinfo в системе хранения, чтобы проверить необходимые порты. Приведенная ниже команда перечисляет порты и форматирует соответствующие результаты в виде таблицы. (Используйте IP-адрес вашей системы вместо ip-адреса <> storage_IP термин.)
  
  Эту команду можно выполнить из любого клиента Linux с установленной инфраструктурой NFS. Если вы используете клиент в подсети кластера, он также может помочь проверить подключение между подсетью и системой хранения данных.
```
rpcinfo -p <storage_IP> |egrep "100000\s+4\s+tcp|100005\s+3\s+tcp|100003\s+3\s+tcp|100024\s+1\s+tcp|100021\s+4\s+tcp"| awk '{print $4 "/" $3 " " $5}'|column -t
```
Убедитесь, что все порты, возвращенные запросом rpcinfo, разрешают неограниченный трафик из подсети кэша Azure HPC Cache.
- Если вы не можете использовать команду rpcinfo, убедитесь, что эти часто используемые порты разрешают входящий и исходящий трафик.
  
  Протокол Порт Служба
  
  TCP/UDP 111 rpcbind
  
  TCP/UDP 2049 NFS
  
  TCP/UDP 4045 nlockmgr
  
  TCP/UDP 4046 mountd
  
  TCP/UDP 4047 status
  
  Некоторые системы используют другие номера портов для этих служб; чтобы прояснить этот момент, обратитесь к документации по системе хранения.
- Проверьте параметры брандмауэра, чтобы убедиться, что они разрешают трафик через все эти требуемые порты. Не забудьте проверить брандмауэры, используемые в Azure, а также локальные брандмауэры в центре обработки данных.
Серверное хранилище NFS должно быть совместимой аппаратной или программной платформой. Хранилище должно поддерживать NFS версии 3 (NFSv3). Для получения дополнительных сведений обратитесь к команде разработчиков Azure HPC Cache.

Протокол	Порт	Служба
TCP/UDP	111	rpcbind
TCP/UDP	2049	NFS
TCP/UDP	4045	nlockmgr
TCP/UDP	4046	mountd
TCP/UDP	4047	status

Требования к хранилищу BLOB-объектов, подключенному к NFS (ADLS-NFS)

Azure HPC Cache также может использовать контейнер BLOB-объектов, подключенный по протоколу NFS в качестве целевого расположения хранилища.

Дополнительные сведения об этой функции см. в статье Поддержка протокола NFS 3.0 в хранилище BLOB-объектов Azure.

Требования к учетной записи хранения для целевого расположения хранилища BLOB-объектов ADLS-NFS и целевого расположения стандартного хранилища BLOB-объектов различаются. Внимательно следуйте инструкциям в разделе Подключение хранилища BLOB-объектов с использованием протокола NFS 3.0, чтобы создать и настроить учетную запись хранения с поддержкой NFS.

Ниже приведено общее описание этих шагов. Эти шаги могут измениться, поэтому всегда обращайтесь к инструкциям ADLS-NFS для получения актуальных сведений.

Убедитесь, что необходимые компоненты доступны в тех регионах, где вы планируете работать.
Включите функцию протокола NFS для своей подписки. Сделайте это до создания учетной записи хранения.
Создайте защищенную виртуальную сеть для учетной записи хранения. Для учетной записи хранения с поддержкой NFS и кэша Azure HPC Cache следует использовать ту же виртуальную сеть. (Не используйте ту же подсеть, что и кэш.)
Создайте учетную запись хранения.
- Вместо использования параметров учетной записи хранения для стандартной учетной записи хранения BLOB-объектов следуйте инструкциям в соответствующем документе. Тип поддерживаемой учетной записи хранения может отличаться в зависимости от региона Azure.
- В разделе "Сеть" выберите частную конечную точку в созданной защищенной виртуальной сети (рекомендуется) или общедоступную конечную точку с ограниченным доступом из защищенной виртуальной сети.
  
  Ознакомьтесь с рекомендациями по использованию частных конечных точек с целевыми объектами хранилища HPC Cache.
- Не забудьте завершить раздел "Дополнительно", где вы включите доступ к NFS.
- Предоставьте приложению кэша доступ к своей учетной записи хранения Azure, как упоминалось в разделе Разрешения выше. Это можно сделать при первом создании целевого расположения хранилища. Выполните процедуру, описанную в разделе Добавление целевых объектов хранилища, чтобы предоставить кэшу необходимые роли доступа.
  
  Если вы не являетесь владельцем учетной записи хранения, выполните этот шаг.

Дополнительные сведения об использовании целевых расположений хранилища ADLS-NFS с Azure HPC Cache см. в разделе Использование хранилища BLOB-объектов, подключенного к NFS, с кэшем HPC Azure.

Работа с частными конечными точками

служба хранилища Azure поддерживает частные конечные точки для обеспечения безопасного доступа к данным. Частные конечные точки можно использовать с целевыми объектами хранилища BLOB-объектов, подключенными к Azure или NFS.

Подробнее о частных конечных точках

Частная конечная точка предоставляет определенный IP-адрес, который hpC Cache использует для взаимодействия с внутренней системой хранения. Если этот IP-адрес изменяется, кэш не может автоматически повторно установить подключение к хранилищу.

Если необходимо изменить конфигурацию частной конечной точки, выполните следующую процедуру, чтобы избежать проблем с взаимодействием между хранилищем и HPC Cache:

Приостановка целевого объекта хранилища (или всех целевых объектов хранилища, использующих эту частную конечную точку).
Внесите изменения в частную конечную точку и сохраните эти изменения.
Поместите целевой объект хранилища обратно в службу с помощью команды "резюме".
Обновите параметр DNS целевого объекта хранилища.

Чтение целевых объектов хранения и управление ими, чтобы узнать, как приостановить, возобновить и обновить DNS для целевых объектов хранения.

Настройка доступа к Azure CLI (дополнительно)

Если вы хотите создать или управлять Azure HPC Cache из Azure CLI, необходимо установить Azure CLI и расширение hpc-cache. Следуйте инструкциям в разделе Настройка Azure CLI для Azure HPC Cache.

Следующие шаги

Создание экземпляра Azure HPC Cache из портала Azure