В этой статье содержатся ответы на вопросы, которые помогут решить, соответствует ли Avere vFXT для Azure вашим потребностям. Здесь представлены основные сведения о системе Avere vFXT и объясняется, как она работает с другими компонентами Azure и с продуктами от внешних поставщиков.
Общие
Общие сведения об Avere vFXT для Azure
Avere vFXT для Azure — это высокопроизводительная файловая система, которая кэширует активные данные в службе вычислений Azure для эффективной обработки критических рабочих нагрузок.
Является ли система Avere vFXT решением хранилища?
Нет. Avere vFXT для Azure — это кэш файловой системы, который подключается к средам хранения, таким как EMC или NetApp NAS, или контейнер больших двоичных объектов Azure. Avere vFXT упрощает запросы данных от клиентов, а затем кэширует обрабатываемые данные для повышения масштаба и времени производительности. Сама по себе система Avere vFXT не хранит данные. Она не владеет сведениями об объеме данных в источнике, из которого они кэшируются.
Является ли система Avere vFXT решением для распределения по уровням?
Avere vFXT для Azure не выполняет автоматическое распределение данных между горячим и холодным уровнями.
Как узнать, подходит ли среда для Avere vFXT?
Лучший способ подумать об этом вопросе заключается в том, чтобы задать: "Можно ли кэшировать рабочую нагрузку?" То есть, имеет ли рабочая нагрузка высокий коэффициент чтения и записи? Например, 80 операций чтения к 20 операциям записи или 70 к 30 соответственно.
Рассмотрите возможность использования Avere vFXT для Azure, если у вас есть аналитический конвейер на основе файлов, который выполняется в большом количестве виртуальных машин Azure и соответствует одному или нескольким из следующих условий:
Общая производительность медленная или несогласованная из-за длительного времени доступа к файлам (десятки миллисекунд или секунд в зависимости от требований). Такая задержка недопустима для клиента.
Данные, необходимые для обработки, расположены в дальнем конце среды глобальной сети, и перемещение данных навсегда непрактично. Данные могут быть расположены в другом регионе Azure или в центре обработки данных клиента.
Значительное количество клиентов запрашивают данные, например, в кластере высокопроизводительных вычислений (HPC). Большое количество параллельных запросов может увеличить задержку.
Клиент хочет запустить текущий конвейер "как есть" в виртуальных машинах Azure, и ему необходимо решение общего хранилища на основе POSIX (или кэширование) для масштабируемости. При использовании Avere vFXT для Azure вам не нужно перепроектировать рабочий конвейер для выполнения собственных вызовов в хранилище BLOB-объектов Azure.
Ваше приложение HPC создано на основе клиентов NFSv3. (В некоторых случаях могут использоваться клиенты SMB 2.1, но производительность ограничена.)
Следующая диаграмма поможет вам ответить на этот вопрос. Чем ближе ваш рабочий процесс к верхнему правому углу, тем больше вероятность того, что решение Avere vFXT для кэширования Azure подходит для вашей среды.
В каком масштабе клиентов решение Avere vFXT наиболее актуально?
Решение кэширования Avere vFXT предназначено для обработки сотен, тысяч или десятков тысяч вычислительных ядер. Если у вас несколько компьютеров, которые не особо загружены работой, решение Avere vFXT вам не подходит.
Среднестатистические клиенты Avere vFXT выполняют ресурсоемкие рабочие нагрузки, начиная примерно с 1000 ядер ЦП. Размер этих сред может достигать 50 000 ядер или больше. Так как Avere vFXT является масштабируемой, можно добавить узлы для поддержки этих рабочих нагрузок по мере их роста, когда требуется более высокая пропускная способность или дополнительные операции ввода-вывода.
Сколько данных может храниться в среде Avere vFXT?
Avere vFXT для Azure — это кэш. В ней данные не хранятся. В нем используется сочетание ОЗУ и дисков SSD для хранения кэшированных данных. Данные постоянно хранятся в системе серверного хранилища (например, система запоминающего устройства, подключаемого к сети NetApp, или контейнер больших двоичных объектов). Система Avere vFXT не владеет сведениями об объеме хранимых данных, из которого они кэшируются. Avere vFXT кэширует только подмножество данных, которое требуется клиентам.
Какие регионы поддерживаются?
Avere vFXT для Azure поддерживается во всех регионах, кроме суверенных регионов (Китай, Германия). Убедитесь, что область, которую вы хотите использовать, может поддерживать большое количество вычислительных ядер и экземпляры виртуальных машин, необходимых для создания кластера Avere vFXT.
Как получить помощь по работе с Avere vFXT?
Специализированная группа сотрудников службы поддержки предлагает помощь с Avere vFXT для Azure. Чтобы подать запрос в службу поддержки на портале Azure, следуйте инструкциям в разделе Open a support ticket for your Avere vFXT (Подача запроса на поддержку по работе с Avere vFXT).
Характеризуется ли Avere vFXT высокой доступностью?
Да, Avere vFXT выполняется исключительно в качестве решения высокого уровня доступности.
Технические требования: Вычисления
Опишите, как "выглядит" среда Avere vFXT.
Avere vFXT — это кластеризованное устройство, состоящее из нескольких виртуальных машин Azure. Библиотека Python обрабатывает создание, удаление и изменение кластера. Дополнительные сведения см. в статье Общие сведения об Avere vFXT для Azure.
В каких типах виртуальных машин Azure выполняется Avere vFXT?
Кластер Avere vFXT для Azure использует виртуальные машины Microsoft Azure E32s_v3.
Масштабируется ли среда Avere vFXT?
Кластер Avere vFXT может состоять как минимум из трех узлов виртуальной машины или как максимум из 20 узлов. Если вам нужна помощь в подборе правильного размера кластера для рабочего процесса, обратитесь в службу технической поддержки Azure.
Масштабируется ли среда Avere vFXT автоматически?
Нет. Размер кластера можно увеличивать или уменьшать, но добавление или удаление узлов кластера выполняется вручную.
Можно ли запустить кластер Avere vFXT как масштабируемый набор виртуальных машин?
Avere vFXT не поддерживает развертывание масштабируемого набора виртуальных машин. Несколько встроенных механизмов поддержки доступности предназначены только для атомарных виртуальных машин, участвующих в кластере.
Можно ли запускать кластер Avere vFXT на виртуальных машинах с низким приоритетом?
Нет, для системы требуется базовый стабильный набор виртуальных машин.
Можно ли запускать кластер Avere vFXT в контейнерах?
Нет, Avere vFXT необходимо развернуть как независимое приложение.
Учитывается ли количество виртуальных машин Avere vFXT в моей квоте вычислений?
Да. Убедитесь, что для поддержки кластера в вашем регионе достаточно квоты.
Можно ли запускать компьютеры кластера Avere vFXT в разных зонах доступности?
Нет. Модель высокого уровня доступности в Avere vFXT сейчас не поддерживает расположение отдельных элементов кластера Avere vFXT в разных зонах доступности.
Можно ли клонировать виртуальные машины Avere vFXT?
Нет, для добавления или удаления узлов в кластере Avere vFXT нужно использовать поддерживаемый сценарий Python. Дополнительные сведения см. в статье Управление кластером Avere vFXT.
Есть ли версия виртуальной машины программного обеспечения, которую можно запустить в собственной локальной среде?
Нет, система предлагается в качестве кластеризованного устройства и протестирована на виртуальных машинах конкретных типов. Благодаря этому ограничению клиенты избегают создания системы, которая не поддерживает требования стандартного рабочего процесса Avere vFXT к высокой производительности.
Технические требования: диски
Какие типы дисков поддерживаются для виртуальных машин Azure?
Avere vFXT для Azure может использовать конфигурации диска SSD (цен. категория "Премиум") объемом 1 или 4 ТБ. Конфигурацию диска SSD (цен. категория "Премиум") можно развернуть в качестве нескольких управляемых дисков.
Поддерживает ли кластер неуправляемые диски?
Нет, для кластера требуются управляемые диски.
Поддерживает ли система локальные диски SSD (подключенные)?
Avere vFXT для Azure сейчас не поддерживает локальные диски SSD. Диски, используемые для Avere vFXT, должны иметь возможность завершения работы и перезапуска, а локальные подключенные диски SSD в этой конфигурации поддерживают только прекращение работы.
Поддерживает ли система диски SSD ценовой категории "Ультра"?
Нет, эта система поддерживает только конфигурации дисков SSD ценовой категории "Премиум".
Можно ли отключить диски SSD (цен. категория "Премиум") и заново подключить их позже, чтобы сохранить содержимое кэша между использованием?
Отключение и повторное подключение дисков SSD не поддерживается. Метаданные или содержимое файлов в источнике могут измениться между использованиями, что может вызвать проблемы, связанные с целостностью данных.
Выполняет ли система шифрование кэша?
Данные распределяются по дискам, но не шифруются. Тем не менее сами диски можно зашифровать. Дополнительные сведения см. в разделе Шифрование.
Технические требования: сеть
Какая сеть рекомендуется?
Если вы используете локальное хранилище с Avere vFXT, у вас должно быть сетевое соединение 1 Гбит/с или лучше между хранилищем и кластером. Если объем данных небольшой и перед запуском заданий необходимо скопировать данные в облако, VPN-подключения может быть достаточно.
Совет
Чем медленнее сетевой канал, тем медленнее будут начальные "холодные" чтения. Медленные операции чтения увеличивают задержку рабочего конвейера.
Можно ли запускать Avere vFXT в виртуальной сети, которая отличается от используемой моим вычислительным кластером?
Да, систему Avere vFXT можно создать в другой виртуальной сети. Дополнительные сведения см. в статье Планирование системы Avere vFXT.
Требуется ли для Avere vFXT собственная подсеть?
Да. Avere vFXT работает строго как кластер высокой доступности (HA) и требует для работы нескольких IP-адресов. Если кластер находится в собственной подсети, вы можете избежать конфликтов IP-адресов, которые могут привести к проблемам с установкой и перебоям в работе. Подсеть кластера может находиться в виртуальной сети, используемой другими ресурсами, если IP-адреса не перекрываются.
Можно ли запускать Avere vFXT в InfiniBand?
Нет, Avere vFXT использует только Ethernet или IP-сеть.
Как получить доступ к моей локальной среде запоминающего устройства, подключаемого к сети, из Avere vFXT?
Среда Avere vFXT не отличается от любой другой виртуальной машины Azure, поэтому для нее требуется перенаправленный доступ через сетевой шлюз или VPN в центр обработки данных клиента (и обратно). Используйте подключение Azure ExpressRoute, если оно доступно в вашей среде.
Каковы требования к пропускной способности для Avere vFXT?
Общее требование к пропускной способности зависит от двух факторов:
- объем данных, запрашиваемых из источника;
- допустимое значение задержки клиентской системы во время начальной загрузки данных.
В средах, чувствительных к задержкам, следует использовать решение оптоволоконного соединения с минимальной скоростью 1 Гбит/с. Используйте ExpressRoute, если оно доступно.
Можно ли запускать Avere vFXT с использованием общедоступных IP-адресов?
Нет, Avere vFXT должна работать в сетевой среде, защищенной путем применения лучших рекомендаций.
Могу ли я ограничить доступ в Интернет из виртуальной сети моего кластера?
В общем, вы можете настроить дополнительную безопасность в своей виртуальной сети по мере необходимости, но некоторые ограничения могут помешать работе кластера.
Например, ограничение исходящего доступа в Интернет из вашей виртуальной сети вызывает проблемы для кластера, если вы также не добавите правило, которое явно разрешает доступ к AzureCloud. Эта ситуация описана в дополнительной документации на GitHub.
Чтобы получить помощь по настройке безопасности, обратитесь в службу поддержки, как описано в разделе Получение помощи по вашей системе.
Технические требования: внутреннее хранилище (основные файловые системы)
Сколько основных файловых хранилищ поддерживает единая среда Avere vFXT?
Кластер Avere vFXT поддерживает до 20 основных файловых хранилищ.
Каким образом в среде Avere vFXT хранятся данные?
Avere vFXT —это не хранилище. Это кэш, который считывает и записывает данные из нескольких целевых объектов хранилища, называемых основными систематизаторами. Хранимые на дисках SSD в Avere vFXT (цен. категория "Премиум") данные являются временными и со временем переводятся на серверное хранилище основного систематизатора.
Какие основные файловые хранилища поддерживает Avere vFXT?
В общих чертах Avere vFXT для Azure поддерживает следующие системы в качестве основных файловых хранилищ:
Dell EMC Isilon (OneFS 7.1, 7.2, 8.0 и 8.1);
NetApp ONTAP (кластеризованный режим 9.4, 9.3, 9.2, 9.1P1 8.0-8.3) и (7-Mode 7.*, 8.0-8.3);
контейнеры большого двоичного объекта Azure (только локально избыточное хранилище);
Почему Avere vFXT не поддерживает все систематизаторы NFS?
Несмотря на то что все платформы NFS соответствуют одним и тем же стандартам IETF, на практике в каждой реализации есть свои тонкости. Эти сведения влияют на то, как Avere vFXT взаимодействует с системой хранилища. Поддерживаемые системы — это наиболее широко используемые платформы в Marketplace.
Поддерживает ли Avere vFXT частное хранилище объектов (например, SwiftStack)?
Avere vFXT не поддерживает закрытое хранилище объектов.
Как можно получить конкретный продукт хранения с поддержкой?
Поддержка зависит от величины спроса в области. Если будет достаточно запросов на основе дохода для поддержки решения запоминающего устройства, подключаемого к сети, мы примем его во внимание. Выполняйте запросы через службу поддержки Azure.
Можно ли использовать хранилище BLOB-объектов Azure как основное файловое хранилище?
Да, Avere vFXT для Azure может использовать контейнер блочных BLOB-объектов как основной облачный систематизатор.
Каковы требования к учетной записи хранения для основного систематизатора большого двоичного объекта?
Учетная запись хранения должна быть учетной записью общего назначения версии 2 (GPv2) и настроенной только для локально избыточного хранилища. Геоизбыточное хранилище и хранилище, избыточное между зонами, не поддерживаются.
Дополнительные сведения о требованиях к учетной записи хранения см. в разделе Облачное ядро хранилища BLOB-объектов Azure.
Можно ли использовать архивное хранилище больших двоичных объектов?
Нет. Соглашение об уровне обслуживания для архивного хранилища не совместимо с каталогом и файлом с доступом в реальном времени для системы Avere vFXT.
Можно ли использовать холодное хранилище большого двоичного объекта?
Хранилище больших двоичных объектов холодного уровня обычно не рекомендуется для Avere vFXT for Azure core filer. Уровень "Прохладный" предлагает более низкие затраты на хранение, но более высокие эксплуатационные расходы. (Дополнительные сведения см. в разделе Цены на блочные BLOB-объекты.) Если данные будут часто запрашиваться, изменяться или удаляться, рассмотрите возможность использования уровня "Горячий".
Уровни доступа предоставляют дополнительную информацию о том, когда может иметь смысл использовать хранилище уровня Cool в качестве фильтра ядра vFXT.
Как зашифровать контейнер большого двоичного объекта?
Вы можете настроить шифрование больших двоичных объектов в Azure (предпочтительно) или на уровне основного систематизатора Avere vFXT.
Можно ли использовать собственный ключ шифрования для основного систематизатора большого двоичного объекта?
По умолчанию данные шифруются с помощью ключей, управляемых корпорацией Майкрософт для хранилища BLOB-объектов Azure, таблиц и очередей, а также Файлов Azure. Вы можете использовать собственный ключ для шифрования хранилища двоичных объектов и Файлов Azure. Если вы решили применять шифрование Avere vFXT, необходимо использовать ключ, созданный Avere, и сохранить его локально.
Покупки
Как получить Avere vFXT для лицензирования Azure?
Avere vFXT для лицензий Azure можно легко приобрести в Azure Marketplace. Зарегистрируйтесь для получения учетной записи Azure, а затем следуйте инструкциям в статье Развертывание кластера vFXT, чтобы создать кластер Avere vFXT.
Сколько стоит Avere vFXT?
В Azure нет дополнительной стоимости лицензирования за использование кластеров Avere vFXT. Клиенты несут ответственность за хранение и другую плату за потребление ресурсов Azure.
Можно ли запускать виртуальные машины Avere vFXT как низкоприоритетные?
Нет, для кластеров Avere vFXT требуется обслуживание "всегда включено". Кластеры можно отключить, когда они не нужны.
Следующие шаги
Чтобы приступить к работе с Avere vFXT для Azure, прочитайте эти статьи и узнайте, как планировать и развертывать собственную систему:
- Планирование системы Avere vFXT
- Общие сведения о развертывании
- Подготовка к созданию кластера Avere vFXT
- Развертывание кластера Avere vFXT
Дополнительные сведения о возможностях и вариантах использования Avere vFXT см. на странице Avere vFXT для Azure.