Развертывание SAS Grid 9.4 на Azure NetApp Files

Azure NetApp Files

Виртуальные машины Azure

Программное обеспечение sas analytics предоставляет набор служб и инструментов для получения аналитических сведений на основе данных и принятия интеллектуальных решений. Решения SAS обеспечивают аналитику, искусственный интеллект, бизнес-аналитику, аналитику клиентов, управление данными, а также аналитику мошенничества и безопасности.

Если вы развертываете SAS Grid в Azure, Azure NetApp Files является приемлемым вариантом основного хранилища. При использовании масштабируемых служб Azure NetApp Files можно в любое время масштабировать выделение хранилища без прерывания работы служб. Вы также можете динамически настраивать уровень обслуживания хранилища в соответствии с требованиями к производительности.

SAS предлагает следующие основные платформы, проверенные корпорацией Майкрософт:

Sas Grid 9.4
SAS Viya

SAS Grid 9.4 была проверена в Linux.

В этой статье приводятся общие сведения о запуске SAS Grid 9.4 в Azure с использованием Azure NetApp Files для хранилища SASDATA. В нем также содержатся рекомендации по вариантам хранения для SASWORK. Эти рекомендации основаны на предположении, что вы размещаете собственное решение SAS в Azure в своем клиенте. SAS не обеспечивает размещение sas Grid в Azure.

Архитектура

Скачайте файл PowerPoint со всеми схемами, приведенными в этой статье.

Поток данных

Уровень вычислений использует тома SASDATA (и при необходимости SASWORK) для совместного использования данных в сетке. SASDATA — это том, подключенный к NFS на Azure NetApp Files.

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Последующая часть задания аналитики может быть запущена другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.

Потенциальные варианты использования

Масштабируемое развертывание SAS Grid, использующее Azure NetApp Files, применимо к следующим вариантам использования:

Финансовая аналитика
Обнаружение мошенничества.
Отслеживание и защита видов, находящихся под угрозой исчезновения
Наука и медицина
Аналитика и ИИ

Требования к производительности хранилища

Для развертываний SAS 9.4 (SAS Grid или SAS Analytics Pro) в Azure Azure NetApp Files является приемлемым вариантом основного хранилища для кластеров SAS Grid ограниченного размера. SAS рекомендует пропускную способность 100 МиБ/с на физическое ядро. Учитывая такую рекомендацию, кластеры SAS Grid, использующие том Azure NetApp Files для SASDATA (постоянные файлы данных SAS), масштабируются до 32–48 физических ядер на двух или более виртуальных машинах Azure. Размеры кластеров SAS основаны на ограничении архитектуры одного пространства имен SASDATA для каждого кластера SAS и доступной пропускной способности тома Azure NetApp Files. Руководство по количеству ядер будет пересмотрено по мере увеличения инфраструктуры Azure (вычислений, сети и пропускной способности хранилища файловой системы) с течением времени.

Azure NetApp Files ожидаемые показатели производительности тома

Один том Azure NetApp Files может обрабатывать до 4500 МиБ/с операций чтения и 1500 МиБ/с операций записи. При наличии типа экземпляра Azure с достаточной пропускной способностью исходящего трафика одна виртуальная машина может использовать всю пропускную способность записи одного тома Azure NetApp Files. Однако только самая большая виртуальная машина может использовать всю пропускную способность чтения одного тома.

SASDATA, main общей рабочей нагрузки SAS 9.4, имеет соотношение чтения и записи 80:20. Важные номера томов для рабочей нагрузки 80:20 с 64KiB для чтения и записи:

2400 МиБ/с пропускной способности чтения и 600 МиБ/с пропускной способности записи, выполняемой одновременно (~3000 МиБ/с вместе взятых).

Дополнительные сведения см. в статье Azure NetApp Files тесты производительности для Linux.

Примечание

Azure NetApp Files функция больших томов теперь доступна. Эта функция обеспечивает более высокую пропускную способность для каждого тома, чем обычные тома Azure NetApp Files. Эта возможность может быть рассмотрена в случае, если для томов SASDATA (или SASWORK) требуется больше производительности. Дополнительные сведения см. в этой документации .

Защита данных

Azure NetApp Files использует моментальные снимки для защиты данных. Моментальные снимки предоставляют эффективные, отказоустойчивые и практически мгновенные изображения томов Azure NetApp Files. Вы можете создавать моментальные снимки вручную в любое время или планировать их с помощью политики snapshot на томе.

Используйте политику snapshot, чтобы добавить автоматическую защиту данных в тома. Вы можете быстро восстановить моментальные снимки с помощью snapshot отменить изменения. Вы также можете восстановить snapshot на новый том для быстрого восстановления данных. Вы также можете использовать восстановление до новых функций тома для предоставления текущих данных в средах тестирования и разработки.

Для дополнительных уровней защиты данных можно использовать решения для защиты данных, использующие Azure NetApp Files резервного копирования или партнерское программное обеспечение для резервного копирования.

Компоненты

Azure Виртуальные машины. Для сетки SAS требуется высокая пропускная способность памяти, хранилища и операций ввода-вывода в соответствующем соотношении с количеством ядер. Azure предлагает стандартные размеры виртуальных машин с меньшим количеством виртуальных ЦП, которые помогают сбалансировать количество необходимых ядер с объемом памяти, хранилища и пропускной способностью ввода-вывода.

Дополнительные сведения см. в статье Ограниченные размеры виртуальных машин с поддержкой виртуальных ЦП. Важно тщательно понимать, какие вычислительные ресурсы доступны для каждого экземпляра. Для запуска службы "Сетка SAS" в Azure с Azure NetApp Files рекомендуется использовать следующие типы экземпляров:
- Standard_E64 16ds_v4 или Standard_E64 16ds_v5
- Standard_E64 32ds_v4 или Standard_E64-32ds_v5
Обязательно ознакомьтесь с рекомендациями по использованию SAS в Azure, включая обновления в комментариях.
Azure NetApp Files. SASDATA можно хранить в томе Azure NetApp Files, совместно используемом в вычислительном кластере.

При необходимости можно также использовать тома Azure NetApp Files NFS для SASWORK.

Azure NetApp Files доступно в трех уровнях обслуживания производительности:
- Standard
- Premium
- Ультра
Производительность тома в основном определяется уровнем обслуживания. Размер тома также является фактором, так как получаемая пропускная способность определяется уровнем обслуживания и размером тома.

Варианты хранения для SASDATA

Так как Azure NetApp Files может обеспечить высокую пропускную способность и доступ к хранилищу с низкой задержкой, это жизнеспособная и быстрая альтернатива диску класса Premium. Хранилище, подключенное к сети, не регулируется на уровне виртуальной машины, как в случае с управляемыми дисками, поэтому вы получаете более высокую пропускную способность к хранилищу.

Чтобы оценить необходимый уровень емкости SASDATA, используйте калькулятор производительности Azure NetApp Files. (Не забудьте выбрать дополнительно.)

Так как Azure NetApp Files тома NFS являются общими, они подходят для размещения SASDATA при использовании с соответствующими типами экземпляров виртуальных машин и дистрибутивом Red Hat Enterprise Linux (RHEL), которые рассматриваются далее в этой статье.

Варианты хранения для SASWORK

В следующей таблице показаны наиболее распространенные варианты хранения для развертывания SASWORK в Azure. В зависимости от требований к размеру (емкости) и скорости (пропускной способности) у вас есть три варианта: временное хранилище, управляемый диск и Azure NetApp Files.

	Временное хранилище	управляемые диски;	Azure NetApp Files
Размер	Small	Большой	Очень большой
Speed	Очень большой	Небольшой	Средний

При выборе варианта учитывайте следующие факторы:

Временное хранилище (или эфемерное хранилище) обеспечивает максимальную пропускную способность, но доступно только в меньших размерах. (Размер зависит от номера SKU виртуальной машины.) В зависимости от доступной и требуемой емкости этот вариант может оказаться оптимальным.
Если требуемая емкость SASWORK превышает размер временного хранилища для выбранного номера SKU виртуальной машины, рассмотрите возможность использования управляемого диска Azure для размещения SASWORK. Однако помните, что пропускная способность управляемого диска ограничена архитектурой виртуальной машины и зависит от номера SKU виртуальной машины. Таким образом, этот вариант хранилища подходит только для сред с более низкими требованиями к производительности SASWORK.
Для обеспечения наивысших требований к емкости SASWORK и средних требований к производительности, превышающих возможности управляемых дисков Azure, рассмотрите Azure NetApp Files для SASWORK. Он обеспечивает большой размер и быструю пропускную способность.

Важно!

В любом сценарии следует помнить, что SASWORK нельзя совместно использовать между вычислительными узлами виртуальных машин, поэтому необходимо создать отдельные тома SASWORK для каждого вычислительного узла. Тома должны быть подключены к NFS только на одном вычислительном узле.

При использовании приведенной выше таблицы, чтобы решить, являются ли ваши потребности небольшими, большими, средними или очень большими, учитывайте масштаб развертывания, количество виртуальных машин и ядер, а также связанные с ними требования к емкости и производительности. Эти оценки необходимо выполнять для каждого развертывания.

Параметры в таблице соответствуют развертываниям, описанным в следующих архитектурах. Во всех сценариях SASDATA размещается на томе Azure NetApp Files NFS и совместно используется на всех вычислительных узлах. Для некоторых дистрибутивов RHEL рекомендуется использовать параметр nconnect NFS, чтобы создать несколько сетевых потоков к тому. Дополнительные сведения см. в разделе Параметры подключения NFS этой статьи.

Архитектура временного хранилища

Для небольших требований к емкости SASWORK временное хранилище виртуальных машин Azure — это быстрое и экономичное решение. В этой архитектуре каждая виртуальная машина на уровне вычислений оснащена временным хранилищем. Сведения о том, как определить размер временного хранилища для используемых виртуальных машин, см. в документации по виртуальным машинам Azure.

Поток данных

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Последующая часть задания аналитики может выполняться другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.
Временный рабочий каталог SASWORK не является общим. Он хранится во временном хранилище на каждом вычислительном узле.

Архитектура управляемых дисков

Если ваши требования к емкости для SASWORK превышают емкость, доступную во временном хранилище, то управляемые диски Azure являются хорошим вариантом. Управляемые диски доступны в различных размерах и уровнях производительности. Дополнительные сведения см. в статье Целевые показатели масштабируемости и производительности для дисков виртуальных машин.

Поток данных

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Последующая часть задания аналитики может выполняться другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.
Временный рабочий каталог SASWORK не является общим. Он хранится на управляемых дисках, подключенных к каждому вычислительному узлу.

архитектура Azure NetApp Files

Для повышения емкости SASWORK и (или) средних требований к производительности рекомендуется использовать Azure NetApp Files. Azure NetApp Files обеспечивает емкость тома до 100 ТиБ. Каждый узел на уровне вычислений должен иметь собственный том SASWORK. Томам не следует предоставлять общий доступ.

Поток данных

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Последующая часть задания аналитики может выполняться другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.
Временный рабочий каталог SASWORK не является общим. Он хранится на отдельных томах Azure NetApp Files, подключенных к каждому вычислительному узлу.

Дистрибутивы RHEL и параметры NFS

Дистрибутивы RHEL

RHEL — это рекомендуемый дистрибутив для запуска SAS 9 в Linux. Каждое ядро, поддерживаеме Red Hat, имеет собственные ограничения пропускной способности NFS.

Подробные сведения о выполнении SAS в Azure см. в статье Рекомендации по использованию SAS в Azure.

Для SAS рекомендуется использовать виртуальные машины Azure Standard_E64 16ds_v4 и Standard_E64 32ds_v4 или их эквиваленты версии 5. С учетом этих рекомендаций в этом разделе приведены некоторые рекомендации по использованию SAS с Azure NetApp Files.

При использовании RHEL 7 оптимальным вариантом является Standard_E64 16ds_v4 или Standard_E64 16ds_v5 в зависимости от 100 МиБ/с на целевой объект физического ядра для SASDATA.
- 16ds_v4 Standard_E64: 90–100 МиБ/с на ядро
- Standard_E64-32ds_v4: 45–50 МиБ/с на ядро
При использовании RHEL 8.2 возможны варианты Standard_E64-16ds_v4 или Standard_E64-32ds_v4 или их эквиваленты версии 5. Standard_E64 16ds_v4 предпочтительнее, учитывая 100 МиБ/с на ядро для SASDATA.
- Standard_E64-16ds_v4: 150–160 МиБ/с на ядро
- Standard_E64-32ds_v4: 75–80 МиБ/с на ядро
Если вы используете RHEL 8.3, Standard_E64-16ds_v4 и Standard_E64-32ds_v4 или их эквиваленты версии 5 являются полностью приемлемыми с учетом целевой пропускной способности для каждого ядра:
- Проверка показывает 3200 МиБ/с операций чтения.
- Эти результаты достигаются с помощью параметра подключения NFS nconnect .

Тестирование показывает, что один экземпляр RHEL 7 достигает не более 750–800 МиБ/с пропускной способности чтения для одной конечной точки хранилища Azure NetApp Files (то есть для сетевого сокета). 1500 МиБ/с операций записи можно достичь для одной и той же конечной точки, если вы используете параметры подключения 64-КиБ rsize и wsize NFS. Некоторые данные свидетельствуют о том, что ранее отмеченный потолок пропускной способности чтения является артефактом ядра 3.10. Дополнительные сведения см. в статье RHEL CVE-2019-11477.

Тестирование показывает, что один экземпляр RHEL 8.2 с ядром 4.18 не имеет ограничений, описанных в ядре версии 3.10. Таким образом, 1200–1300 МиБ/с трафика чтения достижимо, если вы используете вариант подключения 64-КиБ rsize и wsize NFS. Для больших последовательных операций записи можно ожидать ту же 1500 МиБ/с достижимой пропускной способности, что и в RHEL 7.

При использовании одного экземпляра RHEL 8.3 с параметром подключения nconnect (который является новым в дистрибутиве RHEL 8.3) из одного тома Azure NetApp Files достижима пропускная способность чтения 3200 МиБ/с. Не ожидайте более 1500 МиБ/с операций записи в Azure NetApp Files одном томе, даже если применяется nconnect.

Перенастройки ядра

Записи таблицы слотов

NFSv3 не имеет механизма согласования параллелизма между клиентом и сервером. Клиент и сервер определяют свои ограничения, не имея внимания на другом. Для оптимальной производительности следует уровнять максимальное число записей в таблице слотов sunrpc на стороне клиента в соответствии с тем, что поддерживается на сервере без ответной реакции. Когда клиент перегружает возможности сетевого стека сервера по обработке рабочей нагрузки, сервер в ответ уменьшает размер окна для подключения, что не идеально подходит для производительности.

По умолчанию современные ядра Linux определяют размер sunrpc.max_tcp_slot_table_entries записи таблицы слота подключения sunrpc для поддержки 65 536 невыполненных операций. Эти записи в таблице слотов определяют ограничения параллелизма. Значения этого максимума не нужны, так как Azure NetApp Files по умолчанию — 128 невыполненных операций.

Рекомендуется настроить клиент на тот же номер:

Настройка ядра (с помощью /etc/sysctl.conf)
- sunrpc.tcp_max_slot_table_entries=128

Настройка кэша файловой системы

Кроме того, необходимо понимать следующие факторы, влияющие на настройку кэша файловой системы:

Очистка буфера грязное оставляет данные в чистом состоянии, который можно использовать для будущих операций чтения до тех пор, пока нехватка памяти не приведет к вытеснениям.
Существует три триггера для асинхронной операции записи на диск:
- На основе времени. Когда буфер достигает возраста, определенного vm.dirty_expire_centisecs или vm.dirty_writeback_centisecs настраиваемого, он должен быть помечен для очистки (то есть очистки или записи в хранилище).
- Нехватка памяти. Дополнительные сведения см . в разделе vm.dirty_ratio | vm.dirty_bytes.
- Закрытие: при закрытии дескриптора файла все "грязные" буферы асинхронно записываются в хранилище.

Эти факторы контролируются четырьмя настраиваемыми параметрами. Каждую настраиваемую настройку можно настроить динамически и постоянно с помощью tuned или sysctl в файле /etc/sysctl.conf . Настройка этих переменных повышает производительность sas Grid:

Настройка ядра (с помощью настраиваемого профиля)
- include = throughput-performance
- vm.dirty_bytes = 31457280
- vm.dirty_expire_centisecs = 100
- vm.dirty_writeback_centisecs = 300

Параметры подключения NFS

Мы рекомендуем использовать следующие параметры подключения NFS для общих файловых систем NFS, которые используются для постоянных файлов SASDATA :

RHEL 7 и 8.2

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev

RHEL 8.3

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev,nconnect=8

Мы рекомендуем следующие варианты подключения для томов SASWORK , где соответствующие тома используются исключительно для SASWORK и не используются между узлами:

RHEL 7 и 8.2

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev,nocto

RHEL 8.3

bg,rw,hard,rsize=65536,wsize=65536,vers=3,noatime,nodiratime,rdirplus,acdirmin=0,tcp,_netdev,nocto,nconnect=8

Дополнительные сведения о преимуществах и стоимости варианта подключения см. в nocto разделе Таймеры согласованности и таймеры атрибутов "близко к открытию".

Вам также следует ознакомиться с Azure NetApp Files: общая файловая система для использования с SAS Grid в MS Azure, включая все обновления в комментариях.

Параметры упреждающего чтения NFS

Рекомендуется задать для NFS возможность перенастраиваемого чтения для всех дистрибутивов RHEL значение 15 360 КиБ. Дополнительные сведения см. в статье Постоянная настройка упреждающего чтения для подключений NFS.

Альтернативные варианты

Решение хранилища в предыдущих архитектурах является высокодоступным, как указано в соглашении об уровне обслуживания Azure NetApp Files. Для дополнительной защиты и доступности можно реплицировать тома хранилища в другой регион Azure с помощью Azure NetApp Files репликации между регионами.

Репликация томов с помощью решения хранилища имеет два основных преимущества:

Дополнительная нагрузка на виртуальные машины приложения отсутствует.
Это решение избавляет от необходимости запускать виртуальные машины в целевом регионе во время обычной работы.

Содержимое хранилища реплицируется без использования ресурсов вычислительной инфраструктуры, а в целевом регионе не требуется запускать программное обеспечение SAS. Для поддержки этого сценария не требуется запускать конечные виртуальные машины.

В следующей архитектуре показано, как содержимое хранилища на Azure NetApp Files реплицируется во второй регион, где хранилище заполняется реплика рабочих данных. При отработке отказа дополнительный регион будет подключен к сети, а виртуальные машины запускаются, чтобы возобновить рабочую среду во втором регионе. Необходимо перенаправить трафик во второй регион, перенастроив подсистемы балансировки нагрузки, которые не показаны на схеме.

Типичный RPO для этого решения составляет менее 20 минут, если интервал обновления репликации между регионами равен 10 минутам.

Поток данных

Вычислительный узел считывает входные данные из SASDATA и записывает результаты обратно в SASDATA.
Последующая часть задания аналитики может быть запущена другим узлом на уровне вычислений. Она использует ту же процедуру для получения и хранения сведений, необходимых для обработки.
Временный рабочий каталог SASWORK не является общим. Он хранится на отдельных томах Azure NetApp Files, подключенных к каждому вычислительному узлу.
Azure NetApp Files репликация между регионами асинхронно реплицирует том SASDATA, включая все моментальные снимки, в регион аварийного восстановления, чтобы упростить отработку отказа в случае региональной аварии.

Развертывание этого сценария

Лучше всего развертывать рабочие нагрузки с помощью процесса IaC ( инфраструктура как код). Рабочие нагрузки SAS могут быть чувствительны к неправильным конфигурациям, которые часто происходят в развертываниях вручную и снижают производительность.

Чтобы приступить к проектированию сетки SAS в решении Azure, ознакомьтесь с разделами SAS в архитектуре Azure и Автоматизация развертывания SAS в Azure с помощью GitHub Actions.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально она была написана следующими участниками.

Основные авторы:

Герт ван Тейлинген | Менеджер по продуктам группы
Арнт де Гиер | Инженер по техническому маркетингу

Другие участники:

Мик Альбертс | Технический модуль записи

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Поделиться через

Развертывание SAS Grid 9.4 на Azure NetApp Files

Архитектура

Поток данных

Потенциальные варианты использования

Требования к производительности хранилища

Azure NetApp Files ожидаемые показатели производительности тома

Рекомендации по емкости

Защита данных

Компоненты

Варианты хранения для SASDATA

Варианты хранения для SASWORK

Архитектура временного хранилища

Поток данных

Архитектура управляемых дисков

Поток данных

архитектура Azure NetApp Files

Поток данных

Рекомендации по масштабированию и настройке

Дистрибутивы RHEL и параметры NFS

Дистрибутивы RHEL

Перенастройки ядра

Записи таблицы слотов

Настройка кэша файловой системы

Параметры подключения NFS

Параметры упреждающего чтения NFS

Альтернативные варианты

Поток данных

Рекомендации

надежность;

Безопасность

Уровень производительности

Производительность

Масштабируемость

Оптимизация затрат

Модель затрат

Цены

эффективность работы;

Развертывание этого сценария

Соавторы

Дальнейшие действия

Связанные ресурсы

Обратная связь

Обратная связь

Дополнительные ресурсы