Хранилище уровня "Стандартный" с прохладным доступом в Azure NetApp Files

С помощью хранилища Azure NetApp Files уровня "Стандартный" с холодным доступом можно настроить неактивные данные для перемещения из хранилища уровня обслуживания Azure NetApp Files standard ( горячего уровня) в учетную запись хранения Azure ( холодный уровень). Включение холодного доступа перемещает неактивные блоки данных из тома и моментальных снимков тома на холодный уровень, что приводит к экономии затрат.

Большинство холодных данных связано с неструктурированными данными. Она может учесть более 50% от общей емкости хранилища во многих средах хранения. Редко доступ к данным, связанным с программным обеспечением для повышения производительности, завершенными проектами и старыми наборами данных, является неэффективным использованием высокопроизводительного хранилища.

Azure NetApp Files поддерживает три уровня обслуживания, которые можно настроить на уровне пула емкости (цен. категория "Стандартный", "Премиум" и "Ультра"). Холодный доступ — это дополнительная служба только на уровне обслуживания "Стандартный".

На следующей схеме показано приложение с томом, включенным для холодного доступа.

В начальной записи блоки данных назначаются "теплые" значения температуры (на схеме, красные блоки данных) и существуют на "горячем" уровне. Так как данные находятся на томе, проверка температуры отслеживает активность каждого блока. Если блок данных неактивен, сканирование температуры уменьшает значение блока до тех пор, пока не будет неактивным в течение периода охлаждения. Период охлаждения может составлять от 7 до 183 дней; Значение по умолчанию — 31 дней. Помечая "холодным", сканирование по уровням собирает блоки и упаковает их в 4-МБ объекты, которые перемещаются в хранилище Azure полностью прозрачно. Для приложения и пользователей эти холодные блоки по-прежнему отображаются в Сети. Многоуровневые данные по-прежнему доступны пользователям и приложениям путем прозрачного и автоматического извлечения из холодного уровня.

Если Default политика извлечения доступа не настроена в противном случае, блоки данных на холодном уровне, которые считываются случайным образом, становятся "теплыми" и перемещаются обратно на горячий уровень. Помечая как теплые, блоки данных снова подвергаются проверке температуры. Однако большие последовательные операции чтения (например, индекс и антивирусная проверка) на неактивных данных на холодном уровне не "нагревают" данные и не активируют неактивные данные, которые будут перемещены обратно на горячий уровень.

Метаданные никогда не охлаждаются и всегда остаются на горячем уровне. Таким образом, действия рабочих нагрузок с большим объемом метаданных (например, среды с высоким числом файлов, такие как проектирование микросхем, VCS и домашние каталоги), не влияют на распределение по уровням.

Поддерживаемые регионы

Хранилище уровня "Стандартный" с холодным доступом поддерживается для следующих регионов:

• Центральная Австралия
• Центральная Австралия 2
• Восточная Австралия
• Юго-Восточная часть Австралии
• Южная Бразилия
• Юго-Восточная Бразилия
• Центральная Канада
• Восточная Канада
• Центральная Индия
• Центральная часть США
• Восточная Азия
• Восточная часть США
• Восточная часть США 2
• Центральная Франция
• Северная Германия
• Центрально-Западная Германия
• Восточная Япония
• Западная Япония
• Республика Корея, центральный регион
• Республика Корея, южный регион
• Центрально-северная часть США
• Северная Европа
• Восточная Норвегия;
• Западная Норвегия
• Центральный Катар
• Северная часть ЮАР;
• Центрально-южная часть США
• Южная Индия
• Юго-Восточная Азия
• Северная Швейцария
• Западная Швейцария
• Центральная Швеция
• Центральная часть ОАЭ
• Северная часть ОАЭ;
• южная часть Соединенного Королевства
• западная часть Соединенного Королевства
• US Gov (Аризона)
• US Gov (Техас)
• US Gov (Вирджиния)
• Западная Европа
• Западная часть США
• западная часть США 2
• Западная часть США — 3

Эффекты холодного доступа к данным

В этом разделе описывается проверка потепления большого набора данных. В нем показан пример сценария набора данных, где 100 % данных находится на холодном уровне и как он нагревается с течением времени.

Обычно случайный доступ к данным начинается как часть рабочего набора (чтение, изменение и запись). По мере того как данные теряют релевантность, он становится "холодным" и в конечном итоге различен на холодный уровень.

Холодные данные могут снова стать горячими. Это не типично для всего рабочего набора, чтобы начать как холодный, но некоторые сценарии существуют, например, аудиты, годовая обработка, квартальная обработка, судебные разбирательства и обзоры в конце года.

Этот сценарий предоставляет аналитические сведения о поведении производительности 100 % прохладного набора данных. Представление применяется, является ли это небольшим процентом или целым набором данных.

Тест случайного чтения 4k

В этом разделе описывается тест на 4 кб случайного чтения в 160 файлов, в общей сложности 10 ТБ данных.

Настройка

Размер пула емкости: 100-ТБ пул емкости
Выделенная емкость тома: 100-ТБ тома
Рабочий набор данных: 10 ТБ
Уровень обслуживания: хранилище уровня "Стандартный" с холодным доступом
Количество томов и размер: 1
Число клиентов: четыре стандартных 8-s клиента
ОС: RHEL 8.3
Параметр подключения:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

Методология

Этот тест был настроен через FIO для запуска 4k произвольного чтения теста в 160 файлов, в общей сложности 10 ТБ данных. FIO был настроен для случайного чтения каждого блока во всем рабочем наборе данных. (Он может считывать любой блок любое количество раз в рамках теста, а не касаться каждого блока один раз). Этот скрипт вызывается каждые 5 минут, а затем точка данных, собираемая на производительность. При случайном чтении блоков они перемещаются на горячий уровень.

Этот тест имел большой набор данных и выполнял несколько дней, начиная с наиболее устаревших данных (все кэши с дампами). Компонент времени оси X удален, так как общее время повторного восстановления зависит от размера набора данных. Эта кривая может находиться в днях, часах, минутах или даже секундах в зависимости от набора данных.

Результаты

На следующей диаграмме показан тест, который выполнялся более 2,5 дней в 10-ТБ рабочем наборе данных, который был охладлен 100 % и буферы очищались (абсолютный худший случай устаревших данных).

64k последовательный тест чтения

Настройка

Размер пула емкости: 100-ТБ пул емкости
Выделенная емкость тома: 100-ТБ тома
Рабочий набор данных: 10 ТБ
Уровень обслуживания: хранилище уровня "Стандартный" с холодным доступом
Количество томов и размер: 1
Число клиентов: один крупный клиент
ОС: RHEL 8.3
Параметр подключения:rw,nconnect=8,hard,rsize=262144,wsize=262144,vers=3,tcp,bg,hard

Методология

Последовательно считываемые блоки не перенаправиваются на горячий уровень. Однако небольшие размеры набора данных могут видеть улучшения производительности из-за кэширования (без гарантий изменения производительности).

Этот тест предоставляет следующие точки данных:

• Набор данных горячего уровня 100 %
• 100 % холодный набор данных уровня

Этот тест выполнялся в течение 30 минут, чтобы получить стабильный номер производительности.

Результаты

В следующей таблице перечислены результаты теста:

64-k последовательный	Пропускная способность операций чтения
Горячие данные	1683 МБ/с
Холодные данные	899 МБ/с

Тестовые выводы

Данные, считыванные на холодном уровне, испытывают удар по производительности. Если вы правильно охладите время, возможно, вы не столкнулись с ударом по производительности. У вас может быть мало холодного доступа к уровню, и 30-дневное окно идеально подходит для сохранения теплых данных тепло.

Следует избежать ситуации, которая блокирует блоки между горячим уровнем и холодным уровнем. Например, вы устанавливаете рабочую нагрузку для данных, чтобы прохладить семь дней, и вы случайно считываете большой процент набора данных каждые 11 дней.

В итоге, если рабочий набор предсказуем, вы можете сэкономить затраты, перемещая редко доступ к блокам данных на холодный уровень. Диапазон ожидания от 7 до 30 дней до охлаждения предоставляет большое окно для рабочих наборов, которые редко обращаются после того, как они спят или не требуют скорости горячего уровня при доступе.

Метрики

Холодный доступ предлагает метрики производительности для понимания шаблонов использования на основе тома:

• Размер холодного уровня доступа тома
• Размер чтения данных на холодном уровне доступа тома
• Размер записи данных на холодном уровне доступа тома

Выставление счетов

Вы можете включить выравнивание на уровне тома для только что созданного пула емкости, использующего уровень обслуживания "Стандартный". Выставление счетов основано на следующих факторах:

• Емкость уровня обслуживания "Стандартный"
• Нераспределенная емкость в пуле емкости
• Емкость на холодном уровне (включение уровня для томов в пуле емкости "Стандартный")
• Сетевая передача между горячим уровнем и холодным уровнем по скорости, определяемой разметкой поверх стоимости транзакций (GET и PUT запросов) в хранилище BLOB-объектов и передаче приватного канала в любом направлении между горячими уровнями.

Расчет выставления счетов для пула емкости уровня "Стандартный" находится на уровне "горячий" для данных, которые не на уровне "холодный"; сюда входит нераспределенная емкость в пуле емкости. При включении распределения по уровням для томов емкость на холодном уровне будет находиться в скорости холодного уровня, а оставшаяся емкость будет находиться в скорости горячего уровня. Скорость прохладного уровня ниже скорости горячего уровня.

Примеры структуры выставления счетов

Предположим, что вы создали пул емкости 4 TiB Standard. Структура выставления счетов находится на уровне "Стандартный" для всего 4 ТиБ.

При создании томов в пуле емкости и запуске данных по уровням на холодный уровень ниже описаны применимые структуры выставления счетов:

• Предположим, что вы создаете три тома с 1 ТиБ каждый. Вы не включаете многоуровневую настройку на уровне тома. Расчет выставления счетов выглядит следующим образом:

  • 3 ТиБ выделенной емкости с частотой горячего уровня
  • 1 ТиБ нераспределенной емкости с частотой горячего уровня
  • Ноль емкости с частотой холодного уровня
  • Нулевая сетевая передача между горячим уровнем и холодным уровнем по скорости, определяемой разметкой поверх затрат транзакций (GET, PUT) на хранилище BLOB-объектов и приватный канал передачи в любом направлении между горячими уровнями.

• Предположим, что вы создаете четыре тома с 1 ТиБ каждый. Каждый том имеет 0,25 ТиБ емкости тома на горячем уровне и 0,75 ТиБ емкости тома на холодном уровне. Расчет выставления счетов выглядит следующим образом:

  • Емкость 1-ТиБ с частотой горячего уровня
  • Емкость 3-ТиБ на холодном уровне
  • Сетевая передача между горячим уровнем и холодным уровнем по скорости, определяемой разметкой поверх стоимости транзакций (GET, PUT) в хранилище BLOB-объектов и передаче приватного канала в любом направлении между горячими уровнями.

• Предположим, что вы создаете два тома с 1 ТиБ каждый. Каждый том имеет 0,25 ТиБ емкости тома на горячем уровне и 0,75 ТиБ емкости тома на холодном уровне. Расчет выставления счетов выглядит следующим образом:

  • Емкость 0,5 ТиБ с частотой горячего уровня
  • 2 ТиБ нераспределенной емкости на горячем уровне
  • Емкость 1.5 ТиБ на холодном уровне
  • Сетевая передача между горячим уровнем и холодным уровнем по скорости, определяемой разметкой поверх стоимости транзакций (GET, PUT) в хранилище BLOB-объектов и передаче приватного канала в любом направлении между горячими уровнями.

• Предположим, что вы создаете один том с 1 ТиБ. Том имеет 0,25 ТиБ емкости тома на горячем уровне, 0,75 емкости тома на холодном уровне. Расчет выставления счетов выглядит следующим образом:

  • Емкость 0.25-TiB с частотой горячего уровня
  • Емкость 0,75-ТиБ на холодном уровне
  • Сетевая передача между горячим уровнем и холодным уровнем по скорости, определяемой разметкой поверх стоимости транзакций (GET, PUT) в хранилище BLOB-объектов и передаче приватного канала в любом направлении между горячими уровнями.

Примеры вычислений затрат с различными периодами охлаждения

В этом разделе приведены примеры затрат на хранение и передачу сети с различными периодами охлаждения.

В этих примерах предположим, что:

• Стоимость хранилища горячего уровня составляет 0,000202/ГиБ/ч. Стоимость хранилища на холодном уровне составляет $0,000082/GiB/hr.
• Стоимость передачи сети (включая действия чтения или записи с холодного уровня) составляет $0,020000/ГиБ.
• У вас есть пул емкости 5 ТиБ с поддержкой холодного доступа.
• У вас есть 1 ТиБ нераспределенной емкости в пуле емкости
• У вас есть 4-ТиБ-том с поддержкой холодного доступа.
• 3 ТиБ из 4 ТиБ перемещается на холодный уровень после периода прохлады.
• Вы считываете или записываете 20% данных каждый месяц из холодного уровня.
• Каждый месяц составляет 30 дней или 730 часов. Поэтому каждый день составляет 730/30 часов.

Внимание

• Эти вычисления должны использоваться только в качестве эталонной оценки, а не для проверки точности суммы счета.
• Ставки, которые рассматриваются в примерах, являются примером региона и могут отличаться для выбранного региона развертывания.
• Если данные считываются или записываются на холодный уровень, это приведет к изменению процента распределения данных на горячем уровне и холодном уровне. Вычисления в этой статье демонстрируют начальное процентное распределение на горячих и холодных уровнях, а не после перемещения 20% данных на холодный уровень или из него.

Примечание.

В следующих примерах представлено 1 ТиБ нераспределенного пространства в пуле емкости, чтобы показать, как нераспределенное пространство взимается при включении холодного доступа. Чтобы максимально повысить экономию, размер пула емкости должен быть сокращен, чтобы исключить нераспределенный объем пула.

Пример 1. Период охлаждения имеет значение 7 дней

Затраты на хранение в течение первого месяца будут следующими:

Себестоимость	Description	Расчет
Нераспределенные затраты на хранение за день 1~30 (30 дней)	1 ТиБ нераспределенного хранилища	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
служба хранилища стоимость дня 1~7 (семь дней)	4 ТиБ активных данных (горячий уровень)	4 TiB x 1024 x 7 days x 730/30 hrs. x $0.000202/GiB/hr. = $140.93
служба хранилища стоимость дня 8~30 (23 дня)	1 ТиБ активных данных (горячий уровень) 3 ТиБ неактивных данных (холодный уровень)	1 TiB x 1024 x 23 days x 730/30 hrs. x $0.000202/GiB/hr. = $115.77 3 TiB x 1024 x 23 days x 730/30 hrs. x $0.000082/GiB/hr. = $140.98
Затраты на передачу сети	Перемещение неактивных данных на холодный уровень 20 % данных считывания и записи с холодного уровня	3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Общее число первых месяцев		$622.41

Ежемесячные затраты на хранение в течение второго и последующих месяцев :

Себестоимость	Description	Расчет
стоимость служба хранилища в течение 30 дней	1 ТиБ нераспределенного хранилища 1 ТиБ активных данных (горячий уровень) 3 ТиБ неактивных данных (холодный уровень)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Затраты на передачу сети	20 % данных считывания и записи с холодного уровня	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Второй и последующий ежемесячный итог		$498.18

Ваша первая шестимесячная экономия:

• Стоимость без холодного доступа: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Затраты с холодным доступом: First month + Second month + … + Sixth month = $622.41 + (5x $498.18) = $3,113.31
• Экономия с помощью холодного доступа: 31.27%

Ваши первые двенадцать месяцев экономии:

• Стоимость без холодного доступа: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Затраты с холодным доступом: First month + Second month + … + twelfth month = $622.41 + (11 x $498.18) = $6,102.39
• Экономия с помощью холодного доступа: 32.64%

Пример 2. Период охлаждения имеет значение 35 дней

Все 5 ТиБ являются активными данными (в горячем уровне) в течение первого месяца. Затраты на хранение в течение первого месяца будут следующими: 5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

Затраты на хранение за второй месяц будут следующими:

Себестоимость	Description	Расчет
Нераспределенные затраты на хранение за день 1~30 (30 дней)	1 ТиБ нераспределенного хранилища	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
служба хранилища стоимость дня 1~5 (пять дней)	4 ТиБ активных данных (горячий уровень)	4 TiB x 1024 x 5 days x 730/30 hrs. x $0.000202/GiB/hr. = $100.67
служба хранилища стоимость дня 6~30 (25 дней)	1 ТиБ активных данных (горячий уровень) 3 ТиБ неактивных данных (холодный уровень)	1 TiB x 1024 x 25 days x 730/30 hrs. x $0.000202/GiB/hr. = $125.83 3 TiB x 1024 x 25 days x 730/30 hrs. x $0.000082/GiB/hr. = $153.24
Затраты на передачу сети	Перемещение неактивных данных на холодный уровень 20 % данных считывания и записи с холодного уровня	3 TiB x 1024 x $0.020000 /GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Итог второго месяца		$604.47

Ежемесячные затраты на хранение за третий и последующий месяцы будут следующими:

Себестоимость	Description	Расчет
стоимость служба хранилища в течение 30 дней	1 ТиБ нераспределенного хранилища 1 ТиБ активных данных (горячий уровень) 3 ТиБ неактивных данных (холодный уровень)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Затраты на передачу сети	20 % данных считывания и записи с холодного уровня	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Третий и последующий ежемесячный итог		$498.18

Ваша первая шестимесячная экономия:

• Стоимость без холодного доступа: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Затраты с холодным доступом: First month + Second month + … + Sixth month = $755.00 + $604.47 + (4 x $498.18) = $3,352.19
• Экономия с помощью холодного доступа: 25.99%

Ваши первые двенадцать месяцев экономии:

• Стоимость без холодного доступа: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Затраты с холодным доступом: First month + Second month + … + twelfth month = $755.00 + $604.47 + (10 x $498.18) = $6,341.27
• Экономия с помощью холодного доступа: 30.00%

Пример 3. Период охлаждения имеет значение 63 дней

Все 5 ТиБ являются активными данными (в горячем уровне) в течение первых двух месяцев. Ежемесячные затраты на хранение за первые и второй месяцы будут следующими: 5 TiB x 1024 x 730hr. x $0.000202/GiB/hr. = $755.00

Затраты на хранение за третий месяц будут следующими:

Себестоимость	Description	Расчет
Нераспределенные затраты на хранение за день 1~30 (30 дней)	1 ТиБ нераспределенного хранилища	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00
служба хранилища стоимость дня 1~3 (три дня)	4 ТиБ активных данных (горячий уровень)	4 TiB x 1024 x 3 days x 730/30 hrs. x $0.000202/GiB/hr. = $60.40
служба хранилища стоимость дня 4~30 (27 дней)	1 ТиБ активных данных (горячий уровень) 3 ТиБ неактивных данных (холодный уровень)	1 TiB x 1024 x 27 days x 730/30 hrs. x $0.000202/GiB/hr. = $135.90 3 TiB x 1024 x 27 days x 730/30 hrs. x $0.000082/GiB/hr. = $165.50
Затраты на передачу сети	Перемещение неактивных данных на холодный уровень 20 % данных считывания и записи с холодного уровня	3 TiB x 1024 x $0.020000/GiB = $61.44 3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Итог третьего месяца		$586.52

Ежемесячные затраты на хранение за четвертые и последующие месяцы будут следующими:

Себестоимость	Description	Расчет
стоимость служба хранилища в течение 30 дней	1 ТиБ нераспределенного хранилища 1 ТиБ активных данных (горячий уровень) 3 ТиБ неактивных данных (холодный уровень)	1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 1 TiB x 1024 x 30 days x 730/30 hrs. x $0.000202/GiB/hr. = $151.00 3 TiB x 1024 x 30 days x 730/30 hrs. x $0.000082/GiB/hr. = $183.89
Затраты на передачу сети	20 % данных считывания и записи с холодного уровня	3 TiB x 1024 x 20% x $0.020000/GiB = $12.29
Четвертый и последующий ежемесячный итог		$498.18

Ваша первая шестимесячная экономия:

• Стоимость без холодного доступа: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 6 months = $4,529.97
• Затраты с холодным доступом: First month + Second month + … + Sixth month = (2 x $755.00) + $586.52 + (3 x $498.18) = $3,591.06
• Экономия с помощью холодного доступа: 20.73%

Ваши первые двенадцать месяцев экономии:

• Стоимость без холодного доступа: 5 TiB x 1024 x $0.000202/GiB/hr. x 730 hrs. x 12 months = $9,059.94
• Затраты с холодным доступом: First month + Second month + … + twelfth month = (2 x $755.00) + $586.52 + (9 x $498.18) = $6,580.14
• Экономия с помощью холодного доступа: 27.37%

Совет

Хранилище Azure NetApp Files уровня "Стандартный" можно использовать с холодным методом оценки экономии средств доступа для интерактивной оценки экономии затрат на основе изменяемых входных параметров.

Следующие шаги

• Управление хранилищем Azure NetApp Files уровня "Стандартный" с прохладным доступом
• Метрики для Azure NetApp Files