Оптимизация хранилища с помощью дедупликации и сжатия ReFS в Azure Stack HCI

Область применения: Azure Stack HCI, версия 23H2

В этой статье описывается функция дедупликации и сжатия отказоустойчивой файловой системы (ReFS), а также описано, как использовать эту функцию в Azure Stack HCI для оптимизации хранилища.

Что такое дедупликация и сжатие ReFS?

Дедупликация и сжатие ReFS — это функция оптимизации хранилища, разработанная специально для активных рабочих нагрузок, таких как инфраструктура виртуальных рабочих столов Azure (VDI) в Azure Stack HCI. Эта функция помогает оптимизировать использование хранилища и снизить затраты на хранение.

Эта функция использует клонирование блоков ReFS для уменьшения перемещения данных и включения операций только метаданных. Функция работает на уровне блока данных и использует фиксированный размер блока в зависимости от размера кластера. Модуль сжатия создает тепловую карту, чтобы определить, подходит ли блок для сжатия, оптимизируя использование ЦП.

Дедупликацию и сжатие ReFS можно запустить как однократное задание или автоматизировать его с помощью запланированных заданий. Эта функция работает как со всеми системами, так и с гибридными системами и поддерживает различные параметры устойчивости, такие как двусторонняя зеркало, вложенная двусторонняя зеркало, трехсторонняя зеркало и зеркало ускорение четности.

Преимущества

Ниже приведены преимущества дедупликации и сжатия ReFS.

• Экономия хранилища для активных рабочих нагрузок. Предназначен для активных рабочих нагрузок, таких как VDI, обеспечивая эффективную производительность в ресурсоемких средах.
• Несколько режимов. Работает в трех режимах: только дедупликация, только сжатие и дедупликация и сжатие (режим по умолчанию), обеспечивая оптимизацию в зависимости от ваших потребностей.
• Добавочная дедупликация. Дедупликирует только новые или измененные данные, а не сканирует весь том каждый раз, оптимизируя длительность задания и уменьшая влияние на производительность системы.

Предварительные требования

Прежде чем начать, убедитесь, что выполнены следующие предварительные требования.

• У вас есть доступ к развернутой и зарегистрированной кластеру Azure Stack HCI.
• У вас есть общий том кластера (CSV), созданный в кластере, и у вас есть доступ к нему.
• В CSV-файле еще не включена функция дедупликации данных Windows.

Использование дедупликации и сжатия ReFS

Дедупликацию и сжатие ReFS можно использовать с помощью Windows Admin Center или PowerShell. PowerShell поддерживает как ручные, так и автоматические задания, тогда как Windows Admin Center поддерживает только запланированные задания. Независимо от метода, вы можете настроить параметры задания и использовать отслеживание изменений файлов для более быстрого последующего выполнения.

Включение и запуск дедупликации и сжатия ReFS

Windows Admin Center

В Windows Admin Center можно создать расписание выполнения дедупликации и сжатия ReFS на существующем или новом томе во время создания тома.

Выполните следующие действия, чтобы включить дедупликацию и сжатие ReFS с помощью Windows Admin Center и задать расписание при запуске.

1. Подключитесь к кластеру, а затем в области Сервис слева выберите Тома.

2. На странице Тома перейдите на вкладку Инвентаризация , выберите соответствующий том, а затем выберите Параметры. Чтобы включить дедупликацию и сжатие ReFS для нового тома, выберите + Создать.

3. В области Параметры тома справа в раскрывающемся списке Дополнительные параметры установите флажок Использовать дедупликацию и сжатие ReFS .

4. Выберите дни недели, в течение которых должна выполняться дедупликация и сжатие ReFS, время запуска задания и максимальную длительность (по умолчанию не ограничено), а затем нажмите кнопку Сохранить.

   На следующем снимку экрана показано, что дедупликация и сжатие ReFS выполняются в пятницу и субботу в 10:40 с максимальной длительностью 2 часа, начиная с 22.09.2023 г. Если дата начала была изменена на 21.09.2023, первый запуск по-прежнему будет выполняться 22.09.2023 в 10:40, так как это первая пятница после 21.09.2023.

   

5. Проверьте изменения в разделе Свойства тома. Расписание отображается в разделе Свойства и отображает разбивку экономии и следующее запланированное время выполнения. Эта экономия обновляется после каждого запуска, и вы можете наблюдать влияние на производительность на диаграммах в разделе Производительность .

   

PowerShell

Чтобы использовать дедупликацию и сжатие ReFS с помощью PowerShell, сначала включите эту функцию, а затем запустите ее как однократное ручное задание или автоматизировать для запуска в качестве запланированных заданий. Задания задаются на уровне CSV для каждого кластера и могут быть настроены в зависимости от режимов, длительности, использования системных ресурсов и т. д.

Включение дедупликации и сжатия ReFS

Выполните следующие действия, чтобы включить дедупликацию и сжатие ReFS с помощью PowerShell.

1. Подключитесь к кластеру Azure Stack HCI и запустите PowerShell от имени администратора.

2. Необходимо выполнить все команды, чтобы изменить параметры на заданном томе на узле-владельце. Выполните следующий командлет, чтобы отобразить все узлы владельца CSV и путь к тому:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Ниже приведен пример выходных данных использования командлета:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Выполните следующий командлет, чтобы включить дедупликацию и сжатие ReFS на определенном томе:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   где: Type является обязательным параметром и может принимать одно из следующих значений:

   • Дедупликация: включает только дедупликацию.
   • DedupAndCompress: включает как дедупликацию, так и сжатие. Это параметр по умолчанию.
   • Сжатие: включает только сжатие.

   Если вы хотите изменить Type параметр, необходимо сначала отключить дедупликацию и сжатие ReFS, а затем снова включить его с помощью нового Type параметра.

   Например, выполните следующий командлет, чтобы включить дедупликацию и сжатие тома:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. После включения дедупликации и сжатия ReFS проверьте его состояние в CSV-файле. Выполните следующий командлет и убедитесь, что Enabled поле в выходных данных отображается как True , а Type поле — в указанном режиме.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Ниже приведен пример выходных данных командлета Get-ReFSDedupStatus , где Enabled поле отображается как True , а Type поле отображается как DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Выполнение дедупликации и сжатия ReFS

После включения этой функции можно запустить одноразовое задание вручную или запланировать повторяющиеся задания по мере необходимости.

Перед запуском следует также учитывать следующие факторы:

• Первым запуском после включения этой функции всегда является полная проверка и оптимизация всего тома. FullRun Если указан параметр, оптимизация охватывает весь том, а не новые или неоптимизированные данные.
• Если формат сжатия не указан, по умолчанию используется алгоритм LZ4. При необходимости можно изменить алгоритм от одного запуска к другому.
• Вы можете указать дополнительные параметры для более сложных вариантов использования. Командлет, используемый в этом разделе, предназначен для простейших вариантов использования.
• Фильтры Полный запуск, Исключенная папка, Исключенные расширения файлов и Минимальное время последнего изменения применяются только при выполнении дедупликации и не применяются при выполнении сжатия.

Выполнение заданий дедупликации и сжатия ReFS вручную

• Чтобы немедленно запустить задание, выполните следующий командлет. После запуска задания оно State может отображаться как , так как NotStarted оно все еще может находиться на этапе инициализации.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -FullRun -CompressionFormat <LZ4 | ZSTD> 
  

  Например, следующий командлет немедленно запускает задание в течение 5 часов с использованием формата сжатия LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -FullRun -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Чтобы остановить выполняемое задание, выполните следующий командлет. Этот командлет работает и для выполняемых запланированных заданий.

  Stop-ReFSDedupJob -Volume <path>
  

  Например, следующий командлет останавливает задание, запущенное в предыдущем примере:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Чтобы просмотреть ход выполнения, экономию и состояние задания, выполните следующий командлет:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Например, следующий командлет отображает состояние задания:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Планирование повторяющихся заданий дедупликации и сжатия ReFS

Задайте расписание повторного выполнения оптимизации хранилища для тома. Затем можно просматривать, задавать или изменять, приостанавливать, возобновлять или очищать расписание заданий.

• Чтобы задать или изменить расписание, выполните следующий командлет:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Например, чтобы настроить повторяющееся задание, выполняемое каждый четверг в 8:30 в течение 5 часов в формате LZ4, выполните следующий командлет. Используйте , -Days EveryDay если вы хотите выполнять задание ежедневно.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Чтобы просмотреть расписание заданий, выполните следующий командлет:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Ниже приведены выходные данные задания, запланированного в предыдущем примере:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Приостановка запланированных заданий

Приостановка расписания отменяет все выполняемые задания и останавливает запланированные запуски в будущем. Этот параметр сохраняет метаданные, связанные с дедупликацией и сжатием ReFS, и продолжает отслеживать изменения файлов для оптимизированных будущих запусков. Вы можете возобновить расписание в любое время с сохранением параметров расписания.

Windows Admin Center

Чтобы приостановить запланированные задания с помощью Windows Admin Center, выполните следующие действия.

1. Подключитесь к кластеру, а затем в области Сервис слева выберите Тома.

2. На странице Тома перейдите на вкладку Инвентаризация , выберите соответствующий том, а затем выберите Параметры.

3. В области Параметры тома справа в раскрывающемся списке Дополнительные параметры снимите флажок Задать расписание и нажмите кнопку Сохранить.

PowerShell

Используйте следующий командлет, чтобы приостановить запланированное задание и проверка состояние с помощью PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Ниже приведен пример выходных данных использования командлета. Поле Suspended отображается как True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Отключение дедупликации и сжатия ReFS на томе

Отключение дедупликации и сжатия ReFS на томе останавливает все выполняемые запуски и отменяет будущие запланированные задания. Кроме того, связанные метаданные тома не сохраняются, а отслеживание изменений файлов останавливается.

При отключении этой функции дедупликация или сжатие не отменяются, так как все операции выполняются на уровне метаданных. Со временем данные возвращаются в исходное состояние, так как том выполняет операции чтения и записи.

Примечание

Операции распаковки можно выполнять с помощью ReFSUtil.

Windows Admin Center

Чтобы отключить эту функцию с помощью Windows Admin Center, выполните следующие действия.

1. Подключитесь к кластеру, а затем в области Сервис слева выберите Тома.

2. На странице Тома перейдите на вкладку Инвентаризация , выберите соответствующий том, а затем выберите Параметры.

3. В области Параметры тома справа в раскрывающемся списке Дополнительные параметры снимите флажок Использовать дедупликацию и сжатие ReFS , а затем нажмите кнопку Сохранить.

PowerShell

Используйте следующий командлет, чтобы приостановить запланированное задание и проверка состояние:

Disable-ReFSDedup -Volume <path>

Ниже приведен пример выходных данных использования командлета. Поле Enabled отображается как False , а Type поле — как пустое.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Часто задаваемые вопросы (FAQ)

В этом разделе содержатся ответы на часто задаваемые вопросы о дедупликации и сжатии ReFS.

Отличается ли функция дедупликации и сжатия ReFS от дедупликации данных Windows?

Да, эта функция полностью отличается от функции дедупликации данных Windows .

Важно!

Мы не поддерживаем одновременное включение дедупликации и сжатия ReFS и дедупликации данных Windows.

Дедупликация и сжатие ReFS предназначены для активных рабочих нагрузок, уделяя особое внимание минимизации влияния на производительность после оптимизации. В отличие от дедупликации данных Windows, дедупликация и сжатие ReFS не используют хранилище блоков для хранения дедуплицированных данных, и физическое перемещение данных не связано. Функция использует клонирование блоков ReFS для выполнения операций только с метаданными. Дедупликация данных Windows может обеспечить лучшую экономию хранилища за счет использования переменных размеров блоков. Она также подходит для более широкого спектра типов рабочих нагрузок, таких как файловые серверы общего назначения (GPFS), целевые объекты резервного копирования и многое другое.

Каковы этапы дедупликации и сжатия ReFS?

Процесс оптимизации состоит из следующих этапов, которые происходят последовательно и зависят от указанного режима. Если выполнение оптимизации достигает предела длительности, сжатие может не выполняться.

• Инициализация. На этом этапе том хранилища проверяется для выявления избыточных блоков данных.

• Дедупликация данных. На этом этапе избыточные блоки создаются по одному экземпляру и отслеживаются с помощью клонирования блоков ReFS.

• Сжатие. На этом этапе создается тепловая карта, определяемая, подходит ли блок для сжатия. Параметры по умолчанию сжимают редко используемые или холодные данные, чтобы уменьшить их размер. Вы можете изменить уровни сжатия, чтобы настроить диапазон блоков, подходящих для сжатия.

Что происходит при достижении предельной длительности до полной оптимизации тома?

Ограничение длительности применяется для предотвращения влияния на производительность рабочих нагрузок клиентов, вызванных заданием оптимизации в рабочее время. Служба дедупликации отслеживает оптимизированные части тома и изменения входящих файлов. Эти данные используются в будущих заданиях для сокращения времени оптимизации. Например, если том обрабатывается только 30 % в первом запуске из-за ограничения длительности, последующий запуск обрабатывает оставшиеся 70 % и любые новые данные.

Известные проблемы

В следующем разделе перечислены известные проблемы, которые в настоящее время существуют с дедупликацией и сжатием ReFS.

Планирование заданий для одновременного выполнения в нескольких csv-файлах в одном кластере может привести к перемещению CSV-файлов и негативно сказаться на производительности.

Статус: Открыть.

Рекомендуется использовать ошеломляющие значения времени начала заданий, чтобы избежать перекрытия. Однако если все задания должны выполняться одновременно, настройте выделение ЦП для каждого задания во всех csv-файлах, чтобы оно не превышало 50 % от общей загрузки ЦП кластера. Имейте в виду, что введение ограничений ЦП может привести к более длительному выполнению заданий.

Задание дедупликации и сжатия ReFS завершено (успешно или отменено), а экономия хранилища не указана в Get-ReFSDedupStatus списке или Windows Admin Center.

Статус: Решены.

Временным решением этой проблемы является запуск одноразового задания и немедленное обновление результатов.

Start-ReFSDedupJob -Volume <path>

Отправка остановленного мониторинга событий трассировки событий Windows (ETW) после отключения дедупликации и сжатия ReFS на томе.

Статус: Решены.

После отключения дедупликации и сжатия ReFS на томе канал трассировки событий Windows для дедупликации ReFS регистрирует повторяющиеся события остановленного мониторинга. Однако мы не ожидаем значительного влияния на использование из-за этой проблемы.

Событие сбоя задания не регистрируется, если том перемещается на другой узел во время сжатия.

Статус: Решены.

Если CSV-файл перемещается на другой сервер кластера во время сжатия, событие сбоя задания не регистрируется в канале дедупликации ReFS. Однако мы не ожидаем значительного влияния на использование из-за этой проблемы.

Дальнейшие действия

• Управление томом.