Оптимизация хранилища с помощью дедупликации и сжатия ReFS в Azure Stack HCI

Область применения: Azure Stack HCI версии 23H2

В этой статье описывается функция дедупликации и сжатия отказоустойчивой файловой системы (ReFS) и использование этой функции в Azure Stack HCI для оптимизации хранилища.

Что такое дедупликация и сжатие ReFS?

Дедупликация и сжатие ReFS — это функция оптимизации хранилища, предназначенная специально для активных рабочих нагрузок, таких как инфраструктура виртуальных рабочих столов Azure (VDI) в Azure Stack HCI. Эта функция помогает оптимизировать использование хранилища и сократить затраты на хранение.

Эта функция использует клонирование блоков ReFS для уменьшения перемещения данных и включения только операций с метаданными. Эта функция работает на уровне блока данных и использует фиксированный размер блока в зависимости от размера кластера. Модуль сжатия создает тепловую карту, чтобы определить, должен ли блок иметь право на сжатие, оптимизируя использование ЦП.

Дедупликация и сжатие ReFS можно выполнять как одноразовое задание или автоматизировать его с запланированными заданиями. Эта функция работает как со всеми вспышками, так и с гибридными системами и поддерживает различные параметры устойчивости, такие как двухсторонняя зеркальная, вложенная двухсторонняя зеркальная, трехсторонняя зеркальная и зеркальная ускоренная четность.

Льготы

Ниже приведены преимущества дедупликации и сжатия ReFS:

• Экономия хранилища для активных рабочих нагрузок. Предназначен для активных рабочих нагрузок, таких как VDI, обеспечивая эффективную производительность в требовательных средах.
• Несколько режимов. Работает в трех режимах: дедупликация только, сжатие только и дедупликация и сжатие (режим по умолчанию), что позволяет оптимизировать в зависимости от ваших потребностей.
• Добавочная дедупликация. Дедупликирует только новые или измененные данные в отличие от сканирования всего тома каждый раз, оптимизации длительности задания и снижения влияния на производительность системы.

Необходимые компоненты

Прежде чем начать, убедитесь, что выполнены следующие предварительные требования:

• У вас есть доступ к кластеру Azure Stack HCI, который развернут и зарегистрирован.
• В кластере создан общий том кластера (CSV) и у вас есть доступ к нему.
• В CSV-файле еще не включена функция дедупликации данных Windows.

Использование дедупликации и сжатия ReFS

Вы можете использовать дедупликацию и сжатие ReFS с помощью Центра администрирования Windows или PowerShell. PowerShell позволяет выполнять как вручную, так и автоматические задания, в то время как Windows Admin Center поддерживает только запланированные задания. Независимо от метода, можно настроить параметры задания и использовать отслеживание изменений файлов для более быстрых последующих запусков.

Включение и запуск дедупликации и сжатия ReFS

Windows Admin Center

В Windows Admin Center можно создать расписание дедупликации и сжатия ReFS для запуска на существующем томе или новом томе во время создания тома.

Выполните следующие действия, чтобы включить дедупликацию и сжатие ReFS с помощью Центра администрирования Windows и задать расписание при выполнении:

1. Подключитесь к кластеру, а затем на панели "Сервис " слева выберите тома.

2. На странице "Тома" выберите вкладку "Инвентаризация", выберите соответствующий том, а затем выберите "Параметры". Чтобы включить дедупликацию и сжатие ReFS для нового тома, нажмите кнопку +Создать.

3. В области параметров тома справа в раскрывающемся списке "Дополнительные параметры" установите флажок "Использовать дедупликацию ReFS" и "Сжатие".

4. Выберите дни недели, когда дедупликация ReFS и сжатие должны выполняться, время запуска задания и максимальная длительность (по умолчанию не ограничено), а затем нажмите кнопку "Сохранить".

   На следующем снимне экрана показано, что дедупликация и сжатие ReFS выполняются в пятницу и субботу в 10:40 с максимальной длительностью 2 часа, начиная с 9.22.2023. Если дата начала была изменена на 9.21.2023, первый запуск по-прежнему будет 9.22.2023 10:40 УТРА, так как это первая пятница после 9.21.2023.

   

5. Проверьте изменения в разделе "Свойства " тома. Расписание отображается в разделе "Свойства" и отображает разбивку экономии и следующее запланированное время выполнения. Эти экономии обновляются после каждого запуска, и вы можете наблюдать влияние производительности на диаграммах в разделе "Производительность ".

   

PowerShell

Чтобы использовать дедупликацию и сжатие ReFS с помощью PowerShell, сначала включите эту функцию, а затем запустите ее в качестве однократного ручного задания или автоматизируете его в качестве запланированных заданий. Задания задаются на уровне CSV для каждого кластера и могут быть настроены на основе режимов, длительности, использования системных ресурсов и т. д.

Включение дедупликации и сжатия ReFS

Выполните следующие действия, чтобы включить дедупликацию и сжатие ReFS с помощью PowerShell:

1. Подключитесь к кластеру Azure Stack HCI и запустите PowerShell от имени администратора.

2. Для изменения параметров на заданном томе на узле владельца необходимо выполнить все команды. Выполните следующий командлет, чтобы отобразить все узлы владельца CSV и путь тома:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Ниже приведен пример выходных данных использования командлета:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Выполните следующий командлет, чтобы включить дедупликацию и сжатие ReFS на определенном томе:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   где: Type является обязательным параметром и может принимать одно из следующих значений:

   • Дедупликация: включает только дедупликацию.
   • ДедупандаAndCompress: включает дедупликацию и сжатие. Этот параметр по умолчанию.
   • Сжатие: включает только сжатие.

   Если вы хотите изменить Type параметр, необходимо сначала отключить дедупликацию и сжатие ReFS, а затем снова включить его с помощью нового Type параметра.

   Например, выполните следующий командлет, чтобы включить дедупликацию и сжатие тома:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. После включения дедупликации и сжатия ReFS проверьте его состояние в CSV-файле. Выполните следующий командлет и убедитесь, что Enabled поле в выходных данных отображается как True и Type поле отображает указанный режим.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Ниже приведен пример выходных данных командлета Get-ReFSDedupStatus , в котором Enabled поле отображается как True и Type поле отображается следующим образом DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Выполнение дедупликации и сжатия ReFS

После включения этой функции можно выполнить однократное задание вручную или запланировать повторяющиеся задания по мере необходимости.

Перед выполнением следует также учитывать следующие другие аспекты:

• Если формат сжатия не указан, алгоритм по умолчанию — LZ4. Алгоритм можно изменить с одного запуска на другой по мере необходимости.
• Можно указать дополнительные параметры для более сложных вариантов использования. Командлет, используемый в этом разделе, предназначен для наиболее простого варианта использования.
• Исключенная папка, исключенные расширения файлов и фильтры времени последнего изменения применяются только при выполнении дедупликации и не применяются при выполнении сжатия.

Ручное выполнение заданий дедупликации и сжатия ReFS

• Чтобы немедленно запустить задание, выполните следующий командлет. После запуска задания его State может появиться, так как NotStarted он по-прежнему может находиться на этапе инициализации.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Например, следующий командлет немедленно запускает задание в течение 5 часов с использованием формата сжатия LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Чтобы остановить выполняемое задание, выполните следующий командлет. Этот командлет также работает для запланированных заданий.

  Stop-ReFSDedupJob -Volume <path>
  

  Например, следующий командлет останавливает задание, которое вы запустили в предыдущем примере:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Чтобы просмотреть ход выполнения, экономию и состояние задания, выполните следующий командлет:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Например, следующий командлет отображает состояние задания:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Планирование повторяющихся заданий дедупликации и сжатия ReFS

Задайте расписание повторного выполнения оптимизации хранилища для тома. Затем можно просмотреть, задать или изменить, приостановить, возобновить или очистить расписание задания.

• Чтобы задать или изменить расписание, выполните следующий командлет:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Например, чтобы настроить повторяющееся задание, запланированное на выполнение каждые четверг в 8:30 в течение 5 часов в формате LZ4, выполните следующий командлет. Используйте, -Days EveryDay если вы хотите выполнять задание ежедневно.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Чтобы просмотреть расписание задания, выполните следующий командлет:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Ниже приведены выходные данные задания, запланированного в предыдущем примере:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Приостановка запланированных заданий

Приостановка расписания отменяет все выполняемые задания и останавливает запланированные запуски в будущем. Этот параметр сохраняет дедупликацию ReFS и метаданные, связанные с сжатием, и продолжает отслеживать изменения файлов для оптимизированных будущих запусков. Вы можете возобновить расписание в любое время с сохраненными параметрами расписания.

Windows Admin Center

Выполните следующие действия, чтобы приостановить запланированные задания с помощью Windows Admin Center:

1. Подключитесь к кластеру, а затем на панели "Сервис " слева выберите тома.

2. На странице "Тома" выберите вкладку "Инвентаризация", выберите соответствующий том, а затем выберите "Параметры".

3. В области параметров тома справа в раскрывающемся списке "Дополнительные параметры" установите флажок "Задать расписание" и нажмите кнопку "Сохранить".

PowerShell

Используйте следующий командлет, чтобы приостановить запланированное задание и проверить состояние с помощью PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Ниже приведен пример выходных данных использования командлета. Поле Suspended отображается как True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Отключение дедупликации и сжатия ReFS на томе

Отключение дедупликации и сжатия ReFS на томе останавливает все выполняемые и отменяющие будущие запланированные задания. Кроме того, связанные метаданные тома не сохраняются, а отслеживание изменений файлов останавливается.

Если отключить эту функцию, она не отменяет дедупликацию или сжатие, так как все операции выполняются на уровне метаданных. С течением времени данные возвращаются в исходное состояние, так как том выполняет операции чтения и записи.

Примечание.

Вы можете выполнять операции распаковки с помощью ReFSUtil.

Windows Admin Center

Выполните следующие действия, чтобы отключить функцию с помощью Windows Admin Center:

1. Подключитесь к кластеру, а затем на панели "Сервис " слева выберите тома.

2. На странице "Тома" выберите вкладку "Инвентаризация", выберите соответствующий том, а затем выберите "Параметры".

3. В области параметров тома справа в раскрывающемся списке "Дополнительные параметры" отключите флажок "Использовать дедупликацию ReFS" и "Сжатие", а затем нажмите кнопку "Сохранить".

PowerShell

Используйте следующий командлет, чтобы приостановить запланированное задание и проверить состояние:

Disable-ReFSDedup -Volume <path>

Ниже приведен пример выходных данных использования командлета. Поле Enabled отображается как False и Type поле отображается как пустое.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Часто задаваемые вопросы

В этом разделе приведены ответы на часто задаваемые вопросы о дедупликации и сжатия ReFS.

Отличается ли функция дедупликации и сжатия ReFS от дедупликации данных Windows?

Да, эта функция совершенно отличается от функции дедупликации данных Windows.

Внимание

Мы не поддерживаем одновременное включение дедупликации и сжатия ReFS и дедупликации данных Windows.

Дедупликация и сжатие ReFS предназначены для активных рабочих нагрузок, а также для минимизации влияния на производительность после оптимизации. В отличие от дедупликации данных Windows, дедупликация и сжатие ReFS не использует хранилище блоков для хранения дедупликированных данных и не участвует в перемещении физических данных. Эта функция использует клонирование блоков ReFS для включения операций только метаданных. Дедупликация данных Windows может обеспечить более высокую экономию хранилища из-за использования размеров блоков переменных, она также подходит для более широкого диапазона типов рабочих нагрузок, таких как файловые серверы общего назначения (GPFS), целевые объекты резервного копирования и многое другое.

Каковы этапы дедупликации и сжатия ReFS?

Процесс оптимизации состоит из следующих этапов, которые происходят последовательно и зависят от указанного режима. Если выполнение оптимизации достигает ограничения длительности, сжатие может не выполняться.

• Инициализация. На этом этапе том хранилища проверяется, чтобы определить избыточные блоки данных.

• Дедупликация данных. На этом этапе избыточные блоки являются одно экземплярами и отслеживаются с помощью клонирования блоков ReFS.

• Сжатие. На этом этапе создается тепловая карта, чтобы определить, должен ли блок иметь право на сжатие. Параметры по умолчанию сжимают редко доступные или холодные данные, чтобы уменьшить их размер. Вы можете изменить уровни сжатия, чтобы настроить диапазон блоков, подходящих для сжатия.

Что происходит при достижении ограничения длительности до полной оптимизации тома?

Ограничение длительности не влияет на производительность рабочих нагрузок клиентов, вызванных заданием оптимизации в рабочие часы. Служба дедупликации отслеживает оптимизированные части тома и входящего изменения файлов. Эти данные используются в будущих заданиях для уменьшения времени оптимизации. Например, если том обрабатывается только на 30 % в первом запуске из-за ограничения длительности, последующий запуск обращается к оставшимся 70% и любым новым данным.

Известные проблемы

В следующем разделе перечислены известные проблемы, которые в настоящее время существуют с дедупликацией и сжатием ReFS.

Если сжатие включено, использование -FullRun параметра в заданиях после первого запуска оптимизации может привести к взаимоблокировке в системе.

Состояние: открыть.

Избегайте использования -FullRun в заданиях вручную, если это Type не так Dedup.

Выполните следующие действия в качестве временного обходного решения, чтобы устранить эту проблему:

1. Отключите дедупликацию и сжатие ReFS на томе:

   Disable-ReFSDedup -Volume <path>
   

2. Распаковка тома с помощью refsutil:

   refsutil compression /c /f NONE <vol>
   

3. При необходимости повторно включите дедупликацию и сжатие ReFS с единственным режимом Dedup :

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

Планирование заданий для одновременного выполнения на нескольких CSVs в одном кластере может активировать перемещения CSV и негативно повлиять на производительность.

Состояние: открыть.

Рекомендуется ошеломить время начала заданий, чтобы избежать перекрытия. Однако если все задания должны выполняться одновременно, настройте выделение ЦП на каждое задание во всех CSV, чтобы оно составило менее 50% от общего использования ЦП кластера. Помните, что применение ограничений ЦП может привести к более длительному времени выполнения задания.

Выполнено дедупликация reFS и задание сжатия (успешно или отменено), а экономия хранилища не указана в Get-ReFSDedupStatus Windows Admin Center.

Состояние: разрешено.

Временное решение этой проблемы заключается в том, чтобы инициировать однократное задание и немедленно обновить результаты.

Start-ReFSDedupJob -Volume <path>

Отправка остановленного мониторинга событий трассировки событий для Windows (ETW) после отключения дедупликации и сжатия ReFS на томе.

Состояние: разрешено.

После отключения дедупликации и сжатия ReFS на томе канал ETW для журналов дедупликации ReFS повторялись остановленные события мониторинга. Тем не менее, мы не ожидаем значительного влияния на использование из-за этой проблемы.

Событие сбоя задания не регистрируется, если том перемещается на другой узел во время сжатия.

Состояние: разрешено.

Если CSV-файл перемещается на другой сервер кластера во время сжатия, событие сбоя задания не регистрируется в канале дедупликации ReFS. Тем не менее, мы не ожидаем значительного влияния на использование из-за этой проблемы.

Следующие шаги

• Управление томом.