Дедупликация хранилища DPM

Статья
07/10/2024

System Center Data Protection Manager (DPM) может использовать дедупликацию данных.

Функция дедупликации данных обнаруживает и удаляет повторяющиеся данные на томе, одновременно обеспечивая правильность и полноту данных. Дополнительные сведения о планировании дедупликации.

Дедупп снижает потребление хранилища. Хотя объем избыточности для набора данных будет зависеть от рабочей нагрузки и типа данных, обычно резервные данные показывают сильную экономию при использовании дедупликации.
Избыточность данных может быть сокращена с дедупликации при совместном обработке данных аналогичных типов и рабочих нагрузок.
Дедупликации предназначен для установки на первичных томах данных без дополнительного выделенного оборудования, чтобы он не влиял на основную рабочую нагрузку на сервере. Параметры по умолчанию являются неинтрусивными, так как данные могут возрастить в течение пяти дней до обработки определенного файла и имеют минимальный размер файла по умолчанию в 32 КБ. Реализация рассчитана на низкий уровень использования памяти и ЦП.
Дедупликации можно реализовать на следующих рабочих нагрузках:
- Общие файловые ресурсы: публикация содержимого групп и совместное использование, домашние папки пользователей, файлы перенаправления папок и автономные файлы.
- Общие ресурсы развертывания программного обеспечения: двоичные файлы программ, изображения, обновления.
- Библиотеки виртуального жесткого диска: хранилище файлов виртуального жесткого диска (VHD) для обеспечения гипервизоров.
- Развертывания VDI (только для Windows Server 2012 R2): развертывания инфраструктуры виртуальных рабочих столов (VDI) с помощью Hyper-V.
- Виртуализированное резервное копирование: решения резервного копирования (например, DPM, работающие на виртуальной машине Hyper-V), которые сохраняют данные резервного копирования в VHD/VHDX-файлы на файловом сервере Windows

DPM и дедупликации

Использование дедупации с DPM может привести к значительной экономии. Объем места, сохраненного дедупом при оптимизации данных резервного копирования DPM, зависит от типа резервных копий данных. Например, при резервировании сервера зашифрованной базы данных экономия может получиться незначительной, поскольку в процессе шифрования скрываются все повторяющиеся данные. Однако резервное копирование большого развертывания инфраструктура виртуальных рабочих столов (VDI) может привести к значительной экономии в диапазоне от 70 до 90 %, так как обычно между средами виртуального рабочего стола имеется большое количество дублирования данных. В конфигурации, описанной в статье, мы выполнили различные тестовые рабочие нагрузки и сэкономить в диапазоне от 50% до 90%.

Чтобы использовать дедупп для хранилища DPM, DPM должен работать на виртуальной машине Hyper-V и хранить данные резервного копирования в виртуальные жесткие диски в общих папках с поддержкой дедупации данных.

Настройка дедуппированных томов

Давайте рассмотрим, как должны быть большие тома для поддержки дедупликированных VHDX-файлов, содержащих данные DPM. В CPS мы создали тома 7,2 ТБ. Оптимальный объем зависит главным образом от того, насколько много и насколько часто меняются данные в томе, а также от скорости передачи данных в подсистеме дискового хранилища. Важно отметить, что если обработка дедупликации не может соответствовать скорости ежедневных изменений данных (отток), экономия будет снижаться до тех пор, пока обработка не сможет завершиться. Дополнительные сведения см. в разделе Sizing Volumes for Data Deduplication. Для дедупликации рекомендуется использовать следующие общие рекомендации.

Использовать дисковые пространства с контролем четности с контролем наличия корпуса для увеличения гибкости и улучшения использования дискового пространства.
Отформатируйте NTFS с единицами выделения 64 КБ и сегментами записи больших файлов, чтобы лучше использовать разреженные файлы.
В конфигурации оборудования, приведенной выше рекомендуемого размера тома 7,2 ТБ, тома будут настроены следующим образом:
- В корпусе учитывается двойной четность 7,2 ТБ + 1 ГБ кэш обратной записи
  - ResiliencySettingName == Parity
  - PhysicalDiskRedundancy == 2
  - NumberOfColumns == 7
  - Interleave == 256 КБ (производительность двойного четности при 64 КБ interleave значительно ниже, чем по умолчанию 256 КБ interleave)
  - IsEnclosureAware == $true
  - AllocationUnitSize=64 КБ
  - Large FRS
  Настройте новый виртуальный диск в указанном пуле носителей следующим образом.
```
New-VirtualDisk -Size 7.2TB -PhysicalDiskRedundancy 2 -ResiliencySettingName Parity -StoragePoolFriendlyName BackupPool -FriendlyName BackupStorage -NumberOfColumns 7 -IsEnclosureAware $true
```
- Каждый из этих томов необходимо затем отформатировать в:
```
Format-Volume -Partition <volume> -FileSystem NTFS -AllocationUnitSize 64 KB -UseLargeFRS -Force
```
  В развертывании CPS они затем настраиваются как CSV.
- В этих томах DPM будет хранить ряд VHDX-файлов для хранения данных резервного копирования. Включите дедупликацию на томе после форматирования, как показано ниже.
```
Enable-DedupVolume -Volume <volume> -UsageType HyperV
Set-DedupVolume -Volume <volume> -MinimumFileAgeDays 0 -OptimizePartialFiles:$false
```
  Эта команда также изменяет следующие параметры дедупликации уровня тома:
  - Задайте значение UsageType в HyperV. Это приводит к дедупликации открытых файлов, которые необходимы, так как VHDX-файлы, используемые для хранения резервных копий DPM, остаются открытыми с DPM, работающими на виртуальной машине.
  - Отключить partialFileOptimization: это приводит к дедупации для оптимизации всех разделов открытого файла, а не сканирования измененных разделов с минимальным возрастом.
  - Задайте для параметра MinFileAgeDays значение 0. Если параметр PartialFileOptimization отключен, MinFileAgeDays изменит его поведение, чтобы дедупликации рассматривались только файлы, которые не изменились в течение многих дней. Поскольку мы хотим начать дедупликацию данных резервного копирования во всех файлах DPM VHDX без задержки, нам нужно указать для параметра MinFileAgeDays значение 0.

Дополнительные сведения о настройке дедупликации см. в разделе "Установка и настройка дублирования данных".

Настройка хранилища DPM

Чтобы избежать проблем с фрагментацией и сохранить эффективность, хранилище DPM размещается с использованием VHDX-файлов, находящихся на дедуплицированных томах. Десять динамических VHDX-файлов размером 1 ТБ создаются на каждом томе и подключены к DPM. Кроме того, 3 ТБ чрезмерной подготовки хранилища выполняются для использования экономии хранилища, созданной дедупом. Так как дедуп обеспечивает дополнительную экономию хранилища, новые VHDX-файлы можно создать на этих томах для использования сохраненного места. Мы проверили сервер DPM с 30 VHDX-файлами, подключенными к нему.

Выполните следующую команду, чтобы создать виртуальные жесткие диски, которые будут добавлены позже на сервер DPM.
```
New-SCVirtualDiskDrive -Dynamic -SCSI -Bus $Bus -LUN $Lun -JobGroup $JobGroupId -VirtualHardDiskSizeMB 1048576 -Path $Using:Path -FileName <VHDName>
```
Затем добавьте созданные виртуальные жесткие диски на сервер DPM следующим образом.
```
Import-Module "DataProtectionManager"
Set-StorageSetting -NewDiskPolicy OnlineAll
$dpmdisks = @()
$dpmdisks = Get-DPMDisk -DPMServerName $env:computername | ? {$_.CanAddToStoragePool -
eq $true -and $_.IsInStoragePool -eq $false -and $_.HasData -eq $false}
Add-DPMDisk $dpmdisks
```
На этом шаге пул носителей настраивается как диск или диски, на которых DPM хранит реплики и точки восстановления для защищенных данных. Этот пул является частью конфигурации DPM и отделен от пула дисковых пространств, используемого для создания томов данных, описанных в предыдущем разделе. Дополнительные сведения о пулах носителей DPM см. в разделе "Настройка дискового хранилища и пулов носителей".

Настройка кластера Файлового сервера Windows

Для дедупликации требуется специальный набор параметров конфигурации для поддержки виртуализированного хранилища DPM в соответствии с масштабом данных и размером отдельных файлов. Эти параметры являются глобальными для кластера или узла кластера. Включить дедупликацию и настроить параметры кластера необходимо отдельно на каждом узле кластера.

Включите дедупликацию в хранилище Файлового сервера Windows. Роль дедупликации должна быть установлена на всех узлах кластера Файлового сервера Windows. Для этого выполните следующую команду PowerShell на каждом узле кластера:
```
Install-WindowsFeature -Name FileAndStorage-Services,FS-Data-Deduplication -ComputerName <node name>
```
Настройка дедуппирования для файлов данных резервного копирования. Выполните следующую команду PowerShell, чтобы запустить оптимизацию без задержки, а не оптимизировать частичные записи файлов. По умолчанию задания сборки мусора (GC) планируются каждую неделю, и каждую четвертую неделю задание GC выполняется в режиме глубокой сборки мусора для более полного и интенсивного поиска данных для удаления. Для рабочей нагрузки DPM этот режим глубокой сборки мусора не приводит к значительному росту и сокращает время, в течение которого дедупликация может оптимизировать данные. Поэтому мы отключаем этот режим.
```
Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name DeepGCInterval -Value 0xFFFFFFFF
```
Настройте производительность для крупномасштабных операций. Выполните следующий скрипт PowerShell:
- отключить дополнительную обработку и операции ввода-вывода при выполнении глубокой сборки мусора;
- зарезервировать дополнительную память для обработки хэша;
- включить приоритетную оптимизацию, чтобы разрешить немедленную дефрагментацию больших файлов.
```
Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name HashIndexFullKeyReservationPercent -Value 70
Set-ItemProperty -Path HKLM:\Cluster\Dedup -Name EnablePriorityOptimization -Value 1
```
Эти параметры определяют следующие режимы.
- HashIndexFullKeyReservationPercent: это значение определяет, сколько памяти задания оптимизации используется для существующих хэшей блоков и новых хэшей блоков. На больших масштабах значение 70 % дает большую производительность оптимизации, чем значение по умолчанию 50 %.
- EnablePriorityOptimization: с файлами, приближающимися к 1 ТБ, фрагментация одного файла может накапливать достаточно фрагментов, чтобы приблизиться к ограничению на каждый файл. При оптимизации эти фрагменты будут объединены и это позволит предотвратить достижение заданного ограничения. Установка этого раздела реестра позволяет добавлять при дедупликации дополнительные процедуры обработки дедуплицированных файлов с высокой степенью фрагментации, имеющих высокий приоритет.

Настройка DPM и дедупликации планирования

Операции резервного копирования и дедупликации являются операциями с большим объемом ввода-вывода. Если они будут выполняться в одно и то же время, дополнительные затраты на переключение между операциями может оказаться значительным и привести к тому, что за день будет зарезервирован или дедуплицирован меньший объем данных. Мы рекомендуем определить отдельные специальные окна для дедупликации и для резервного копирования. Это позволит гарантировать, что трафик ввода-вывода для каждой из этих операций будет эффективно распределен по времени ежедневной работы системы. Имеются следующие рекомендации по планированию.

Разбейте дни на неперекрывающиеся периоды для резервного копирования и для дедупликации.
Настройте пользовательские расписания резервного копирования.
Настройте пользовательские расписания дедупликации.
Спланируйте оптимизацию в окне дедупликации ежедневного расписания.
Настройте расписания дедупликации на выходные дни отдельно, используя это время для заданий сборки мусора и очистки.

Расписания DPM можно настроить с помощью следующей команды PowerShell.

Set-DPMConsistencyCheckWindow -ProtectionGroup $mpg -StartTime $startTime -
DurationInHours $duration
Set-DPMBackupWindow -ProtectionGroup $mpg -StartTime $startTime -DurationInHours
$duration

В этой конфигурации DPM настроен на выполнение резервного копирования виртуальных машин в интервале времени от 22:00 до 6:00. Дедупликация запланирована на оставшиеся 16 часов суток. Фактическое время дедупации, настроенное, будет зависеть от размера тома. Дополнительные сведения см. в разделе "Изменение размера томов для дедупликации данных". 16-часовое окно дедупликации, начиная с 6:00 после окончания окна резервного копирования, будет настроено следующим образом из любого отдельного узла кластера:

#disable default schedule
Set-DedupSchedule * -Enabled:$false
#Remainder of the day after an 8 hour backup window starting at 10pm $dedupDuration = 16
$dedupStart = "6:00am"
#On weekends GC and scrubbing start one hour earlier than optimization job.
# Once GC/scrubbing jobs complete, the remaining time is used for weekend
# optimization.
$shortenedDuration = $dedupDuration - 1
$dedupShortenedStart = "7:00am"
#if the previous command disabled priority optimization schedule
#reenable it
if ((Get-DedupSchedule -name PriorityOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name PriorityOptimization -Enabled:$true
}
#set weekday and weekend optimization schedules
New-DedupSchedule -Name DailyOptimization -Type Optimization -DurationHours $dedupDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -Days Monday,Tuesday,Wednesday,Thursday,Friday
New-DedupSchedule -Name WeekendOptimization -Type Optimization -DurationHours $shortenedDuration -Memory 50 -Priority Normal -InputOutputThrottleLevel None -Start $dedupShortenedStart -Days Saturday,Sunday
#re-enable and modify scrubbing and garbage collection schedules
Set-DedupSchedule -Name WeeklyScrubbing -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Sunday
Set-DedupSchedule -Name WeeklyGarbageCollection -Enabled:$true -Memory 50 -DurationHours $dedupDuration -Priority Normal -InputOutputThrottleLevel None -Start $dedupStart -StopWhenSystemBusy:$false -Days Saturday
#disable background optimization
if ((Get-DedupSchedule -name BackgroundOptimization -ErrorAction SilentlyContinue) -ne $null)
{
Set-DedupSchedule -Name BackgroundOptimization -Enabled:$false
}

При изменении окна резервного копирования крайне важно, чтобы окно дедупликации было изменено вместе с ним, чтобы они не перекрывались. Дедупликация и окно резервного копирования не должны заполнять все 24 часа дня; Однако настоятельно рекомендуется разрешить варианты времени обработки из-за ожидаемых ежедневных изменений в рабочих нагрузках и потоках данных.

Вопросы, связанные с производительностью резервного копирования

После дедупликации набора файлов при доступе к файлам может возникнуть небольшая стоимость производительности. Это связано с тем, что требуется дополнительная обработка для доступа к файлам в формате дедуплицированных файлов. В этом сценарии файлы представляют собой набор файлов VHDX, которые непрерывно используются DPM во время окна резервного копирования. Эффект дедупликации этих файлов означает, что операции резервного копирования и восстановления могут быть немного медленнее, чем без дедупликации. Как и любой продукт резервного копирования, DPM является тяжелой рабочей нагрузкой по операциям записи, а по операциям чтения он проявляет себя главным образом во время процедуры восстановления. По вопросам, связанным с производительностью резервного копирования и влиянием на нее дедупликации, предлагаются следующие рекомендации.

Операции чтения и восстановления. Влияние на операции чтения обычно незначительно и не требует особого внимания, так как функция дедупликации кэширует дедуплицированные фрагменты.
Операции записи и резервного копирования: планирование увеличения времени резервного копирования на 5–10 % при определении окна резервного копирования. (Это увеличение по сравнению с ожидаемым временем выполнения резервного копирования при записи на недедуплицированные тома.)

Наблюдение

За работой DPM и процессом дедупликации можно наблюдать с целью получения следующих сведений.

Для хранения резервных копий выделено достаточно места на диске.
Задания резервного копирования DPM выполняются нормально.
Дедупликация включена на резервных томах.
Расписания дедупликации заданы правильно.
Выполнение дедупликации проходит нормально каждый день.
Выигрыш от дедупликации соответствует предположениям, сделанным при конфигурации системы.

Успех дедупликации зависит от аппаратных возможностей системы в целом (включая быстродействие ЦП, пропускную способность системы ввода-вывода, емкость хранилища), конфигурации системы, среднего уровня нагрузки и ежедневного объема измененных данных.

Наблюдать за работой DPM можно с помощью центральной консоли DPM. См. раздел Установка центральной консоли.

Вы можете отслеживать дедупликации, чтобы проверить состояние дедупликации, скорость сохранения и запланировать состояние с помощью следующих команд PowerShell:

Получить состояние:

PS C:\> Get-DedupStatus
FreeSpace SavedSpace OptimizedFiles InPolicyFiles Volume
-------------- ---------- -------------- ------------- ------
280.26 GB 529.94 GB 36124 36125 X:
151.26 GB 84.19 GB 43017 43017 Z:

Получить экономию:

PS C:\> Get-DedupVolume
Enabled SavedSpace SavingsRate Volume
------- ---------- ----------- ------
True 529.94 GB 74 % X:

Получить состояние расписания с помощью командлета Get-DedupSchedule.

События монитора

Журнал мониторинга событий может помочь понять события дедупликации и состояние.

Чтобы просмотреть события дедупликации, в проводникеперейдите в раздел Журналы приложений и служб>Microsoft>Windows>Дедупликация.
Если значение LastOptimizationResult = 0x00000000 появится в результатах Get-DedupStatus |fl Windows PowerShell, весь набор данных был обработан предыдущим заданием оптимизации. В противном случае это значит, что системе не удалось завершить выполнение дедупликации и имеет смысл проверить параметры конфигурации, например размер тома.

Более подробные примеры командлетов см. в разделе Мониторинг и создание отчетов по дедупликации данных.

Мониторинг хранилища резервных копий

В нашем примере конфигурации тома 7,2 ТБ заполняются 10 ТБ логических данных (размер данных, если он не дедупликирован) хранится в 10 x 10 х 1 ТБ динамических VHDX-файлов. Так как эти файлы накапливают дополнительные данные резервного копирования, они медленно заполняют том. Если процент экономии, полученный в результате дедупликации, достаточно высок, все 10 файлов смогут достичь максимального логического размера и по-прежнему помещаться в том 7,2 ТБ (возможно, может быть дополнительное пространство для выделения дополнительных VHDX-файлов для используемых серверов DPM). Но если экономия размера от дедупликации недостаточно, пространство на томе может завершиться до достижения полного логического размера файлов VHDX, и том будет заполнен. Чтобы предотвратить заполнение томов, рекомендуется следующее:

Не предъявлять слишком жестких требований к размеру тома и допускать некоторый избыток по объему хранилища. Рекомендуется разрешить буфер не менее 10 % при планировании использования хранилища резервных копий, чтобы обеспечить ожидаемые варианты экономии дедупликации и обработки данных.
Вести наблюдение за томами, используемыми для хранения резервных копий, чтобы контролировать использование пространства и размер экономии от дедупликации.

Если объем становится полным, результатом следующих симптомов является следующее:

Виртуальная машина DPM будет переведена в критическое состояние и приостановлена, новые задания резервного копирования не могут запускаться этой виртуальной машиной.
Все задания резервного копирования, использующие VHDX-файлы на переполненном томе, завершатся сбоем.

Чтобы восстановить это условие и восстановить систему до нормальной работы, можно подготовить дополнительное хранилище, а перенос хранилища виртуальной машины DPM или VHDX можно выполнить для освобождения места:

Остановите сервер DPM, которому принадлежат VHDX-файлы, находящиеся в переполненном резервном ресурсе.
Создайте дополнительный том и ресурс для резервных копий с использованием тех же параметров конфигурации, которые были использованы для существующих ресурсов, включая параметры файловой системы NTFS и дедупликации.
Перенос хранилища для виртуальной машины сервера DPM и перенос по крайней мере одного VHDX-файла из полной общей папки резервного копирования в новую общую папку резервного копирования, созданную на шаге 2.
Запустите задание сборки мусора дедупликации данных на исходном резервном ресурсе, который был переполнен. Задание должно успешно выполниться и освободить место.
Перезапустите виртуальную машину сервера DPM.
Задание проверки согласованности DPM будет активировано во время следующего окна резервного копирования для всех источников данных, которые не удалось выполнить ранее.
Теперь все задания резервного копирования должны выполняться успешно.

Итоги

Использование дедупликации совместно с DPM обеспечивает значительную экономию места. Это позволяет получить более высокий коэффициент хранения, увеличить частоту выполнения резервного копирования и снизить совокупную стоимость владения развертывания DPM. Советы и рекомендации в этом документе должны дать вам средства и знания для настройки дедупликации хранилища DPM и продемонстрировать преимущества на примере вашего собственного развертывания.

Часто задаваемые вопросы

Вопрос. VHDX-файлы DPM должны иметь размер 1 ТБ. Означает ли это, что DPM не может создать резервную копию виртуальной машины или базы данных SQL или тома > файла размером 1 ТБ?

Ответ. Нет. DPM объединяет несколько томов в один для хранения резервных копий. Таким образом, размер файла в 1 ТБ не имеет никаких последствий для размеров источников данных, которые DPM может создать резервную копию.

Вопрос. Создается впечатление, что VHDX-файлы хранилища DPM могут быть развернуты только на удаленных файловых ресурсах SMB. Что произойдет, если сохранить VHDX-файлы резервных копий на дедуплицированном томе на том же компьютере, на котором запущена виртуальная машина DPM?

Ответ. Как описано выше, DPM, Hyper-V и дедупликации являются операциями хранения и вычислительных ресурсов. Объединение всех трех из них в одной системе может привести к операциям с интенсивным вводом-выводом и процессом, которые могут привести к нехватке Hyper-V и ее виртуальных машин. Если вы решите поэкспериментировать настройку DPM на виртуальной машине с томами хранилища резервных копий на одном компьютере, необходимо тщательно отслеживать производительность, чтобы обеспечить достаточную пропускную способность ввода-вывода и вычислительные ресурсы для поддержания всех трех операций на одном компьютере.

Вопрос. Вы рекомендуете определить отдельные специальные окна для дедупликации и для резервного копирования. Почему не удается включить дедупликации во время резервного копирования DPM? Мне нужно создать резервную копию базы данных SQL каждые 15 минут.

Ответ. Дедупция и DPM — это операции с большим объемом хранилища и одновременное выполнение обоих из них может быть неэффективным и привести к нехватке операций ввода-вывода. Таким образом, чтобы защитить рабочие нагрузки более одного раза в день (например, SQL Server каждые 15 минут) и включить дедупликацию одновременно, убедитесь, что достаточно пропускной способности ввода-вывода и емкости компьютера, чтобы избежать нехватки ресурсов.

Вопрос. Согласно описанной конфигурации DPM должен быть запущен на виртуальной машине. Почему невозможно включить дедупликации на томе реплики и томах теневого копирования напрямую, а не на VHDX-файлах?

Ответ. Дедупликация выполняется по каждому тому с обработкой отдельных файлов. Так как дедупп оптимизируется на уровне файла, он не предназначен для поддержки технологии VolSnap, которую DPM использует для хранения данных резервного копирования. При работе DPM на виртуальной машине Hyper-V сопоставляет операции с томами DPM на уровне VHDX-файлов, что позволяет оптимизировать резервные копии данных и получать больше экономии пространства хранения при дедупликации.

Вопрос. Приведенный выше пример конфигурации создал только тома 7,2 ТБ. Можно ли создавать тома большего или меньшего размера?

Ответ. При дедупликации запускается один поток для каждого тома. Если размер тома будет больше, потребуется больше времени для выполнения его оптимизации. С другой стороны, с небольшими объемами есть меньше данных, в которых можно найти повторяющиеся блоки, что может привести к снижению экономии. Поэтому рекомендуется точно настроить размер тома на основе общих возможностей обработки и системного оборудования для оптимальной экономии. Более подробные сведения об определении размера тома, используемого при дедупликации, можно найти в разделе «Определение размеров томов для дедупликации в Windows Server». Дополнительные сведения об определении размеров томов, используемых с дедупликацией, см. в разделе "Изменение размера томов для дедупликации данных".

Поделиться через