Обзор дедупликации данных

Область применения: Windows Server 2022, Windows Server 2019, Windows Server 2016, Azure Stack HCI, версии 21H2 и 20H2

Что такое дедупликация данных

Дедупликация данных, часто называемая дедупликацией, — это функция, которая может помочь снизить влияние избыточных данных на затраты на хранение. Если дедупликация данных включена, она оптимизирует свободное место в томе за счет проверки данных тома на наличие дублирующихся частей. Дублирующиеся части набора данных тома сохраняются один раз и (при необходимости) сжимаются для дополнительной экономии. Дедупликация оптимизирует избыточные данные, не нарушая достоверность или целостность данных. Дополнительные сведения о работе дедупликации данных см. в разделе Как работает дедупликация данных? на странице Understanding Data Deduplication (Понимание процесса дедупликации данных).

Важно!

KB4025334 содержит свод исправлений для дедупликации данных, включая важные исправления надежности, и настоятельно рекомендуется устанавливать их при использовании дедупликации данных с Windows Server 2016 и Windows Server 2019.

Преимущества дедупликации данных

Дедупликация данных помогает администраторам хранилища снизить затраты, связанные с дублирующимися данными. Большие наборы данных часто имеют большое количество дублирования, что повышает затраты на хранение данных. Пример:

• Файловые ресурсы пользователей могут содержать множество копий одних и тех же или похожих файлов.
• Гостевые службы виртуализации могут практически не отличаться от служб на виртуальных машинах.
• Моментальные снимки резервных копий могут иметь минимальные отличия от ежедневных.

Экономия места, которую может обеспечить дедупликация данных, зависит от набора данных или рабочей нагрузки в томе. В наборах данных с высоким уровнем дупликации скорость оптимизации достигает 95 %, а объем использования службы хранилища может уменьшаться в 20 раз. В следующей таблице представлены типичные значения экономии за счет дедупликации для разных типов содержимого.

Сценарий	Содержимое	Обычная экономия пространства
Документы пользователя	Документы Office, фотографии, музыка, видео и т. д.	30-50 %
Общие ресурсы развертывания	Двоичные файлы программного обеспечения, CAB-файлы, символы и т. д.	70–80 %
Библиотеки виртуализации	Образы ISO, файлы виртуальных жестких дисков и т. д.	80–95 %
Файловый ресурс общего доступа	Все вышеперечисленное	50–60 %

Примечание

Если вы просто хотите освободить место на томе, рассмотрите возможность использования Синхронизация файлов Azure с включенным распределением по уровням в облаке. Благодаря этому вы сможете кэшировать часто используемые файлы локально и распределять редко используемые файлы по уровням облака, сохраняя пространство в локальном хранилище и поддерживая производительность. Дополнительные сведения см. в статье Планирование развертывания Синхронизации файлов Azure.

Когда можно использовать дедупликацию данных

Иллюстрация сценария	Описание
	Файловые серверы общего назначения: файловые серверы общего назначения являются общими и используют файловые серверы, которые могут содержать любой из следующих типов общих папок: Общие групповые папки домашние папки пользователей; Рабочие папки Общие ресурсы для разработки программного обеспечения Файловые серверы общего назначения подходят для дедупликации данных из-за тенденции сохранения многочисленных копий или версий одного файла несколькими пользователями. От дедупликации данных выигрывают общие ресурсы для разработки программного обеспечения, так как многие двоичные файлы остаются по сути неизменными от сборки к сборке.
	инфраструктура виртуальных рабочих столов развертывания (VDI): серверы VDI, такие как службы удаленных рабочих столов, предоставляют организациям упрощенный вариант подготовки рабочих столов пользователям. Эта технология подходит для организаций по многим причинам. Развертывание приложений. Вы можете быстро развертывать приложения на предприятии. Это особенно полезно при наличии приложений, которые часто обновляются, редко используются или являются сложными в управлении. Консолидация приложений. При установке и запуске приложений из набора централизованно управляемых виртуальных машин не требуется обновлять приложения на клиентских компьютерах. Это также снижает требования к пропускной способности сети, необходимой для доступа к приложениям. Удаленный доступ: пользователи могут получать доступ к корпоративным приложениям с таких устройств, как домашние компьютеры, киоски, низкопроизводительное оборудование и операционные системы, отличные от Windows. Доступ к филиалам: развертывания VDI могут повысить производительность приложений для сотрудников филиалов, которым требуется доступ к централизованным хранилищам данных. Ресурсоемкие приложения иногда не имеют протоколов клиентов и серверов, оптимизированных для подключений по медленной линии. Развертывания VDI прекрасно подходят для дедупликации данных, так как виртуальные жесткие диски, определяющие удаленные рабочие столы для пользователей, по сути идентичны. Кроме того, дедупликация данных может помочь в случае падения производительности хранилища на пиковых нагрузках (так называемый VDI boot storm), когда множество пользователей одновременно входит на настольные системы в начале дня.
	Целевые объекты резервного копирования, такие как виртуализированные приложения резервного копирования: приложения резервного копирования, такие как Microsoft Data Protection Manager (DPM), отлично подходят для дедупликации данных из-за значительного дублирования моментальных снимков резервных копий.
	Другие рабочие нагрузки: другие рабочие нагрузки также могут быть отличными кандидатами на дедупликацию данных.