Обзор дедупликации данных

Что такое дедупликация данных

Дедупликация данных, часто называемая "dedupe", — это функция, которая может помочь снизить влияние избыточных данных на затраты на хранение. Если дедупликация данных включена, она оптимизирует свободное место в томе за счет проверки данных тома на наличие дублирующихся частей. Дублирующиеся части набора данных тома сохраняются один раз и (при необходимости) сжимаются для дополнительной экономии. Дедупликация оптимизирует избыточные данные, не нарушая достоверность или целостность данных. Дополнительные сведения о том, как работает дедупликация данных, можно найти в статье "Как работает дедупликация данных?". раздел Понимание дедупликации данных страницы.

Внимание

KB4025334 содержит свод исправлений для дедупликации данных, включая важные исправления надежности, и настоятельно рекомендуется установить его при использовании дедупликации данных с Windows Server 2016 и Windows Server 2019.

Преимущества дедупликации данных

Дедупликация данных помогает администраторам хранилища снизить затраты, связанные с дублирующимися данными. Большие наборы данных часто имеют много дублирования, что повышает затраты на хранение данных. Например:

• Файловые ресурсы пользователей могут содержать множество копий одних и тех же или похожих файлов.
• Гостевые виртуальные машины могут быть практически идентичными друг другу.
• Моментальные снимки резервных копий могут иметь минимальные отличия от ежедневных.

Экономия места, которая может быть обеспечена дедупликацией данных, зависит от набора данных или рабочей нагрузки на томе. В наборах данных с высоким уровнем дупликации скорость оптимизации достигает 95 %, а объем использования службы хранилища может уменьшаться в 20 раз. В следующей таблице представлены типичные значения экономии за счет дедупликации для разных типов содержимого.

Сценарий	Содержимое	Обычная экономия пространства
Документы пользователя	Документы Office, фотографии, музыка, видео и т. д.	30-50 %
Общие ресурсы развертывания	Двоичные файлы программного обеспечения, CAB-файлы, символы и т. д.	70–80 %
Библиотеки виртуализации	Образы ISO, файлы виртуальных жестких дисков и т. д.	80–95 %
Файловый ресурс общего доступа	Все вышеперечисленное	50–60 %

Примечание.

Если вы просто хотите освободить место на томе, рассмотрите возможность использования Azure File Sync с включенной облачной иерархией. Благодаря этому вы сможете кэшировать часто используемые файлы локально и распределять редко используемые файлы по уровням облака, сохраняя пространство в локальном хранилище и поддерживая производительность. Дополнительные сведения см. в статье "Планирование развертывания службы "Синхронизация файлов Azure".

Когда можно использовать дедупликацию данных?

Иллюстрация сценария	Описание
	Файловые серверы общего назначения: файловые серверы общего назначения являются общими файловыми серверами, которые могут содержать любой из следующих типов общих папок: Общие групповые папки Домашние папки пользователей Рабочие папки Общие ресурсы для разработки программного обеспечения Файловые серверы общего назначения подходят для дедупликации данных из-за тенденции сохранения многочисленных копий или версий одного файла несколькими пользователями. Разработка программного обеспечения выигрывает от дедупликации данных, поскольку многие двоичные файлы по сути остаются неизменными из сборки в сборку.
	Развертывания инфраструктуры виртуальных рабочих столов (VDI): серверы VDI, такие как службы удаленных рабочих столов, предоставляют упрощенный вариант для организаций для подготовки рабочих столов пользователям. Существует множество причин для организации полагаться на такие технологии: Развертывание приложений. Вы можете быстро развертывать приложения в организации. Это особенно полезно при наличии приложений, которые часто обновляются, редко используются или являются сложными в управлении. Консолидация приложений. При установке и запуске приложений из набора централизованно управляемых виртуальных машин необходимо устранить необходимость обновления приложений на клиентских компьютерах. Это также снижает требования к пропускной способности сети, необходимой для доступа к приложениям. Удаленный доступ. Пользователи могут получать доступ к корпоративным приложениям с таких устройств, как домашние компьютеры, киоски, низкопроизводительное оборудование и операционные системы, отличные от Windows. Доступ к филиалам: развертывания VDI могут повысить производительность приложений для сотрудников филиалов, которым требуется доступ к централизованным хранилищам данных. Ресурсоемкие приложения иногда не имеют протоколов клиентов и серверов, оптимизированных для подключений по медленной линии. Развертывания VDI прекрасно подходят для дедупликации данных, так как виртуальные жесткие диски, обслуживающие удаленные рабочие столы для пользователей, в основном идентичны. Кроме того, дедупликация данных может помочь с так называемым штормом загрузки VDI, что сопровождается снижением производительности систем хранения, когда многие пользователи одновременно входят на свои рабочие столы, чтобы начать день.
	Целевые объекты резервного копирования, такие как виртуализированные приложения резервного копирования: приложения резервного копирования, такие какMicrosoft Data Protection Manager (DPM), являются отличными кандидатами на дедупликацию данных из-за значительного дублирования моментальных снимков резервных копий.
	Другие рабочие нагрузки: другие рабочие нагрузкитакже могут быть отличными кандидатами на дедупликацию данных.