Обзор дедупликации данных

Что такое дедупликация данных

Дедупликация данных, часто называемая "dedupe", — это функция, которая может помочь снизить влияние избыточных данных на затраты на хранение. Если дедупликация данных включена, она оптимизирует свободное место в томе за счет проверки данных тома на наличие дублирующихся частей. Дублирующиеся части набора данных тома сохраняются один раз и (при необходимости) сжимаются для дополнительной экономии. Дедупликация оптимизирует избыточные данные, не нарушая достоверность или целостность данных. Дополнительные сведения о том, как работает дедупликация данных, можно найти в статье "Как работает дедупликация данных?". раздел Понимание дедупликации данных страницы.

Important

KB4025334 contains a roll up of fixes for Data Deduplication, including important reliability fixes, and we strongly recommend installing it when using Data Deduplication with Windows Server 2016 and Windows Server 2019.

Преимущества дедупликации данных

Дедупликация данных помогает администраторам хранилища снизить затраты, связанные с дублирующимися данными. Large datasets often have a lot of duplication, which increases the costs of storing the data. For example:

• Файловые ресурсы пользователей могут содержать множество копий одних и тех же или похожих файлов.
• Гостевые виртуальные машины могут быть практически идентичными друг другу.
• Моментальные снимки резервных копий могут иметь минимальные отличия от ежедневных.

Экономия места, которая может быть обеспечена дедупликацией данных, зависит от набора данных или рабочей нагрузки на томе. В наборах данных с высоким уровнем дупликации скорость оптимизации достигает 95 %, а объем использования службы хранилища может уменьшаться в 20 раз. В следующей таблице представлены типичные значения экономии за счет дедупликации для разных типов содержимого.

Scenario	Content	Обычная экономия пространства
User documents	Документы Office, фотографии, музыка, видео и т. д.	30-50%
Deployment shares	Двоичные файлы программного обеспечения, CAB-файлы, символы и т. д.	70-80%
Virtualization libraries	Образы ISO, файлы виртуальных жестких дисков и т. д.	80-95%
Файловый ресурс общего доступа	Все вышеперечисленное	50-60%

Note

Если вы просто хотите освободить место на томе, рассмотрите возможность использования Azure File Sync с включенной облачной иерархией. Благодаря этому вы сможете кэшировать часто используемые файлы локально и распределять редко используемые файлы по уровням облака, сохраняя пространство в локальном хранилище и поддерживая производительность. Дополнительные сведения см. в статье "Планирование развертывания службы "Синхронизация файлов Azure".

Когда можно использовать дедупликацию данных?

Scenario illustration	Description
	Файловые серверы общего назначения: файловые серверы общего назначения являются общими файловыми серверами, которые могут содержать любой из следующих типов общих папок: Team shares Домашние папки пользователей Work folders Общие ресурсы для разработки программного обеспечения Файловые серверы общего назначения подходят для дедупликации данных из-за тенденции сохранения многочисленных копий или версий одного файла несколькими пользователями. Разработка программного обеспечения выигрывает от дедупликации данных, поскольку многие двоичные файлы по сути остаются неизменными из сборки в сборку.
	Развертывания инфраструктуры виртуальных рабочих столов (VDI): серверы VDI, такие как службы удаленных рабочих столов, предоставляют упрощенный вариант для организаций для подготовки рабочих столов пользователям. Существует множество причин для организации полагаться на такие технологии: Application deployment: You can quickly deploy applications across your enterprise. Это особенно полезно при наличии приложений, которые часто обновляются, редко используются или являются сложными в управлении. Application consolidation: When you install and run applications from a set of centrally managed virtual machines, you eliminate the need to update applications on client computers. Это также снижает требования к пропускной способности сети, необходимой для доступа к приложениям. Remote Access: Users can access enterprise applications from devices such as home computers, kiosks, low-powered hardware, and operating systems other than Windows. Доступ к филиалам: развертывания VDI могут повысить производительность приложений для сотрудников филиалов, которым требуется доступ к централизованным хранилищам данных. Ресурсоемкие приложения иногда не имеют протоколов клиентов и серверов, оптимизированных для подключений по медленной линии. Развертывания VDI прекрасно подходят для дедупликации данных, так как виртуальные жесткие диски, обслуживающие удаленные рабочие столы для пользователей, в основном идентичны. Кроме того, дедупликация данных может помочь с так называемым штормом загрузки VDI, что сопровождается снижением производительности систем хранения, когда многие пользователи одновременно входят на свои рабочие столы, чтобы начать день.
	Целевые объекты резервного копирования, такие как виртуализированные приложения резервного копирования: приложения резервного копирования, такие какMicrosoft Data Protection Manager (DPM), являются отличными кандидатами на дедупликацию данных из-за значительного дублирования моментальных снимков резервных копий.
	Other workloads: Other workloads may also be excellent candidates for Data Deduplication.