Optimiser le stockage avec la déduplication et la compression ReFS dans Azure Stack HCI

S’applique à : Azure Stack HCI, version 23H2

Cet article décrit la fonctionnalité de déduplication et de compression du système de fichiers résilient (ReFS) et explique comment utiliser cette fonctionnalité dans Azure Stack HCI pour optimiser le stockage.

Qu’est-ce que la déduplication et la compression ReFS ?

La déduplication et la compression reFS sont une fonctionnalité d’optimisation du stockage conçue spécifiquement pour les charges de travail actives, telles que l’infrastructure de bureau virtuel Azure (VDI) sur Azure Stack HCI. Cette fonctionnalité permet d’optimiser l’utilisation du stockage et de réduire les coûts de stockage.

Cette fonctionnalité utilise le clonage de bloc ReFS pour réduire le déplacement des données et activer uniquement les opérations de métadonnées. La fonctionnalité fonctionne au niveau du bloc de données et utilise une taille de bloc fixe en fonction de la taille du cluster. Le moteur de compression génère une carte thermique pour identifier si un bloc doit être éligible à la compression, en optimisant l’utilisation du processeur.

Vous pouvez exécuter la déduplication et la compression ReFS en tant que travail unique ou l’automatiser avec des travaux planifiés. Cette fonctionnalité fonctionne avec tous les systèmes flash et hybride et prend en charge différents paramètres de résilience, tels que la mise en miroir bidirectionnel, le miroir bidirectionnel, le miroir triple et la parité accélérée en miroir.

Avantages

Voici les avantages de l’utilisation de la déduplication et de la compression ReFS :

• Économies de stockage pour les charges de travail actives. Conçu pour les charges de travail actives, telles que VDI, garantissant des performances efficaces dans des environnements exigeants.
• Plusieurs modes. Fonctionne en trois modes : la déduplication uniquement, la compression uniquement et la déduplication et la compression (mode par défaut), ce qui permet l’optimisation en fonction de vos besoins.
• Déduplication incrémentielle. Déduplique uniquement les données nouvelles ou modifiées par opposition à l’analyse du volume entier chaque fois, en optimisant la durée du travail et en réduisant l’impact sur les performances du système.

Prérequis

Avant de commencer, vérifiez que les conditions préalables suivantes sont remplies :

• Vous avez accès à un cluster Azure Stack HCI déployé et inscrit.
• Vous disposez du volume partagé de cluster (CSV) créé sur le cluster et vous y avez accès.
• La fonctionnalité de déduplication des données Windows n’est pas déjà activée au format CSV.

Utiliser la déduplication et la compression ReFS

Vous pouvez utiliser la déduplication et la compression ReFS via Windows Admin Center ou PowerShell. PowerShell permet à la fois des travaux manuels et automatisés, tandis que Windows Admin Center prend uniquement en charge les travaux planifiés. Quelle que soit la méthode, vous pouvez personnaliser les paramètres du travail et utiliser le suivi des modifications de fichier pour accélérer les exécutions suivantes.

Activer et exécuter la déduplication et la compression ReFS

Windows Admin Center

Dans Windows Admin Center, vous pouvez créer une planification pour la déduplication et la compression ReFS pour s’exécuter sur un volume existant ou un nouveau volume lors de la création du volume.

Suivez ces étapes pour activer la déduplication et la compression ReFS via Windows Admin Center et définir une planification quand elle doit s’exécuter :

1. Connectez-vous à un cluster, puis, dans le volet Outils à gauche, sélectionnez Volumes.

2. Dans la page Volumes , sélectionnez l’onglet Inventaire , sélectionnez le volume approprié, puis sélectionnez Paramètres. Pour activer la déduplication et la compression ReFS pour un nouveau volume, sélectionnez + Créer.

3. Dans le volet Paramètres du volume situé à droite, sous Liste déroulante Autres options , cochez la case Utiliser la déduplication et la compression ReFS.

4. Sélectionnez les jours de la semaine où la déduplication et la compression ReFS doivent s’exécuter, l’heure pendant laquelle un travail commence à s’exécuter et la durée maximale (la valeur par défaut est illimitée), puis sélectionnez Enregistrer.

   La capture d’écran suivante montre que la déduplication et la compression ReFS s’exécute le vendredi et le samedi à 10 h 40 avec une durée maximale de 2 heures, à partir du 22/9/2023. Si la date de début a été modifiée au 21/09/2023, la première exécution sera toujours 9/22/2023 10h40, car c’est le premier vendredi après le 21/9/2023.

   

5. Vérifiez les modifications apportées à la section Propriétés du volume. La planification apparaît sous la section Propriétés et affiche la répartition des économies et l’heure d’exécution planifiée suivante. Ces économies sont mises à jour après chaque exécution et vous pouvez observer l’impact sur les performances dans les graphiques sous la section Performances .

   

PowerShell

Pour utiliser la déduplication et la compression ReFS via PowerShell, vous activez d’abord la fonctionnalité, puis exécutez-la en tant que travail manuel unique ou automatisez-la pour l’exécuter en tant que travaux planifiés. Les travaux sont définis au niveau CSV pour chaque cluster et peuvent être personnalisés en fonction des modes, de la durée, de l’utilisation des ressources système, etc.

Activer la déduplication et la compression ReFS

Procédez comme suit pour activer la déduplication et la compression ReFS via PowerShell :

1. Connectez-vous à votre cluster Azure Stack HCI et exécutez PowerShell en tant qu’administrateur.

2. Vous devez exécuter toutes les commandes pour modifier les paramètres sur un volume donné sur le nœud propriétaire. Exécutez l’applet de commande suivante pour afficher tous les nœuds propriétaires csv et le chemin d’accès au volume :

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Voici un exemple de sortie de l’utilisation de l’applet de commande :

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Exécutez l’applet de commande suivante pour activer la déduplication et la compression ReFS sur un volume spécifique :

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   où : Type est un paramètre obligatoire et peut prendre l’une des valeurs suivantes :

   • Déduplication : active la déduplication uniquement.
   • DedupAndCompress : active la déduplication et la compression. Il s'agit de l'option par défaut.
   • Compresser : active la compression uniquement.

   Si vous souhaitez modifier le Type paramètre, vous devez d’abord désactiver la déduplication et la compression ReFS, puis l’activer à nouveau avec le nouveau Type paramètre.

   Par exemple, exécutez l’applet de commande suivante pour activer la déduplication et la compression sur un volume :

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. Après avoir activé la déduplication et la compression ReFS, vérifiez son état sur le fichier CSV. Exécutez l’applet de commande suivante et vérifiez que le Enabled champ dans la sortie s’affiche et True que le Type champ affiche le mode spécifié.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Voici un exemple de sortie de l’applet Get-ReFSDedupStatus de commande dans laquelle le Enabled champ s’affiche et True le Type champ s’affiche comme DedupAndCompresssuit :

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Exécuter la déduplication et la compression ReFS

Après avoir activé cette fonctionnalité, vous pouvez exécuter un travail unique manuellement ou planifier des travaux périodiques en fonction des besoins.

Avant d’exécuter, vous devez également prendre en compte ces autres considérations :

• Si vous ne spécifiez pas de format de compression, l’algorithme par défaut est LZ4. Vous pouvez modifier l’algorithme d’une exécution à une autre en fonction des besoins.
• Vous pouvez spécifier d’autres paramètres pour des cas d’usage plus complexes. L’applet de commande utilisée dans cette section concerne le cas d’usage le plus simple.
• Le dossier Exclu, les extensions de fichier exclus et les filtres d’heures de dernière modification minimales s’appliquent uniquement lors de l’exécution de la déduplication et ne s’appliquent pas lors de l’exécution de la compression.

Exécuter manuellement les travaux de déduplication et de compression ReFS

• Pour démarrer un travail immédiatement, exécutez l’applet de commande suivante. Une fois que vous démarrez un travail, il State peut apparaître comme NotStarted étant dans la phase d’initialisation.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Par exemple, l’applet de commande suivante démarre immédiatement un travail pendant une durée de 5 heures à l’aide du format de compression LZ4 :

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Pour arrêter un travail en cours d’exécution, exécutez l’applet de commande suivante. Cette applet de commande fonctionne également pour les travaux planifiés en cours.

  Stop-ReFSDedupJob -Volume <path>
  

  Par exemple, l’applet de commande suivante arrête le travail que vous avez démarré dans l’exemple précédent :

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Pour afficher la progression, les économies et l’état d’un travail, exécutez l’applet de commande suivante :

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Par exemple, l’applet de commande suivante affiche l’état d’un travail :

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Planifier des travaux de déduplication et de compression ReFS périodiques

Définissez une planification récurrente pour exécuter des optimisations de stockage pour le volume. Vous pouvez ensuite afficher, définir ou modifier, suspendre, reprendre ou effacer la planification du travail.

• Pour définir ou modifier une planification, exécutez l’applet de commande suivante :

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Par exemple, pour configurer un travail périodique planifié pour s’exécuter tous les jeudis à 8 h 30 pendant une durée de 5 heures au format LZ4, exécutez l’applet de commande suivante. Utilisez -Days EveryDay si vous souhaitez exécuter le travail quotidiennement.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Pour afficher la planification du travail, exécutez l’applet de commande suivante :

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Voici la sortie du travail planifié dans l’exemple précédent :

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Suspendre les travaux planifiés

La suspension de la planification annule les travaux en cours d’exécution et arrête les exécutions planifiées à l’avenir. Cette option conserve les métadonnées de déduplication et de compression ReFS et continue de suivre les modifications apportées aux fichiers pour les exécutions futures optimisées. Vous pouvez reprendre la planification à tout moment, avec les paramètres de planification conservés.

Windows Admin Center

Procédez comme suit pour suspendre les travaux planifiés à l’aide de Windows Admin Center :

1. Connectez-vous à un cluster, puis, dans le volet Outils à gauche, sélectionnez Volumes.

2. Dans la page Volumes , sélectionnez l’onglet Inventaire , sélectionnez le volume approprié, puis sélectionnez Paramètres.

3. Dans le volet Paramètres du volume situé à droite, sous Liste déroulante Autres options, décochez la case Définir la planification, puis sélectionnez Enregistrer.

PowerShell

Utilisez l’applet de commande suivante pour suspendre le travail planifié et vérifier l’état à l’aide de PowerShell :

Suspend-ReFSDedupSchedule -Volume <path> 

Voici un exemple de sortie de l’utilisation de l’applet de commande. Le Suspended champ s’affiche sous la forme True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Désactiver la déduplication et la compression ReFS sur un volume

La désactivation de la déduplication et de la compression ReFS sur un volume arrête les exécutions en cours et annule les travaux planifiés futurs. En outre, les métadonnées de volume associées ne sont pas conservées et le suivi des modifications de fichier est arrêté.

Lorsque vous désactivez cette fonctionnalité, elle n’annule pas la déduplication ou la compression, car toutes les opérations se produisent au niveau de la couche de métadonnées. Au fil du temps, les données retournent à son état d’origine, car le volume entraîne des lectures et des écritures.

Remarque

Vous pouvez effectuer des opérations de décompression à l’aide ReFSUtilde .

Windows Admin Center

Procédez comme suit pour désactiver la fonctionnalité à l’aide de Windows Admin Center :

1. Connectez-vous à un cluster, puis, dans le volet Outils à gauche, sélectionnez Volumes.

2. Dans la page Volumes , sélectionnez l’onglet Inventaire , sélectionnez le volume approprié, puis sélectionnez Paramètres.

3. Dans le volet Paramètres du volume à droite, sous Liste déroulante Autres options , désélectionnez la case Utiliser la déduplication et la compression ReFS, puis sélectionnez Enregistrer.

PowerShell

Utilisez l’applet de commande suivante pour suspendre le travail planifié et vérifier l’état :

Disable-ReFSDedup -Volume <path>

Voici un exemple de sortie de l’utilisation de l’applet de commande. Le Enabled champ s’affiche en tant que False champ et le Type champ s’affiche comme vide.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Forum Aux Questions (FAQ)

Cette section répond aux questions fréquemment posées sur la déduplication et la compression ReFS.

La fonctionnalité de déduplication et de compression ReFS diffère-t-elle de la déduplication des données Windows ?

Oui, cette fonctionnalité est entièrement différente de la fonctionnalité de déduplication des données Windows.

Important

Nous ne prenons pas en charge l’activation simultanée de la déduplication et de la compression ReFS et de la déduplication des données Windows.

La déduplication et la compression reFS sont conçues pour les charges de travail actives, en mettant l’accent sur la réduction de l’impact sur les performances après l’optimisation. Contrairement à la déduplication des données Windows, la déduplication et la compression ReFS n’utilisent pas de magasin de blocs pour stocker des données dédupliquées et aucun déplacement de données physique n’est impliqué. La fonctionnalité s’appuie sur le clonage de bloc ReFS pour activer les opérations de métadonnées uniquement. La déduplication des données Windows peut offrir de meilleures économies de stockage en raison de son utilisation de tailles de blocs variables, elle convient également à un plus large éventail de types de charges de travail, tels que les serveurs de fichiers à usage général (GPFS), les cibles de sauvegarde, etc.

Quelles sont les phases de la déduplication et de la compression ReFS ?

Le processus d’optimisation comprend les phases suivantes qui se produisent séquentiellement et dépendent du mode spécifié. Si une exécution d’optimisation atteint une limite de durée, la compression peut ne pas s’exécuter.

• Initialisation. Dans cette phase, le volume de stockage est analysé pour identifier les blocs redondants de données.

• Déduplication des données. Dans cette phase, les blocs redondants sont à instance unique et suivis à l’aide du clonage de bloc ReFS.

• Compression. Dans cette phase, une carte thermique est générée pour identifier si un bloc doit être éligible à la compression. Les paramètres par défaut compressent les données rarement sollicitées ou froides pour réduire leur taille. Vous pouvez modifier les niveaux de compression pour ajuster la plage de blocs éligibles à la compression.

Que se passe-t-il lorsque la limite de durée est atteinte avant que le volume soit entièrement optimisé ?

La limite de durée est en place pour empêcher tout impact sur les performances sur les charges de travail client causées par le travail d’optimisation pendant les heures d’ouverture. Un service de déduplication surveille les parties optimisées d’un volume et des modifications de fichier entrantes. Ces données sont utilisées dans les travaux futurs pour réduire le temps d’optimisation. Par exemple, si un volume n’est traité que 30 % lors de la première exécution en raison de la limite de durée, l’exécution suivante traite les 70 % restants et toutes les nouvelles données.

Problèmes connus

La section suivante répertorie les problèmes connus qui existent actuellement avec la déduplication et la compression ReFS.

Lorsque la compression est activée, l’utilisation du paramètre sur les -FullRun travaux après la première exécution d’optimisation peut entraîner un blocage dans le système.

État : Ouvert.

Évitez d’utiliser -FullRun dans les travaux démarrés manuellement, sauf si la valeur Type est Dedup.

Procédez comme solution de contournement temporaire pour atténuer ce problème :

1. Désactivez la déduplication et la compression ReFS sur le volume :

   Disable-ReFSDedup -Volume <path>
   

2. Décompressez le volume à l’aide refsutilde :

   refsutil compression /c /f NONE <vol>
   

3. Réactivez la déduplication et la compression ReFS avec le Dedup seul mode, si nécessaire :

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

La planification des travaux à exécuter simultanément sur plusieurs clusters au sein d’un seul cluster peut potentiellement déclencher des mouvements CSV et avoir un impact négatif sur les performances.

État : Ouvert.

Comme bonne pratique recommandée, envisagez d’décaler l’heure de début des travaux afin d’éviter tout chevauchement. Toutefois, si tous les travaux doivent s’exécuter simultanément, ajustez l’allocation de l’UC par travail sur tous les CSV afin qu’elle soit inférieure à 50 % de l’utilisation globale du processeur du cluster. N’oubliez pas que l’imposition de limitations du processeur peut entraîner des temps d’exécution de travaux plus longs.

Le travail de déduplication et de compression ReFS terminé (correctement ou annulé) et les économies de stockage ne sont pas répertoriées dans Get-ReFSDedupStatus ou Windows Admin Center.

État : résolu.

La solution de contournement temporaire pour ce problème consiste à lancer un travail unique et la mise à jour des résultats immédiatement.

Start-ReFSDedupJob -Volume <path>

Envoi d’événements de suivi d’événements arrêtés pour les événements Windows (ETW) après avoir désactivé la déduplication et la compression ReFS sur un volume.

État : résolu.

Une fois la déduplication et la compression ReFS désactivées sur un volume, le canal ETW pour les journaux de déduplication ReFS a arrêté les événements de surveillance arrêtés répétés. Toutefois, nous ne prévoyons pas d’impact significatif sur l’utilisation en raison de ce problème.

L’événement d’échec du travail n’a pas été enregistré si le volume est déplacé vers un autre nœud pendant la compression.

État : résolu.

Si le fichier CSV est déplacé vers un autre serveur du cluster pendant que la compression est en cours, l’événement d’échec du travail n’est pas connecté au canal de déduplication ReFS. Toutefois, nous ne prévoyons pas d’impact significatif sur l’utilisation en raison de ce problème.

Étapes suivantes

• Gérer le volume.