Ottimizzare l'archiviazione con deduplicazione e compressione ReFS in Azure Stack HCI

Si applica a: Azure Stack HCI, versione 23H2

Questo articolo descrive la funzionalità di deduplicazione e compressione di Resilient File System (ReFS) e come usare questa funzionalità in Azure Stack HCI per ottimizzare l'archiviazione.

Che cos'è la deduplicazione e la compressione ReFS?

La deduplicazione e la compressione di ReFS è una funzionalità di ottimizzazione dell'archiviazione progettata in modo specifico per carichi di lavoro attivi, ad esempio l'infrastruttura VDI (Virtual Desktop Infrastructure) di Azure in Azure Stack HCI. Questa funzionalità consente di ottimizzare l'utilizzo dell'archiviazione e ridurre i costi di archiviazione.

Questa funzionalità usa la clonazione di blocchi ReFS per ridurre lo spostamento dei dati e abilitare solo le operazioni sui metadati. La funzionalità opera a livello di blocco dati e usa le dimensioni fisse dei blocchi a seconda delle dimensioni del cluster. Il motore di compressione genera una mappa termica per identificare se un blocco deve essere idoneo per la compressione, ottimizzando l'utilizzo della CPU.

È possibile eseguire deduplicazione e compressione ReFS come processo monouso o automatizzarlo con processi pianificati. Questa funzionalità funziona con sistemi all-flash e ibridi e supporta diverse impostazioni di resilienza, ad esempio mirror bidirezionale, mirror bidirezionale annidato, mirror a tre vie e parità accelerata mirror.

Vantaggi

Ecco i vantaggi dell'uso della deduplicazione e della compressione ReFS:

• Risparmio di spazio di archiviazione per i carichi di lavoro attivi. Progettato per carichi di lavoro attivi, ad esempio VDI, garantisce prestazioni efficienti in ambienti esigenti.
• Più modalità. Opera in tre modalità: solo deduplicazione, solo compressione e deduplicazione e compressione (modalità predefinita), consentendo l'ottimizzazione in base alle esigenze.
• Deduplicazione incrementale. Deduplica solo i dati nuovi o modificati invece di analizzare l'intero volume ogni volta, ottimizzando la durata del processo e riducendo l'impatto sulle prestazioni del sistema.

Prerequisiti

Prima di iniziare, assicurarsi che siano stati completati i prerequisiti seguenti:

• È possibile accedere a un cluster Azure Stack HCI distribuito e registrato.
• Il volume condiviso del cluster (CSV) è stato creato nel cluster ed è possibile accedervi.
• Il volume condiviso cluster non dispone già della funzionalità di deduplicazione dati di Windows abilitata.

Usare la deduplicazione e la compressione reFS

È possibile usare la deduplicazione e la compressione ReFS tramite Windows Admin Center o PowerShell. PowerShell consente processi manuali e automatizzati, mentre Windows Admin Center supporta solo processi pianificati. Indipendentemente dal metodo, è possibile personalizzare le impostazioni del processo e utilizzare il rilevamento delle modifiche dei file per le esecuzioni successive più rapide.

Abilitare ed eseguire deduplicazione e compressione ReFS

Windows Admin Center

In Windows Admin Center è possibile creare una pianificazione per la deduplicazione e la compressione di ReFS per l'esecuzione in un volume esistente o in un nuovo volume durante la creazione del volume.

Seguire questa procedura per abilitare la deduplicazione e la compressione ReFS tramite Windows Admin Center e impostare una pianificazione quando deve essere eseguita:

1. Connettersi a un cluster e quindi nel riquadro Strumenti a sinistra selezionare Volumi.

2. Nella pagina Volumi selezionare la scheda Inventario, selezionare il volume appropriato e quindi selezionare Impostazioni. Per attivare la deduplicazione e la compressione ReFS per un nuovo volume, selezionare + Crea.

3. Nel riquadro Impostazioni volume a destra, nell'elenco a discesa Altre opzioni selezionare la casella di controllo Usa deduplicazione ReFS e compressione.

4. Selezionare i giorni della settimana in cui deve essere eseguita la deduplicazione e la compressione ReFS, il tempo per l'avvio dell'esecuzione di un processo e la durata massima (il valore predefinito è illimitato) e quindi selezionare Salva.

   Lo screenshot seguente mostra che la deduplicazione e la compressione ReFS viene eseguita venerdì e sabato alle 10:40 con una durata massima di 2 ore, a partire dal 22/9/2023. Se la data di inizio è stata modificata in 21/09/2023, la prima esecuzione sarà ancora il 22/9/2023 10:40AM, perché è il primo venerdì dopo il 21/9/2023.

   

5. Verificare le modifiche nella sezione Proprietà del volume. La pianificazione viene visualizzata nella sezione Proprietà e visualizza la suddivisione dei risparmi e il successivo runtime pianificato. Questi risparmi vengono aggiornati dopo ogni esecuzione ed è possibile osservare l'impatto sulle prestazioni nei grafici nella sezione Prestazioni .

   

PowerShell

Per usare la deduplicazione e la compressione ReFS tramite PowerShell, abilitare prima la funzionalità e quindi eseguirla come processo manuale monouso o automatizzarla per eseguirla come processi pianificati. I processi vengono impostati a livello csv per ogni cluster e possono essere personalizzati in base alle modalità, alla durata, all'utilizzo delle risorse di sistema e altro ancora.

Abilitare la deduplicazione e la compressione reFS

Seguire questa procedura per abilitare la deduplicazione e la compressione ReFS tramite PowerShell:

1. Connettersi al cluster Azure Stack HCI ed eseguire PowerShell come amministratore.

2. È necessario eseguire tutti i comandi per modificare le impostazioni in un determinato volume nel nodo proprietario. Eseguire il cmdlet seguente per visualizzare tutti i nodi proprietario csv e il percorso del volume:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Di seguito è riportato un output di esempio dell'utilizzo dei cmdlet:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Eseguire il cmdlet seguente per abilitare la deduplicazione e la compressione ReFS in un volume specifico:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   dove: Type è un parametro obbligatorio e può accettare uno dei valori seguenti:

   • Dedup: abilita solo la deduplicazione.
   • DedupAndCompress: abilita sia la deduplicazione che la compressione. Si tratta dell'opzione predefinita.
   • Compressione: abilita solo la compressione.

   Se si vuole modificare il Type parametro, è prima necessario disabilitare la deduplicazione e la compressione ReFS e quindi abilitarla di nuovo con il nuovo Type parametro.

   Ad esempio, eseguire il cmdlet seguente per abilitare la deduplicazione e la compressione in un volume:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. Dopo aver abilitato la deduplicazione e la compressione ReFS, verificare lo stato nel file CSV. Eseguire il cmdlet seguente e assicurarsi che il Enabled campo nell'output venga visualizzato come True e il Type campo visualizzi la modalità specificata.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Ecco un output di esempio del Get-ReFSDedupStatus cmdlet in cui il Enabled campo viene visualizzato come True e il Type campo viene visualizzato come DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Eseguire la deduplicazione e la compressione reFS

Dopo aver abilitato questa funzionalità, è possibile eseguire manualmente un processo monouso o pianificare i processi ricorrenti in base alle esigenze.

Prima di eseguire, è necessario tenere conto anche di queste altre considerazioni:

• Se non si specifica un formato di compressione, l'algoritmo predefinito è LZ4. È possibile modificare l'algoritmo da un'esecuzione a un'altra in base alle esigenze.
• È possibile specificare più parametri per casi d'uso più complessi. Il cmdlet usato in questa sezione è per il caso d'uso più semplice.
• I filtri Cartella esclusa, Estensioni file escluse e Ore di ora dell'ultima modifica minima si applicano solo durante l'esecuzione della deduplicazione e non si applicano durante l'esecuzione della compressione.

Eseguire manualmente processi di deduplicazione e compressione ReFS

• Per avviare immediatamente un processo, eseguire il cmdlet seguente. Una volta avviato un processo, State potrebbe apparire come NotStarted perché potrebbe essere ancora nella fase di inizializzazione.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Ad esempio, il cmdlet seguente avvia immediatamente un processo per una durata di 5 ore usando il formato di compressione LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Per arrestare un processo in esecuzione, eseguire il cmdlet seguente. Questo cmdlet funziona anche per i processi pianificati in corso.

  Stop-ReFSDedupJob -Volume <path>
  

  Ad esempio, il cmdlet seguente arresta il processo avviato nell'esempio precedente:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Per visualizzare lo stato, il risparmio e lo stato di un processo, eseguire il cmdlet seguente:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Ad esempio, il cmdlet seguente visualizza lo stato di un processo:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Pianificare processi di deduplicazione e compressione ReFS ricorrenti

Impostare una pianificazione ricorsiva per eseguire le ottimizzazioni di archiviazione per il volume. È quindi possibile visualizzare, impostare o modificare, sospendere, riprendere o cancellare la pianificazione del processo.

• Per impostare o modificare una pianificazione, eseguire il cmdlet seguente:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Ad esempio, per configurare un processo ricorrente pianificato per l'esecuzione ogni giovedì alle 8:30 per una durata di 5 ore nel formato LZ4, eseguire il cmdlet seguente. Usare -Days EveryDay se si vuole eseguire il processo ogni giorno.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Per visualizzare la pianificazione del processo, eseguire il cmdlet seguente:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Ecco l'output del processo pianificato nell'esempio precedente:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Sospendere i processi pianificati

La sospensione della pianificazione annulla tutti i processi in esecuzione e arresta le esecuzioni pianificate in futuro. Questa opzione mantiene la deduplicazione ReFS e i metadati correlati alla compressione e continua a tenere traccia delle modifiche dei file per le esecuzioni future ottimizzate. È possibile riprendere la pianificazione in qualsiasi momento, con le impostazioni di pianificazione mantenute.

Windows Admin Center

Seguire questa procedura per sospendere i processi pianificati con Windows Admin Center:

1. Connettersi a un cluster e quindi nel riquadro Strumenti a sinistra selezionare Volumi.

2. Nella pagina Volumi selezionare la scheda Inventario, selezionare il volume appropriato e quindi selezionare Impostazioni.

3. Nel riquadro Impostazioni volume a destra, nell'elenco a discesa Altre opzioni deselezionare la casella di controllo Imposta pianificazione e quindi selezionare Salva.

PowerShell

Usare il cmdlet seguente per sospendere il processo pianificato e controllare lo stato usando PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Di seguito è riportato un output di esempio dell'utilizzo dei cmdlet. Il Suspended campo viene visualizzato come True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Disabilitare la deduplicazione e la compressione ReFS in un volume

La disabilitazione della deduplicazione e della compressione ReFS in un volume arresta tutte le esecuzioni in corso e annulla i processi pianificati futuri. Inoltre, i metadati del volume correlati non vengono conservati e il rilevamento delle modifiche dei file viene arrestato.

Quando si disabilita questa funzionalità, non annulla la deduplicazione o la compressione, perché tutte le operazioni vengono eseguite a livello di metadati. Nel corso del tempo, i dati tornano allo stato originale quando il volume comporta letture e scritture.

Nota

È possibile eseguire operazioni di decompressione usando ReFSUtil.

Windows Admin Center

Seguire questa procedura per disabilitare la funzionalità con Windows Admin Center:

1. Connettersi a un cluster e quindi nel riquadro Strumenti a sinistra selezionare Volumi.

2. Nella pagina Volumi selezionare la scheda Inventario, selezionare il volume appropriato e quindi selezionare Impostazioni.

3. Nel riquadro Impostazioni volume a destra, nell'elenco a discesa Altre opzioni deselezionare la casella di controllo Usa deduplicazione e compressione ReFS e quindi selezionare Salva.

PowerShell

Usare il cmdlet seguente per sospendere il processo pianificato e controllare lo stato:

Disable-ReFSDedup -Volume <path>

Di seguito è riportato un output di esempio dell'utilizzo dei cmdlet. Il Enabled campo viene visualizzato come False e il Type campo viene visualizzato come vuoto.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Domande frequenti

Questa sezione risponde alle domande frequenti sulla deduplicazione e la compressione di ReFS.

La funzionalità di deduplicazione e compressione ReFS è diversa dalla deduplicazione dei dati di Windows?

Sì, questa funzionalità è completamente diversa dalla funzionalità deduplicazione dati di Windows.

Importante

Non è supportata l'abilitazione simultanea della deduplicazione e della compressione di ReFS e della deduplicazione dei dati di Windows.

La deduplicazione e la compressione reFS sono progettate per carichi di lavoro attivi, concentrandosi sulla riduzione dell'impatto sulle prestazioni dopo l'ottimizzazione. A differenza della deduplicazione dei dati di Windows, la deduplicazione e la compressione reFS non usano un archivio blocchi per archiviare i dati deduplicati e non sono coinvolti spostamenti fisici dei dati. La funzionalità si basa sulla clonazione di blocchi ReFS per abilitare le operazioni di sola metadati. La deduplicazione dati di Windows potrebbe offrire un risparmio di spazio di archiviazione migliore grazie all'uso di dimensioni di blocchi variabili, ma è adatta anche a un'ampia gamma di tipi di carico di lavoro, ad esempio file server per utilizzo generico (GPFS), destinazioni di backup e altro ancora.

Quali sono le fasi della deduplicazione e della compressione ReFS?

Il processo di ottimizzazione comprende le fasi seguenti che si verificano in sequenza e dipendono dalla modalità specificata. Se un'esecuzione di ottimizzazione raggiunge un limite di durata, la compressione potrebbe non essere eseguita.

• Inizializzazione. In questa fase, il volume di archiviazione viene analizzato per identificare blocchi ridondanti di dati.

• Deduplicazione dei dati. In questa fase, i blocchi ridondanti vengono a istanza singola e rilevati usando la clonazione del blocco ReFS.

• Compressione. In questa fase viene generata una mappa termica per identificare se un blocco deve essere idoneo per la compressione. Le impostazioni predefinite comprimono i dati a cui si accede raramente o a freddo per ridurre le dimensioni. È possibile modificare i livelli di compressione per regolare l'intervallo di blocchi idonei per la compressione.

Cosa accade quando viene raggiunto il limite di durata prima che il volume sia completamente ottimizzato?

Il limite di durata è previsto per evitare eventuali effetti sulle prestazioni sui carichi di lavoro dei clienti causati dal processo di ottimizzazione durante l'orario di ufficio. Un servizio di deduplicazione monitora le parti ottimizzate di un volume e le modifiche ai file in ingresso. Questi dati vengono utilizzati nei processi futuri per ridurre i tempi di ottimizzazione. Ad esempio, se un volume viene elaborato solo al 30% nella prima esecuzione a causa del limite di durata, l'esecuzione successiva risolve il rimanente 70% e tutti i nuovi dati.

Problemi noti

Nella sezione seguente sono elencati i problemi noti attualmente presenti con la deduplicazione e la compressione di ReFS.

Quando la compressione è abilitata, l'uso del -FullRun parametro nei processi dopo la prima esecuzione dell'ottimizzazione potrebbe comportare un deadlock nel sistema.

Stato: aperto.

Evitare di usare -FullRun nei processi avviati manualmente, a meno che non Type sia Dedup.

Seguire questa procedura come soluzione alternativa temporanea per attenuare questo problema:

1. Disabilitare la deduplicazione e la compressione ReFS nel volume:

   Disable-ReFSDedup -Volume <path>
   

2. Decomprimere il volume usando refsutil:

   refsutil compression /c /f NONE <vol>
   

3. Riabilitare la deduplicazione e la compressione ReFS con l'unica Dedup modalità, se necessario:

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

La pianificazione dei processi da eseguire simultaneamente in più volumi condivisi cluster all'interno di un singolo cluster può potenzialmente attivare spostamenti CSV e influire negativamente sulle prestazioni.

Stato: aperto.

Come procedura consigliata, valutare la possibilità di sfalsare l'ora di inizio dei processi per evitare sovrapposizioni. Tuttavia, se tutti i processi devono essere eseguiti contemporaneamente, modificare l'allocazione della CPU per ogni processo in tutti i volumi condivisi cluster in modo che sia inferiore al 50% dell'utilizzo complessivo della CPU del cluster. Tenere presente che l'imposizione di limitazioni della CPU può comportare tempi di esecuzione del processo più lunghi.

La deduplicazione e il processo di compressione ReFS sono stati completati (correttamente o annullati) e i risparmi di archiviazione non sono elencati in Get-ReFSDedupStatus o In Windows Admin Center.

Stato: risolto.

La soluzione temporanea per questo problema consiste nell'avviare immediatamente un processo monouso e i risultati vengono aggiornati immediatamente.

Start-ReFSDedupJob -Volume <path>

Invio di eventi di monitoraggio interrotto di Event Tracing for Windows (ETW) dopo la disabilitazione della deduplicazione e della compressione ReFS in un volume.

Stato: risolto.

Una volta disabilitata la deduplicazione e la compressione ReFS in un volume, il canale ETW per i log di deduplicazione ReFS ripete gli eventi di monitoraggio interrotti. Tuttavia, non si prevede un impatto significativo sull'utilizzo a causa di questo problema.

Evento di errore del processo non registrato se il volume viene spostato in un altro nodo durante la compressione.

Stato: risolto.

Se il file CSV viene spostato in un altro server del cluster mentre è in corso la compressione, l'evento di processo non riuscito non viene registrato nel canale di deduplicazione ReFS. Tuttavia, non si prevede un impatto significativo sull'utilizzo a causa di questo problema.

Passaggi successivi

• Gestire il volume.