Optimera lagring med ReFS-deduplicering och komprimering i Azure Stack HCI

Gäller för: Azure Stack HCI, version 23H2

Den här artikeln beskriver reFS-deduplicerings- och komprimeringsfunktionen (Resilient File System) och hur du använder den här funktionen i Azure Stack HCI för att optimera lagringen.

Vad är ReFS-deduplicering och komprimering?

ReFS-deduplicering och komprimering är en funktion för lagringsoptimering som utformats särskilt för aktiva arbetsbelastningar, till exempel VDI (Azure Virtual Desktop Infrastructure) på Azure Stack HCI. Den här funktionen hjälper till att optimera lagringsanvändningen och minska lagringskostnaden.

Den här funktionen använder ReFS-blockkloning för att minska dataförflyttningen och aktivera endast åtgärder för metadata. Funktionen fungerar på datablocksnivå och använder fast blockstorlek beroende på klusterstorleken. Komprimeringsmotorn genererar en värmekarta för att identifiera om ett block ska vara berättigat till komprimering och optimera för CPU-användning.

Du kan köra ReFS-deduplicering och komprimering som ett engångsjobb eller automatisera det med schemalagda jobb. Den här funktionen fungerar med både flash- och hybridsystem och stöder olika återhämtningsinställningar, till exempel tvåvägsspegel, kapslad dubbelriktad spegling, trevägsspegling och speglingsaccelererad paritet.

Fördelar

Här är fördelarna med att använda ReFS-deduplicering och komprimering:

• Lagringsbesparingar för aktiva arbetsbelastningar. Utformad för aktiva arbetsbelastningar, till exempel VDI, som säkerställer effektiva prestanda i krävande miljöer.
• Flera lägen. Fungerar i tre lägen: endast deduplicering, endast komprimering och deduplicering och komprimering (standardläge), vilket tillåter optimering baserat på dina behov.
• Inkrementell deduplicering. Deduplicerar endast nya eller ändrade data i stället för att genomsöka hela volymen varje gång, optimera jobbvaraktighet och minska påverkan på systemets prestanda.

Förutsättningar

Kontrollera att följande krav är uppfyllda innan du börjar:

• Du har åtkomst till ett Azure Stack HCI-kluster som distribueras och registreras.
• Du har skapat den klusterdelade volymen (CSV) i klustret och du har åtkomst till den.
• CSV:en har inte redan funktionen Windows Datadeduplicering aktiverad.

Använda ReFS-deduplicering och komprimering

Du kan använda ReFS-deduplicering och komprimering via Windows Admin Center eller PowerShell. PowerShell tillåter både manuella och automatiserade jobb, medan Windows Admin Center endast stöder schemalagda jobb. Oavsett metod kan du anpassa jobbinställningar och använda filändringsspårning för snabbare efterföljande körningar.

Aktivera och köra ReFS-deduplicering och komprimering

Windows Admin Center

I Windows Admin Center kan du skapa ett schema för ReFS-deduplicering och komprimering som ska köras på en befintlig volym eller en ny volym när volymen skapas.

Följ dessa steg för att aktivera ReFS-deduplicering och komprimering via Windows Admin Center och ange ett schema när den ska köras:

1. Anslut till ett kluster och välj Sedan Volymer i fönstret Verktyg till vänster.

2. På sidan Volymer väljer du fliken Inventering , väljer lämplig volym och väljer sedan Inställningar. Om du vill aktivera ReFS-deduplicering och komprimering för en ny volym väljer du + Skapa.

3. I fönstret Volyminställningar till höger går du till listrutan Fler alternativ och markerar kryssrutan Använd ReFS-deduplicering och komprimering .

4. Välj de dagar i veckan då ReFS-deduplicering och komprimering ska köras, tiden för ett jobb att börja köras och maximal varaktighet (standardvärdet är obegränsat) och välj sedan Spara.

   Följande skärmbild visar att ReFS-deduplicering och komprimering körs på fredag och lördag kl. 10:40 med en maximal varaktighet på 2 timmar från och med 2023-09-22. Om startdatumet ändrades till 2023-09-21 är den första körningen fortfarande 2023-09-22 10:40 eftersom det är den första fredagen efter den 21/21/2023.

   

5. Kontrollera ändringarna i avsnittet Egenskaper på volymen. Schemat visas under avsnittet Egenskaper och visar besparingsuppdelningen och nästa schemalagda körningstid. Dessa besparingar uppdateras efter varje körning och du kan se prestandapåverkan i diagrammen under avsnittet Prestanda .

   

PowerShell

Om du vill använda ReFS-deduplicering och komprimering via PowerShell aktiverar du först funktionen och kör den sedan som ett engångsmanuellt jobb eller automatiserar för att köra den som schemalagda jobb. Jobben anges på CSV-nivå för varje kluster och kan anpassas baserat på lägen, varaktighet, systemresursanvändning med mera.

Aktivera ReFS-deduplicering och komprimering

Följ dessa steg för att aktivera ReFS-deduplicering och komprimering via PowerShell:

1. Anslut till ditt Azure Stack HCI-kluster och kör PowerShell som administratör.

2. Du måste köra alla kommandon för att ändra inställningarna på en viss volym på ägarnoden. Kör följande cmdlet för att visa alla CSV-ägarnoder och volymsökväg:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Här är ett exempel på utdata från cmdlet-användningen:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Kör följande cmdlet för att aktivera ReFS-deduplicering och komprimering på en viss volym:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   where: Type är en obligatorisk parameter och kan ta något av följande värden:

   • Deduplicering: Aktiverar endast deduplicering.
   • DedupAndCompress: Aktiverar både deduplicering och komprimering. Det här är standardalternativet.
   • Komprimera: Aktiverar endast komprimering.

   Om du vill ändra parametern Type måste du först inaktivera ReFS-deduplicering och komprimering och sedan aktivera den igen med den nya Type parametern.

   Kör till exempel följande cmdlet för att aktivera både deduplicering och komprimering på en volym:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. När du har aktiverat ReFS-deduplicering och komprimering kontrollerar du dess status på CSV:en. Kör följande cmdlet och se till att Enabled fältet i utdata visas som True och fältet Type visar det angivna läget.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Här är ett exempel på utdata från cmdleten där fältet Enabled visas som True och fältet Type visas som DedupAndCompress:Get-ReFSDedupStatus

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Kör ReFS-deduplicering och komprimering

När du har aktiverat den här funktionen kan du köra ett engångsjobb manuellt eller schemalägga återkommande jobb efter behov.

Innan du kör bör du också ta hänsyn till dessa andra överväganden:

• Den första körningen efter aktivering av den här funktionen är alltid en fullständig genomsökning och optimering av hela volymen. Om parametern FullRun anges täcker optimeringen hela volymen i stället för nya eller ooptimerade data.
• Om du inte anger ett komprimeringsformat är standardalgoritmen LZ4. Du kan ändra algoritmen från en körning till en annan efter behov.
• Du kan ange fler parametrar för mer komplexa användningsfall. Cmdleten som används i det här avsnittet är för det enklaste användningsfallet.
• Filtren Fullständig körning, Exkluderad mapp, Undantagna filnamnstillägg och Minsta senast ändrade tidstimmar gäller endast när du kör deduplicering och gäller inte vid körning av komprimering.

Kör ReFS-deduplicerings- och komprimeringsjobb manuellt

• Starta ett jobb direkt genom att köra följande cmdlet. När du startar ett jobb kan det State visas som NotStarted eftersom det fortfarande kan vara i initieringsfasen.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -FullRun -CompressionFormat <LZ4 | ZSTD> 
  

  Följande cmdlet startar till exempel ett jobb omedelbart under fem timmar med hjälp av LZ4-komprimeringsformatet:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -FullRun -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Om du vill stoppa ett pågående jobb kör du följande cmdlet. Den här cmdleten fungerar även för pågående schemalagda jobb.

  Stop-ReFSDedupJob -Volume <path>
  

  Följande cmdlet stoppar till exempel jobbet som du startade i föregående exempel:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Om du vill visa förloppet, besparingarna och statusen för ett jobb kör du följande cmdlet:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Följande cmdlet visar till exempel status för ett jobb:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Schemalägga återkommande ReFS-deduplicerings- och komprimeringsjobb

Ange ett återkommande schema för att köra lagringsoptimeringar för volymen. Du kan sedan visa, ange eller ändra, pausa, återuppta eller rensa jobbschemat.

• Om du vill ange eller ändra ett schema kör du följande cmdlet:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Om du till exempel vill konfigurera ett återkommande jobb som är schemalagt att köras varje torsdag kl. 08:30 under fem timmar i LZ4-format kör du följande cmdlet. Använd -Days EveryDay om du vill köra jobbet dagligen.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Om du vill visa jobbschemat kör du följande cmdlet:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Här är utdata för jobbet som schemalagts i föregående exempel:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Pausa schemalagda jobb

Om schemat pausas avbryts alla jobb som körs och schemalagda körningar stoppas i framtiden. Det här alternativet behåller ReFS-deduplicering och komprimeringsrelaterade metadata och fortsätter att spåra filändringar för optimerade framtida körningar. Du kan återuppta schemat när som helst med schemainställningarna bevarade.

Windows Admin Center

Följ dessa steg för att pausa schemalagda jobb med hjälp av Windows Admin Center:

1. Anslut till ett kluster och välj Sedan Volymer i fönstret Verktyg till vänster.

2. På sidan Volymer väljer du fliken Inventering , väljer lämplig volym och väljer sedan Inställningar.

3. I fönstret Volyminställningar till höger under Listrutan Fler alternativ avmarkerar du kryssrutan Ange schema och väljer sedan Spara.

PowerShell

Använd följande cmdlet för att pausa det schemalagda jobbet och kontrollera statusen med Hjälp av PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Här är ett exempel på utdata från cmdlet-användningen. Fältet Suspended visas som True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Inaktivera ReFS-deduplicering och komprimering på en volym

Om du inaktiverar ReFS-deduplicering och komprimering på en volym stoppas alla pågående körningar och framtida schemalagda jobb avbryts. Dessutom behålls inte relaterade volymmetadata och spårning av filändringar stoppas.

När du inaktiverar den här funktionen ångras inte deduplicering eller komprimering eftersom alla åtgärder utförs på metadatalagret. Med tiden återgår data till sitt ursprungliga tillstånd när volymen ådrar sig läsningar och skrivningar.

Anteckning

Du kan utföra dekomprimeringsåtgärder med .ReFSUtil

Windows Admin Center

Följ dessa steg för att inaktivera funktionen med Windows Admin Center:

1. Anslut till ett kluster och välj Sedan Volymer i fönstret Verktyg till vänster.

2. På sidan Volymer väljer du fliken Inventering , väljer lämplig volym och väljer sedan Inställningar.

3. I fönstret Volyminställningar till höger under Listrutan Fler alternativ avmarkerar du kryssrutan Använd ReFS-deduplicering och komprimering och väljer sedan Spara.

PowerShell

Använd följande cmdlet för att pausa det schemalagda jobbet och kontrollera statusen:

Disable-ReFSDedup -Volume <path>

Här är ett exempel på utdata från cmdlet-användningen. Fältet Enabled visas som False och fältet Type visas som tomt.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Vanliga frågor och svar

Det här avsnittet besvarar vanliga frågor om ReFS-deduplicering och komprimering.

Skiljer sig reFS-deduplicerings- och komprimeringsfunktionen från Windows Datadeduplicering?

Ja, den här funktionen skiljer sig helt från funktionen Windows Datadeduplicering .

Viktigt

Vi stöder inte aktivering av både ReFS-deduplicering och komprimering och Windows Datadeduplicering samtidigt.

ReFS-deduplicering och komprimering är utformat för aktiva arbetsbelastningar, med fokus på att minimera prestandapåverkan efter optimering. Till skillnad från Windows Datadeduplicering använder ReFS-deduplicering och komprimering inte ett segmentlager för att lagra deduplicerade data, och ingen fysisk dataförflyttning är inblandad. Funktionen förlitar sig på ReFS-blockkloning för att aktivera åtgärder med endast metadata. Windows Datadeduplicering kan ge bättre lagringsbesparingar på grund av dess användning av variabla blockstorlekar. Det är också lämpligt för ett bredare utbud av arbetsbelastningstyper, till exempel GPFS (General-purpose file servers), säkerhetskopieringsmål med mera.

Vilka är faserna i ReFS-deduplicering och komprimering?

Optimeringsprocessen består av följande faser som sker sekventiellt och är beroende av det angivna läget. Om en optimeringskörning når en varaktighetsgräns kanske komprimeringen inte körs.

• Initiering. I den här fasen genomsöks lagringsvolymen för att identifiera redundanta datablock.

• Datadeduplicering. I den här fasen är de redundanta blocken enkelinstanserade och spåras med hjälp av ReFS-blockkloning.

• Komprimering. I den här fasen genereras en värmekarta för att identifiera om ett block ska vara berättigat till komprimering. Standardinställningarna komprimerar sällan använda eller kalla data för att minska deras storlek. Du kan ändra komprimeringsnivåerna för att justera intervallet för block som är berättigade till komprimering.

Vad händer när varaktighetsgränsen nås innan volymen är helt optimerad?

Varaktighetsgränsen är på plats för att förhindra prestandapåverkan på kundens arbetsbelastningar som orsakas av optimeringsjobbet under kontorstid. En dedupliceringstjänst övervakar de optimerade delarna av en volym och inkommande filändringar. Dessa data används i framtida jobb för att minska optimeringstiden. Om en volym till exempel bara bearbetas till 30 % under den första körningen på grund av varaktighetsgränsen, adresserar den efterföljande körningen de återstående 70 % och eventuella nya data.

Kända problem

I följande avsnitt visas de kända problem som för närvarande finns med ReFS-deduplicering och komprimering.

Schemaläggning av jobb som ska köras samtidigt på flera CSV:er i ett enda kluster kan potentiellt utlösa CSV-rörelser och påverka prestanda negativt.

Status: Öppna.

Vi rekommenderar att du överväger att ändra starttiden för jobben för att undvika överlappning. Men om alla jobb måste köras samtidigt justerar du CPU-allokeringen per jobb för alla CSV:er så att den uppgår till mindre än 50 % av det totala processoranvändningen i klustret. Tänk på att införandet av CPU-begränsningar kan leda till längre jobbkörningstider.

ReFS-deduplicerings- och komprimeringsjobbet slutfördes (antingen korrekt eller avbröts) och lagringsbesparingar visas inte i Get-ReFSDedupStatus eller Windows Admin Center.

Status: Löst.

Den tillfälliga lösningen på det här problemet är att initiera ett engångsjobb och resultatet uppdateras omedelbart.

Start-ReFSDedupJob -Volume <path>

Sändning av stoppad övervakning av händelsespårning för Windows-händelser (ETW) efter inaktivering av ReFS-deduplicering och komprimering på en volym.

Status: Löst.

När ReFS-deduplicering och komprimering har inaktiverats på en volym, ETW-kanalen för ReFS deduplicering loggar upprepade stoppade övervakningshändelser. Vi förväntar oss dock inte någon betydande användningspåverkan på grund av det här problemet.

Jobbfelhändelsen loggades inte om volymen flyttas till en annan nod under komprimering.

Status: Löst.

Om CSV:en flyttas till en annan server i klustret medan komprimering pågår loggas inte jobbets misslyckade händelse i ReFS-dedupliceringskanalen. Vi förväntar oss dock inte någon betydande användningspåverkan på grund av det här problemet.

Nästa steg

• Hantera volym.