Optimera lagring med ReFS-deduplicering och komprimering i Azure Stack HCI

Gäller för: Azure Stack HCI, version 23H2

Den här artikeln beskriver reFS-deduplicerings- och komprimeringsfunktionen (Resilient File System) och hur du använder den här funktionen i Azure Stack HCI för att optimera lagringen.

Vad är ReFS-deduplicering och komprimering?

ReFS-deduplicering och komprimering är en funktion för lagringsoptimering som utformats specifikt för aktiva arbetsbelastningar, till exempel VDI (Azure Virtual Desktop Infrastructure) på Azure Stack HCI. Den här funktionen hjälper till att optimera lagringsanvändningen och minska lagringskostnaden.

Den här funktionen använder ReFS-blockkloning för att minska dataflytten och aktivera endast åtgärder för metadata. Funktionen fungerar på datablocknivå och använder fast blockstorlek beroende på klusterstorleken. Komprimeringsmotorn genererar en värmekarta för att identifiera om ett block ska vara berättigat till komprimering och optimera för CPU-användning.

Du kan köra ReFS-deduplicering och komprimering som ett engångsjobb eller automatisera det med schemalagda jobb. Den här funktionen fungerar med både flash- och hybridsystem och stöder olika återhämtningsinställningar, till exempel dubbelriktad spegling, kapslad dubbelriktad spegling, trevägsspegling och speglingsaccelererad paritet.

Förmåner

Här är fördelarna med att använda ReFS-deduplicering och komprimering:

• Lagringsbesparingar för aktiva arbetsbelastningar. Utformad för aktiva arbetsbelastningar, till exempel VDI, vilket säkerställer effektiva prestanda i krävande miljöer.
• Flera lägen. Fungerar i tre lägen: endast deduplicering, endast komprimering och deduplicering och komprimering (standardläge), vilket möjliggör optimering baserat på dina behov.
• Inkrementell deduplicering. Deduplicerar endast nya eller ändrade data i stället för att genomsöka hela volymen varje gång, optimera jobbvaraktighet och minska påverkan på systemets prestanda.

Förutsättningar

Innan du börjar kontrollerar du att följande krav har slutförts:

• Du har åtkomst till ett Azure Stack HCI-kluster som distribueras och registreras.
• Du har skapat den klusterdelade volymen (CSV) i klustret och du har åtkomst till den.
• CSV:en har inte redan funktionen Windows Datadeduplicering aktiverad.

Använda ReFS-deduplicering och komprimering

Du kan använda ReFS-deduplicering och komprimering via Windows Admin Center eller PowerShell. PowerShell tillåter både manuella och automatiserade jobb, medan Windows Administrationscenter endast stöder schemalagda jobb. Oavsett metod kan du anpassa jobbinställningar och använda spårning av filändringar för snabbare efterföljande körningar.

Aktivera och köra ReFS-deduplicering och komprimering

Administrationscenter för Windows

I Windows Administrationscenter kan du skapa ett schema för ReFS-deduplicering och komprimering som ska köras på en befintlig volym eller en ny volym när volymen skapas.

Följ de här stegen för att aktivera ReFS-deduplicering och komprimering via Windows Admin Center och ange ett schema när det ska köras:

1. Anslut till ett kluster och välj sedan Volymer i fönstret Verktyg till vänster.

2. På sidan Volymer väljer du fliken Inventering , väljer lämplig volym och sedan Inställningar. Om du vill aktivera ReFS-deduplicering och komprimering för en ny volym väljer du + Skapa.

3. I fönstret Volyminställningar till höger går du till listrutan Fler alternativ och markerar kryssrutan Använd ReFS-deduplicering och komprimering .

4. Välj de dagar i veckan då ReFS-deduplicering och komprimering ska köras, tiden för ett jobb att börja köras och maximal varaktighet (standardvärdet är obegränsat) och välj sedan Spara.

   Följande skärmbild visar att ReFS-deduplicering och komprimering körs på fredag och lördag kl. 10:40 med en maximal varaktighet på 2 timmar från och med 2023-09-22. Om startdatumet ändrades till 2023-09-21 är den första körningen fortfarande 2023-09-22 10:40 eftersom det är den första fredagen efter 2023-09-21.

   

5. Kontrollera ändringarna i avsnittet Egenskaper på volymen. Schemat visas under avsnittet Egenskaper och visar besparingsuppdelningen och nästa schemalagda körningstid. Dessa besparingar uppdateras efter varje körning och du kan se prestandapåverkan i diagrammen under avsnittet Prestanda .

   

PowerShell

Om du vill använda ReFS-deduplicering och komprimering via PowerShell aktiverar du först funktionen och kör den sedan som ett engångsmanuellt jobb eller automatiserar för att köra den som schemalagda jobb. Jobben anges på CSV-nivå för varje kluster och kan anpassas baserat på lägen, varaktighet, systemresursanvändning med mera.

Aktivera ReFS-deduplicering och komprimering

Följ dessa steg för att aktivera ReFS-deduplicering och komprimering via PowerShell:

1. Anslut till ditt Azure Stack HCI-kluster och kör PowerShell som administratör.

2. Du måste köra alla kommandon för att ändra inställningarna på en viss volym på ägarnoden. Kör följande cmdlet för att visa alla CSV-ägarnoder och volymsökväg:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Här är ett exempel på utdata från cmdlet-användningen:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Kör följande cmdlet för att aktivera ReFS-deduplicering och komprimering på en viss volym:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   where: Type är en obligatorisk parameter och kan ta något av följande värden:

   • Deduplicering: Aktiverar endast deduplicering.
   • DedupliceringAndCompress: Aktiverar både deduplicering och komprimering. Detta är standardförslaget.
   • Komprimera: Aktiverar endast komprimering.

   Om du vill ändra parametern Type måste du först inaktivera ReFS-deduplicering och komprimering och sedan aktivera den igen med den nya Type parametern.

   Kör till exempel följande cmdlet för att aktivera både deduplicering och komprimering på en volym:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. När du har aktiverat ReFS-deduplicering och komprimering kontrollerar du dess status på CSV:en. Kör följande cmdlet och se till att Enabled fältet i utdata visas som True och fältet Type visar det angivna läget.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Här är ett exempel på utdata från cmdleten Get-ReFSDedupStatus Enabled där fältet visas som True och fältet Type visas som DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Kör ReFS-deduplicering och komprimering

När du har aktiverat den här funktionen kan du köra ett engångsjobb manuellt eller schemalägga återkommande jobb efter behov.

Innan du kör bör du också ta hänsyn till dessa andra överväganden:

• Om du inte anger ett komprimeringsformat är standardalgoritmen LZ4. Du kan ändra algoritmen från en körning till en annan efter behov.
• Du kan ange fler parametrar för mer komplexa användningsfall. Cmdleten som används i det här avsnittet är för det enklaste användningsfallet.
• Filtren Exkluderad mapp, Exkluderade filnamnstillägg och Minsta senaste ändringstid gäller endast när deduplicering körs och gäller inte när komprimering körs.

Kör ReFS-deduplicerings- och komprimeringsjobb manuellt

• Starta ett jobb direkt genom att köra följande cmdlet. När du startar ett jobb kan det State visas som NotStarted eftersom det fortfarande kan vara i initieringsfasen.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> 
  

  Följande cmdlet startar till exempel ett jobb omedelbart under fem timmar med LZ4-komprimeringsformatet:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Om du vill stoppa ett jobb som körs kör du följande cmdlet. Den här cmdleten fungerar även för pågående schemalagda jobb.

  Stop-ReFSDedupJob -Volume <path>
  

  Följande cmdlet stoppar till exempel jobbet som du startade i föregående exempel:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Om du vill visa förloppet, besparingarna och statusen för ett jobb kör du följande cmdlet:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Följande cmdlet visar till exempel status för ett jobb:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Schemalägga återkommande ReFS-deduplicerings- och komprimeringsjobb

Ange ett återkommande schema för att köra lagringsoptimeringar för volymen. Du kan sedan visa, ange eller ändra, pausa, återuppta eller rensa jobbschemat.

• Om du vill ange eller ändra ett schema kör du följande cmdlet:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Om du till exempel vill konfigurera ett återkommande jobb som är schemalagt att köras varje torsdag kl. 08:30 under fem timmar i LZ4-format kör du följande cmdlet. Använd -Days EveryDay om du vill köra jobbet dagligen.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Om du vill visa jobbschemat kör du följande cmdlet:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Här är utdata från jobbet som schemalagts i föregående exempel:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Pausa schemalagda jobb

Om schemat pausas avbryts alla jobb som körs och schemalagda körningar stoppas i framtiden. Det här alternativet behåller ReFS-deduplicering och komprimeringsrelaterade metadata och fortsätter att spåra filändringar för optimerade framtida körningar. Du kan återuppta schemat när som helst med schemainställningarna bevarade.

Administrationscenter för Windows

Följ de här stegen för att pausa schemalagda jobb med hjälp av Windows Administrationscenter:

1. Anslut till ett kluster och välj sedan Volymer i fönstret Verktyg till vänster.

2. På sidan Volymer väljer du fliken Inventering , väljer lämplig volym och sedan Inställningar.

3. I fönstret Volyminställningar till höger under Listrutan Fler alternativ avmarkerar du kryssrutan Ange schema och väljer sedan Spara.

PowerShell

Använd följande cmdlet för att pausa det schemalagda jobbet och kontrollera statusen med hjälp av PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Här är ett exempel på utdata från cmdlet-användningen. Fältet Suspended visas som True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Inaktivera ReFS-deduplicering och komprimering på en volym

Om du inaktiverar ReFS-deduplicering och komprimering på en volym stoppas alla körningar som pågår och avbryter framtida schemalagda jobb. Dessutom behålls inte relaterade volymmetadata och spårning av filändringar stoppas.

När du inaktiverar den här funktionen ångras inte deduplicering eller komprimering eftersom alla åtgärder utförs på metadatalagret. Med tiden återgår data till sitt ursprungliga tillstånd eftersom volymen ådrar sig läsningar och skrivningar.

Kommentar

Du kan utföra dekomprimeringsåtgärder med hjälp av ReFSUtil.

Administrationscenter för Windows

Följ de här stegen för att inaktivera funktionen med hjälp av Windows Administrationscenter:

1. Anslut till ett kluster och välj sedan Volymer i fönstret Verktyg till vänster.

2. På sidan Volymer väljer du fliken Inventering , väljer lämplig volym och sedan Inställningar.

3. I fönstret Volyminställningar till höger under Listrutan Fler alternativ avmarkerar du kryssrutan Använd ReFS-deduplicering och komprimering och väljer sedan Spara.

PowerShell

Använd följande cmdlet för att pausa det schemalagda jobbet och kontrollera statusen:

Disable-ReFSDedup -Volume <path>

Här är ett exempel på utdata från cmdlet-användningen. Fältet Enabled visas som False och fältet Type visas som tomt.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Vanliga frågor (FAQ)

Det här avsnittet besvarar vanliga frågor om ReFS-deduplicering och komprimering.

Skiljer sig reFS-deduplicerings- och komprimeringsfunktionen från Windows Datadeduplicering?

Ja, den här funktionen skiljer sig helt från windows datadedupliceringsfunktionen .

Viktigt!

Vi stöder inte aktivering av både ReFS-deduplicering och komprimering och Windows Datadeduplicering samtidigt.

ReFS-deduplicering och komprimering är utformat för aktiva arbetsbelastningar, med fokus på att minimera prestandapåverkan efter optimering. Till skillnad från Windows Datadeduplicering använder ReFS-deduplicering och komprimering inte ett segmentlager för att lagra deduplicerade data, och det finns ingen fysisk dataflytt. Funktionen förlitar sig på ReFS-blockkloning för att aktivera åtgärder endast för metadata. Windows Datadeduplicering kan ge bättre lagringsbesparingar på grund av dess användning av storlekar för variabelblock, det är också lämpligt för ett bredare utbud av arbetsbelastningstyper, till exempel GPFS (General-purpose file servers), säkerhetskopieringsmål med mera.

Vilka är faserna i ReFS-deduplicering och komprimering?

Optimeringsprocessen består av följande faser som sker sekventiellt och är beroende av det angivna läget. Om en optimeringskörning når en varaktighetsgräns kanske komprimeringen inte körs.

• Initiering. I den här fasen genomsöks lagringsvolymen för att identifiera redundanta datablock.

• Datadeduplicering. I den här fasen är de redundanta blocken enkelinstanserade och spåras med hjälp av ReFS-blockkloning.

• Komprimering. I den här fasen genereras en värmekarta för att identifiera om ett block ska vara berättigat till komprimering. Standardinställningarna komprimerar sällan använda eller kalla data för att minska deras storlek. Du kan ändra komprimeringsnivåer för att justera intervallet med block som är berättigade till komprimering.

Vad händer när varaktighetsgränsen nås innan volymen är helt optimerad?

Varaktighetsgränsen är på plats för att förhindra prestandapåverkan på kundens arbetsbelastningar som orsakas av optimeringsjobbet under kontorstid. En dedupliceringstjänst övervakar de optimerade delarna av en volym och inkommande filändringar. Dessa data används i framtida jobb för att minska optimeringstiden. Om en volym till exempel bara bearbetas till 30 % under den första körningen på grund av varaktighetsgränsen, adresserar den efterföljande körningen de återstående 70 % och eventuella nya data.

Kända problem

I följande avsnitt visas de kända problem som för närvarande finns med ReFS-deduplicering och komprimering.

När komprimering är aktiverat kan det leda till ett dödläge i systemet med hjälp av parametern -FullRun på jobb efter den första optimeringskörningen.

Status: Öppen.

Undvik att använda -FullRun i manuellt startade jobb om inte Type är Dedup.

Följ de här stegen som en tillfällig lösning för att åtgärda problemet:

1. Inaktivera ReFS-deduplicering och komprimering på volymen:

   Disable-ReFSDedup -Volume <path>
   

2. Dekomprimera volymen med hjälp av refsutil:

   refsutil compression /c /f NONE <vol>
   

3. Återaktivera ReFS-deduplicering och komprimering med det Dedup enda läget om det behövs:

   Enable-ReFSDedup -Volume <path> -Type Dedup
   

Schemaläggning av jobb som ska köras samtidigt på flera CSV:er i ett enda kluster kan potentiellt utlösa CSV-rörelser och påverka prestanda negativt.

Status: Öppen.

Som en rekommenderad metod bör du överväga att häpnadsväckande starttiden för jobben för att undvika överlappning. Men om alla jobb måste köras samtidigt justerar du CPU-allokeringen per jobb för alla CSV:er så att den uppgår till mindre än 50 % av det totala klustrets CPU-användning. Tänk på att om du inför cpu-begränsningar kan det leda till längre jobbkörningstider.

ReFS-deduplicerings- och komprimeringsjobbet har slutförts (antingen har slutförts eller avbrutits) och lagringsbesparingar visas inte i Get-ReFSDedupStatus eller i Administrationscenter för Windows.

Status: Löst.

Den tillfälliga lösningen för det här problemet är att initiera ett engångsjobb och att resultatet uppdateras omedelbart.

Start-ReFSDedupJob -Volume <path>

Sändningen stoppade övervakningen av händelsespårning för Windows-händelser (ETW) efter inaktivering av ReFS-deduplicering och komprimering på en volym.

Status: Löst.

När ReFS-deduplicering och komprimering har inaktiverats på en volym, ETW-kanalen för ReFS-deduplicering loggar upprepade stoppade övervakningshändelser. Vi förväntar oss dock inte någon betydande användningspåverkan på grund av det här problemet.

Jobbet misslyckades händelse loggas inte om volymen flyttas till en annan nod under komprimering.

Status: Löst.

Om CSV:en flyttas till en annan server i klustret medan komprimering pågår loggas inte jobbets misslyckade händelse i ReFS-dedupliceringskanalen. Vi förväntar oss dock inte någon betydande användningspåverkan på grund av det här problemet.

Nästa steg

• Hantera volym.