Tárolás optimalizálása ReFS-deduplikációval és tömörítéssel az Azure Stack HCI-ben

A következőkre vonatkozik: Azure Stack HCI, 23H2-es verzió

Ez a cikk a ReFS deduplikációs és tömörítési funkcióját ismerteti, valamint azt, hogyan használható ez a funkció az Azure Stack HCI-ben a tárolás optimalizálásához.

Mi az a ReFS-deduplikáció és -tömörítés?

A ReFS-deduplikáció és -tömörítés egy kifejezetten aktív számítási feladatokhoz, például az Azure Stack HCI-n futó Azure Virtual Desktop-infrastruktúrához (VDI) készült tárolóoptimalizálási funkció. Ez a funkció segít optimalizálni a tárterület-használatot és csökkenteni a tárolási költségeket.

Ez a funkció a ReFS blokk klónozását használja az adatáthelyezés csökkentéséhez és a csak metaadat-műveletek engedélyezéséhez. A szolgáltatás az adatblokk szintjén működik, és a fürt méretétől függően rögzített blokkméretet használ. A tömörítési motor hőtérképet hoz létre annak megállapításához, hogy egy blokknak alkalmasnak kell-e lennie a tömörítésre, optimalizálva a CPU-használatot.

A ReFS-deduplikációt és tömörítést futtathatja egyszeri feladatként, vagy automatizálhatja azt ütemezett feladatokkal. Ez a funkció mind az összes vakus, mind a hibrid rendszerekkel működik, és különböző rugalmassági beállításokat támogat, például kétutas tükrözés, beágyazott kétutas tükör, háromutas tükrözés és tükrözött gyorsított paritás.

Előnyök

A ReFS-deduplikáció és -tömörítés használatának előnyei:

• Tárterület-megtakarítás aktív számítási feladatokhoz. Az aktív számítási feladatokhoz, például a VDI-hez lett tervezve, így hatékony teljesítményt biztosít az igényes környezetekben.
• Több mód. Három módban működik: csak deduplikáció, csak tömörítés, valamint deduplikáció és tömörítés (alapértelmezett mód), így az igényeinek megfelelően optimalizálhatja.
• Növekményes deduplikáció. Csak az új vagy módosított adatokat deduplikálja, nem pedig a teljes kötetet minden alkalommal, optimalizálja a feladat időtartamát, és csökkenti a rendszerteljesítményre gyakorolt hatást.

Előfeltételek

Mielőtt hozzákezdene, győződjön meg arról, hogy a következő előfeltételek teljesülnek:

• Hozzáféréssel rendelkezik egy üzembe helyezett és regisztrált Azure Stack HCI-fürthöz.
• A fürt megosztott kötete (CSV) létre van hozva a fürtön, és hozzáféréssel rendelkezik hozzá.
• A CSV-ben még nincs engedélyezve a Windows-adatdeduplikáció funkció.

ReFS-deduplikáció és tömörítés használata

A ReFS deduplikációt és tömörítést a Windows Admin Center vagy a PowerShell használatával használhatja. A PowerShell manuális és automatizált feladatokat is lehetővé tesz, míg a Windows Admin Center csak az ütemezett feladatokat támogatja. A módszertől függetlenül testre szabhatja a feladatbeállításokat, és a fájlmódosítások nyomon követésével gyorsabban futtathatja a későbbi futtatásokat.

ReFS-deduplikáció és tömörítés engedélyezése és futtatása

Windows Admin Center

A Windows Admin Center létrehozhat egy ütemezést a ReFS-deduplikációhoz és -tömörítéshez, hogy egy meglévő vagy egy új köteten fusson a kötet létrehozása során.

Kövesse az alábbi lépéseket a ReFS-deduplikáció és -tömörítés Windows Admin Center keresztüli engedélyezéséhez, és állítson be ütemezést, amikor futnia kell:

1. Csatlakozzon egy fürthöz, majd a bal oldali Eszközök panelen válassza a Kötetek lehetőséget.

2. A Kötetek lapon válassza a Leltár lapot, válassza ki a megfelelő kötetet, majd válassza a Beállítások lehetőséget. Ha be szeretné kapcsolni a ReFS-deduplikációt és -tömörítést egy új köteten, válassza a + Létrehozás lehetőséget.

3. A jobb oldali Kötetbeállítások panel További beállítások legördülő menüjében jelölje be a ReFS-deduplikáció és tömörítés használata jelölőnégyzetet.

4. Válassza ki a hét azon napjait, amikor a ReFS-deduplikációnak és -tömörítésnek futnia kell, a feladat futásának ideje és a maximális időtartam (alapértelmezés szerint korlátlan), majd válassza a Mentés lehetőséget.

   Az alábbi képernyőképen az látható, hogy a ReFS deduplikációja és tömörítése pénteken és szombaton 10:40-kor, legfeljebb 2 órás időtartammal fut, 2023. 09. 22-től kezdve. Ha a kezdési dátumot 2023.09.21-ére módosították, az első futtatás továbbra is 2023. 09. 22. 10:40 lesz, mivel ez a 2023. 09. 21. utáni első péntek.

   

5. Ellenőrizze a kötet Tulajdonságok szakaszában található módosításokat. Az ütemezés a Tulajdonságok szakaszban jelenik meg, és megjeleníti a megtakarítások lebontását és a következő ütemezett futási időt. Ezek a megtakarítások minden futtatás után frissülnek, és a teljesítményre gyakorolt hatást a Teljesítmény szakaszban található diagramokon láthatja.

   

PowerShell

A ReFS-deduplikáció és -tömörítés PowerShell-lel való használatához először engedélyeznie kell a funkciót, majd egyszeri manuális feladatként kell futtatnia, vagy automatizálnia kell, hogy ütemezett feladatként futtassa. A feladatok az egyes fürtök CSV-szintjén vannak beállítva, és különböző módok, időtartam, rendszererőforrás-használat és egyebek alapján szabhatók testre.

ReFS-deduplikáció és tömörítés engedélyezése

Kövesse az alábbi lépéseket a ReFS-deduplikáció és -tömörítés PowerShell-lel történő engedélyezéséhez:

1. Csatlakozzon az Azure Stack HCI-fürthöz, és futtassa rendszergazdaként a PowerShellt.

2. Az összes parancsot futtatnia kell, hogy módosíthassa a beállításokat egy adott köteten a tulajdonos csomóponton. Futtassa a következő parancsmagot az összes CSV-tulajdonoscsomópont és kötetelérési út megjelenítéséhez:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Íme egy példa a parancsmag használatának kimenetére:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Futtassa a következő parancsmagot a ReFS-deduplikáció és -tömörítés engedélyezéséhez egy adott köteten:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   where: Type egy kötelező paraméter, és a következő értékek egyikét veheti fel:

   • Deduplikáció: Csak a deduplikációt engedélyezi.
   • DedupAndCompress: Engedélyezi a deduplikációt és a tömörítést is. Ez az alapértelmezett beállítás.
   • Tömörítés: Csak a tömörítést engedélyezi.

   Ha módosítani szeretné a paramétert, először le kell tiltania a ReFS-deduplikációt és -tömörítést, majd újra engedélyeznie kell az új Type paraméterrel.Type

   Futtassa például a következő parancsmagot a kötet deduplikációjának és tömörítésének engedélyezéséhez:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. A ReFS deduplikációjának és tömörítésének engedélyezése után ellenőrizze az állapotát a CSV-n. Futtassa a következő parancsmagot, és győződjön meg arról, hogy a Enabled kimenet mezője a True következőképpen jelenik meg, a mező pedig a Type megadott módot jeleníti meg.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Íme egy példa a Get-ReFSDedupStatus parancsmag kimenetére, ahol a Enabled mező a következőképpen True jelenik meg, a mező pedig így TypeDedupAndCompressjelenik meg:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

ReFS-deduplikáció és tömörítés futtatása

A funkció engedélyezése után manuálisan futtathat egy egyszeri feladatot, vagy igény szerint ütemezhet ismétlődő feladatokat.

A futtatás előtt vegye figyelembe az alábbi szempontokat is:

• A funkció engedélyezése után az első futtatás mindig a teljes kötet teljes vizsgálata és optimalizálása. Ha a FullRun paraméter meg van adva, az optimalizálás az új vagy nem optimalizált adatok helyett a teljes kötetre kiterjed.
• Ha nem ad meg tömörítési formátumot, az alapértelmezett algoritmus az LZ4. Szükség szerint módosíthatja az algoritmust egyik futtatásról a másikra.
• Az összetettebb használati esetekhez további paramétereket is megadhat. Az ebben a szakaszban használt parancsmag a legegyszerűbb használati eset.
• A Teljes futtatás, a Kizárt mappa, a Kizárt fájlkiterjesztések és a Minimális utolsó módosítás időpontja szűrők csak a deduplikáció futtatásakor érvényesek, és a tömörítés futtatásakor nem érvényesek.

ReFS-deduplikációs és tömörítési feladatok manuális futtatása

• A feladat azonnali elindításához futtassa a következő parancsmagot. A feladat elindítása után a State feladat úgy jelenhet meg, mintha NotStarted még az inicializálási fázisban lenne.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -FullRun -CompressionFormat <LZ4 | ZSTD> 
  

  A következő parancsmag például azonnal elindít egy feladatot 5 órán át az LZ4 tömörítési formátum használatával:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -FullRun -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Egy futó feladat leállításához futtassa a következő parancsmagot. Ez a parancsmag a folyamatban lévő ütemezett feladatokhoz is működik.

  Stop-ReFSDedupJob -Volume <path>
  

  A következő parancsmag például leállítja az előző példában elindított feladatot:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Egy feladat előrehaladásának, megtakarításának és állapotának megtekintéséhez futtassa a következő parancsmagot:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  A következő parancsmag például egy feladat állapotát jeleníti meg:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Ismétlődő ReFS-deduplikációs és tömörítési feladatok ütemezése

Állítson be egy ismétlődő ütemezést a kötet tárhelyoptimalizálásainak futtatásához. Ezután megtekintheti, beállíthatja vagy módosíthatja, felfüggesztheti, folytathatja vagy törölheti a feladatütemezést.

• Ütemezés beállításához vagy módosításához futtassa a következő parancsmagot:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Ha például egy olyan ismétlődő feladatot szeretne beállítani, amely minden csütörtökön 8:30-kor, 5 órán át fut LZ4 formátumban, futtassa a következő parancsmagot. Használja a parancsot -Days EveryDay , ha naponta szeretné futtatni a feladatot.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• A feladatütemezés megtekintéséhez futtassa a következő parancsmagot:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Az előző példában ütemezett feladat kimenete:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Ütemezett feladatok felfüggesztése

Az ütemezés felfüggesztése megszakítja a futó feladatokat, és a jövőben leállítja az ütemezett futtatásokat. Ez a beállítás megőrzi a ReFS-deduplikációt és a tömörítéssel kapcsolatos metaadatokat, és továbbra is nyomon követi a fájlmódosításokat az optimalizált jövőbeli futtatásokhoz. Az ütemezést bármikor folytathatja, és az ütemezési beállítások megmaradnak.

Windows Admin Center

Az ütemezett feladatok Windows Admin Center használatával történő felfüggesztéséhez kövesse az alábbi lépéseket:

1. Csatlakozzon egy fürthöz, majd a bal oldali Eszközök panelen válassza a Kötetek lehetőséget.

2. A Kötetek lapon válassza a Leltár lapot, válassza ki a megfelelő kötetet, majd válassza a Beállítások lehetőséget.

3. A jobb oldali Kötetbeállítások panel További beállítások legördülő menüjében törölje az Ütemezés beállítása jelölőnégyzet jelölését, majd válassza a Mentés lehetőséget.

PowerShell

Az alábbi parancsmaggal függesztheti fel az ütemezett feladatot, és ellenőrizheti az állapotot a PowerShell használatával:

Suspend-ReFSDedupSchedule -Volume <path> 

Íme egy példa a parancsmag használatának kimenetére. A Suspended mező a következőként jelenik meg: True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

ReFS-deduplikáció és tömörítés letiltása köteten

A reFS-deduplikáció és a kötet tömörítésének letiltása leállítja a folyamatban lévő futtatásokat, és megszakítja a jövőbeli ütemezett feladatokat. Emellett a kapcsolódó kötet metaadatai nem maradnak meg, és a fájlmódosítások nyomon követése leáll.

Ha letiltja ezt a funkciót, az nem vonja vissza a deduplikációt vagy a tömörítést, mivel az összes művelet a metaadatok rétegében történik. Idővel az adatok az eredeti állapotukba térnek vissza, amikor a kötet olvasási és írási folyamatokat von maga után.

Megjegyzés

A dekompressziós műveleteket a paranccsal ReFSUtilhajthatja végre.

Windows Admin Center

Az alábbi lépéseket követve tiltsa le a funkciót a Windows Admin Center használatával:

1. Csatlakozzon egy fürthöz, majd a bal oldali Eszközök panelen válassza a Kötetek lehetőséget.

2. A Kötetek lapon válassza a Leltár lapot, válassza ki a megfelelő kötetet, majd válassza a Beállítások lehetőséget.

3. A jobb oldali Kötetbeállítások panel További beállítások legördülő menüjében törölje a Jelölést a ReFS-deduplikáció és tömörítés használata jelölőnégyzetből, majd válassza a Mentés lehetőséget.

PowerShell

Az alábbi parancsmaggal függesztheti fel az ütemezett feladatot, és ellenőrizheti az állapotot:

Disable-ReFSDedup -Volume <path>

Íme egy példa a parancsmag használatának kimenetére. A Enabled mező a következőképpen False jelenik meg, a Type mező pedig üresként.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Gyakori kérdések (GYIK)

Ez a szakasz a ReFS deduplikációval és tömörítéssel kapcsolatos gyakori kérdésekre ad választ.

Különbözik a ReFS deduplikációs és tömörítési funkciója a Windows-adatdeduplikációtól?

Igen, ez a funkció teljesen eltér a Windows adatdeduplikációs funkciójától.

Fontos

Nem támogatjuk a ReFS deduplikációjának és tömörítésének, valamint a Windows-adatdeduplikáció egyidejű engedélyezését.

A ReFS deduplikációja és tömörítése aktív számítási feladatokhoz készült, és az optimalizálást követően a teljesítményre gyakorolt hatás minimalizálására összpontosít. A Windows-adatdeduplikációval ellentétben a ReFS deduplikációja és tömörítése nem használ adattömbtárolót a deduplikált adatok tárolására, és nincs fizikai adatáthelyezés. A szolgáltatás a ReFS blokkkontrasztolásán alapul a csak metaadat-műveletek engedélyezéséhez. A Windows-adatdeduplikáció jobb tárolási megtakarítást biztosíthat a változó blokkméretek használata miatt, és számos számítási feladattípushoz, például általános célú fájlkiszolgálókhoz (GPFS), biztonsági mentési célokhoz és sok máshoz is alkalmas.

Melyek a ReFS deduplikációjának és tömörítésének fázisai?

Az optimalizálási folyamat a következő fázisokat foglalja magában, amelyek egymás után következnek be, és a megadott módtól függenek. Ha egy optimalizálási futtatás eléri az időtartamkorlátot, előfordulhat, hogy a tömörítés nem fut.

• Inicializálása. Ebben a fázisban a tárolókötetet a redundáns adatblokkok azonosítására ellenőrzi a szolgáltatás.

• Adatdeduplikáció. Ebben a fázisban a redundáns blokkok egypéldányosak és nyomon követhetők a ReFS-blokkok klónozásával.

• Tömörítés. Ebben a fázisban hőtérkép jön létre annak megállapításához, hogy egy blokknak jogosultnak kell-e lennie a tömörítésre. Az alapértelmezett beállítások ritkán használt vagy ritka elérésű adatokat tömörítenek a méretük csökkentése érdekében. A tömörítési szinteket módosíthatja a tömörítésre jogosult blokkok tartományának módosításához.

Mi történik, ha a kötet teljes optimalizálása előtt eléri az időtartamkorlátot?

Az időtartamkorlát azért van érvényben, hogy megakadályozza az optimalizálási feladat által a munkaidőben végzett optimalizálási feladat által okozott teljesítményhatást az ügyfél számítási feladataira. A deduplikációs szolgáltatás figyeli a kötet optimalizált részeit és a bejövő fájlmódosításokat. Ezeket az adatokat a jövőbeli feladatokban használjuk fel az optimalizálási idő csökkentése érdekében. Ha például egy kötet feldolgozása csak 30%, az első futtatáskor az időtartamkorlát miatt, az azt követő futtatás a fennmaradó 70%-ot és az új adatokat kezeli.

Ismert problémák

Az alábbi szakasz a ReFS-deduplikációval és tömörítéssel kapcsolatos ismert problémákat sorolja fel.

A feladatok egyidejű futtatásának ütemezése több CSV-n egyetlen fürtben is elindíthatja a CSV-mozgásokat, és negatív hatással lehet a teljesítményre.

Állapot: Nyit.

Ajánlott eljárásként érdemes megfontolni a feladatok kezdési időpontját az átfedések elkerülése érdekében. Ha azonban az összes feladatnak egyidejűleg kell futnia, módosítsa a feladatonkénti cpu-foglalást az összes CSV-ben úgy, hogy az a fürt teljes processzorhasználatának kevesebb mint 50%-át teszi ki. Ne feledje, hogy a cpu-korlátozások előírása hosszabb feladatvégrehajtási időt eredményezhet.

A reFS-deduplikációs és tömörítési feladat befejeződött (vagy sikeresen vagy megszakítva), és a tárterület-megtakarítások nem szerepelnek a Get-ReFSDedupStatus vagy a Windows Admin Center.

Állapot: Megoldani.

A probléma ideiglenes kerülő megoldása egy egyszeri feladat elindítása, és az eredmények azonnali frissítése.

Start-ReFSDedupJob -Volume <path>

A Windows(ETW) eseménykövetési eseményeinek figyelése leállt, miután letiltotta a ReFS-deduplikációt és a tömörítést egy köteten.

Állapot: Megoldani.

Ha a ReFS-deduplikáció és a tömörítés le van tiltva egy köteten, a ReFS deduplikációs naplóinak ETW-csatornája ismétlődően leállította a figyelési eseményeket. A probléma miatt azonban nem számítunk jelentős használatra.

A feladat meghiúsult esemény nem naplózva, ha a kötetet egy másik csomópontra helyezik át a tömörítés során.

Állapot: Megoldani.

Ha a CSV a fürt egy másik kiszolgálójára kerül, miközben a tömörítés folyamatban van, a feladat meghiúsult eseménye nem lesz bejelentkezve a ReFS deduplikációs csatornán. A probléma miatt azonban nem számítunk jelentős használatra.

Következő lépések

• Kötet kezelése.