Mengoptimalkan penyimpanan dengan deduplikasi dan kompresi ReFS di Azure Stack HCI

Berlaku untuk: Azure Stack HCI, versi 23H2

Artikel ini menjelaskan fitur deduplikasi dan kompresi Resilient File System (ReFS) dan cara menggunakan fitur ini di Azure Stack HCI untuk mengoptimalkan penyimpanan.

Apa itu deduplikasi dan kompresi ReFS?

Deduplikasi dan kompresi ReFS adalah fitur pengoptimalan penyimpanan yang dirancang khusus untuk beban kerja aktif, seperti infrastruktur desktop virtual (VDI) Azure di Azure Stack HCI. Fitur ini membantu mengoptimalkan penggunaan penyimpanan dan mengurangi biaya penyimpanan.

Fitur ini menggunakan kloning blok ReFS untuk mengurangi pergerakan data dan mengaktifkan operasi metadata saja. Fitur ini beroperasi pada tingkat blok data dan menggunakan ukuran blok tetap tergantung pada ukuran kluster. Mesin kompresi menghasilkan peta panas untuk mengidentifikasi apakah blok harus memenuhi syarat untuk pemadatan, mengoptimalkan penggunaan CPU.

Anda dapat menjalankan deduplikasi dan kompresi ReFS sebagai pekerjaan satu kali atau mengotomatiskannya dengan pekerjaan terjadwal. Fitur ini berfungsi dengan sistem all-flash dan hybrid dan mendukung berbagai pengaturan ketahanan, seperti cermin dua arah, cermin dua arah berlapis, cermin tiga arah, dan paritas yang dipercepat cermin.

Keuntungan

Berikut adalah manfaat menggunakan deduplikasi dan kompresi ReFS:

• Penghematan penyimpanan untuk beban kerja aktif. Dirancang untuk beban kerja aktif, seperti VDI, memastikan performa yang efisien dalam lingkungan yang menuntut.
• Beberapa mode. Beroperasi dalam tiga mode: deduplikasi saja, hanya pemadatan, dan deduplikasi dan kompresi (mode default), memungkinkan pengoptimalan berdasarkan kebutuhan Anda.
• Deduplikasi inkremental. Deduplikasi hanya data baru atau yang diubah dibandingkan dengan memindai seluruh volume setiap saat, mengoptimalkan durasi pekerjaan dan mengurangi dampak pada performa sistem.

Prasyarat

Sebelum memulai, pastikan prasyarat berikut selesai:

• Anda memiliki akses ke kluster Azure Stack HCI yang disebarkan dan didaftarkan.
• Anda memiliki volume bersama kluster (CSV) yang dibuat pada kluster dan Anda memiliki akses ke kluster tersebut.
• CSV belum mengaktifkan fitur Deduplikasi Data Windows.

Menggunakan deduplikasi dan kompresi ReFS

Anda dapat menggunakan deduplikasi dan kompresi ReFS melalui Windows Admin Center atau PowerShell. PowerShell memungkinkan pekerjaan manual dan otomatis, sedangkan Windows Admin Center hanya mendukung pekerjaan terjadwal. Terlepas dari metode ini, Anda dapat menyesuaikan pengaturan pekerjaan dan menggunakan pelacakan perubahan file untuk eksekusi berikutnya yang lebih cepat.

Mengaktifkan dan menjalankan deduplikasi dan kompresi ReFS

Pusat Admin Windows

Di Windows Admin Center, Anda dapat membuat jadwal deduplikasi dan kompresi ReFS untuk berjalan pada volume yang ada atau volume baru selama pembuatan volume.

Ikuti langkah-langkah ini untuk mengaktifkan deduplikasi dan kompresi ReFS melalui Windows Admin Center dan atur jadwal kapan harus berjalan:

1. Sambungkan ke kluster, lalu pada panel Alat di sebelah kiri, pilih Volume.

2. Pada halaman Volume , pilih tab Inventarisasi , pilih volume yang sesuai, lalu pilih Pengaturan. Untuk mengaktifkan deduplikasi dan kompresi ReFS untuk volume baru, pilih + Buat.

3. Pada panel Pengaturan volume di sebelah kanan, di bawah Dropdown Opsi lainnya , pilih kotak centang Gunakan deduplikasi dan pemadatan ReFS .

4. Pilih hari dalam seminggu ketika deduplikasi dan kompresi ReFS harus berjalan, waktu untuk pekerjaan mulai berjalan, dan durasi maksimum (defaultnya tidak terbatas), lalu pilih Simpan.

   Cuplikan layar berikut menunjukkan bahwa deduplikasi dan kompresi ReFS berjalan pada hari Jumat dan Sabtu pukul 10.40 dengan durasi maksimum 2 jam, mulai dari 22/9/2023. Jika Tanggal mulai diubah menjadi 21/9/2023, eksekusi pertama masih akan menjadi 22/9/2023 10:40 karena itu adalah Jumat pertama setelah 21/9/2023.

   

5. Verifikasi perubahan di bagian Properti volume. Jadwal muncul di bawah bagian Properti dan menampilkan perincian penghematan dan durasi terjadwal berikutnya. Penghematan ini diperbarui setelah setiap eksekusi, dan Anda dapat mengamati dampak performa di bagan di bawah bagian Performa .

   

PowerShell

Untuk menggunakan deduplikasi dan kompresi ReFS melalui PowerShell, Anda terlebih dahulu mengaktifkan fitur dan kemudian menjalankannya sebagai pekerjaan manual satu kali atau mengotomatiskannya untuk menjalankannya sebagai pekerjaan terjadwal. Pekerjaan diatur pada tingkat CSV untuk setiap kluster dan dapat disesuaikan berdasarkan mode, durasi, penggunaan sumber daya sistem, dan banyak lagi.

Mengaktifkan deduplikasi dan kompresi ReFS

Ikuti langkah-langkah ini untuk mengaktifkan deduplikasi dan kompresi ReFS melalui PowerShell:

1. Sambungkan ke kluster Azure Stack HCI Anda dan jalankan PowerShell sebagai administrator.

2. Anda harus menjalankan semua perintah untuk mengubah pengaturan pada volume tertentu pada simpul pemilik. Jalankan cmdlet berikut untuk menampilkan semua simpul pemilik CSV dan jalur volume:

   Get-ClusterSharedVolume | FT Name, OwnerNode, SharedVolumeInfo
   

   Berikut adalah contoh output penggunaan cmdlet:

   Name                           OwnerNode   SharedVolumeInfo
   ----                           ---------   ----------------
   Cluster Virtual Disk (Volume1) hci-server1 {C:\ClusterStorage\Volume1}
   

3. Jalankan cmdlet berikut untuk mengaktifkan deduplikasi dan kompresi ReFS pada volume tertentu:

   Enable-ReFSDedup -Volume <path> -Type <Dedup | DedupAndCompress | Compress> 
   

   di mana: Type adalah parameter yang diperlukan dan dapat mengambil salah satu nilai berikut:

   • Dedup: Hanya mengaktifkan deduplikasi.
   • DedupAndCompress: Memungkinkan deduplikasi dan kompresi. Ini adalah opsi default.
   • Pemadatan: Hanya mengaktifkan pemadatan.

   Jika Anda ingin mengubah Type parameter, Anda harus terlebih dahulu menonaktifkan deduplikasi dan kompresi ReFS lalu mengaktifkannya lagi dengan parameter baru Type .

   Misalnya, jalankan cmdlet berikut untuk mengaktifkan deduplikasi dan kompresi pada volume:

   PS C:\Users\hciuser> Enable-ReFSDedup -Volume "C:\ClusterStorage\Volume1" -Type DedupAndCompress
   

4. Setelah mengaktifkan deduplikasi dan kompresi ReFS, verifikasi statusnya di CSV. Jalankan cmdlet berikut dan pastikan Enabled bidang dalam output ditampilkan sebagai True dan Type bidang menampilkan mode yang ditentukan.

   Get-ReFSDedupStatus -Volume <path> | FL
   

   Berikut adalah contoh output Get-ReFSDedupStatus cmdlet tempat Enabled bidang ditampilkan sebagai True dan Type bidang ditampilkan sebagai DedupAndCompress:

   PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1" | FL
   Volume                                    : C:\ClusterStorage\Volume1
   Enabled                                   : True
   Type                                      : DedupAndCompress
   Status                                    : --
   Used                                      : 1.4 TiB
   Deduped                                   : 0 B
   Compressed                                : 0 B
   ScannedOnLastRun                          : 0 B
   DedupedOnLastRun                          : 0 B
   LastRunTime                               : N/A
   LastRunDuration                           : N/A
   MextRunTime                               : N/A
   CompressionFormat                         : Uncompressed
   CompressionLevel                          : 0
   CompressionChunkSize                      : 0 B
   VolumeClusterSizeBytes                    : 4 KiB
   VolumeTotale lusters                      : 805289984
   VolumeTotalAllocatedelusters              : 353850628
   VolumeTotalAllocatedCompressibleClusters  : 0
   VolumeTota1InUseCompressibleClusters      : 0
   VolumeTota1Compressedelusters             : 0
   

Menjalankan deduplikasi dan kompresi ReFS

Setelah mengaktifkan fitur ini, Anda dapat menjalankan pekerjaan satu kali secara manual atau menjadwalkan pekerjaan berulang sesuai kebutuhan.

Sebelum menjalankan, Anda juga harus memperhitungkan pertimbangan lain ini:

• Eksekusi pertama setelah mengaktifkan fitur ini selalu merupakan pemindaian penuh dan pengoptimalan seluruh volume. FullRun Jika parameter ditentukan, pengoptimalan mencakup seluruh volume daripada data baru atau yang tidak optimal.
• Jika Anda tidak menentukan format kompresi, algoritma defaultnya adalah LZ4. Anda dapat mengubah algoritma dari satu eksekusi ke eksekusi lainnya sesuai kebutuhan.
• Anda dapat menentukan lebih banyak parameter untuk kasus penggunaan yang lebih kompleks. Cmdlet yang digunakan di bagian ini adalah untuk kasus penggunaan yang paling sederhana.
• Filter Jalankan Penuh, Folder yang Dikecualikan, Ekstensi file yang dikecualikan, dan Filter jam waktu terakhir yang dimodifikasi minimum hanya berlaku saat menjalankan deduplikasi, dan tidak berlaku saat menjalankan pemadatan.

Menjalankan pekerjaan deduplikasi dan kompresi ReFS secara manual

• Untuk segera memulai pekerjaan, jalankan cmdlet berikut. Setelah Anda memulai pekerjaan, pekerjaan State mungkin muncul karena NotStarted masih dalam fase inisialisasi.

  Start-ReFSDedupJob -Volume <path> -Duration <TimeSpan> -FullRun -CompressionFormat <LZ4 | ZSTD> 
  

  Misalnya, cmdlet berikut segera memulai pekerjaan selama 5 jam menggunakan format kompresi LZ4:

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Start-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1" -FullRun -Duration $Duration -CompressionFormat LZ4
  
  Id     Name            PSJobTypeName   State         HasMoreData     Location             Command
  --     ----            -------------   -----         -----------     --------             -------
  12     Job12                           NotStarted    True                                 Start-Re...
  

• Untuk menghentikan pekerjaan yang sedang berjalan, jalankan cmdlet berikut. Cmdlet ini juga berfungsi untuk pekerjaan terjadwal yang sedang berlangsung.

  Stop-ReFSDedupJob -Volume <path>
  

  Misalnya, cmdlet berikut menghentikan pekerjaan yang Anda mulai dalam contoh sebelumnya:

  PS C:\Users\hciuser> Stop-ReFSDedupJob -Volume "C:\ClusterStorage\Volume1"
  

• Untuk melihat kemajuan, penghematan, dan status pekerjaan, jalankan cmdlet berikut:

  Get-ReFSDedupStatus -Volume <path> | FL
  

  Misalnya, cmdlet berikut menampilkan status pekerjaan:

  PS C:\Users\hciuser> Get-ReFSDedupStatus -Volume "C:\ClusterStorage\Volume1"
  
  Volume                                            Type             Used     Deduped Compressed Format
  ------                                            ----             ----     ------- ---------- ------
  C:\ClusterStorage\Volume1 DedupAndCompress 1.38 TiB 0 B     0 B        Unc...
  

Menjadwalkan pekerjaan deduplikasi dan kompresi ReFS berulang

Atur jadwal berulang untuk menjalankan pengoptimalan penyimpanan untuk volume. Anda kemudian dapat melihat, mengatur, atau memodifikasi, menangguhkan, melanjutkan, atau menghapus jadwal pekerjaan.

• Untuk mengatur atau mengubah jadwal, jalankan cmdlet berikut:

  Set-ReFSDedupSchedule -Volume <Path> -Start <DateTime> -Days <DayOfWeek[]> -Duration <TimeSpan> -CompressionFormat <LZ4 | ZSTD> -CompressionLevel <UInt16> -CompressionChunkSize <UInt32> 
  

  Misalnya, untuk menyiapkan pekerjaan berulang yang dijadwalkan untuk berjalan setiap Kamis pukul 08.30 selama durasi 5 jam dalam format LZ4, jalankan cmdlet berikut. Gunakan -Days EveryDay jika Anda ingin menjalankan pekerjaan setiap hari.

  PS C:\Users\hciuser> $Start = “10/31/2023 08:30:00”
  PS C:\Users\hciuser> $Duration = New-Timespan -Hours 5
  PS C:\Users\hciuser> Set-ReFSDedupSchedule -Volume C:\ClusterStorage\Volume1 -Start $Start Days "Thursday" -Duration $Duration -CompressionFormat LZ4
  

• Untuk melihat jadwal pekerjaan, jalankan cmdlet berikut:

  Get-ReFSDedupSchedule -Volume <path> | FL
  

  Berikut adalah output pekerjaan yang dijadwalkan dalam contoh sebelumnya:

  PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL
  
  Volume                       : C:\ClusterStorage\Volume1
  Enabled                      : True
  Type                         : DedupAndCompress
  CpuPercentage                : Automatic
  ConcurrentOpenFiles          : Automatic
  MinimumLastModifiedTimeHours : 0
  ExcludeFileExtension         : {}
  ExcludeFolder                : {}
  CpuPercentage                : 0
  CompressionFormat            : LZ4
  CompressionLevel             : 1
  CompressionChunkSize         : 4 B
  CompressionTuning            : 70
  RecompressionTuning          : 40
  DecompressionTuning          : 30
  Start                        : 8:30:00 AM
  Duration                     : 00m:00.000s
  Days                         : Thursday
  Suspended                    : False
  

Menangguhkan pekerjaan terjadwal

Menangguhkan jadwal membatalkan pekerjaan yang sedang berjalan dan menghentikan eksekusi terjadwal di masa mendatang. Opsi ini mempertahankan deduplikasi ReFS dan metadata terkait kompresi dan terus melacak perubahan file untuk proses yang dioptimalkan di masa mendatang. Anda dapat melanjutkan jadwal kapan saja, dengan pengaturan jadwal dipertahankan.

Pusat Admin Windows

Ikuti langkah-langkah ini untuk menangguhkan pekerjaan terjadwal menggunakan Windows Admin Center:

1. Sambungkan ke kluster, lalu pada panel Alat di sebelah kiri, pilih Volume.

2. Pada halaman Volume , pilih tab Inventarisasi , pilih volume yang sesuai, lalu pilih Pengaturan.

3. Pada panel Pengaturan volume di sebelah kanan, di bawah Dropdown Opsi lainnya , batalkan pilihan kotak centang Atur Jadwal , lalu pilih Simpan.

PowerShell

Gunakan cmdlet berikut untuk menangguhkan pekerjaan terjadwal dan memeriksa status menggunakan PowerShell:

Suspend-ReFSDedupSchedule -Volume <path> 

Berikut adalah contoh output dari penggunaan cmdlet. Bidang Suspended ditampilkan sebagai True.

PS C:\Users\hciuser> Suspend-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\user> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : True
Type                         : DedupAndCompress
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 1
CompressionChunkSize         : 4 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : 8:30:00 AM
Duration                     : 00m:00.000s
Days                         : Thursday
Suspended                    : True

Menonaktifkan deduplikasi dan kompresi ReFS pada volume

Menonaktifkan deduplikasi dan kompresi ReFS pada volume menghentikan eksekusi apa pun yang sedang berlangsung dan membatalkan pekerjaan terjadwal di masa mendatang. Selain itu, metadata volume terkait tidak dipertahankan, dan pelacakan perubahan file dihentikan.

Ketika Anda menonaktifkan fitur ini, fitur ini tidak membatalkan deduplikasi atau kompresi, karena semua operasi terjadi pada lapisan metadata. Seiring waktu, data kembali ke keadaan semula saat volume menimbulkan baca dan tulis.

Catatan

Anda dapat melakukan operasi dekompresi menggunakan ReFSUtil.

Pusat Admin Windows

Ikuti langkah-langkah ini untuk menonaktifkan fitur menggunakan Windows Admin Center:

1. Sambungkan ke kluster, lalu pada panel Alat di sebelah kiri, pilih Volume.

2. Pada halaman Volume , pilih tab Inventarisasi , pilih volume yang sesuai, lalu pilih Pengaturan.

3. Pada panel Pengaturan volume di sebelah kanan, di bawah Dropdown Opsi lainnya , batalkan pilihan kotak centang Gunakan deduplikasi dan pemadatan ReFS , lalu pilih Simpan.

PowerShell

Gunakan cmdlet berikut untuk menangguhkan pekerjaan terjadwal dan memeriksa status:

Disable-ReFSDedup -Volume <path>

Berikut adalah contoh output dari penggunaan cmdlet. Bidang Enabled ditampilkan sebagai False dan Type bidang ditampilkan sebagai kosong.

PS C:\Users\hciuser> Disable-ReFSDedup -Volume "C:\ClusterStorage\Volume1"
PS C:\Users\hciuser> Get-ReFSDedupSchedule -Volume "C:\ClusterStorage\Volume1" | FL


Volume                       : C:\ClusterStorage\Volume1
Enabled                      : False
Type                         :
CpuPercentage                : Automatic
ConcurrentOpenFiles          : Automatic
MinimumLastModifiedTimeHours : 0
ExcludeFileExtension         : {}
ExcludeFolder                : {}
CpuPercentage                : 0
CompressionFormat            : LZ4
CompressionLevel             : 0
CompressionChunkSize         : 0 B
CompressionTuning            : 70
RecompressionTuning          : 40
DecompressionTuning          : 30
Start                        : N/A
Duration                     : N/A
Days                         : None
Suspended                    : False

Tanya Jawab Umum (FAQ)

Bagian ini menjawab pertanyaan umum tentang deduplikasi dan kompresi ReFS.

Apakah fitur deduplikasi dan kompresi ReFS berbeda dari Deduplikasi Data Windows?

Ya, fitur ini sama sekali berbeda dari fitur Deduplikasi Data Windows .

Penting

Kami tidak mendukung pengaktifan deduplikasi dan kompresi ReFS dan Deduplikasi Data Windows secara bersamaan.

Deduplikasi dan kompresi ReFS dirancang untuk beban kerja aktif, berfokus pada meminimalkan dampak performa setelah pengoptimalan. Tidak seperti Deduplikasi Data Windows, deduplikasi dan kompresi ReFS tidak menggunakan penyimpanan gugus untuk menyimpan data yang dideduplikasi, dan tidak ada pergerakan data fisik yang terlibat. Fitur ini bergantung pada kloning blok ReFS untuk mengaktifkan operasi khusus metadata. Deduplikasi Data Windows mungkin memberikan penghematan penyimpanan yang lebih baik karena penggunaan ukuran blok variabelnya, juga cocok untuk berbagai jenis beban kerja yang lebih luas, seperti server file tujuan umum (GPFS), target cadangan, dan banyak lagi.

Apa fase deduplikasi dan kompresi ReFS?

Proses pengoptimalan terdiri dari fase berikut yang terjadi secara berurutan dan bergantung pada mode yang ditentukan. Jika pengoptimalan berjalan mencapai batas durasi, maka pemadatan mungkin tidak berjalan.

• Inisialisasi. Dalam fase ini, volume penyimpanan dipindai untuk mengidentifikasi blok data yang berlebihan.

• Deduplikasi data. Dalam fase ini, blok redundan di-instans tunggal dan dilacak menggunakan kloning blok ReFS.

• Kompresi. Dalam fase ini, peta panas dihasilkan untuk mengidentifikasi apakah blok harus memenuhi syarat untuk pemadatan. Pengaturan default mengompres data yang jarang diakses atau dingin untuk mengurangi ukurannya. Anda dapat mengubah tingkat kompresi untuk menyesuaikan rentang blok yang memenuhi syarat untuk pemadatan.

Apa yang terjadi ketika batas durasi tercapai sebelum volume sepenuhnya dioptimalkan?

Batas durasi diberlakukan untuk mencegah dampak performa pada beban kerja pelanggan yang disebabkan oleh pekerjaan pengoptimalan selama jam kerja. Layanan deduplikasi memantau bagian yang dioptimalkan dari volume dan modifikasi file masuk. Data ini digunakan dalam pekerjaan di masa mendatang untuk mengurangi waktu pengoptimalan. Misalnya, jika volume hanya 30% diproses dalam eksekusi pertama karena batas durasi, eksekusi berikutnya membahas 70% sisanya dan data baru apa pun.

Masalah yang diketahui

Bagian berikut mencantumkan masalah yang diketahui yang saat ini ada dengan deduplikasi dan kompresi ReFS.

Menjadwalkan pekerjaan untuk berjalan secara bersamaan pada beberapa CSV dalam satu kluster berpotensi memicu pergerakan CSV dan berdampak negatif pada performa.

Status: Terbuka.

Sebagai praktik terbaik yang direkomendasikan, pertimbangkan untuk mengejutkan waktu mulai pekerjaan untuk menghindari tumpang tindih. Namun, jika semua pekerjaan harus berjalan secara bersamaan, sesuaikan alokasi CPU per pekerjaan di semua CSV sehingga jumlahnya kurang dari 50% dari keseluruhan pemanfaatan CPU kluster. Perlu diingat bahwa memberlakukan batasan CPU dapat mengakibatkan waktu eksekusi pekerjaan yang lebih lama.

Pekerjaan deduplikasi dan kompresi ReFS selesai (berhasil atau dibatalkan) dan penghematan penyimpanan tidak tercantum di Get-ReFSDedupStatus atau Windows Admin Center.

Status: Diselesaikan.

Solusi sementara untuk masalah ini adalah memulai pekerjaan satu kali dan pembaruan hasil segera.

Start-ReFSDedupJob -Volume <path>

Mengirim berhenti memantau peristiwa Pelacakan Peristiwa untuk Windows (ETW) setelah menonaktifkan deduplikasi dan kompresi ReFS pada volume.

Status: Diselesaikan.

Setelah deduplikasi dan kompresi ReFS dinonaktifkan pada volume, saluran ETW untuk log deduplikasi ReFS berulang kali menghentikan peristiwa pemantauan. Namun, kami tidak mengantisipasi dampak penggunaan yang signifikan karena masalah ini.

Peristiwa pekerjaan gagal tidak dicatat jika volume dipindahkan ke simpul lain selama pemadatan.

Status: Diselesaikan.

Jika CSV dipindahkan ke server kluster lain saat pemadatan sedang berlangsung, peristiwa pekerjaan gagal tidak dicatat di saluran deduplikasi ReFS. Namun, kami tidak mengantisipasi dampak penggunaan yang signifikan karena masalah ini.

Langkah berikutnya

• Mengelola volume.