Pengaturan Deduplikasi Data Lanjutan

Dokumen ini menjelaskan cara mengubah pengaturan tingkat lanjut Deduplikasi Data. Untuk beban kerja yang direkomendasikan, pengaturan default harus cukup. Alasan utama untuk memodifikasi pengaturan ini adalah untuk meningkatkan performa Data Deduplication dengan jenis beban kerja lainnya.

Memodifikasi jadwal tugas Deduplikasi Data

Jadwal pekerjaan Deduplikasi Data default dirancang agar berfungsi dengan baik untuk beban kerja yang direkomendasikan dan tidak mengganggu (tidak termasuk pekerjaan Pengoptimalan Prioritas yang diaktifkan untuk tipe penggunaan Cadangan). Ketika beban kerja memiliki persyaratan sumber daya yang besar, dimungkinkan untuk memastikan bahwa tugas hanya berjalan selama jam-jam saat sistem menganggur, atau untuk mengurangi atau meningkatkan jumlah sumber daya sistem yang diizinkan untuk digunakan oleh tugas Deduplikasi Data.

Mengubah jadwal Deduplikasi Data

Pekerjaan Deduplikasi Data dijadwalkan melalui Windows Task Scheduler dan dapat dilihat dan diedit di sana di bawah jalur Microsoft\Windows\Deduplication. Deduplikasi Data mencakup beberapa cmdlet yang memudahkan penjadwalan.

Alasan paling umum untuk mengubah jadwal menjalankan pekerjaan Data Deduplication adalah untuk memastikan bahwa pekerjaan tersebut berjalan di luar jam kerja. Contoh langkah demi langkah berikut menunjukkan cara memodifikasi jadwal Deduplikasi Data untuk skenario hari cerah: host Hyper-V hyper-converged yang menganggur pada akhir pekan dan setelah pukul 19.00 pada malam hari kerja. Untuk mengubah jadwal, jalankan cmdlet PowerShell berikut ini dalam konteks Administrator.

  1. Nonaktifkan pekerjaan Pengoptimalan per jam yang dijadwalkan.

     Set-DedupSchedule -Name BackgroundOptimization -Enabled $false
     Set-DedupSchedule -Name PriorityOptimization -Enabled $false
    
  2. Hapus pekerjaan Pengumpulan Sampah dan Pemeriksaan Integritas yang saat ini dijadwalkan.

     Get-DedupSchedule -Type GarbageCollection | ForEach-Object { Remove-DedupSchedule -InputObject $_ }
     Get-DedupSchedule -Type Scrubbing | ForEach-Object { Remove-DedupSchedule -InputObject $_ }
    
  3. Buat pekerjaan Pengoptimalan malam yang berjalan pada pukul 19:00 dengan prioritas tinggi dan semua CPU dan memori yang tersedia pada sistem.

     New-DedupSchedule -Name "NightlyOptimization" -Type Optimization -DurationHours 11 -Memory 100 -Cores 100 -Priority High -Days @(1,2,3,4,5) -Start (Get-Date "2016-08-08 19:00:00")
    

    Note

    Bagian tanggal dari System.Datetime yang diberikan tidak relevan (selama berada di masa lalu), tetapi -Start menentukan kapan pekerjaan harus dimulai.

  4. Buat pekerjaan Pengumpulan Sampah mingguan yang berjalan pada hari Sabtu mulai pukul 07.00 dengan prioritas tinggi dan semua CPU dan memori yang tersedia pada sistem.

     New-DedupSchedule -Name "WeeklyGarbageCollection" -Type GarbageCollection -DurationHours 23 -Memory 100 -Cores 100 -Priority High -Days @(6) -Start (Get-Date "2016-08-13 07:00:00")
    
  5. Buat tugas Pembersihan Integritas mingguan yang berjalan pada hari Minggu mulai pukul 07.00 dengan berprioritas tinggi dan menggunakan semua CPU dan memori yang tersedia pada sistem.

     New-DedupSchedule -Name "WeeklyIntegrityScrubbing" -Type Scrubbing -DurationHours 23 -Memory 100 -Cores 100 -Priority High -Days @(0) -Start (Get-Date "2016-08-14 07:00:00")
    

Pengaturan di seluruh pekerjaan yang tersedia

Anda dapat mengalihkan pengaturan berikut untuk pekerjaan Deduplikasi Data baru atau terjadwal:

Nama Parameter Definition Nilai yang diterima Mengapa Anda ingin menetapkan nilai ini?
Type Jenis pekerjaan yang harus dijadwalkan
  • Optimization
  • GarbageCollection
  • Scrubbing
Nilai ini diperlukan karena merupakan jenis pekerjaan yang ingin Anda jadwalkan. Nilai ini tidak dapat diubah setelah tugas dijadwalkan.
Priority Prioritas sistem dari pekerjaan terjadwal
  • High
  • Normal
  • Low
Nilai ini membantu sistem menentukan cara mengalokasikan waktu CPU. Tinggi akan menggunakan lebih banyak waktu CPU, rendah akan menggunakan lebih sedikit.
Days Hari-hari pekerjaan dijadwalkan Array bilangan bulat 0-6 yang mewakili hari dalam seminggu:
  • 0 = Minggu
  • 1 = Senin
  • 2 = Selasa
  • 3 = Rabu
  • 4 = Kamis
  • 5 = Jumat
  • 6 = Sabtu
Tugas terjadwal harus berjalan setidaknya satu hari.
Cores Persentase inti dalam sistem yang harus digunakan oleh tugas Bilangan bulat 0-100 (menunjukkan persentase) Untuk mengontrol tingkat dampak pekerjaan pada sumber daya komputasi pada sistem
DurationHours Jumlah maksimum jam pekerjaan yang boleh dijalankan Bilangan bulat positif Untuk mencegah pekerjaan berjalan pada jam sibuk beban kerja
Enabled Apakah tugas akan berjalan True/false Untuk menonaktifkan pekerjaan tanpa menghapusnya
Full Untuk menjadwalkan tugas Pengumpulan Sampah secara penuh Sakelar (benar/salah) Secara default, setiap pekerjaan keempat adalah pekerjaan Pengumpulan Sampah penuh. Dengan sakelar ini, Anda dapat menjadwalkan Pengumpulan Sampah penuh untuk berjalan lebih sering.
InputOutputThrottle Menentukan jumlah pembatasan input/output yang diterapkan ke pekerjaan Bilangan bulat 0-100 (menunjukkan persentase) Pembatasan memastikan bahwa pekerjaan tidak mengganggu proses intensif I/O lainnya.
Memory Persentase memori pada sistem yang harus digunakan tugas Bilangan bulat 0-100 (menunjukkan persentase) Untuk mengontrol tingkat dampak apa yang akan dilakukan pekerjaan pada sumber daya memori sistem
Name Nama pekerjaan terjadwal String Pekerjaan harus memiliki nama yang dapat diidentifikasi secara unik.
ReadOnly Menunjukkan bahwa tugas scrubbing memproses dan melaporkan kerusakan yang ditemukannya, tetapi tidak melakukan tindakan perbaikan apa pun. Sakelar (benar/salah) Anda ingin memulihkan file secara manual yang berada di bagian disk yang buruk.
Start Menentukan waktu pekerjaan harus dimulai System.DateTime Bagian tanggal dari System.Datetime yang disediakan untuk Mulai tidak relevan (selama ada di masa lalu), tetapi bagian waktu menentukan kapan pekerjaan harus dimulai.
StopWhenSystemBusy Menentukan apakah Deduplikasi Data harus berhenti jika sistem sibuk Pengalih (Benar/Salah) Sakelar ini memungkinkan Anda untuk mengontrol perilaku Deduplikasi Data—hal ini sangat penting jika Anda ingin menjalankan Deduplikasi Data saat beban kerja Anda sedang aktif.

Memodifikasi pengaturan deduplikasi data pada tingkat volume

Mengalihkan pengaturan volume

Anda dapat mengatur pengaturan default seluruh volume untuk Deduplikasi Data melalui jenis penggunaan yang Anda pilih saat mengaktifkan deduplikasi untuk volume. Deduplikasi Data mencakup cmdlet yang memudahkan pengeditan pengaturan di seluruh volume:

Alasan utama untuk memodifikasi pengaturan volume dari jenis penggunaan yang dipilih adalah untuk meningkatkan performa baca untuk file tertentu (seperti multimedia atau jenis file lain yang sudah dikompresi) atau untuk menyempurnakan Deduplikasi Data untuk pengoptimalan yang lebih baik untuk beban kerja spesifik Anda. Contoh berikut menunjukkan cara memodifikasi pengaturan volume Deduplikasi Data untuk beban kerja yang paling mirip dengan beban kerja server file tujuan umum, tetapi menggunakan file-file besar yang sering berubah.

  1. Lihat pengaturan volume saat ini untuk Cluster Shared Volume 1.

     Get-DedupVolume -Volume C:\ClusterStorage\Volume1 | Select *
    
  2. Aktifkan OptimizePartialFiles pada Cluster Shared Volume 1 sehingga kebijakan MinimumFileAge berlaku untuk bagian file daripada seluruh file. Ini memastikan bahwa sebagian besar file dioptimalkan meskipun bagian file berubah secara teratur.

     Set-DedupVolume -Volume C:\ClusterStorage\Volume1 -OptimizePartialFiles
    

Pengaturan untuk seluruh volume

Nama setelan Definition Nilai yang diterima Mengapa Anda ingin mengubah nilai ini?
ChunkRedundancyThreshold Jumlah kali sebuah chunk disebut sebelum chunk tersebut diduplikasi ke bagian hotspot dari Chunk Store. Nilai dari bagian hotspot adalah bahwa bagian "panas" yang sering dirujuk memiliki beberapa jalur akses untuk mempercepat waktu akses. Bilangan bulat positif Alasan utama untuk memodifikasi jumlah ini adalah untuk meningkatkan tingkat penghematan volume dengan duplikasi tinggi. Secara umum, nilai default (100) adalah pengaturan yang direkomendasikan, dan Anda tidak perlu mengubahnya.
ExcludeFileType Jenis file yang dikecualikan dari pengoptimalan Array dari ekstensi file Beberapa jenis file, terutama multimedia atau file yang sudah dikompresi, tidak terlalu mendapat manfaat dari dioptimalkan. Pengaturan ini memungkinkan Anda untuk mengonfigurasi jenis mana yang dikecualikan.
ExcludeFolder Menentukan jalur folder yang tidak boleh dipertimbangkan untuk pengoptimalan Larikan jalur folder Jika Anda ingin meningkatkan performa atau mencegah konten pada jalur tertentu dari dioptimalkan, Anda dapat mengecualikan jalur tertentu pada volume agar tidak dipertimbangkan untuk pengoptimalan.
InputOutputScale Mengatur tingkat paralelisme IO (antrean IO) untuk Deduplikasi Data yang akan digunakan pada volume selama proses pasca-pemrosesan. Bilangan bulat positif berkisar antara 1-36 Alasan utama untuk memodifikasi nilai ini adalah untuk mengurangi dampak pada performa beban kerja IO yang tinggi dengan membatasi jumlah antrean IO yang diizinkan untuk digunakan oleh Deduplikasi Data pada volume. Perhatikan bahwa memodifikasi pengaturan ini dari default dapat menyebabkan pekerjaan pasca-pemrosesan Data Deduplication berjalan lambat.
MinimumFileAgeDays Jumlah hari setelah file dibuat sebelum file dianggap memenuhi kebijakan untuk pengoptimalan. Bilangan bulat positif (termasuk nol) Jenis default dan Hyper-V penggunaan mengatur nilai ini menjadi 3 untuk memaksimalkan kinerja pada file yang sering diakses atau baru dibuat. Anda mungkin ingin mengubah ini jika Anda ingin Deduplikasi Data lebih agresif atau jika Anda tidak peduli tentang latensi tambahan yang terkait dengan deduplikasi.
MinimumFileSize Ukuran minimum yang harus dimiliki sebuah file agar dianggap sesuai kebijakan untuk pengoptimalan Bilangan bulat positif (byte) lebih besar dari 32 KB Alasan utama untuk mengubah nilai ini adalah untuk mengecualikan file kecil yang mungkin memiliki nilai pengoptimalan terbatas untuk menghemat waktu komputasi.
NoCompress Apakah gugus harus dikompresi sebelum dimasukkan ke dalam Chunk Store True/False Beberapa jenis file, terutama file multimedia dan jenis file yang sudah dikompresi, mungkin tidak dikompresi dengan baik. Pengaturan ini memungkinkan Anda menonaktifkan pemadatan untuk semua file pada volume. Ini akan ideal jika Anda mengoptimalkan himpunan data yang memiliki banyak file yang sudah dikompresi.
NoCompressionFileType Jenis file yang gugusnya tidak boleh dikompresi sebelum masuk ke Chunk Store Array dari ekstensi file Beberapa jenis file, terutama file multimedia dan jenis file yang sudah dikompresi, mungkin tidak dikompresi dengan baik. Pengaturan ini memungkinkan pemadatan dimatikan untuk file-file tersebut, menyimpan sumber daya CPU.
OptimizeInUseFiles Ketika diaktifkan, file yang memiliki handle aktif akan dianggap sebagai sesuai kebijakan untuk pengoptimalan. True/false Aktifkan pengaturan ini jika beban kerja Anda membuat file tetap terbuka untuk jangka waktu yang lama. Jika pengaturan ini tidak diaktifkan, file tidak akan pernah dioptimalkan jika beban kerja memiliki handle terbuka untuk itu, meskipun hanya sesekali menambahkan data di bagian akhir.
OptimizePartialFiles Saat diaktifkan, nilai MinimumFileAge berlaku untuk segmen file daripada ke seluruh file. True/false Aktifkan pengaturan ini jika beban kerja Anda berfungsi dengan file besar yang sering diedit di mana sebagian besar konten file tidak tersentuh. Jika pengaturan ini tidak diaktifkan, file-file ini tidak akan pernah dioptimalkan karena terus diubah, meskipun sebagian besar konten file siap untuk dioptimalkan.
Verify Ketika diaktifkan, jika hash potongan cocok dengan potongan yang sudah kami miliki di Chunk Store kami, potongan-potongan tersebut dibandingkan per byte untuk memastikan mereka identik. True/false Ini adalah fitur integritas yang memastikan bahwa algoritma hashing yang membandingkan gugus tidak membuat kesalahan dengan membandingkan dua gugus data yang sebenarnya berbeda tetapi memiliki hash yang sama. Dalam praktiknya, sangat tidak mungkin bahwa ini akan pernah terjadi. Mengaktifkan fitur verifikasi menambahkan overhead yang signifikan ke pekerjaan pengoptimalan.

Memodifikasi pengaturan Deduplikasi Data secara keseluruhan sistem

Deduplikasi Data memiliki pengaturan tambahan seluruh sistem yang dapat dikonfigurasi melalui registri. Pengaturan ini berlaku untuk semua pekerjaan dan volume yang berjalan pada sistem. Perhatian lebih harus diberikan setiap kali mengedit registri.

Misalnya, Anda mungkin ingin menonaktifkan Pengumpulan Sampah penuh. Informasi selengkapnya tentang mengapa ini mungkin berguna untuk skenario Anda dapat ditemukan di Tanya jawab umum. Untuk mengedit registri dengan PowerShell:

  • Jika Deduplikasi Data berjalan dalam kluster:

      Set-ItemProperty -Path HKLM:\System\CurrentControlSet\Services\ddpsvc\Settings -Name DeepGCInterval -Type DWord -Value 0xFFFFFFFF
      Set-ItemProperty -Path HKLM:\CLUSTER\Dedup -Name DeepGCInterval -Type DWord -Value 0xFFFFFFFF
    
  • Jika Deduplikasi Data tidak berjalan dalam kluster:

      Set-ItemProperty -Path HKLM:\System\CurrentControlSet\Services\ddpsvc\Settings -Name DeepGCInterval -Type DWord -Value 0xFFFFFFFF
    

Pengaturan yang tersedia di seluruh sistem

Nama setelan Definition Nilai yang diterima Mengapa Anda ingin mengubah ini?
WlmMemoryOverPercentThreshold Pengaturan ini memungkinkan pekerjaan menggunakan lebih banyak memori daripada yang dinilai tersedia oleh Deduplikasi Data. Misalnya, pengaturan 300 berarti bahwa pekerjaan harus menggunakan tiga kali memori yang ditetapkan sebelum dibatalkan. Bilangan bulat positif (nilai 300 berarti 300% atau 3 kali) Jika Anda memiliki tugas lain yang akan berhenti jika Deduplikasi Data membutuhkan lebih banyak memori
DeepGCInterval Pengaturan ini mengonfigurasi interval di mana pekerjaan Pengumpulan Sampah reguler menjadi pekerjaan Pengumpulan Sampah penuh. Pengaturan n akan berarti bahwa setiap pekerjaan ke-n adalah pekerjaan Pengumpulan Sampah penuh. Perhatikan bahwa pengumpulan sampah penuh selalu dinonaktifkan (terlepas dari nilai registri) untuk volume dengan Jenis Penggunaan Cadangan. Start-DedupJob -Type GarbageCollection -Full dapat digunakan jika Pengumpulan Sampah secara penuh diinginkan pada volume Cadangan. Bilangan bulat (-1 menunjukkan dinonaktifkan) Lihat pertanyaan yang sering diajukan ini

Tanya jawab umum

Saya mengubah pengaturan Deduplikasi Data, dan sekarang pekerjaan lambat atau tidak selesai, atau performa beban kerja saya menurun. Mengapa? Pengaturan ini memberi Anda banyak kekuatan untuk mengontrol cara Deduplikasi Data berjalan. Gunakan secara bertanggung jawab, dan pantau performa.

Saya ingin menjalankan pekerjaan Deduplikasi Data sekarang, tetapi saya tidak ingin membuat jadwal baru--bisakah saya melakukan ini? Ya, semua pekerjaan dapat dijalankan secara manual.

Apa perbedaan antara Pengumpulan Sampah penuh dan reguler? Ada dua jenis Pengumpulan Sampah:

  • Pengumpulan Sampah Reguler menggunakan algoritma statistik untuk menemukan potongan besar yang tidak direferensikan yang memenuhi kriteria tertentu (rendah dalam penggunaan memori dan IOP). Pengumpulan Sampah Reguler memampatkan kontainer penyimpanan gugus hanya jika persentase minimum gugus tidak direferensikan. Jenis Pengumpulan Sampah ini berjalan jauh lebih cepat dan menggunakan lebih sedikit sumber daya daripada Pengumpulan Sampah penuh. Jadwal default pekerjaan Pengumpulan Sampah reguler adalah berjalan seminggu sekali.
  • Pengumpulan Sampah Penuh melakukan pekerjaan yang jauh lebih menyeluruh untuk menemukan gugus yang tidak terhubung dan membebaskan lebih banyak ruang penyimpanan. Pengumpulan Sampah Penuh memadatkan setiap kontainer bahkan jika hanya satu potongan dalam kontainer yang tidak direferensikan. Pengumpulan Sampah Penuh juga akan membebaskan ruang yang mungkin telah digunakan jika terjadi crash atau kegagalan daya selama pekerjaan Pengoptimalan. Pekerjaan Pengumpulan Sampah Lengkap akan memulihkan 100 persen ruang yang dapat dipulihkan pada volume deduplikasi, dengan konsekuensi membutuhkan lebih banyak waktu dan sumber daya sistem dibandingkan dengan pekerjaan Pengumpulan Sampah biasa. Pekerjaan Pengumpulan Sampah lengkap biasanya akan menemukan dan merilis hingga 5 persen lebih banyak data yang tidak direferensikan daripada pekerjaan Pengumpulan Sampah biasa. Jadwal default dari pekerjaan Pengumpulan Sampah penuh adalah menjalankan setiap keempat kalinya Pengumpulan Sampah dijadwalkan.

Mengapa saya ingin menonaktifkan Pengumpulan Sampah penuh?

  • Pengumpulan Sampah dapat berdampak buruk pada salinan bayangan seumur hidup volume dan ukuran cadangan bertahap. Beban kerja yang intensif I/O atau dengan churn tinggi dapat mengalami penurunan kinerja oleh proses Pengumpulan Sampah penuh.
  • Anda dapat menjalankan pekerjaan Pengumpulan Sampah penuh secara manual dari PowerShell untuk membersihkan kebocoran jika Anda tahu sistem Anda mengalami crash.