Udostępnij za pośrednictwem


Optymalizowanie magazynu za pomocą deduplikacji i kompresji systemu plików ReFS w usłudze Azure Stack HCI

Dotyczy: Azure Stack HCI, wersja 23H2

W tym artykule opisano funkcję deduplikacji i kompresji systemu plików ReFS (Resilient File System) oraz sposób używania tej funkcji w usłudze Azure Stack HCI do optymalizacji magazynu.

Co to jest deduplikacja i kompresja systemu plików ReFS?

Deduplikacja i kompresja systemu plików ReFS to funkcja optymalizacji magazynu przeznaczona specjalnie dla aktywnych obciążeń, takich jak infrastruktura pulpitu wirtualnego platformy Azure (VDI) w usłudze Azure Stack HCI. Ta funkcja pomaga zoptymalizować użycie magazynu i zmniejszyć koszt magazynowania.

Ta funkcja używa klonowania bloków systemu plików ReFS , aby zmniejszyć przenoszenie danych i włączyć tylko operacje metadanych. Funkcja działa na poziomie bloku danych i używa stałego rozmiaru bloku w zależności od rozmiaru klastra. Aparat kompresji generuje mapę cieplną, aby określić, czy blok powinien kwalifikować się do kompresji, optymalizując użycie procesora CPU.

Możesz uruchomić deduplikację i kompresję systemu plików ReFS jako jednorazowe zadanie lub zautomatyzować je przy użyciu zaplanowanych zadań. Ta funkcja działa zarówno z systemami all-flash, jak i hybrydowymi i obsługuje różne ustawienia odporności, takie jak dublowanie dwukierunkowe, zagnieżdżone dublowanie dwukierunkowe, dublowanie trójkierunkowe i parzystość przyspieszona dublowanie.

Korzyści

Poniżej przedstawiono zalety korzystania z deduplikacji i kompresji systemu plików ReFS:

  • Oszczędności w magazynie dla aktywnych obciążeń. Zaprojektowany pod kątem aktywnych obciążeń, takich jak VDI, zapewniając wydajną wydajność w wymagających środowiskach.
  • Wiele trybów. Działa w trzech trybach: tylko deduplikacja, tylko kompresja i deduplikacja i kompresja (tryb domyślny), co pozwala na optymalizację na podstawie Twoich potrzeb.
  • Deduplikacja przyrostowa. Deduplikuje tylko nowe lub zmienione dane, w przeciwieństwie do skanowania całego woluminu za każdym razem, optymalizując czas trwania zadania i zmniejszając wpływ na wydajność systemu.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że zostały spełnione następujące wymagania wstępne:

  • Masz dostęp do klastra usługi Azure Stack HCI, który został wdrożony i zarejestrowany.
  • Masz udostępniony wolumin klastra (CSV) utworzony w klastrze i masz do niego dostęp.
  • Plik CSV nie ma już włączonej funkcji deduplikacji danych systemu Windows.

Używanie deduplikacji i kompresji systemu plików ReFS

Deduplikacja i kompresja systemu plików ReFS można używać za pośrednictwem Windows Admin Center lub programu PowerShell. Program PowerShell umożliwia zarówno zadania ręczne, jak i automatyczne, natomiast Windows Admin Center obsługuje tylko zaplanowane zadania. Niezależnie od metody można dostosować ustawienia zadania i korzystać ze śledzenia zmian plików w celu szybszego kolejnych przebiegów.

Włączanie i uruchamianie deduplikacji i kompresji systemu plików ReFS

W Windows Admin Center można utworzyć harmonogram deduplikacji i kompresji systemu plików ReFS do uruchamiania na istniejącym woluminie lub nowym woluminie podczas tworzenia woluminu.

Wykonaj następujące kroki, aby włączyć deduplikację i kompresję systemu plików ReFS za pośrednictwem Windows Admin Center i ustawić harmonogram uruchamiania:

  1. Połącz się z klastrem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia. Aby włączyć deduplikację i kompresję systemu plików ReFS dla nowego woluminu, wybierz pozycję + Utwórz.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze Listy rozwijanej Więcej opcji wybierz pole wyboru Użyj deduplikacji i kompresji systemu plików ReFS .

  4. Wybierz dni tygodnia, w których ma zostać uruchomiona deduplikacja i kompresja systemu plików ReFS, czas rozpoczęcia działania zadania i maksymalny czas trwania (wartość domyślna jest nieograniczona), a następnie wybierz pozycję Zapisz.

    Poniższy zrzut ekranu pokazuje, że deduplikacja i kompresja systemu plików ReFS są uruchamiane w piątek i sobotę o godzinie 10:40 z maksymalnym czasem trwania 2 godzin, począwszy od 22.09.2023. Jeśli data rozpoczęcia została zmieniona na 9/21/2023, pierwszy przebieg będzie nadal 9/22/2023 10:40, ponieważ jest to pierwszy piątek po 9/21/2023.

    Zrzut ekranu przedstawiający okienko Ustawienia woluminu z ustawieniami deduplikacji i kompresji systemu plików ReFS.

  5. Sprawdź zmiany w sekcji Właściwości woluminu. Harmonogram jest wyświetlany w sekcji Właściwości i wyświetla podział oszczędności i następny zaplanowany czas wykonywania. Te oszczędności są aktualizowane po każdym uruchomieniu i można obserwować wpływ wydajności na wykresy w sekcji Wydajność .

    Zrzut ekranu przedstawiający sekcję właściwości woluminu z podziałem oszczędności i następnym zaplanowanym czasem wykonywania.

Zawieszanie zaplanowanych zadań

Wstrzymanie harmonogramu powoduje anulowanie wszystkich uruchomionych zadań i zatrzymanie zaplanowanych przebiegów w przyszłości. Ta opcja zachowuje deduplikację systemu plików ReFS i metadane związane z kompresją i kontynuuje śledzenie zmian plików pod kątem zoptymalizowanych przyszłych przebiegów. Harmonogram można wznowić w dowolnym momencie z zachowaniem ustawień harmonogramu.

Wykonaj następujące kroki, aby wstrzymać zaplanowane zadania przy użyciu Windows Admin Center:

  1. Połącz się z klastrem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze listy rozwijanej Więcej opcji usuń zaznaczenie pola wyboru Ustaw harmonogram , a następnie wybierz pozycję Zapisz.

Wyłączanie deduplikacji i kompresji systemu plików ReFS na woluminie

Wyłączenie deduplikacji i kompresji systemu plików ReFS na woluminie powoduje zatrzymanie wszystkich przebiegów, które są w toku i anulowanie przyszłych zaplanowanych zadań. Ponadto powiązane metadane woluminu nie są zachowywane, a śledzenie zmian plików jest zatrzymywane.

Wyłączenie tej funkcji nie powoduje cofnięcia deduplikacji ani kompresji, ponieważ wszystkie operacje są wykonywane w warstwie metadanych. W miarę upływu czasu dane wracają do stanu pierwotnego, ponieważ wolumin generuje odczyty i zapisy.

Uwaga

Operacje dekompresji można wykonywać przy użyciu polecenia ReFSUtil.

Wykonaj następujące kroki, aby wyłączyć funkcję przy użyciu Windows Admin Center:

  1. Połącz się z klastrem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze listy rozwijanej Więcej opcji usuń zaznaczenie pola wyboru Użyj deduplikacji i kompresji systemu plików ReFS , a następnie wybierz pozycję Zapisz.

Często zadawane pytania (FAQ)

Ta sekcja zawiera odpowiedzi na często zadawane pytania dotyczące deduplikacji i kompresji systemu plików ReFS.

Czy funkcja deduplikacji i kompresji systemu plików ReFS różni się od deduplikacji danych systemu Windows?

Tak, ta funkcja różni się zupełnie od funkcji deduplikacji danych systemu Windows .

Ważne

Nie obsługujemy jednoczesnego włączania deduplikacji i kompresji systemu plików ReFS oraz deduplikacji danych systemu Windows.

Deduplikacja i kompresja systemu plików ReFS są przeznaczone dla aktywnych obciążeń, koncentrując się na zminimalizowaniu wpływu na wydajność po optymalizacji. W przeciwieństwie do deduplikacji danych systemu Windows deduplikacja i kompresja systemu plików ReFS nie używa magazynu fragmentów do przechowywania deduplikowanych danych i nie ma konieczności fizycznego przenoszenia danych. Funkcja opiera się na klonowaniu bloków systemu plików ReFS w celu włączenia operacji tylko dla metadanych. Deduplikacja danych systemu Windows może zapewnić lepsze oszczędności magazynu ze względu na użycie zmiennych rozmiarów bloków, jest również odpowiednia dla szerszego zakresu typów obciążeń, takich jak serwery plików ogólnego przeznaczenia (GPFS), obiekty docelowe kopii zapasowych i inne.

Jakie są fazy deduplikacji i kompresji systemu plików ReFS?

Proces optymalizacji składa się z następujących faz, które występują sekwencyjnie i zależą od określonego trybu. Jeśli przebieg optymalizacji osiągnie limit czasu trwania, kompresja może nie zostać uruchomiona.

  • Inicjowania. W tej fazie wolumin magazynu jest skanowany w celu zidentyfikowania nadmiarowych bloków danych.

  • Deduplikacja danych. W tej fazie nadmiarowe bloki są pojedyncze wystąpienia i śledzone przy użyciu klonowania bloków systemu plików ReFS.

  • Kompresji. W tej fazie jest generowana mapa cieplna w celu określenia, czy blok powinien kwalifikować się do kompresji. Ustawienia domyślne kompresują rzadko używane lub zimne dane, aby zmniejszyć ich rozmiar. Możesz zmienić poziomy kompresji, aby dostosować zakres bloków kwalifikujących się do kompresji.

Co się stanie po osiągnięciu limitu czasu trwania, zanim wolumin zostanie w pełni zoptymalizowany?

Limit czasu trwania jest obowiązuje, aby zapobiec wpływowi wydajności na obciążenia klientów spowodowanego przez zadanie optymalizacji w godzinach pracy. Usługa deduplikacji monitoruje zoptymalizowane części woluminu i przychodzące modyfikacje plików. Te dane są używane w przyszłych zadaniach w celu skrócenia czasu optymalizacji. Jeśli na przykład wolumin jest przetwarzany tylko w 30% w pierwszym przebiegu ze względu na limit czasu trwania, kolejne przebiegi adresuje pozostałe 70% i wszystkie nowe dane.

Znane problemy

W poniższej sekcji wymieniono znane problemy, które obecnie istnieją z deduplikacją i kompresją systemu plików ReFS.

Planowanie zadań do uruchamiania jednocześnie na wielu woluminach CSV w ramach jednego klastra może potencjalnie wyzwolić przenoszenie woluminów CSV i negatywnie wpłynąć na wydajność.

Stan: Otwórz.

Zalecane najlepsze rozwiązanie należy rozważyć rozłożenie czasu rozpoczęcia zadań, aby uniknąć nakładania się. Jeśli jednak wszystkie zadania muszą być uruchamiane jednocześnie, dostosuj alokację procesora CPU dla wszystkich woluminów CSV, aby wynosiło mniej niż 50% ogólnego wykorzystania procesora CPU klastra. Należy pamiętać, że nakładanie ograniczeń procesora CPU może spowodować wydłużenie czasu wykonywania zadania.

Ukończono zadanie deduplikacji i kompresji systemu plików ReFS (pomyślnie lub zostało anulowane), a oszczędności magazynu nie są wymienione w Get-ReFSDedupStatus ani Windows Admin Center.

Stan: Rozwiązane.

Tymczasowym obejściem tego problemu jest natychmiastowe zainicjowanie zadania jednorazowego i natychmiastowe zaktualizowanie wyników.

Start-ReFSDedupJob -Volume <path>

Wysyłanie zatrzymało monitorowanie zdarzeń śledzenia zdarzeń systemu Windows (ETW) po wyłączeniu deduplikacji systemu plików ReFS i kompresji na woluminie.

Stan: Rozwiązane.

Po wyłączeniu deduplikacji i kompresji systemu plików ReFS na woluminie kanał ETW dla dzienników deduplikacji systemu plików ReFS powtórzył zatrzymane zdarzenia monitorowania. Nie przewidujemy jednak znaczącego wpływu na użycie z powodu tego problemu.

Zdarzenie nie powiodło się, jeśli wolumin został przeniesiony do innego węzła podczas kompresji.

Stan: Rozwiązane.

Jeśli wolumin CSV zostanie przeniesiony do innego serwera klastra, gdy kompresja jest w toku, zdarzenie niepowodzenia zadania nie jest rejestrowane w kanale deduplikacji systemu plików ReFS. Nie przewidujemy jednak znaczącego wpływu na użycie z powodu tego problemu.

Następne kroki