Udostępnij za pośrednictwem


Optymalizowanie magazynu za pomocą deduplikacji i kompresji systemu plików ReFS w usłudze Azure Stack HCI

Dotyczy: Azure Stack HCI, wersja 23H2

W tym artykule opisano funkcję deduplikacji i kompresji systemu plików ReFS (Resilient File System) oraz sposób używania tej funkcji w usłudze Azure Stack HCI do optymalizacji magazynu.

Co to jest deduplikacja i kompresja systemu plików ReFS?

Deduplikacja i kompresja systemu plików ReFS to funkcja optymalizacji magazynu przeznaczona specjalnie dla aktywnych obciążeń, takich jak infrastruktura pulpitu wirtualnego platformy Azure (VDI) w usłudze Azure Stack HCI. Ta funkcja pomaga zoptymalizować użycie magazynu i zmniejszyć koszty magazynowania.

Ta funkcja używa klonowania bloków systemu plików ReFS w celu zmniejszenia przenoszenia danych i włączenia operacji tylko metadanych. Funkcja działa na poziomie bloku danych i używa stałego rozmiaru bloku w zależności od rozmiaru klastra. Aparat kompresji generuje mapę cieplną w celu określenia, czy blok powinien kwalifikować się do kompresji, optymalizując użycie procesora CPU.

Możesz uruchomić deduplikację systemu plików ReFS i kompresję jako jednorazowe zadanie lub zautomatyzować je za pomocą zaplanowanych zadań. Ta funkcja działa zarówno z systemami all-flash, jak i hybrydowymi i obsługuje różne ustawienia odporności, takie jak dublowanie dwukierunkowe, zagnieżdżone dublowanie dwukierunkowe, dublowanie trójstopniowe i parzystość przyspieszona dublowanie.

Świadczenia

Poniżej przedstawiono zalety korzystania z deduplikacji i kompresji systemu plików ReFS:

  • Oszczędności magazynu dla aktywnych obciążeń. Zaprojektowana pod kątem aktywnych obciążeń, takich jak VDI, zapewniając wydajną wydajność w wymagających środowiskach.
  • Wiele trybów. Działa w trzech trybach: tylko deduplikacja, tylko kompresja i deduplikacja i kompresja (tryb domyślny), co pozwala na optymalizację w zależności od potrzeb.
  • Deduplikacja przyrostowa. Deduplikuje tylko nowe lub zmienione dane, w przeciwieństwie do skanowania całego woluminu za każdym razem, optymalizacji czasu trwania zadania i zmniejszenia wpływu na wydajność systemu.

Wymagania wstępne

Przed rozpoczęciem upewnij się, że zostały spełnione następujące wymagania wstępne:

  • Masz dostęp do klastra rozwiązania Azure Stack HCI, który jest wdrożony i zarejestrowany.
  • Masz udostępniony wolumin klastra (CSV) utworzony w klastrze i masz do niego dostęp.
  • Wolumin CSV nie ma już włączonej funkcji deduplikacji danych systemu Windows.

Używanie deduplikacji i kompresji systemu plików ReFS

Można użyć deduplikacji i kompresji systemu plików ReFS za pośrednictwem Centrum administracyjnego systemu Windows lub programu PowerShell. Program PowerShell umożliwia wykonywanie zadań ręcznych i automatycznych, natomiast program Windows Admin Center obsługuje tylko zaplanowane zadania. Niezależnie od metody można dostosować ustawienia zadania i użyć śledzenia zmian plików w celu szybszego kolejnych przebiegów.

Włączanie i uruchamianie deduplikacji i kompresji systemu plików ReFS

W Centrum administracyjnym systemu Windows można utworzyć harmonogram deduplikacji i kompresji systemu plików ReFS do uruchamiania na istniejącym woluminie lub nowym woluminie podczas tworzenia woluminu.

Wykonaj następujące kroki, aby włączyć deduplikację i kompresję systemu plików ReFS za pośrednictwem Centrum administracyjnego systemu Windows i ustawić harmonogram uruchamiania:

  1. Połącz się z klastrem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia. Aby włączyć deduplikację i kompresję systemu plików ReFS dla nowego woluminu, wybierz pozycję + Utwórz.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze Listy rozwijanej Więcej opcji zaznacz pole wyboru Użyj deduplikacji i kompresji systemu plików ReFS.

  4. Wybierz dni tygodnia, w których ma być uruchamiana deduplikacja i kompresja systemu plików ReFS, czas rozpoczęcia działania zadania i maksymalny czas trwania (wartość domyślna jest nieograniczona), a następnie wybierz pozycję Zapisz.

    Poniższy zrzut ekranu pokazuje, że deduplikacja i kompresja systemu Plików ReFS są uruchamiane w piątek i sobotę o godzinie 10:40 z maksymalnym czasem trwania 2 godzin, począwszy od 22.09.2023. Jeśli data rozpoczęcia została zmieniona na 21.09.2023, pierwszy bieg będzie nadal 9/22/2023 10:40, ponieważ jest to pierwszy piątek po 21.09.2023.

    Zrzut ekranu przedstawiający okienko Ustawienia woluminu z ustawieniami deduplikacji i kompresji systemu plików ReFS.

  5. Sprawdź zmiany w sekcji Właściwości woluminu. Harmonogram jest wyświetlany w sekcji Właściwości i wyświetla podział oszczędności i następny zaplanowany czas wykonywania. Te oszczędności są aktualizowane po każdym uruchomieniu i można obserwować wpływ na wydajność na wykresach w sekcji Wydajność .

    Zrzut ekranu przedstawiający sekcję właściwości woluminu z podziałem oszczędności i następnym zaplanowanym czasem wykonywania.

Wstrzymywanie zaplanowanych zadań

Wstrzymanie harmonogramu powoduje anulowanie wszystkich uruchomionych zadań i zatrzymanie zaplanowanych przebiegów w przyszłości. Ta opcja zachowuje deduplikację systemu plików ReFS i metadane związane z kompresją i nadal śledzi zmiany plików pod kątem zoptymalizowanych przyszłych przebiegów. Harmonogram można wznowić w dowolnym momencie z zachowaniem ustawień harmonogramu.

Wykonaj następujące kroki, aby wstrzymać zaplanowane zadania przy użyciu Centrum administracyjnego systemu Windows:

  1. Połącz się z klastrem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze Listy rozwijanej Więcej opcji usuń zaznaczenie pola wyboru Ustaw harmonogram, a następnie wybierz pozycję Zapisz.

Wyłączanie deduplikacji systemu plików ReFS i kompresji na woluminie

Wyłączenie deduplikacji systemu plików ReFS i kompresji na woluminie zatrzymuje wszystkie przebiegi, które są w toku i anuluje przyszłe zaplanowane zadania. Ponadto powiązane metadane woluminu nie są zachowywane, a śledzenie zmian plików zostało zatrzymane.

Wyłączenie tej funkcji nie powoduje cofnięcia deduplikacji ani kompresji, ponieważ wszystkie operacje są wykonywane w warstwie metadanych. W miarę upływu czasu dane wracają do pierwotnego stanu, ponieważ wolumin generuje odczyty i zapisy.

Uwaga

Operacje dekompresji można wykonać przy użyciu polecenia ReFSUtil.

Wykonaj następujące kroki, aby wyłączyć funkcję przy użyciu Centrum administracyjnego systemu Windows:

  1. Połącz się z klastrem, a następnie w okienku Narzędzia po lewej stronie wybierz pozycję Woluminy.

  2. Na stronie Woluminy wybierz kartę Spis , wybierz odpowiedni wolumin, a następnie wybierz pozycję Ustawienia.

  3. W okienku Ustawienia woluminu po prawej stronie w obszarze Listy rozwijanej Więcej opcji usuń zaznaczenie pola wyboru Użyj deduplikacji i kompresji systemu plików ReFS, a następnie wybierz pozycję Zapisz.

Często zadawane pytania (FAQ)

Ta sekcja zawiera odpowiedzi na często zadawane pytania dotyczące deduplikacji i kompresji systemu plików ReFS.

Czy funkcja deduplikacji i kompresji systemu plików ReFS różni się od deduplikacji danych systemu Windows?

Tak, ta funkcja różni się zupełnie od funkcji deduplikacji danych systemu Windows.

Ważne

Nie obsługujemy jednoczesnego włączania deduplikacji i kompresji systemu plików ReFS oraz deduplikacji danych systemu Windows.

Deduplikacja i kompresja systemu plików ReFS są przeznaczone dla aktywnych obciążeń, koncentrując się na zminimalizowaniu wpływu na wydajność po optymalizacji. W przeciwieństwie do deduplikacji danych systemu Windows deduplikacja i kompresja systemu plików ReFS nie używa magazynu fragmentów do przechowywania deduplikowanych danych i nie ma żadnego fizycznego przenoszenia danych. Funkcja opiera się na klonowaniu bloków systemu plików ReFS w celu włączenia operacji tylko metadanych. Deduplikacja danych systemu Windows może zapewnić lepsze oszczędności magazynowania ze względu na użycie zmiennych rozmiarów bloków, jest również odpowiednia dla szerszego zakresu typów obciążeń, takich jak serwery plików ogólnego przeznaczenia (GPFS), obiekty docelowe kopii zapasowych i inne.

Jakie są fazy deduplikacji i kompresji systemu plików ReFS?

Proces optymalizacji obejmuje następujące fazy, które występują sekwencyjnie i zależą od określonego trybu. Jeśli przebieg optymalizacji osiągnie limit czasu trwania, kompresja może nie zostać uruchomiona.

  • Inicjowania. W tej fazie wolumin magazynu jest skanowany w celu zidentyfikowania nadmiarowych bloków danych.

  • Deduplikacja danych. W tej fazie nadmiarowe bloki są pojedyncze wystąpienia i śledzone przy użyciu klonowania bloków systemu plików ReFS.

  • Kompresja. W tej fazie generowana jest mapa cieplna w celu określenia, czy blok powinien kwalifikować się do kompresji. Ustawienia domyślne kompresują rzadko używane lub zimne dane, aby zmniejszyć ich rozmiar. Możesz zmienić poziomy kompresji, aby dostosować zakres bloków kwalifikujących się do kompresji.

Co się stanie po osiągnięciu limitu czasu trwania przed pełnym zoptymalizowanym woluminem?

Limit czasu trwania jest obowiązujący, aby zapobiec wpływowi na wydajność obciążeń klientów spowodowanych przez zadanie optymalizacji w godzinach pracy. Usługa deduplikacji monitoruje zoptymalizowane części woluminu i przychodzących modyfikacji plików. Te dane są wykorzystywane w przyszłych zadaniach w celu skrócenia czasu optymalizacji. Jeśli na przykład wolumin jest przetwarzany tylko 30% w pierwszym uruchomieniu z powodu limitu czasu trwania, kolejne uruchomienia adresuje pozostałe 70% i wszystkie nowe dane.

Znane problemy

W poniższej sekcji wymieniono znane problemy, które obecnie istnieją z deduplikacją i kompresją systemu plików ReFS.

Gdy kompresja jest włączona, użycie parametru -FullRun w zadaniach po pierwszym uruchomieniu optymalizacji może spowodować zakleszczenie w systemie.

Stan: Otwórz.

Unikaj używania polecenia -FullRun w zadaniach uruchomionych ręcznie, chyba że Type element ma wartość Dedup.

Wykonaj następujące kroki jako tymczasowe obejście, aby rozwiązać ten problem:

  1. Wyłącz deduplikację systemu plików ReFS i kompresję na woluminie:

    Disable-ReFSDedup -Volume <path>
    
  2. Dekompresuj wolumin przy użyciu polecenia refsutil:

    refsutil compression /c /f NONE <vol>
    
  3. Włącz ponownie deduplikację systemu plików ReFS i kompresję tylko w Dedup razie potrzeby:

    Enable-ReFSDedup -Volume <path> -Type Dedup
    

Planowanie zadań, które będą uruchamiane jednocześnie na wielu woluminach CSV w jednym klastrze, może potencjalnie wyzwolić przenoszenie woluminów CSV i negatywnie wpłynąć na wydajność.

Stan: Otwórz.

Zalecane najlepsze rozwiązanie pozwala rozważyć rozłożenie czasu rozpoczęcia zadań, aby uniknąć nakładania się. Jeśli jednak wszystkie zadania muszą być uruchamiane jednocześnie, dostosuj alokację procesora CPU dla wszystkich woluminów CSV, aby wynosiło mniej niż 50% ogólnego wykorzystania procesora CPU klastra. Należy pamiętać, że nakładanie ograniczeń procesora CPU może spowodować wydłużenie czasu wykonywania zadania.

Ukończono zadanie deduplikacji i kompresji systemu plików ReFS (pomyślnie lub zostało anulowane), a oszczędności magazynu nie są wymienione w ani w Get-ReFSDedupStatus Centrum administracyjnym systemu Windows.

Stan: Rozwiązano problem.

Tymczasowym obejściem tego problemu jest natychmiastowe zainicjowanie zadania jednorazowego i natychmiastowe zaktualizowanie wyników.

Start-ReFSDedupJob -Volume <path>

Wysyłanie zatrzymanego monitorowania zdarzeń śledzenia zdarzeń systemu Windows (ETW) po wyłączeniu deduplikacji i kompresji systemu plików ReFS na woluminie.

Stan: Rozwiązano problem.

Po wyłączeniu deduplikacji i kompresji systemu plików ReFS na woluminie kanał ETW dla dzienników deduplikacji systemu plików ReFS powtarzane zatrzymane zdarzenia monitorowania. Nie przewidujemy jednak znaczącego wpływu na użycie z powodu tego problemu.

Zdarzenie nie powiodło się, jeśli wolumin jest przenoszony do innego węzła podczas kompresji.

Stan: Rozwiązano problem.

Jeśli wolumin CSV zostanie przeniesiony na inny serwer klastra, gdy kompresja jest w toku, zdarzenie niepowodzenia zadania nie zostanie zarejestrowane w kanale deduplikacji systemu plików ReFS. Nie przewidujemy jednak znaczącego wpływu na użycie z powodu tego problemu.

Następne kroki