Konserwacja stołu Run Delta w lakehouse

Uruchom konserwację tabel Delta, aby utrzymać je w dobrej kondycji przez kompaktowanie małych plików, stosowanie optymalizacji odczytu i usuwanie przestarzałych plików, które nie są już używane.

Możesz prowadzić konserwację albo jako operację ad hoc w portalu Fabric (akcja konserwacji tabeli lakehouse), albo jako zaplanowany i orkiestrowany proces za pomocą notebooków, potoków lub API REST. Potoki Fabric Data Factory zawierają dedykowaną aktywność konserwacji Lakehouse (Preview), która może uruchamiać OPTIMIZE (z opcjonalnym V-order) oraz VACUUM na tabelach Lakehouse Delta jako część zaplanowanych przepływów potoków. Ten artykuł koncentruje się na przepływie pracy portalu ad hoc.

Aby uzyskać wskazówki dotyczące konserwacji w kontekście różnych obciążeń, w tym zalecenia dla punktu końcowego analizy SQL, Power BI Direct Lake oraz użytkowników magazynu danych, zapoznaj się z Konserwacją i optymalizacją tabel w kontekście różnych obciążeń. Aby uzyskać wzorce konserwacji oparte na kodze, zobacz optymalizację tabeli Delta Lake oraz V-order oraz Manage the lakehouse with Fabric REST API.

Konserwacja stołu biegowego z Lakehouse

Konserwacja stołów w Lakehouse dotyczy tylko stołów Delta. Starsze tabele programu Hive korzystające z formatów, takich jak Parquet, ORC, AVRO lub CSV, nie są obsługiwane.

W oknie dialogowym Uruchamianie poleceń konserwacji wybierz opcje na podstawie celu.

Ogólnie rzecz biorąc, należy uruchomić konserwację po dużym wczytywaniu danych lub aktualizacji, lub kiedy zauważysz wiele małych plików i wolniejszą prędkość odczytu.

Uwaga

Orkiestruj za pomocą potoków: w przypadku cyklicznych zadań konserwacji użyj działania Konserwacji usługi Lakehouse (wersja zapoznawcza) w potokach usługi Fabric Data Factory. Udostępnia te same opcje (OPTIMIZE z opcjonalnym porządkiem V-order, VACUUM) i integruje się z innymi krokami potoku poprzez zależności, wyzwalacze i parametry — dzięki czemu możesz łączyć utrzymanie z ładowaniem danych i kontynuować działanie Refresh SQL Endpoint w tym samym potoku.

  1. Ze swojego konta Fabric przejdź do wybranego domu nad jeziorem.

  2. W Lakehouse Explorer, w sekcji Tabele, kliknij prawym przyciskiem myszy na docelową tabelę (lub użyj kropki).

  3. Wybierz wpis menu Konserwacja.

    Zrzut ekranu przedstawiający okno dialogowe Uruchom polecenia konserwacji.

  4. W oknie dialogowym Uruchamianie poleceń konserwacji wybierz opcje konserwacji:

    • Wybierz opcję Włącz, aby skompaktować małe pliki Parquet w większe pliki, co umożliwi bardziej wydajny odczyt.

    • Jeśli wybrane jest Włączone , możesz także zaznaczyć pole Zastosowanie V-order . Po wybraniu tej opcji Fabric stosuje V-order (optymalizację sortowania, kodowania i kompresji) jako część optymalizacji.

      Uwaga

      V-order ma około 15% wpływu na średnie czasy zapisu. Może również zapewnić do 50% większą kompresję.

    • Wybierz opcję Wł., aby uruchomić polecenie Delta Lake VACUUM i usunąć niezreferencjonowane pliki starsze niż próg przechowywania. Aby uzyskać szczegółowe informacje o zachowaniu przechowywania i bezpieczeństwie, zobacz Ustawienia przechowywania próżni.

    • Wybierz opcję Włącz, aby scalić transakcje w plikach parquet i usunąć dodatkowe pliki wektorów usuwania, co pozwoli zwolnić miejsce i zoptymalizować odczyty z tabeli.

  5. Wybierz pozycję Uruchom teraz , aby wykonać zadanie konserwacji tabeli.

  6. Śledź wykonywanie zadań w jednym z następujących miejsc:

    • Panel powiadomień (ikona dzwonka w nagłówku portalu Fabric) dla natychmiastowego sprawdzania statusu uruchomienia.
    • Centrum monitorowania (wybierz pozycję Monitoruj w obszarze nawigacji po lewej stronie), aby uzyskać szczegółowe informacje o zadaniu. Wyszukaj działania, które zawierają TableMaintenance w nazwie aktywności w przypadku przebiegów zainicjowanych z portalu. Aby przeprowadzić konserwację za pośrednictwem potoków usługi Fabric Data Factory, poszukaj przebiegu potoku w widoku Potoki centrum > monitorowania i filtruj według nazwy działania Konserwacji usługi Lakehouse.

Po zakończeniu konserwacji sukces jest wyświetlany jako aktywność ukończonej konserwacji tabeli w powiadomieniach oraz jako pomyślny wpis TableMaintenance w hubie monitorowania.

Aby uzyskać więcej informacji na temat nawigacji i filtrów centrum monitorowania, zobacz Korzystanie z centrum monitorowania.

Ustawienia retencji próżni

Polecenie VACUUM usuwa pliki, do których już nie odwołuje się dziennik delta i które są starsze niż próg przechowywania. Domyślny próg przechowywania wynosi siedem dni.

Użycie krótszego okresu przechowywania może zmniejszyć historię podróży w czasie Delta i wpływać na równoczesnych czytelników lub pisarzy. Domyślnie żądania konserwacji portalu i API "Fabric" kończą się niepowodzeniem w przypadku interwałów przechowywania krótszych niż siedem dni.

Jeśli musisz użyć interwału przechowywania krótszego niż siedem dni, ustaw spark.databricks.delta.retentionDurationCheck.enabled na false w właściwościach Spark środowiska Fabric używanego przez obciążenia Spark twojego obszaru roboczego. Aby dowiedzieć się, gdzie konfigurować i dołączać środowiska, zobacz Tworzenie, konfigurowanie i używanie środowiska w Fabric oraz Ustawienia konfiguracji obliczeń Spark w środowiskach Fabric.

Powiązana zawartość

  • Last updated on