Automatyczne uaktualnienia

Ważna

Automatyczne uaktualnienia istniejących schematów są w publicznej wersji zapoznawczej. Aby zarejestrować się, wypełnij ten formularz przy użyciu identyfikatora konta. Po rejestracji nie są wymagane żadne zmiany kodu ani dodatkowa konfiguracja.

Automatyczne uaktualnienia dla nowych schematów są ogólnie dostępne.

W przypadku tabel zarządzanych w Unity Catalog usługa Databricks automatycznie aktualizuje je tak, aby korzystały z zalecanych, ogólnie dostępnych funkcji, bez konieczności wprowadzania zmian w kodzie ani ręcznych instrukcji ALTER TABLE. Automatyczne uaktualnienia sprawdzają również, czy klienci są zgodni przed włączeniem nowych funkcji.

Automatyczne uaktualnienia zapewniają następujące korzyści:

• Zmniejsz nakład pracy administracyjnej niezbędny do zweryfikowania indywidualnych wymagań dotyczących zgodności dla każdej tabeli i kombinacji funkcji w obszarach roboczych. Jest to szczególnie przydatne, jeśli masz wykazy z tysiącami tabel.
• Automatyczne uzyskiwanie najnowszych ulepszeń wydajności i niezawodności w zarządzanych tabelach.
• Bezpieczne uaktualnianie tabel. Automatyczne uaktualnienia włączają tylko funkcje po zweryfikowaniu zgodności obciążenia.

Jak działają automatyczne uaktualnienia

Automatyczne uaktualnienia monitorują wzorce dostępu w usłudze Unity Catalog zarówno na poziomie tabel, jak i schematów, oraz wykorzystują okres obserwacji, aby zweryfikować, czy wzorce dostępu są zgodne, przed włączeniem jakiejkolwiek funkcji. Okno obserwacji wynosi 50 dni dla funkcji w publicznej wersji zapoznawczej i 100 dni dla ogólnie dostępnych funkcji.

Automatyczne uaktualnienia używają bezserwerowych obliczeń do uaktualniania tabel w tle.

Schematy i tabele

Zachowanie automatycznych uaktualnień zależy od tego, czy schematy i tabele istniały przed włączeniem automatycznych uaktualnień. Poniższa tabela zawiera więcej szczegółów:

Schema	tabela	Behavior
Nowy	Nowy	Automatyczne uaktualnienia ustawiają wartości domyślne na poziomie schematu w czasie tworzenia, aby tabele natychmiast dziedziczyły wszystkie obsługiwane funkcje bez okresu obserwacji.
Istniejący	Nowy	Aktualizacje automatyczne włączają tę funkcję, jeśli w okresie obserwacji dostęp do tabeli uzyskiwały wyłącznie zweryfikowane obciążenia robocze. W przeciwnym razie, jeśli pojedyncze niezweryfikowane obciążenie uzyskało dostęp do tabeli, automatyczne aktualizacje ignorują tę tabelę. Zobacz zweryfikowane obciążenia.
Istniejący	Istniejący	Automatyczne uaktualnienia włączają funkcję, gdy spełnione są wszystkie następujące warunki: Tylko zweryfikowane obciążenia miały dostęp do tabeli w oknie obserwacji. Zobacz zweryfikowane obciążenia. Pierwszy zarejestrowany dostęp do tabeli wystąpił przed oknem obserwacji. Dostęp do tabeli był uzyskiwany w ciągu ostatnich 30 dni. Automatyczne uaktualnienia pomijają nieaktywne tabele.

Zweryfikowane obciążenia

Obciążenie jest uznawane za zweryfikowane pod kątem określonej funkcji, jeśli uzyskuje dostęp do tabeli z klastra usługi Databricks z wersją środowiska Databricks Runtime w wersji lub powyżej minimalnej wymaganej wersji funkcji.

Automatyczne uaktualnienia uwzględniają następujące obciążenia niezweryfikowane:

• Zewnętrzni klienci i usługi innych firm, takie jak Flink lub Presto. Zobacz Integracje katalogu Unity.
• Azure Databricks usługi z bezpośrednim dostępem do tabel lub dostępem na poziomie jądra, takie jak Zerobus, które pomijają standardowe wzorce dostępu środowiska wykonawczego Databricks. Zobacz Omówienie łącznika Ingest Zerobus.

Jeśli do dowolnej tabeli w schemacie uzyskiwano dostęp w oknie obserwacji przez wersję środowiska Databricks Runtime poniżej minimalnej wymaganej wersji funkcji lub przez klienta zewnętrznego, automatyczne uaktualnienia nie włączają odpowiedniej funkcji w żadnej tabeli w tym schemacie.

Obsługiwane funkcje

Automatyczne aktualizacje automatycznie włączają funkcje ogólnie dostępne. Jednak uaktualnienia nie włączają funkcji w publicznej wersji zapoznawczej, chyba że zarejestrujesz się w wersji zapoznawczej.

Automatyczne uaktualnienia obsługują następujące funkcje:

Funkcja	Do czego służy	Stan wydania	Minimalna zgodna wersja środowiska Databricks Runtime
Śledzenie wierszy	Utrzymuje ukryte identyfikatory wierszy na potrzeby przetwarzania przyrostowego z wykorzystaniem zmian danych.	Ogólnie dostępne dla nowych tabel w nowych schematach. Publiczna wersja zapoznawcza dla wszystkich tabel w istniejących schematach.	14,1
Punkt kontrolny V2	Umożliwia Delta Lake obsługiwanie większej liczby współbieżnych procesów zapisujących i zmniejsza konflikty zapisu w dużych lub często aktualizowanych tabelach.	Ogólnie dostępne dla nowych tabel w nowych schematach. Publiczna wersja zapoznawcza dla wszystkich tabel w istniejących schematach.	13.3
Automatyczne klastrowanie cieczy	Automatycznie organizuje dane tabeli na podstawie często wykonywanych zapytań kolumn w celu zwiększenia wydajności zapytań bez ręcznego partycjonowania.	Ogólnie dostępne dla nowych tabel w nowych schematach. Publiczna wersja zapoznawcza dla nowych tabel w istniejących schematach. Automatyczne uaktualnienia dla tej funkcji ignorują istniejące tabele.	13.3
Zatwierdzenia wykazu	Centralizuje zatwierdzenia w Unity Catalog, aby umożliwić transakcje obejmujące wiele tabel, zwiększyć interoperacyjność zapisów zewnętrznych oraz umożliwić stosowanie zasad nadzoru nad danymi we wszystkich silnikach.	Publiczna wersja zapoznawcza dla wszystkich tabel we wszystkich schematach.	16,4
Mapowanie kolumn	Umożliwia zmienianie nazw i usuwanie kolumn bez ponownego zapisywania danych.	Publiczna wersja zapoznawcza dla wszystkich tabel we wszystkich schematach.	15.3

Dostępność funkcji może się różnić w zależności od regionu.

Requirements

• Obliczenia bezserwerowe muszą być dostępne w Twoim regionie.
• Tabele muszą być tabelami zarządzanymi w Unity Catalog w formatach Delta Lake lub Apache Iceberg.

Obserwuj włączone funkcje

Aby sprawdzić, czy automatyczne uaktualnienia włączyły funkcję w tabeli, poszukaj operacji SET TBLPROPERTIES na karcie Historia w Eksploratorze wykazów lub użyj polecenia DESCRIBE HISTORY <table_name>. Jeśli operacja została wykonana przez automatyczne uaktualnienia, w polu nazwy użytkownika wyświetlana jest wartość skrótu zamiast nazwy użytkownika, na przykład 4d137f29-62. Zobacz Co to jest Eksplorator wykazu? i Wyświetl historię tabel.

Po automatycznym uaktualnieniu włącz funkcje w tabelach w nowym schemacie, wyświetl wartości domyślne schematu na karcie Właściwości w Eksploratorze wykazu. Na przykład schemat z włączonym śledzeniem wierszy pokazuje właściwość taką jak catalog.schema.enableRowTracking: "true". Istniejące schematy nie mają właściwości monitorowania automatycznego uaktualniania.

Zarządzanie zalecanymi funkcjami

Administratorzy mogą zarządzać zachowaniem i operacjami uaktualnień za pomocą różnych kontrolek.

Cofnij zmiany

Użyj polecenia RESTORE , aby przywrócić dane i metadane tabeli do wersji przed włączeniem funkcji:

RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;

Aby uzyskać więcej informacji na temat historii tabel i przywracania, zobacz Przywracanie tabeli do wcześniejszego stanu .

Wyłączanie funkcji tabel

Aby wyłączyć funkcję w pojedynczej tabeli:

ALTER TABLE <table_name> DROP FEATURE <feature_name>

Automatyczne uaktualnienia nie włączają funkcji ponownie po ręcznym wyłączeniu.

Ograniczenia

• Tabele udostępniane w ramach Delta Lake Sharing, zarówno Databricks-to-Open, jak i Databricks-to-Databricks, są wykluczone z automatycznych aktualizacji. Zobacz Co to jest Delta Sharing?.
• Aktualizacje automatyczne nie mają mechanizmu zbiorczego wycofywania zmian, który pozwala wyłączyć funkcję we wszystkich tabelach w ramach konta. Zobacz Zarządzanie zalecanymi funkcjami aktualizacji automatycznych.
• Zmaterializowane widoki i tabele strumieniowe nie są obsługiwane.
• Obciążenia robocze, które omijają Unity Catalog i uzyskują dostęp do tabel bezpośrednio za pomocą ścieżki, nie są śledzone przez automatyczne aktualizacje. Jeśli obciążenia używają dostępu opartego na ścieżkach, skontaktuj się z zespołem ds. kont, aby omówić zgodność.
  • Tabele zewnętrzne są zwykle dostępne przez ścieżkę pliku, pomijając katalog Unity, oraz z niezweryfikowanymi pracami z klientów zewnętrznych. Unity Catalog nie jest w stanie niezawodnie śledzić tych sposobów dostępu, dlatego tabele zewnętrzne nie są uwzględniane w automatycznych aktualizacjach. Zobacz Praca z tabelami zewnętrznymi.