Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Częściowe wnioskowanie ze schematu pozwala zdefiniować wybrane kolumny w potoku Python Lakeflow i wywnioskować pozostałe kolumny z wyjścia zapytania. Użyj argumentu override_schema , aby określić typy, obsługiwane ograniczenia lub komentarze dla jednej lub więcej kolumn bez deklarowania każdej kolumny wyjściowej.
Ważne
Częściowe wnioskowanie schematu jest w fazie beta. W przestrzeniach roboczych, gdzie dostępna jest ta beta, użyj override_schema w potoku obszaru roboczego Python, aby włączyć obsługę tabeli.
Wybierz opcję schematu
Następujące opcje kontrolują schemat wyjściowy widoku materializowanego, tabeli strumieniowej lub tabeli zarządzanej:
| Option | Behavior |
|---|---|
| Pomiń oba argumenty | Wywnioskuj schemat wyjściowy z zapytania. |
schema |
Zadeklaruj kompletny schemat wyjściowy. |
override_schema |
Zadeklaruj definicje wybranych kolumn i wywnioskuj pozostałe kolumny wyjściowe zapytania. |
Oba schema i override_schema akceptują łańcuch SQL DDL lub obiekt PySpark StructType. Określ tylko jeden z tych argumentów. Ciąg znaków DDL w override_schema definiuje kolumny wewnątrz API Python. Nie włącza częściowych deklaracji schematu w instrukcjach SQL.
Użyj override_schema z tabelą, materialized_view lub create_streaming_table. Dla tabel zarządzanych użyj create_table , gdzie dostępne jest to API. Odpowiadające mu funkcje w module dlt również akceptują ten argument. Dla nowego kodu użyj pyspark.pipelines.
Zdefiniuj wybrane kolumny
- Dodaj
override_schemado definicji dekoratora lub tabeli target-table. - Zadeklaruj kolumny, których definicje chcesz kontrolować. Typy zapytań muszą być zgodne z zadeklarowanymi typami. Przed zapisaniem rzutuj niekompatybilne wartości w zapytaniu.
- Zwróć pozostałe kolumny, które chcesz uwzględnić z zapytania. Częściowe wnioskowanie schematu obejmuje kolumny wyjściowe zapytania, a nie kolumny źródłowe, których zapytanie nie wybiera.
Poniższy potok tworzy widok materializowany z wyraźnym NOT NULL ograniczeniem na id. Wnioskuje definicje name i score z zapytania:
from pyspark import pipelines as dp
@dp.materialized_view(override_schema="id BIGINT NOT NULL")
def customers():
return spark.range(3).selectExpr(
"id",
"concat('customer-', CAST(id AS STRING)) AS name",
"id * 10 AS score",
)
Wyjście zawiera id BIGINT NOT NULL, name STRING, oraz score BIGINT. Dodanie kolejnej wybranej kolumny do zapytania uwzględnia tę kolumnę bez dodawania jej do override_schema.
Aby użyć StructType, zadeklaruj tylko wybrane pola. Poniższa tabela strumieniowa odczytuje dostępną, tylko dołączaną tabelę źródłową Delta Lake, której kolumny to id BIGINT, event_time TIMESTAMP, oraz payload STRING. Źródło musi zawierać wartości nienull id :
from pyspark import pipelines as dp
from pyspark.sql.types import LongType, StructField, StructType
@dp.table(
override_schema=StructType([StructField("id", LongType(), nullable=False)])
)
def events():
return spark.readStream.table("catalog.schema.raw_events").select(
"id", "event_time", "payload"
)
Dla osobno zdefiniowanego celu przekaż override_schema do dp.create_streaming_table() lub dp.create_table() i użyj przepływu dołączania do zapisu. Każda niegenerowana kolumna zadeklarowana w override_schema musi się pojawić w łącznym wyniku zapytania przepływów zasilających element docelowy. Może być nieobecny w pojedynczym przepływie dołączeń.
Definicje kolumn i ograniczenia
Możesz uwzględnić komentarze kolumn i obsługiwane ograniczenia tabel w override_schema ciągu DDL. Istniejące wymagania dotyczące tych funkcji obowiązują; klucze podstawowe i obce mają charakter wyłącznie informacyjny.
Zadeklaruj pełną zespoloną kolumnę, taką jak struktura, tablica lub mapa. Nie można deklarować tylko niektórych potomków zagnieżdżonej struktury i wnioskować o pozostałych potomkach.
Zmiany schematu między aktualizacjami
Gdy zmieniasz zapytanie lub deklarację częściową, w przypadku aktualizacji bez pełnego odświeżenia obowiązują następujące reguły:
- Dla ponownie obliczonego widoku materializowanego wnioskowane kolumny, które nie występują w nowym wyjściu zapytania, są usuwane ze schematu wyjściowego.
- W tabeli strumieniowej wcześniej wywnioskowane kolumny pozostają w tabeli, gdy późniejsze dopisania wierszy je pominą. Istniejące wartości są zachowywane, a późniejsze wiersze mają
NULLw pominiętych kolumnach. - Usunięcie kolumny z
override_schemausuwa również jej zadeklarowaneNOT NULLwymaganie. Jeśli zapytanie nadal zwraca tę kolumnę, wnioskuje się o dopuszczalności wartości null.
Przejrzyj zapytania zależne przed zmianą schematu wyjściowego. Nowa deklaracja nie waliduje każdego pliku historycznego ani automatycznie nie naprawia wcześniej zatwierdzonych danych.
Limitations
Ta beta nie obsługuje częściowych deklaracji schematu w SQL ani dla widoków materializowanych i tabel strumieniowych tworzonych poza potokiem workspace, takich jak Databricks SQL.
Częściowe wnioskowanie schematu nie obsługuje następujących:
- Tabele docelowe dla przepływów
AUTO CDClubAUTO CDC FROM SNAPSHOT. -
definicje kolumn
DEFAULTlubIDENTITYwoverride_schema. - Deklarowanie tylko części struktury zagnieżdżonej.
Przygotuj się na zmiany schematu
Testuj zmiany deklaracji na reprezentatywnych danych i zachowaj poprzedni kod pipeline. Dla tabel strumieniowych potwierdź, że dane źródłowe potrzebne do ponownego odtworzenia aktualizacji pozostają dostępne przed rozważeniem pełnego odświeżenia.
Aby uzyskać opcjonalną dodatkową opcję odzyskiwania, przygotuj cofanie potoku przed zmianą schematów i zachowaj użyteczny punkt cofania sprzed zmiany po pomyślnej aktualizacji. Rewind ma osobne wymagania dotyczące spełniania warunków i konfiguracji. Postępuj zgodnie z wytycznymi dotyczącymi przechowywania i ponownego przetwarzania podczas planowania odzyskiwania. Częściowe wnioskowanie schematu nie wymaga cofnięcia.