Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Użyj funkcji create_streaming_table() w potoku, aby utworzyć tabelę docelową dla rekordów wyjściowych generowanych przez operacje przesyłania strumieniowego, w tym create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() oraz rekordy wyjściowe funkcji append_flow.
Uwaga / Notatka
Funkcje create_target_table() i create_streaming_live_table() są przestarzałe. Usługa Databricks zaleca aktualizowanie istniejącego kodu w celu korzystania z funkcji create_streaming_table().
Składnia
from pyspark import pipelines as dp
dp.create_streaming_table(
name = "<table-name>",
comment = "<comment>",
spark_conf={"<key>" : "<value", "<key" : "<value>"},
table_properties={"<key>" : "<value>", "<key>" : "<value>"},
path="<storage-location-path>",
partition_cols=["<partition-column>", "<partition-column>"],
cluster_by_auto = False,
cluster_by = ["<clustering-column>", "<clustering-column>"],
schema="schema-definition",
expect_all = {"<key>" : "<value", "<key" : "<value>"},
expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
row_filter = "row-filter-clause",
private = False,
override_schema = "partial-schema-definition" # Mutually exclusive with schema.
)
Parametry
| Parameter | Typ | Description |
|---|---|---|
name |
str |
To jest wymagane. Nazwa tabeli |
comment |
str |
Opis tabeli. |
spark_conf |
dict |
Lista konfiguracji platformy Spark na potrzeby wykonywania tego zapytania |
table_properties |
dict |
A dictwłaściwości tabeli dla tabeli. |
path |
str |
Lokalizacja przechowywania danych tabeli. Jeśli nie zostanie ustawiona, użyj zarządzanej lokalizacji magazynu dla schematu zawierającego tabelę. |
partition_cols |
list |
Lista co najmniej jednej kolumny używanej do partycjonowania tabeli. |
cluster_by_auto |
bool |
Włącz automatyczne klastrowanie cieczy w tabeli. Można to połączyć z cluster_by i definiować kolumny, które będą używane jako początkowe klucze klastrowania, a następnie monitorować oraz automatycznie aktualizować wybór kluczy na podstawie obciążenia pracą. Zobacz Automatyczne klastrowanie cieczy. |
cluster_by |
list |
Włącz płynne klastrowanie w tabeli i zdefiniuj kolumny do użycia jako klucze klastrowania. Zobacz Używaj płynnego grupowania dla tabel. |
schema |
str lub StructType |
Pełna definicja schematu tabeli. Schematy można zdefiniować jako ciąg DDL SQL lub w języku Python StructType. |
override_schema |
str lub StructType |
(Beta) W potokach przestrzeni roboczej Python deklaruje wybrane definicje kolumn i wnioskuje pozostałe kolumny wyjściowe zapytania. Akceptuje ciąg znaków SQL DDL lub StructType. Nie można go łączyć ani używać do schemaAUTO CDC celu lub AUTO CDC FROM SNAPSHOT do celu. Zobacz Używanie częściowego wnioskowania schematu w potokach Python Lakeflow. |
expect_all, expect_all_or_drop, expect_all_or_fail |
dict |
Ograniczenia dotyczące jakości danych dla tabeli. Zapewnia to samo zachowanie i używa tej samej składni co funkcje dekoratora oczekiwań, ale zaimplementowane jako parametr. Zobacz Oczekiwania. |
row_filter |
str |
(Publiczna wersja zapoznawcza) Klauzula filtru wierszy dla tabeli. Zobacz Publikowanie tabel z filtrami wierszy i maskami kolumn. |
private |
bool |
Gdy True, tworzy prywatną tabelę streamingową, która nie jest publikowana w katalogu i jest dostępna tylko w pipeline. Prywatne tabele streamingowe pozostają przez cały okres życia pipeline. Prywatne tabele przesyłania strumieniowego zostały wcześniej utworzone za pomocą parametru temporary . Wartość domyślna to False. |