create_streaming_table

Użyj funkcji create_streaming_table() w potoku, aby utworzyć tabelę docelową dla rekordów wyjściowych generowanych przez operacje przesyłania strumieniowego, w tym create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() oraz rekordy wyjściowe funkcji append_flow.

Uwaga / Notatka

Funkcje create_target_table() i create_streaming_live_table() są przestarzałe. Usługa Databricks zaleca aktualizowanie istniejącego kodu w celu korzystania z funkcji create_streaming_table().

Składnia

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = <bool>,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

Parametry

Parameter	Typ	Description
name	str	To jest wymagane. Nazwa tabeli
comment	str	Opis tabeli.
spark_conf	dict	Lista konfiguracji platformy Spark na potrzeby wykonywania tego zapytania
table_properties	dict	A dictwłaściwości tabeli dla tabeli.
path	str	Lokalizacja przechowywania danych tabeli. Jeśli nie zostanie ustawiona, użyj zarządzanej lokalizacji magazynu dla schematu zawierającego tabelę.
partition_cols	list	Lista co najmniej jednej kolumny używanej do partycjonowania tabeli.
cluster_by_auto	bool	Włącz automatyczne klastrowanie cieczy w tabeli. Można to połączyć z cluster_by i definiować kolumny, które będą używane jako początkowe klucze klastrowania, a następnie monitorować oraz automatycznie aktualizować wybór kluczy na podstawie obciążenia pracą. Zobacz Automatyczne klastrowanie cieczy.
cluster_by	list	Włącz płynne klastrowanie w tabeli i zdefiniuj kolumny do użycia jako klucze klastrowania. Zobacz Używaj płynnego grupowania dla tabel.
schema	str lub StructType	Definicja schematu dla tabeli. Schematy można zdefiniować jako ciąg DDL SQL lub w języku Python StructType.
expect_all, expect_all_or_dropexpect_all_or_fail	dict	Ograniczenia dotyczące jakości danych dla tabeli. Zapewnia to samo zachowanie i używa tej samej składni co funkcje dekoratora oczekiwań, ale zaimplementowane jako parametr. Zobacz Oczekiwania.
row_filter	str	(Publiczna wersja zapoznawcza) Klauzula filtru wierszy dla tabeli. Zobacz Publikowanie tabel z filtrami wierszy i maskami kolumn.