create_streaming_table

Użyj funkcji create_streaming_table() w potoku, aby utworzyć tabelę docelową dla rekordów wyjściowych generowanych przez operacje przesyłania strumieniowego, w tym create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() oraz rekordy wyjściowe funkcji append_flow.

Uwaga / Notatka

Funkcje create_target_table() i create_streaming_live_table() są przestarzałe. Usługa Databricks zaleca aktualizowanie istniejącego kodu w celu korzystania z funkcji create_streaming_table().

Składnia

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = False,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause",
  private = False,
  override_schema = "partial-schema-definition"  # Mutually exclusive with schema.
)

Parametry

Parameter Typ Description
name str To jest wymagane. Nazwa tabeli
comment str Opis tabeli.
spark_conf dict Lista konfiguracji platformy Spark na potrzeby wykonywania tego zapytania
table_properties dict A dictwłaściwości tabeli dla tabeli.
path str Lokalizacja przechowywania danych tabeli. Jeśli nie zostanie ustawiona, użyj zarządzanej lokalizacji magazynu dla schematu zawierającego tabelę.
partition_cols list Lista co najmniej jednej kolumny używanej do partycjonowania tabeli.
cluster_by_auto bool Włącz automatyczne klastrowanie cieczy w tabeli. Można to połączyć z cluster_by i definiować kolumny, które będą używane jako początkowe klucze klastrowania, a następnie monitorować oraz automatycznie aktualizować wybór kluczy na podstawie obciążenia pracą. Zobacz Automatyczne klastrowanie cieczy.
cluster_by list Włącz płynne klastrowanie w tabeli i zdefiniuj kolumny do użycia jako klucze klastrowania. Zobacz Używaj płynnego grupowania dla tabel.
schema str lub StructType Pełna definicja schematu tabeli. Schematy można zdefiniować jako ciąg DDL SQL lub w języku Python StructType.
override_schema str lub StructType (Beta) W potokach przestrzeni roboczej Python deklaruje wybrane definicje kolumn i wnioskuje pozostałe kolumny wyjściowe zapytania. Akceptuje ciąg znaków SQL DDL lub StructType. Nie można go łączyć ani używać do schemaAUTO CDC celu lub AUTO CDC FROM SNAPSHOT do celu. Zobacz Używanie częściowego wnioskowania schematu w potokach Python Lakeflow.
expect_all, expect_all_or_drop, expect_all_or_fail dict Ograniczenia dotyczące jakości danych dla tabeli. Zapewnia to samo zachowanie i używa tej samej składni co funkcje dekoratora oczekiwań, ale zaimplementowane jako parametr. Zobacz Oczekiwania.
row_filter str (Publiczna wersja zapoznawcza) Klauzula filtru wierszy dla tabeli. Zobacz Publikowanie tabel z filtrami wierszy i maskami kolumn.
private bool Gdy True, tworzy prywatną tabelę streamingową, która nie jest publikowana w katalogu i jest dostępna tylko w pipeline. Prywatne tabele streamingowe pozostają przez cały okres życia pipeline. Prywatne tabele przesyłania strumieniowego zostały wcześniej utworzone za pomocą parametru temporary . Wartość domyślna to False.