create_streaming_table

Használja a create_streaming_table() függvényt egy adatfolyamban céltábla létrehozására a streamelési műveletek kimeneti rekordjaihoz, beleértve a create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() és append_flow által generált rekordokat.

Megjegyzés:

A create_target_table() és create_streaming_live_table() függvények elavultak. A Databricks a meglévő kód frissítését javasolja a create_streaming_table() függvény használatához.

Szemantika

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = <bool>,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

Paraméterek

Paraméter	Típus	Description
name	str	Szükséges. A tábla neve.
comment	str	A táblázat leírása.
spark_conf	dict	A lekérdezés végrehajtásához szükséges Spark-konfigurációk listája
table_properties	dict	A dicttáblázati tulajdonságok halmaza a táblázathoz.
path	str	A táblaadatok tárolási helye. Ha nincs beállítva, használja a táblát tartalmazó séma felügyelt tárolási helyét.
partition_cols	list	A tábla particionálásához használandó egy vagy több oszlop listája.
cluster_by_auto	bool	Automatikus folyadékklaszterezés engedélyezése a táblázatban. Ez kombinálható a cluster_by elemmel, és meghatározhatja az oszlopokat, amelyeket kezdeti fürtözési kulcsként kíván használni, majd a számítási terhelés alapján történő monitorozással és automatikus kulcskijelölési frissítésekkel követhető. Lásd: Automatikus folyadékfürtözés.
cluster_by	list	Engedélyezze a "liquid clustering" funkciót a táblában, és határozza meg a fürtözési kulcsként használni kívánt oszlopokat. Lásd: Táblákhoz folyékony klaszterezés használata.
schema	str vagy StructType	A tábla sémadefiníciója. A sémák definiálhatók SQL DDL karakterláncként vagy Python StructType-ként.
\, \, \	dict	A tábla adatminőségi korlátozásai. Ugyanazt a viselkedést biztosítja, és ugyanazt a szintaxist használja, mint az elvárás dekorátor függvények, de paraméterként implementálva. Lásd az elvárásokat.
row_filter	str	(Nyilvános előzetes verzió) A záradék a sorok szűrésére a táblában. Lásd: Táblázatok közzététele sorszűrőkkel és oszlopmaszkokkal.