create_streaming_table

Usare la funzione create_streaming_table() in una pipeline per creare una tabella di destinazione per i record di output delle operazioni di streaming, tra cui create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() e append_flow.

Annotazioni

Le funzioni create_target_table() e create_streaming_live_table() sono deprecate. Databricks consiglia di aggiornare il codice esistente per usare la funzione create_streaming_table().

Sintassi

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = <bool>,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

Parametri

Parametro	TIPO	Description
name	str	Obbligatorio. Nome della tabella.
comment	str	Descrizione della tabella.
spark_conf	dict	Elenco delle configurazioni di Spark per l'esecuzione di questa query
table_properties	dict	Un dict di proprietà della tabella relativo alla tabella.
path	str	Posizione di archiviazione per i dati della tabella. Se non è impostato, usare il percorso di archiviazione gestito per lo schema contenente la tabella.
partition_cols	list	Elenco di una o più colonne da utilizzare per il partizionamento della tabella.
cluster_by_auto	bool	Abilitare il clustering liquido automatico nella tabella. Può essere combinato con cluster_by e definire le colonne da usare come chiavi di clustering iniziali, seguite dal monitoraggio e dagli aggiornamenti automatici della selezione delle chiavi in base al carico di lavoro. Per ulteriori informazioni, vedere Clustering liquido automatico.
cluster_by	list	Abilitare il clustering liquido nella tabella e definire le colonne da usare come chiavi di clustering. Vedere Usare clustering liquido per le tabelle.
schema	str o StructType	Definizione dello schema per la tabella. Gli schemi possono essere definiti come una stringa SQL DDL o con il linguaggio Python StructType.
expect_all, expect_all_or_drop, expect_all_or_fail	dict	Vincoli di qualità dei dati per la tabella. Fornisce lo stesso comportamento e utilizza la stessa sintassi delle funzioni decoratore di aspettative, ma implementato come parametro. Vedere Aspettative.
row_filter	str	(Anteprima pubblica) Clausola di filtro di riga per la tabella. Vedere Pubblicare tabelle con filtri di riga e maschere di colonna.