create_streaming_table

Gebruik de create_streaming_table() functie in een pijplijn om een doeltabel te maken voor records die worden uitgevoerd door streamingbewerkingen, waaronder create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow()en append_flow uitvoerrecords.

Opmerking

De create_target_table() functies en create_streaming_live_table() functies zijn afgeschaft. Databricks raadt aan om bestaande code bij te werken om de create_streaming_table()-functie te gebruiken.

Syntaxis

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = False,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause",
  private = False
)

Parameterwaarden

Kenmerk	Typologie	Description
name	str	Verplicht. De naam van de tabel.
comment	str	Een beschrijving voor de tabel.
spark_conf	dict	Een lijst met Spark-configuraties voor de uitvoering van deze query
table_properties	dict	Een dict van tabeleigenschappen voor de tabel.
path	str	Een opslaglocatie voor tabelgegevens. Als dit niet is ingesteld, gebruikt u de beheerde opslaglocatie voor het schema met de tabel.
partition_cols	list	Een lijst met een of meer kolommen die moeten worden gebruikt voor het partitioneren van de tabel.
cluster_by_auto	bool	Schakel automatische vloeistofclustering in op de tabel. Dit kan worden gecombineerd met cluster_by en definieer de kolommen die moeten worden gebruikt als initiële clusteringsleutels, gevolgd door bewaking en automatische updates voor sleutelselectie op basis van de workload. Zie Automatische vloeistofclustering.
cluster_by	list	Schakel vloeistofclustering in de tabel in en definieer de kolommen die moeten worden gebruikt als clustersleutels. Zie Liquid Clustering gebruiken voor tabellen.
schema	str of StructType	Een schemadefinitie voor de tabel. Schema's kunnen worden gedefinieerd als een SQL DDL-tekenreeks of met een Python StructType.
expect_all, expect_all_or_dropexpect_all_or_fail	dict	Beperkingen voor gegevenskwaliteit voor de tabel. Het biedt hetzelfde gedrag en maakt gebruik van dezelfde syntaxis als de functies van de verwachtingsdecorator, maar is geïmplementeerd als een parameter. Zie verwachtingen.
row_filter	str	(Openbare preview) Een rijfilterclausule voor de tabel. Zie Tabellen publiceren met rijfilters en kolommaskers.
private	bool	Wanneer True, creëert een privé streamingtabel die niet in de catalogus wordt gepubliceerd en alleen binnen de pipeline toegankelijk is. Private streamingtabellen blijven bestaan gedurende de levensduur van de pipeline. Private streaming-tabellen werden eerder aangemaakt met de temporary parameter. Wordt standaard ingesteld op False.