create_streaming_table

create_streaming_table() Pomocí funkce v kanálu můžete vytvořit cílovou tabulku pro výstup záznamů podle operací streamování, včetně create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() a append_flow výstupních záznamů.

Poznámka:

Funkce create_target_table() a create_streaming_live_table() jsou zastaralé. Databricks doporučuje aktualizovat existující kód tak, aby používal funkci create_streaming_table().

Syntaxe

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = <bool>,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

Parametry

Parameter	Typ	Description
name	str	Povinné. Název tabulky.
comment	str	Popis tabulky.
spark_conf	dict	Seznam konfigurací Sparku pro spuštění tohoto dotazu
table_properties	dict	Seznam dict pro tabulku.
path	str	Úložiště dat tabulky. Pokud není nastavené, použijte spravované umístění úložiště pro schéma obsahující tabulku.
partition_cols	list	Seznam jednoho nebo více sloupců, které se mají použít k rozdělení tabulky.
cluster_by_auto	bool	Povolte automatické shlukování kapalin v tabulce. To lze kombinovat s cluster_by a definovat sloupce, které budou použity jako počáteční klíče clusteringu, následované monitorováním a automatickými aktualizacemi výběru klíčů na základě pracovního zatížení. Viz Automatické shlukování kapalin.
cluster_by	list	Povolte tekuté shlukování v tabulce a definujte sloupce, které se mají použít jako klíče shlukování. Viz Použití metody 'liquid clustering' pro tabulky.
schema	str nebo StructType	Definice schématu pro tabulku. Schémata lze definovat jako řetězec DDL SQL nebo pomocí Pythonu StructType.
expect_all expect_all_or_drop expect_all_or_fail	dict	Omezení kvality dat pro tabulku Poskytuje stejné chování a používá stejnou syntaxi jako dekorační funkce očekávání, ale je implementována jako parametr. Podívejte se na očekávání.
row_filter	str	(Public Preview) Klauzule řádkového filtru pro tabulku. Viz Publikování tabulek s filtry řádků a maskami sloupců.