create_streaming_table

Use a função create_streaming_table() num pipeline para criar uma tabela de destino para os registos de saída por operações de streaming, incluindo create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() e append_flow.

Observação

As funções create_target_table() e create_streaming_live_table() foram preteridas. O Databricks recomenda atualizar o código existente para usar a função create_streaming_table().

Sintaxe

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = <bool>,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

Parâmetros

Parâmetro	Tipo	Description
name	str	Required. O nome da tabela.
comment	str	Uma descrição para a tabela.
spark_conf	dict	Uma lista de configurações do Spark para a execução desta consulta
table_properties	dict	Um dict de propriedades da tabela para a tabela.
path	str	Um local de armazenamento para dados de tabela. Se não estiver definido, use o local de armazenamento gerenciado para o esquema que contém a tabela.
partition_cols	list	Uma lista de uma ou mais colunas a serem usadas para particionar a tabela.
cluster_by_auto	bool	Habilite o agrupamento automático de líquidos na mesa. Isso pode ser combinado e cluster_by definir as colunas a serem usadas como chaves iniciais de clustering, seguidas por monitoramento e atualizações automáticas de seleção de chaves com base na carga de trabalho. Consulte Agrupamento automático de líquidos.
cluster_by	list	Ative o agrupamento líquido na tabela e defina as colunas que serão utilizadas como chaves de agrupamento. Veja Utilizar clustering líquido para tabelas.
schema	str ou StructType	Uma definição de esquema para a tabela. Os esquemas podem ser definidos como uma cadeia de caracteres DDL SQL ou com Python StructType.
expect_all, expect_all_or_drop, expect_all_or_fail	dict	Restrições de qualidade de dados para a tabela. Fornece o mesmo comportamento e usa a mesma sintaxe que as funções decoradoras de expectativa, mas é implementado como um parâmetro. Veja Expectativas.
row_filter	str	(Pré-visualização Pública) Uma cláusula de filtro de linha para a tabela. Consulte Publicar tabelas com filtros de linha e máscaras de coluna.