create_streaming_table

Utiliza la create_streaming_table() función en una canalización para crear una tabla de destino para los registros generados por operaciones de streaming realizadas, incluidas create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() y registros de salida de append_flow.

Nota:

Las funciones create_target_table() y create_streaming_live_table() están en desuso. Databricks recomienda actualizar el código existente para usar la función create_streaming_table().

Syntax

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = <bool>,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

Parámetros

Parámetro	Tipo	Description
name	str	Obligatorio. El nombre de la tabla.
comment	str	Una descripción de la tabla.
spark_conf	dict	Lista de configuraciones de Spark para la ejecución de esta consulta
table_properties	dict	Una dict de las propiedades de la tabla para la tabla.
path	str	Una ubicación de almacenamiento para los datos de tabla. Si no se establece, use la ubicación de almacenamiento administrada para el esquema que contiene la tabla.
partition_cols	list	Lista de una o varias columnas que se van a usar para crear particiones en la tabla.
cluster_by_auto	bool	Habilite la agrupación automática de líquidos en la tabla. Esto se puede combinar con cluster_by y definir las columnas que se van a usar como claves de agrupación en clústeres iniciales, seguidas de las actualizaciones de supervisión y selección automática de claves en función de la carga de trabajo. Consulte Agrupación automática de líquidos.
cluster_by	list	Habilite la agrupación en clústeres líquidos en la tabla y defina las columnas que se usarán como claves de agrupación en clústeres. Consulte Uso de clústeres líquidos para tablas.
schema	str o StructType	Definición de esquema para la tabla. Los esquemas se pueden definir como una cadena de DDL de SQL o con un StructType de Python.
expect_all, , expect_all_or_drop, expect_all_or_fail	dict	Restricciones de calidad de datos para la tabla. Proporciona el mismo comportamiento y usa la misma sintaxis que las funciones de decorador de expectativas, pero se implementa como un parámetro. Consulte Expectativas.
row_filter	str	(Versión preliminar pública) Una cláusula de filtro de fila para la tabla. Vea Publicación de tablas con filtros de fila y máscaras de columna.