create_streaming_table

Функцию create_streaming_table() используйте в конвейере для создания целевой таблицы для выходных записей операций потоковой передачи, включая create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() и append_flow.

Замечание

Функции create_target_table() и create_streaming_live_table() устарели. Databricks рекомендует обновить существующий код для использования функции create_streaming_table().

Синтаксис

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = <bool>,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

Параметры

Параметр	Тип	Description
name	str	Обязательное. Имя таблицы.
comment	str	Описание таблицы.
spark_conf	dict	Список конфигураций Spark для выполнения этого запроса
table_properties	dict	Набор dictсвойств таблицы для таблицы.
path	str	Расположение хранилища для данных таблицы. Если не задано, используйте управляемое расположение хранилища для схемы, содержащей таблицу.
partition_cols	list	Список одного или нескольких столбцов, используемых для секционирования таблицы.
cluster_by_auto	bool	Включите автоматическое кластеризация жидкости в таблице. Это можно объединить и cluster_by определить столбцы, которые следует использовать в качестве начальных ключей кластеризации, а затем мониторинг и автоматическое обновление выбора ключей на основе рабочей нагрузки. См. автоматическая кластеризация жидкости.
cluster_by	list	Включите кластеризацию жидкости в таблице и определите столбцы, используемые в качестве ключей кластеризации. См. раздел "Использование кластеризации жидкости" для таблиц.
schema	str или StructType	Определение схемы для таблицы. Схемы можно определить в виде строки DDL SQL или с использованием Python StructType.
expect_all expect_all_or_drop expect_all_or_fail	dict	Ограничения качества данных для таблицы. Обеспечивает то же поведение и использует тот же синтаксис, что и функции декоратора ожиданий, но реализованы в качестве параметра. См. ожидания.
row_filter	str	(общественная предварительная версия) Условие фильтра строк для таблицы. См. публикуйте таблицы с фильтрами строк и масками столбцов.