create_streaming_table

Utilisez la fonction create_streaming_table() dans un pipeline pour créer une table cible pour les enregistrements de sortie des opérations de diffusion en continu, y compris create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow() et les enregistrements de sortie de append_flow.

Note

Les fonctions create_target_table() et create_streaming_live_table() sont obsolètes. Databricks recommande de mettre à jour le code existant pour utiliser la fonction create_streaming_table().

Syntaxe

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = <bool>,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause"
)

Paramètres

Paramètre	Type	Descriptif
name	str	Obligatoire. Nom de la table.
comment	str	Description de la table.
spark_conf	dict	Liste des configurations Spark pour l’exécution de cette requête
table_properties	dict	Une dict de propriétés de table pour la table.
path	str	Emplacement de stockage pour les données de table. Si ce n’est pas le cas, utilisez l’emplacement de stockage managé pour le schéma contenant la table.
partition_cols	list	Liste d’une ou de plusieurs colonnes à utiliser pour partitionner la table.
cluster_by_auto	bool	Activez le clustering liquide automatique sur la table. Cela peut être combiné avec cluster_by et définir les colonnes à utiliser comme clés de clustering initiales, suivie de la surveillance et des mises à jour de sélection automatique de clés en fonction de la charge de travail. Consultez le regroupement automatique de liquide.
cluster_by	list	Activez le clustering liquide sur la table et définissez les colonnes à utiliser comme clés de clustering. Consultez Utilisation de Liquid Clustering pour les tables.
schema	str ou StructType	Définition de schéma pour la table. Les schémas peuvent être définis en tant que chaîne SQL DDL ou avec StructTypePython.
expect_all expect_all_or_drop expect_all_or_fail	dict	Contraintes de qualité des données pour la table. Fournit le même comportement et utilise la même syntaxe que les fonctions de décorateur attendues, mais implémentées en tant que paramètre. Voir les attentes.
row_filter	str	(Préversion publique) Clause de filtre de ligne pour la table. Consultez Publier des tables avec des filtres de lignes et des masques de colonne.