create_streaming_table

Kayıtların create_streaming_table() işlevini işlem hattı içinde kullanarak create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow(), ve append_flow çıkış kayıtları dahil olmak üzere akış işlemleriyle hedef bir tablo oluşturun.

Uyarı

create_target_table() ve create_streaming_live_table() işlevleri kullanım dışıdır. Databricks, create_streaming_table() işlevini kullanmak için mevcut kodun güncelleştirilmesini önerir.

Sözdizimi

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = False,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause",
  private = False
)

Parametreler

Parametre	Türü	Description
name	str	Gerekli. Tablo adı.
comment	str	Tablo için bir açıklama.
spark_conf	dict	Bu sorgunun yürütülmesi için Spark yapılandırmalarının listesi
table_properties	dict	dict Tablonun tablo özelliklerinden biri.
path	str	Tablo verileri için bir depolama konumu. Ayarlanmadıysa, tabloyu içeren şema için yönetilen depolama konumunu kullanın.
partition_cols	list	Tabloyu bölümlendirmek için kullanılacak bir veya daha fazla sütunun listesi.
cluster_by_auto	bool	Tabloda otomatik sıvı kümelemasını etkinleştirin. Bu, ilk kümeleme anahtarları olarak kullanılacak sütunlarla cluster_by birleştirilebilir ve tanımlanabilir, ardından iş yüküne göre izleme ve otomatik anahtar seçimi güncelleştirmeleri gerçekleştirilir. Bkz. Otomatik sıvı kümeleme.
cluster_by	list	Tabloda sıvı kümelemeye olanak tanıyın ve kümeleme anahtarları olarak kullanılacak sütunları tanımlayın. Bkz Tablolar için sıvı kümeleme kullanma.
schema	str veya StructType	Tablo için şema tanımı. Şemalar bir SQL DDL dizesi olarak veya Python StructTypeile tanımlanabilir.
expect_all, expect_all_or_drop, expect_all_or_fail	dict	Tablo için veri kalitesi kısıtlamaları. Aynı davranışı sağlar ve beklenti dekoratörü işlevleriyle aynı söz dizimini kullanır, ancak parametre olarak uygulanır. Bkz. Beklentiler.
row_filter	str	(Genel Önizleme) Tablo için satır filtresi yan tümcesi. Bkz. Satır filtreleri ve sütun maskeleriyle tabloları yayımlama.
private	bool	Ne Truezaman , katalogda yayınlanmayan ve sadece boru hattı içinde erişilebilen özel bir akış tablosu oluşturur. Özel akış tabloları, pipeline'ın ömrü boyunca devam eder. Özel akış tabloları daha önce temporary parametresi kullanılarak oluşturulmuştur. Varsayılan değer False’dır.