create_streaming_table

Gunakan fungsi create_streaming_table() dalam alur untuk membuat tabel target untuk rekaman output oleh operasi streaming, termasuk create_auto_cdc_flow(), create_auto_cdc_from_snapshot_flow(), dan rekaman output append_flow.

Nota

Fungsi create_target_table() dan create_streaming_live_table() tidak digunakan lagi. Databricks merekomendasikan pembaruan kode yang ada untuk menggunakan fungsi create_streaming_table().

Syntax

from pyspark import pipelines as dp

dp.create_streaming_table(
  name = "<table-name>",
  comment = "<comment>",
  spark_conf={"<key>" : "<value", "<key" : "<value>"},
  table_properties={"<key>" : "<value>", "<key>" : "<value>"},
  path="<storage-location-path>",
  partition_cols=["<partition-column>", "<partition-column>"],
  cluster_by_auto = False,
  cluster_by = ["<clustering-column>", "<clustering-column>"],
  schema="schema-definition",
  expect_all = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_drop = {"<key>" : "<value", "<key" : "<value>"},
  expect_all_or_fail = {"<key>" : "<value", "<key" : "<value>"},
  row_filter = "row-filter-clause",
  private = False
)

Parameter-parameternya

Pengaturan	Tipe	Description
name	str	Dibutuhkan. Nama tabel.
comment	str	Deskripsi untuk tabel.
spark_conf	dict	Daftar konfigurasi Spark untuk eksekusi kueri ini
table_properties	dict	Sebuah properti dicttabel untuk tabel.
path	str	Lokasi penyimpanan untuk data tabel. Jika tidak diatur, gunakan lokasi penyimpanan terkelola untuk skema yang berisi tabel.
partition_cols	list	Daftar satu atau beberapa kolom yang akan digunakan untuk mempartisi tabel.
cluster_by_auto	bool	Aktifkan pengklusteran cairan otomatis pada tabel. Ini dapat dikombinasikan dengan cluster_by dan menentukan kolom yang akan digunakan sebagai kunci pengklusteran awal, diikuti dengan pemantauan dan pembaruan pemilihan kunci otomatis berdasarkan beban kerja. Lihat pengklusteran cairan otomatis.
cluster_by	list	Aktifkan pengklusteran cair pada tabel dan tentukan kolom yang akan digunakan sebagai kunci pengklusteran. Lihat Menggunakan pengklusteran cair untuk tabel.
schema	str atau StructType	Definisi skema untuk tabel. Skema dapat didefinisikan sebagai string SQL DDL atau dengan Python StructType.
expect_all expect_all_or_drop expect_all_or_fail	dict	Batasan kualitas data untuk tabel. Menyediakan perilaku yang sama dan menggunakan sintaks yang sama dengan fungsi dekorator ekspektasi, tetapi diimplementasikan sebagai parameter. Lihat Ekspektasi.
row_filter	str	(Pratinjau Umum) Klausa filter baris untuk tabel. Lihat Menerbitkan tabel dengan filter baris dan masker kolom.
private	bool	Ketika True, membuat tabel streaming privat yang tidak dipublikasikan ke katalog dan hanya dapat diakses dalam pipeline. Tabel streaming privat tetap ada selama masa pakai pipeline. Tabel streaming privat sebelumnya dibuat dengan temporary parameter . Secara default menjadi False.