Menerbitkan data dari Tabel Langsung Delta ke metastore Apache Hive

Anda dapat membuat data output alur Anda dapat ditemukan dan tersedia untuk dikueri dengan menerbitkan himpunan data ke metastore Apache Hive. Untuk menerbitkan himpunan data ke metastore, masukkan nama skema di bidang Target saat Anda membuat alur. Anda juga dapat menambahkan database target ke alur yang sudah ada.

Secara default, semua tabel dan tampilan yang dibuat di Tabel Langsung Delta bersifat lokal untuk alur. Anda harus menerbitkan tabel ke skema target untuk mengkueri atau menggunakan himpunan data Tabel Langsung Delta di luar alur tempat tabel tersebut dideklarasikan.

Untuk menerbitkan tabel dari alur Anda ke Unity Catalog, lihat Menggunakan Unity Catalog dengan alur Delta Live Tables Anda.

Cara menerbitkan himpunan data Tabel Langsung Delta ke skema

Anda dapat mendeklarasikan skema target untuk semua tabel di alur Delta Live Tables Anda menggunakan bidang Skema target di pengaturan Alur dan Membuat UI alur .

Anda juga dapat menentukan skema dalam konfigurasi JSON dengan mengatur target nilai .

Anda harus menjalankan pembaruan untuk alur untuk menerbitkan hasil ke skema target.

Anda dapat menggunakan fitur ini dengan beberapa konfigurasi lingkungan untuk menerbitkan ke skema yang berbeda berdasarkan lingkungan. Misalnya, Anda dapat menerbitkan ke dev skema untuk pengembangan dan prod skema untuk data produksi.

Cara mengkueri himpunan data di Tabel Langsung Delta

Setelah pembaruan selesai, Anda dapat menampilkan skema dan tabel, mengkueri data, atau menggunakan data dalam aplikasi hilir.

Setelah diterbitkan, tabel Tabel Langsung Delta dapat dikueri dari lingkungan apa pun dengan akses ke skema target. Ini termasuk Databricks SQL, notebook, dan alur Delta Live Tables lainnya.

Penting

Saat Anda membuat target konfigurasi, hanya tabel dan metadata terkait yang dipublikasikan. Tampilan tidak dipublikasikan ke metastore.

Mengecualikan tabel dari skema target

Jika Anda perlu menghitung tabel perantara yang tidak ditujukan untuk konsumsi eksternal, Anda dapat mencegahnya diterbitkan ke skema menggunakan TEMPORARY kata kunci. Tabel sementara masih menyimpan dan memproses data sesuai dengan semantik Tabel Langsung Delta, tetapi tidak boleh diakses di luar alur saat ini. Tabel sementara bertahan selama masa pakai alur yang membuatnya. Gunakan sintaks berikut untuk mendeklarasikan tabel sementara:

SQL

CREATE TEMPORARY LIVE TABLE temp_table
AS SELECT ... ;

Python

@dlt.table(
  temporary=True)
def temp_table():
  return ("...")