Mengatur katalog dan skema target

Bagian Lokasi default untuk aset data dari UI konfigurasi alur mengatur katalog dan skema default untuk alur. Katalog dan skema bawaan ini digunakan untuk semua definisi himpunan data dan pembacaan tabel, kecuali digantikan dalam kueri.

Nota

Mode penerbitan warisan menggunakan skema virtual LIVE untuk mencapai perilaku serupa. Dalam mode penerbitan default (digunakan oleh semua alur kerja baru), kata kunci LIVE diabaikan. Lihat skema LIVE (versi lama).

Menargetkan himpunan data dalam katalog atau skema yang berbeda

Lakeflow Spark Declarative Pipelines mendukung semantik resolusi pengidentifikasi tiga tingkat. Databricks merekomendasikan penggunaan pengidentifikasi yang sepenuhnya memenuhi syarat untuk kueri dan pernyataan yang menargetkan himpunan data selain default yang dikonfigurasi untuk alur Anda. Lihat resolusi pengidentifikasi Unity Catalog. Misalnya, untuk membuat tampilan materialisasi yang disebut regional_sales dalam katalog main dan skema stores, yang bukan merupakan default alur Anda, gunakan nama lengkap, seperti main.stores.regional_sales.

Phyton

from pyspark import pipelines as dp

@dp.materialized_view(name="main.stores.regional_sales")
def func():
  return spark.read.table("partners");

SQL

CREATE OR REPLACE MATERIALIZED VIEW main.stores.regional_sales
  AS SELECT *
  FROM partners;

Alur USE CATALOG catalog_name dan USE SCHEMA schema_name mendukung perintah SQL. Jalankan perintah ini untuk mengatur katalog dan skema saat ini yang dikaitkan dengan file atau buku catatan yang berisi perintah ini. Operasi yang mengikuti perintah ini dalam berkas kode sumber dan menggunakan pengidentifikasi yang tidak sepenuhnya memenuhi syarat atau sebagian memenuhi syarat diarahkan ke katalog dan skema saat ini daripada nilai default yang ditetapkan dalam konfigurasi alur. Lihat Apa katalog dan skema saat ini?.

Apa yang terjadi jika himpunan data tidak ada?

Tabel berikut ini menjelaskan perilaku saat kode sumber alur mereferensikan himpunan data yang tidak ada:

Operasi	Hasil
Read	Jika tabel, tampilan materialisasi, tabel streaming, atau tampilan tidak ada untuk pengidentifikasi yang ditentukan, pembaruan gagal.
Write	Jika tampilan materialisasi, tabel streaming, tampilan, atau sink tidak ada untuk pengidentifikasi yang ditentukan, pembaruan mencoba membuat himpunan data. Jika perlu, pembaruan juga membuat skema yang ditentukan.

Penting

Anda mungkin menerima pesan kesalahan yang menyatakan himpunan data tidak ada jika Anda tidak memiliki hak istimewa yang memadai untuk melihat himpunan data.

Anda harus memiliki hak istimewa yang memadai untuk membaca, menulis, dan membuat himpunan data dengan Alur Deklaratif Lakeflow Spark. Lihat Persyaratan.