Membaca tabel-tabel Databricks dari klien Delta

Halaman ini memberikan gambaran umum tentang penggunaan Unity REST API untuk mengakses tabel terkelola dan eksternal Unity Catalog dari klien Delta eksternal. Untuk membuat tabel Delta eksternal dari klien eksternal, lihat Membuat tabel Delta eksternal dari klien eksternal.

Gunakan katalog Iceberg REST untuk membaca tabel terdaftar Unity Catalog di Azure Databricks dari klien Iceberg yang didukung, termasuk Apache Spark dan DuckDB.

Untuk daftar lengkap integrasi yang didukung, lihat Integrasi Katalog Unity.

Saran

Untuk informasi tentang cara membaca data Azure Databricks menggunakan Microsoft Fabric, lihat Menggunakan Microsoft Fabric untuk membaca data yang terdaftar di Unity Catalog.

Membaca dan menulis menggunakan Unity REST API

Unity REST API menyediakan akses baca klien eksternal ke tabel yang terdaftar ke Unity Catalog. Beberapa klien juga mendukung pembuatan tabel dan menulis ke tabel yang ada.

Konfigurasikan akses menggunakan titik akhir /api/2.1/unity-catalog.

Persyaratan

Azure Databricks mendukung akses Unity REST API ke tabel sebagai bagian dari Unity Catalog. Anda harus memiliki Katalog Unity yang diaktifkan di ruang kerja Anda untuk menggunakan endpoint ini. Jenis tabel berikut memenuhi syarat untuk pembacaan Unity REST API:

• Tabel yang dikelola oleh Unity Catalog.
• Tabel eksternal Unity Catalog.

Anda harus menyelesaikan langkah-langkah konfigurasi berikut untuk mengonfigurasi akses untuk membaca objek Databricks dari klien Delta menggunakan Unity REST API:

• Aktifkan akses data eksternal untuk metastore Anda. Lihat Mengaktifkan akses data eksternal di metastore.
• Berikan prinsipal yang mengonfigurasi integrasi EXTERNAL USE SCHEMA hak akses istimewa pada skema yang berisi objek. Lihat Memberikan hak akses kepada prinsipal di Unity Catalog.
• Autentikasi menggunakan token akses pribadi Databricks. Lihat Mengotorisasi akses ke sumber daya Azure Databricks.

Membaca tabel Delta dengan Apache Spark

Konfigurasi berikut diperlukan untuk membaca tabel Delta terkelola dan Delta eksternal yang dikelola Unity Catalog dengan Apache Spark:

"spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension",
"spark.sql.catalog.spark_catalog": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>.uri": "<workspace-url>/api/2.1/unity-catalog",
"spark.sql.catalog.<uc-catalog-name>.token": "<token>",
"spark.sql.defaultCatalog": "<uc-catalog-name>",
"spark.jars.packages": "io.delta:delta-spark_2.12:3.2.1,io.unitycatalog:unitycatalog-spark_2.12:0.2.0,org.apache.hadoop:hadoop-azure:3.3.6"

Ganti variabel berikut:

• <uc-catalog-name>: Nama katalog di Unity Catalog yang berisi tabel Anda.
• <workspace-url>: URL ruang kerja Azure Databricks.
• <token>: Token PAT untuk pengguna utama yang mengonfigurasi integrasi.

Nota

Versi paket yang ditunjukkan di atas adalah yang terbaru berdasarkan pembaruan terakhir halaman ini. Versi yang lebih baru mungkin tersedia. Verifikasi bahwa versi paket kompatibel dengan versi Databricks Runtime dan versi Spark Anda.

Untuk detail tambahan tentang mengonfigurasi Apache Spark untuk penyimpanan objek cloud, lihat dokumentasi OSS Katalog Unity.