Mengakses tampilan materialisasi dan tabel streaming menggunakan sistem eksternal

Secara default, tampilan materialisasi dan tabel streaming tidak tersedia untuk diakses dari sistem eksternal. Azure Databricks menyediakan dua fitur yang memungkinkan Anda membuat himpunan data Anda tersedia untuk klien Delta Lake atau Iceberg:

  • Akses data eksternal (Pratinjau Umum) - Mengaktifkan akses data eksternal untuk himpunan data alur membuat salinan metadata untuk himpunan data yang memungkinkan klien menggunakan Unity Catalog atau Iceberg REST API, tanpa memerlukan salinan data lengkap atau jadwal refresh terpisah. Klien harus menggunakan REST API katalog, dan harus mendukung Delta 4.0.0 atau lebih tinggi, atau spesifikasi Iceberg v3.

    Untuk detail tentang akses data eksternal untuk himpunan data alur, lihat Mengaktifkan akses data eksternal ke tabel streaming dan tampilan materialisasi.

  • Mode kompatibilitas (Pratinjau Umum) - Mengaktifkan mode kompatibilitas untuk himpunan data menghasilkan versi baca-saja data Anda di lokasi yang dipilih, yang harus diperbarui saat tabel di-refresh. Versi kompatibilitas mencakup metadata v1 untuk format Delta Lake dan Iceberg beserta salinan data hanya-baca, sehingga memungkinkan akses bagi lebih banyak jenis klien (termasuk klien yang harus membaca data tabel secara langsung, bukan melalui API), namun dengan konsekuensi adanya keterlambatan pembaruan data dan biaya penyalinan data.

    Untuk detail tentang mode kompatibilitas, lihat Mode Kompatibilitas.

Jika klien eksternal Anda mendukung REST API, Azure Databricks merekomendasikan penggunaan akses data eksternal untuk memberi klien tersebut akses ke tampilan materialisasi atau tabel streaming. Untuk berbagai klien yang lebih luas, terutama klien yang lebih lama, dan tabel terkelola Unity Catalog lainnya, gunakan mode kompatibilitas.

Capability Akses data eksternal Mode kompatibilitas
Salinan data Tidak diperlukan salinan data. Penyalinan data diperlukan.
Konsistensi Konsistensi baca-setelah-tulis. Klien eksternal melihat perubahan segera setelah terjadi dalam himpunan data. Pembaruan terjadi sesuai jadwal. Secara default, tabel kompatibilitas diperbarui per jam. Ini dapat diatur untuk diperbarui segera setelah perubahan pada tabel sumber, tetapi masih tertunda oleh waktu penyalinan data.
Akses Memerlukan akses REST API "modern". Mendukung API katalog Delta 4.0.0 atau lebih tinggi atau API spesifikasi Iceberg v3 (memerlukan dukungan vektor penghapusan). Kompatibel dengan semua klien Delta Lake atau Iceberg.
Objek tabel tunggal Tampilan materialisasi dan tabel streaming muncul sebagai tabel terkelola dengan nama yang sama dengan himpunan data asli ke klien eksternal. Tabel kompatibilitas muncul sebagai tabel baru di lokasi baru ke klien eksternal.
Dukungan jenis tabel Mendukung tampilan terwujud dan tabel streaming yang dikelola oleh pipeline Lakeflow. Mendukung tampilan terwujud dan tabel streaming, baik yang dikelola oleh pipeline Lakeflow maupun yang berdiri sendiri, serta tabel lain yang dikelola oleh Unity Catalog.
Cost Biaya memelihara metadata yang terekspos ke eksternal termasuk dalam biaya penyegaran untuk tampilan termaterialisasi atau tabel streaming. Ini umumnya kurang dari 1% dari biaya dan waktu yang dibutuhkan untuk penyegaran. Sebagian besar biaya untuk mode kompatibilitas adalah biaya transfer data warisan ke lokasi baru.

Sumber daya tambahan