Apa itu Federasi Lakehouse?

Lakehouse Federation merupakan platform federasi kueri yang ditujukan untuk Databricks. Istilah federasi kueri menjelaskan kumpulan fitur yang memungkinkan pengguna dan sistem menjalankan kueri terhadap beberapa sumber data tanpa perlu memigrasikan semua data ke sistem terpadu.

Ada dua jenis federasi: federasi kueri dan federasi katalog. Halaman ini mencakup perbedaan antara jenis.

Federasi kueri dibandingkan dengan federasi katalog

Tabel berikut ini meringkas perbedaan utama antara federasi kueri dan federasi katalog:

Attribute Federasi kueri Federasi katalog
Jalur kueri Kueri Katalog Unity dikirimkan ke database asing menggunakan JDBC. Kueri dijalankan baik di Databricks maupun menggunakan komputasi jarak jauh. Kueri Katalog Unity secara langsung mengakses tabel asing dalam penyimpanan objek. Federasi katalog tersedia untuk platform yang mendukung akses langsung ke katalog dan layanan penyimpanan mereka. Kueri hanya dijalankan pada sistem komputasi Databricks, yang berarti bahwa federasi katalog lebih hemat biaya dan dioptimalkan untuk kinerja dibandingkan dengan federasi kueri.
Skenario penggunaan
  • Anda memerlukan pelaporan ad hoc atau akses bukti konsep ke data operasional yang disimpan dalam database eksternal.
  • Anda ingin meminimalkan pergerakan data dan mempertahankan akses langsung ke sistem eksternal.

Saat sumber Anda mendukung Lakehouse Federation dan Lakeflow Connect, Databricks merekomendasikan Lakeflow Connect jika performa pada volume data yang lebih tinggi dan latensi yang lebih rendah adalah prioritas.
  • Anda bermigrasi ke Unity Catalog tetapi perlu secara bertahap memasukkan data yang dikelola dari katalog asing.
  • Anda menginginkan model hibrid jangka panjang di mana beberapa data tetap berada di katalog eksternal dan beberapa data dikelola oleh Unity Catalog.
Gambaran umum langkah-langkah
  • Buat koneksi di Unity Catalog dengan kredensial akses dan URL JDBC Anda.
  • Buat katalog asing menggunakan koneksi.
  • Berikan hak istimewa kepada pengguna pada tabel di katalog asing.
  • Jalankan kueri. Data ini didorong ke database eksternal.
  • Buat koneksi di Katalog Unity untuk mengakses katalog eksternal.
  • Buat kredensial penyimpanan dan lokasi eksternal untuk jalur tabel.
  • Buat katalog asing menggunakan koneksi dan lokasi eksternal.
  • Berikan hak istimewa kepada pengguna pada tabel di katalog asing.
  • Jalankan kueri. Proses ini beroperasi langsung pada penyimpanan objek.

Sumber data yang didukung

Sambungkan ke sumber berikut menggunakan federasi kueri:

Sambungkan ke sumber berikut menggunakan federasi katalog:

Sumber daya tambahan

  • Last updated on