Menggunakan Lakebase dengan Aplikasi Databricks

Penting

Lakebase Autoscaling adalah versi terbaru Lakebase, dengan komputasi penskalaan otomatis, skala-ke-nol, percabangan, dan pemulihan instan. Untuk wilayah yang didukung, lihat Ketersediaan wilayah. Jika Anda adalah pengguna Lakebase Provisioned, lihat Lakebase Provisioned.

Aplikasi Databricks memungkinkan Anda membangun dan menyebarkan aplikasi interaktif langsung di ruang kerja Azure Databricks Anda. Menambahkan Lakebase sebagai sumber daya memberi aplikasi Anda backend Postgres yang dikelola sepenuhnya. Azure Databricks membuat perwakilan layanan untuk aplikasi Anda, memberinya peran Postgres yang cocok, dan menyuntikkan detail koneksi sebagai variabel lingkungan. Aplikasi Anda terhubung ke database Postgres yang dikelola sepenuhnya tanpa mengelola kredensial atau string koneksi.

Diagram arsitektur memperlihatkan klien, Aplikasi Databricks, dan integrasi LKB

Tutorial ini memandu Anda dalam menyebarkan aplikasi templat yang terhubung ke database Lakebase. Pada akhirnya, Anda akan memiliki aplikasi yang sedang berjalan dengan data yang dapat Anda periksa dan menjalankan kueri langsung dari Lakebase, serta secara opsional mendaftarkannya di Unity Catalog bersama data lakehouse Anda.

Prasyarat

Sebelum memulai, pastikan Anda memiliki hal berikut:

  • Akses ke ruang kerja Azure Databricks dengan Lakebase dan komputasi tanpa server diaktifkan. Hubungi admin ruang kerja Anda jika diperlukan.
  • Izin untuk membuat sumber daya dan aplikasi komputasi.

Langkah 1: Menyediakan instans Lakebase

Proyek Lakebase adalah instans Postgres terkelola yang terhubung dengan aplikasi Anda sebagai sumber daya. Proyek diatur ke dalam cabang, masing-masing mewakili lingkungan database yang terisolasi.

Untuk membuat proyek Lakebase, lihat Mulai menggunakan Lakebase Autoscaling. Lakebase membuat proyek Anda dengan cabang production dan basis data databricks_postgres.

Langkah 2: Membuat aplikasi Databricks

Azure Databricks menyediakan tiga templat aplikasi penskalaan otomatis yang menunjukkan integrasi Lakebase menggunakan aplikasi todos: Dash, Flask, dan Streamlit. Untuk membuat aplikasi dari templat:

  1. Di ruang kerja Azure Databricks Anda, klik pengalih aplikasi App. dan pilih Databricks Apps.
  2. Klik + Buat aplikasi.
  3. Pilih templat pilihan Anda dari tab Database .

Templat aplikasi Flask + LKB Autoscaling

Langkah 3: Mengonfigurasi sumber daya database

Menambahkan Lakebase sebagai sebuah sumber daya menciptakan perwakilan layanan dengan izin basis data yang tepat dan menyuntikkan detail koneksi Anda sebagai variabel lingkungan ke dalam aplikasi. Ini memungkinkan templat tersambung ke database Anda secara otomatis, tanpa string koneksi dalam kode Anda.

Pada langkah Konfigurasikan , konfigurasikan pengaturan berikut.

  1. Untuk Sumber daya aplikasi, pilih proyek, cabang, dan database Lakebase Anda. Nama cabang muncul sebagai ID. Untuk mencocokkan ID dengan nama, lihat halaman cabang proyek Anda.
  2. Untuk Ukuran komputasi, pilih Sedang. Ini mengontrol komputasi server aplikasi, yang terpisah dari komputasi database Lakebase dan menskalakan secara independen.

Konfigurasi sumber daya database memperlihatkan pemilihan proyek, cabang, dan database

Untuk informasi selengkapnya, lihat Menambahkan sumber daya Lakebase ke aplikasi Databricks.

Langkah 4: Meninjau otorisasi

Setiap aplikasi Databricks berjalan sebagai prinsipal layanannya sendiri, yang merupakan identitas khusus yang terpisah dari setiap pengguna. Saat Anda menyambungkan Lakebase sebagai sumber daya, Azure Databricks membuat peran Postgres yang cocok untuk perwakilan layanan tersebut dan memberinya akses database penuh. Tidak diperlukan penyiapan peran manual.

Tinjauan otorisasi memperlihatkan izin prinsipal layanan

Langkah 5: Beri nama aplikasi Anda dan instal

Lakebase menggunakan nama aplikasi untuk menghasilkan nama skema dalam format {app-name}_schema_{service-principal-id} (tanda hubung dihapus dari ID). Anda tidak dapat mengubah nama aplikasi setelah pembuatan, tetapi Anda dapat mengganti nama skema nanti. Templat default ke lakebase-autoscaling-app.

Klik Buat aplikasi untuk membuat aplikasi.

Langkah 6: Menyebarkan aplikasi

Setelah Anda membuat aplikasi, komputasi dimulai secara otomatis dan aplikasi Anda disebarkan dalam waktu sekitar 2-3 menit tanpa tindakan lebih lanjut. Saat status aplikasi menampilkan Berjalan, klik URL di sampingnya untuk membuka aplikasi Anda.

Gambaran umum aplikasi memperlihatkan Status berjalan dan komputasi aktif

Langkah 7: Verifikasi integrasi

Tambahkan beberapa daftar tugas di aplikasi Anda. Di proyek Lakebase Anda, buka Tabel dan pilih tabel todos di bawah skema aplikasi Anda. Prinsipal layanan aplikasi menulis baris tersebut menggunakan detail koneksi yang diinjeksi di Langkah 3.

Tampilan Tabel LKB memperlihatkan daftar tugas yang dibuat oleh aplikasi

Untuk mengkueri data secara langsung, gunakan Editor SQL di proyek Lakebase Anda. Karena Lakebase menskalakan ke nol saat diam, kueri pertama setelah jeda yang lama mungkin membutuhkan waktu beberapa detik untuk merespons. Untuk opsi koneksi lainnya, lihat Menyambungkan ke database Anda.

Langkah 8: Kueri melalui Unity Catalog (opsional)

Secara default, data Lakebase aplikasi Anda dapat diakses langsung melalui koneksi Postgres. Mendaftarkannya di Unity Catalog membuatnya dapat dikueri bersama data lakehouse Anda menggunakan Databricks SQL standar. Anda kemudian dapat menggabungkan tabel transaksi dengan tabel Delta dalam kueri yang sama.

Untuk mendaftar, buka Catalog Explorer dan buat katalog baru. Pilih Lakebase Postgres sebagai jenis katalog, pilih Autoscaling, dan pilih proyek dan cabang yang sama dengan aplikasi Anda. Lihat Mendaftarkan database Anda di Katalog Unity untuk detail selengkapnya.

Perhatikan bahwa nama skema di Unity Catalog mempertahankan tanda hubung dari nama aplikasi Anda. Nama katalog dan skema memerlukan kutipan backtick:

SELECT * FROM `your-catalog-name`.`lakebase-autoscaling-app_schema_aeb6ff9198ff4752af7dfc6d4cf570d0`.todos;

Pelajari lebih lanjut

  • Last updated on