Lakehouse Waktu Nyata

Important

Fitur ini ada di Beta. Hubungi tim akun Databricks Anda untuk mengaktifkan fitur ini di akun Anda.

Lakehouse//RT sedang dalam pengembangan aktif. Karakteristik performa dan set fitur yang didukung akan berubah sebelum ketersediaan umum.

Lakehouse Real-Time (Lakehouse//RT) adalah komputasi tanpa server yang dibangun untuk latensi rendah, kasus penggunaan konkurensi tinggi, seperti menyajikan data analitik ke aplikasi kustom, menjalankan analitik operasional, atau mendukung dasbor BI yang memerlukan respons sub-detik untuk ratusan hingga ribuan pengguna bersamaan.

Lakehouse//RT menawarkan latensi sub-detik pada kueri baca SQL terhadap tabel Katalog Unity Anda yang menggunakan format Delta Lake atau Apache Iceberg dalam penyimpanan cloud. Anda membuat dan mengelola Lakehouse//RT seperti yang Anda lakukan di gudang SQL lainnya. Admin ruang kerja atau pengguna dengan hak istimewa membuat satu atau beberapa item per ruang kerja dan menetapkan izin kepada pengguna.

Persyaratan

Untuk menggunakan Lakehouse//RT, Anda harus:

Mengaktifkan Lakehouse//RT di ruang kerja Anda

Admin ruang kerja dapat mengaktifkan Lakehouse//RT Beta di ruang kerja Anda:

  1. Di menu ruang kerja Anda (sudut kanan atas), buka Pratinjau.
  2. Cari Lakehouse RT.
  3. Aktifkan pratinjau.

Setelah Anda mengaktifkan pratinjau, jenis gudang Real-Time tersedia di alur pembuatan gudang SQL untuk ruang kerja Anda.

Buat gudang data Lakehouse//RT

Untuk membuat gudang Lakehouse//RT:

  1. Buka Komputasi> Gudang >Buat Gudang SQL.
  2. Pilih Real-Time.
  3. Pilih ukuran: Kecil, Sedang, Besar, atau X-Besar, tergantung pada performa yang diperlukan kueri Anda.
  4. Masukkan nama untuk gudang.
  5. Klik Buat.

Untuk menetapkan izin, berikan Dapat menggunakan, Dapat memantau, atau Dapat mengelola pengguna dan grup, sama dengan gudang SQL.

Note

Saat ini Anda tidak dapat meningkatkan gudang SQL yang ada ke Lakehouse//RT atau menurunkan tingkat gudang Lakehouse//RT yang ada ke jenis gudang lain.

Memantau aktivitas Lakehouse//RT

Anda dapat memantau kueri Lakehouse//RT sama dengan kueri apa pun yang dijalankan pada gudang SQL:

  • Riwayat kueri: Kueri Lakehouse//RT muncul di antarmuka pengguna riwayat kueri dan tabel sistem riwayat kueri.
  • Profil kueri: Buka kueri Lakehouse//RT di antarmuka pengguna riwayat kueri untuk menampilkan profil kuerinya.
  • Halaman pemantauan: Pantau throughput kueri, kueri yang diantrekan, dan riwayat kueri pada halaman pemantauan untuk setiap gudang Lakehouse//RT.
  • Penagihan: Penggunaan Lakehouse//RT muncul dalam tabel sistem penagihan dengan sku_name sebesar Lakehouse_Serverless.

Praktik terbaik

Untuk mendapatkan hasil terbaik dari Lakehouse//RT, siapkan beban kerja Anda sebelum Anda memindahkannya:

  • Validasi pada SQL tanpa server terlebih dahulu. Jalankan kueri Anda di gudang SQL tanpa server dan konfirmasikan bahwa kueri berjalan dalam beberapa detik.
  • Gunakan tabel terkelola Unity Catalog. Tabel terkelola dengan pengoptimalan prediktif dan pengklusteran cairan memastikan bahwa data Anda terkluster dengan baik untuk pola beban kerja Anda.
  • Pastikan kueri bersifat selektif. Untuk latensi sub-detik, verifikasi bahwa kueri Anda memindai jumlah data yang lebih sedikit. Lakukan pemfilteran lebih awal dengan klausa WHERE, pilih hanya kolom yang Anda butuhkan, dan manfaatkan agregasi. Penggabungan antar tabel didukung, tetapi jika kueri Anda mulai menjadi rumit atau lambat, pertimbangkan untuk menggunakan materialized view yang mengagregasikan data Anda terlebih dahulu agar latensinya lebih rendah.
  • Periksa cakupan SQL. Lakehouse//RT hanya mendukung kueri baca yang sesuai dengan ANSI. Konfirmasikan bahwa beban kerja Anda mematuhi ANSI dan menghindari pernyataan, fungsi, dan jenis data yang tidak didukung yang tercantum di bawah Batasan.

Fitur yang didukung

Alat dan antarmuka

Anda dapat memilih Lakehouse//RT dari pemilih komputasi di salah satu fitur Azure Databricks berikut:

  • Editor teks SQL
  • Buku catatan SQL
  • Dasbor AI/BI
  • Eksplorer Katalog
  • Alerts

Jenis tabel

Lakehouse//RT hanya mengkueri data Unity Catalog. Untuk performa terbaik, gunakan tabel terkelola Unity Catalog, yang menyediakan mesin dengan tata letak data yang dibutuhkan untuk latensi rendah.

Lakehouse//RT mendukung jenis tabel berikut:

  • Tabel terkelola (Tabel Delta Lake dan Apache Iceberg)
  • Tampilan materialisasi dan tabel streaming
  • Tampilan metrik

Connectivity

Lakehouse//RT hanya menerima koneksi yang menggunakan API Eksekusi Pernyataan. Ini tidak mendukung protokol Thrift lama, sehingga driver yang terhubung tanpa menggunakan API Statement Execution secara eksplisit akan menerima error 501.

Anda dapat terhubung ke gudang Lakehouse//RT dengan cara berikut:

Pricing

Untuk informasi harga, lihat halaman Harga Lakehouse Real-Time.

Limitations

Saat kueri menggunakan fitur yang tidak didukung, Lakehouse//RT mengembalikan kesalahan penamaan fitur. Agar berhasil menjalankan kueri, gunakan gudang SQL tanpa server sebagai gantinya.

Alat dan fitur

Lakehouse//RT belum mendukung fitur-fitur berikut:

  • Jin
  • Agen Genie
  • Tugas pekerjaan

Jenis tabel

Jenis tabel berikut ini belum didukung:

  • Tabel sistem
  • Tabel Delta Sharing
  • Tabel dalam penyimpanan bawaan Unity Catalog
  • Tabel eksternal di Unity Catalog

Lakehouse//RT tidak mendukung jenis tabel berikut:

  • Tabel metastore Hive (dikelola atau eksternal)
  • Tabel eksternal dan federasi kueri (Lakehouse Federation)
  • Tabel sementara
  • Tabel yang menggunakan format data lain (CSV, JSON, Avro, Parquet, ORC, dan teks)

Driver dan konektor

Lakehouse//RT tidak mendukung driver dan konektor berikut:

  • ADBC
  • ODBC
  • Go

Bahasa SQL

Lakehouse//RT hanya menjalankan kueri baca SQL dalam mode ANSI . Ini mengevaluasi semua paksaan jenis implisit dan transmisi sesuai dengan aturan ANSI SQL yang ketat, dan perilaku ini tidak dapat dimatikan. Di bawah semantik ANSI, kueri yang bergantung pada perilaku non-ANSI mungkin:

  • Munculkan kesalahan runtime alih-alih memproduksi NULLsecara diam-diam . Misalnya, mentransmisikan string non-numerik ke angka.
  • Munculkan kesalahan saat analisis ketika tidak ada tipe umum yang aman. Misalnya, COALESCE, CASE, IN, atau operasi himpunan pada tipe yang tidak kompatibel.
  • Mengembalikan tipe hasil yang berbeda dari mode lama, karena promosi string ANSI dan perluasan numerik memilih tipe yang aman dan tanpa kehilangan data.

Untuk mendapatkan hasil yang dapat diprediksi, gunakan ekspresi eksplisit CAST saat konversi implisit mode ANSI tidak menghasilkan perilaku yang Anda harapkan.

Lakehouse//RT tidak mendukung hal berikut:

  • Jenis data: Tipe data GEOGRAPHY dan GEOMETRY.
  • Fungsi: Fungsi AI, Python UDF, fungsi SQL spasial, dan fungsi XPath dan XML.
  • Tata kelola: Kontrol akses berbasis atribut (ABAC), termasuk keamanan tingkat baris dan masking kolom.

Lakehouse//RT hanya digunakan untuk kueri baca (SELECT). Perintah tulis dan ETL tidak didukung, termasuk:

  • Operasi tulis:INSERT, UPDATE, DELETE, MERGE, dan CREATE TABLE AS SELECT (CTAS).
  • DDL:CREATE, ALTER, DROP, dan pernyataan lain yang membuat atau memodifikasi objek.
  • Pernyataan keamanan:GRANT dan REVOKE.
  • Skrip, prosedur tersimpan, tabel sementara, dan transaksi dengan beberapa pernyataan.
  • Pemeliharaan Delta Lake:OPTIMIZE, ANALYZE, VACUUM, dan REFRESH.

Keamanan jaringan

Lakehouse//RT belum mendukung konfigurasi jaringan berikut:

Compliance

Profil keamanan kepatuhan saat ini tidak didukung.

  • Last updated on