Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Important
Fitur ini ada di Beta. Untuk menggunakannya, admin ruang kerja harus mengaktifkan AI/BI Dashboard Materialization di halaman Previews. Lihat Kelola Pratinjau Azure Databricks.
Dasbor AI/BI dibuat berdasarkan dataset yang dicakup oleh dasbor. Secara default, setiap dataset dievaluasi secara langsung, jadi setiap kali dashboard dimuat atau viewer berinteraksi dengannya, query dasar, join, dan pemindaian sumber berjalan kembali di gudang SQL Anda. Untuk dashboard yang dibangun dari kueri sumber mahal atau banyak join, menjalankan ulang kueri tersebut di setiap interaksi terasa lambat dan mahal.
Materialisasi dataset menghitung terlebih dahulu dan menyimpan hasil yang mendasari dataset, sehingga pekerjaan berat hanya dilakukan satu kali berdasarkan jadwal, bukan setiap kali dasbor dimuat atau saat ada interaksi. Interaksi kemudian ditampilkan dari hasil yang tersimpan, sehingga dashboard yang dipublikasikan menjadi lebih cepat.
Materialisasi menggunakan teknologi materialisasi tampilan metrik Unity Catalog. Lihat Materialisasi untuk tampilan metrik.
Apa yang terwujud
Materialisasi pra-komputasi dan menyimpan data dataset. Apa yang disimpan berbeda antara dua tipe dataset:
- Untuk dataset SQL, hasil kueri lengkap sudah dihitung dan disimpan.
- Untuk tampilan metrik lokal, model data tingkat baris (data sumber, join, dan kolom filter) disimpan, sedangkan metrik tetap dihitung saat kueri dijalankan berdasarkan basis yang telah dihitung sebelumnya.
Keuntungan
Materialisasi dataset memberikan manfaat berikut:
- Dasbor lebih cepat tanpa perlu memodelkan ulang. Operasi join dan pemindaian sumber data yang mahal dijalankan sekali sesuai jadwal, bukan setiap kali dimuat, sehingga pengguna tidak perlu menunggu saat dasbor membuat kueri ulang ke tabel besar.
- Biaya gudang data lebih rendah saat pembacaan. Melakukan pra-penghitungan model data dasar menghindari pengulangan kueri berat yang sama untuk setiap pengguna dan setiap kali halaman dimuat, sehingga mengurangi penggunaan data warehouse yang redundan.
- Tidak ada overhead operasional. Azure Databricks membuat, menyimpan, dan menyegarkan data yang termaterialisasi untuk Anda. Tidak ada pipeline, skema, atau penyimpanan yang harus dikelola.
Costs
Materialisasi dataset menimbulkan biaya penyimpanan dan komputasi:
- Penyimpanan. Anda membayar untuk menyimpan data yang termaterialisasi. Biaya tergantung pada penyimpanan dasar yang digunakan. Untuk gambaran umum penyimpanan di Unity Catalog, lihat Hubungkan ke penyimpanan objek cloud menggunakan Unity Catalog.
- Menghitung. Pembuatan awal dan penyegaran berjalan pada pipeline Lakeflow tanpa server dan menimbulkan biaya komputasi. Lihat harga pipa Lakeflow.
Bandingkan biaya ini dengan penghematan yang diperoleh dari menghindari pemindaian sumber berulang dan operasi join. Pilih jadwal penyegaran yang menyeimbangkan kesegaran data dengan biaya komputasi.
Kapan menggunakan materialisasi
Materialisasi tidak selalu merupakan pendekatan yang tepat untuk meningkatkan kinerja. Manfaatnya datang dari menggantikan perhitungan ulang penuh yang berulang dari sebuah dataset (pemindaian dan penggabungan) dengan pembacaan terhadap tabel yang sudah dihitung sebelumnya. Materialisasikan dataset jika satu atau beberapa kondisi berikut berlaku:
- Dashboard yang sangat interaktif. Dasbor dilengkapi dengan banyak filter, pemfilteran silang, atau penelusuran mendetail. Tanpa materialisasi, setiap interaksi menjalankan ulang kueri dataset, sehingga pra-komputasi dataset tersebut akan berhasil berulang kali dalam satu sesi.
- Dataset yang mahal. Dataset dibangun dari gabungan multi-tabel, tampilan berat atau ekspresi tabel umum (CTE), fungsi jendela, atau gabungan di banyak tabel.
- Filter selektif pada tabel besar. Dataset memilih subset kecil, seperti satu wilayah atau 7 hari terakhir dari miliaran baris. Materialisasi hanya menyimpan subset kecil.
- Toleransi terhadap kesegaran terjadwal. Data hanya perlu cukup mutakhir sesuai dengan jadwal penyegaran dashboard, misalnya setiap jam atau setiap hari, bukan secara waktu nyata.
Untuk dataset kecil atau dasbor yang jarang dimuat, kueri langsung seringkali cukup cepat, dan materialisasi mungkin tidak sepadan dengan biayanya. Karena materialisasi bersifat opsional untuk setiap penerbitan dan setiap set data, Anda dapat menerapkannya hanya jika memang memberikan manfaat.
Persyaratan
- Akses ke dasbor AI/BI.
- Dashboard dipublikasikan dengan opsi Bagikan izin data . Materialisasi tidak didukung untuk dasbor yang dipublikasikan dengan izin data individual. Lihat Apa itu izin data bersama?.
- Komputasi serverless diaktifkan di ruang kerja. Pembuatan awal dan penyegaran berjalan pada pipeline Lakeflow tanpa server. Lihat Menyiapkan gudang SQL tanpa server.
- izin CAN USE untuk gudang SQL yang menjalankan Databricks Runtime 17.3 atau yang lebih baru.
Aktifkan materialisasi dataset
Dataset dipilih untuk materialisasi secara default, tetapi materialisasi dimatikan untuk dashboard sampai Anda mengaktifkan opsi Materialize datasets saat mempublikasikan.
Pilih dataset mana yang akan dimaterialisasi
Pada tab Data , klik ikon materialisasi di sebelah dataset untuk memasukkan atau mengecualikannya.
Ketika Anda mengecualikan dataset dari materialisasi, kueri terhadap dataset tersebut akan mengembalikan hasil langsung, sementara kueri terhadap dataset yang dimaterialisasi mencerminkan proses materialisasi terbaru. Ketika semua dataset menggunakan jadwal materialisasi yang sama, widget memiliki kesegaran data yang konsisten.
Publikasikan dengan materialisasi
- Klik Publikasikan di dashboard draf.
- Pilih Bagikan izin data di dialog publikasi.
- Aktifkan opsi Materialize datasets untuk mewujudkan dataset yang dipilih pada tab Data .
- Klik Publikasikan.
Aktifkan opsi Materialize datasets pada setiap publikasi.
Atur jadwal penyegaran
Data yang dimaterialisasi akan diperbarui sesuai jadwal penyegaran dasbor. Gunakan jadwal dashboard untuk menyesuaikan frekuensi penyegaran.
Jika dashboard tidak memiliki jadwal, publikasi dengan materialisasi diaktifkan akan menambahkan jadwal penyegaran harian. Jadwal yang ada tetap dipertahankan. Tanpa jadwal aktif, data materialisasi tidak akan diperbarui secara otomatis setelah pembuatan.
Lihat status materialisasi
Di dasbor yang dipublikasikan, buka menu 
dan pilih Info. Sidebar menampilkan status dan informasi pembaruan setiap dataset yang dimaterialisasi.
Gunakan kembali dan bersihkan
Azure Databricks mengelola siklus hidup data materialisasi Anda:
- Gunakan kembali di berbagai revisi. Jika dashboard dipublikasikan ulang oleh pengguna yang sama dan dataset tidak berubah, materialisasi yang ada akan digunakan kembali, menghindari terbuang komputasi.
- Pembersihan otomatis. Azure Databricks menghapus materialisasi yang tidak lagi dirujuk oleh dashboard yang dipublikasikan, seperti setelah perubahan definisi atau pembatalan publikasi.
Penerbitan ulang tidak selalu memperbarui data yang telah dimaterialisasi.
Limitations
Materialisasi dataset memiliki keterbatasan sebagai berikut:
- Hanya dashboard yang dipublikasikan. Materialisasi berlaku untuk dashboard yang dipublikasikan. Draf-draf terus meminta data real-time.
- Tidak ada dataset yang diparameterkan. Dataset yang mendefinisikan parameter tidak dapat dimaterialisasikan. Jika Anda mengikutsertakan dataset berparameter untuk dimaterialisasi, Azure Databricks akan melaporkannya sebagai gagal alih-alih mematerialisasikannya.
- Refresh hanya mengikuti jadwal dashboard. Tidak ada jadwal penyegaran terpisah per dataset. Materialisasi akan diperbarui sesuai jadwal penyegaran terjadwal di dasbor Anda.
- Serverless diperlukan. Pembuatan awal dan refresh dijalankan di pipeline Lakeflow nirserver, oleh karena itu workspace harus memiliki komputasi nirserver yang diaktifkan.
- Data yang dilindungi tidak disajikan dari materialisasi. Materialisasi tidak dapat dibuat untuk data sumber yang dilindungi oleh keamanan tingkat baris, masker kolom, atau kebijakan kontrol akses berbasis atribut (ABAC). Jika keamanan tingkat baris ditambahkan ke tabel sumber setelah materialisasi dibuat, kueri berikutnya terhadap tampilan metrik akan melewati proses materialisasi dan langsung dijalankan pada data sumber.
- Izin berbagi data diperlukan. Anda hanya dapat mengaktifkan materialisasi jika Anda mempublikasikan dengan izin data bersama. Anda tidak dapat mengaktifkannya saat mempublikasikan dengan izin data individual.
Tanya jawab umum
Pertanyaan berikut membahas perilaku materialisasi dataset, penyegaran, dan izin.
Apakah materialisasi mengubah metrik atau hasil saya?
Materialisasi mempertahankan logika kueri dataset, tetapi datanya mencerminkan pembaruan terbaru yang berhasil. Untuk tampilan metrik lokal, nilai pengukuran dihitung saat kueri dijalankan berdasarkan data yang dimaterialkan. Lihat apa yang terjadi.
Apa yang terjadi jika materialisasi belum siap atau tidak tersedia?
Jika materialisasi belum siap atau tidak tersedia saat waktu kueri, kueri akan mengembalikan kesalahan alih-alih melakukan kueri data langsung. Tunggu hingga materialisasi selesai, lalu jalankan ulang kueri.
Di mana data yang termaterialisasi disimpan?
Azure Databricks menyimpan data yang termaterialisasi dalam penyimpanan internal yang dikelola dan dijangkau ke dashboard yang Anda publikasikan. Tidak ada yang bisa Anda publikasikan ke Unity Catalog, dan tidak ada skema atau penyimpanan yang harus dikelola. Akses tetap mengikuti dashboard dan izin data yang mendasarinya.
Seberapa sering data yang termaterialisasi diperbarui?
Data yang dimaterialisasi akan diperbarui sesuai jadwal penyegaran dasbor. Lihat Atur jadwal penyegaran.
Komputasi apa yang digunakan oleh materialization?
Pembuatan awal dan penyegaran keduanya berjalan pada pipeline Lakeflow tanpa server yang dikelola oleh Azure Databricks. Inilah sebabnya komputasi serverless harus diaktifkan di workspace.
Apakah materialisasi memengaruhi izin?
No. Materialisasi tidak memberikan akses tambahan ke data. Access masih mengikuti konfigurasi berbagi dashboard dan izin yang digunakan untuk mempublikasikannya.
Apa yang terjadi saat saya menerbitkan ulang?
Materialisasi yang sudah ada dapat digunakan kembali ketika pengguna yang sama menerbitkan ulang dataset yang tidak berubah. Lihat Penggunaan kembali dan pembersihan. Aktifkan opsi Materialize datasets pada setiap publikasi.