Pengoptimalan dan penembolokan himpunan data
Dasbor AI/BI adalah analisis data yang berharga dan alat pengambilan keputusan, dan waktu muat yang efisien dapat secara signifikan meningkatkan pengalaman pengguna. Artikel ini menjelaskan bagaimana penembolokan dan pengoptimalan himpunan data membuat dasbor lebih berkinerja dan efisien.
Performa Kueri
Anda dapat memeriksa kueri dan performanya dalam riwayat kueri ruang kerja. Riwayat kueri menunjukkan kueri SQL dilakukan menggunakan gudang SQL. Klik 
Riwayat Kueri di bar samping untuk menampilkan riwayat kueri. Lihat Riwayat kueri.
Untuk himpunan data dasbor, Azure Databricks menerapkan pengoptimalan performa tergantung pada ukuran hasil himpunan data.
Pengoptimalan himpunan data
Himpunan data dasbor AI/BI mencakup pengoptimalan performa berikut:
- Jika ukuran hasil himpunan data kecil (kurang dari atau sama dengan baris 100K atau 100MB, mana yang lebih kecil), hasil himpunan data ditarik ke klien, dan pemfilteran dan agregasi khusus visualisasi dilakukan di browser. Pemfilteran dan agregasi data untuk himpunan data kecil sangat cepat, dan memastikan bahwa himpunan data Anda kecil dapat membantu Anda mengoptimalkan performa dasbor. Dengan himpunan data kecil, hanya kueri himpunan data yang muncul dalam riwayat kueri.
- Jika ukuran hasil himpunan data besar (lebih besar dari 100K baris atau 100MB), teks kueri himpunan data dibungkus dalam klausa SQL
WITH, dan pemfilteran dan agregasi khusus visualisasi dilakukan dalam kueri pada backend daripada di browser. Dengan himpunan data besar, kueri visualisasi muncul dalam riwayat kueri. - Untuk kueri visualisasi yang dikirim ke backend, kueri visualisasi terpisah terhadap himpunan data yang sama yang berbagi klausa yang sama
GROUP BYdan predikat filter digabungkan ke dalam satu kueri untuk diproses. Dalam hal ini, pengguna mungkin melihat satu kueri gabungan dalam riwayat kueri yang mengambil hasil untuk beberapa visualisasi.
Penembolokan dan kesegaran data
Dasbor mempertahankan cache hasil 24 jam untuk mengoptimalkan waktu pemuatan awal, beroperasi berdasarkan upaya terbaik. Ini berarti bahwa meskipun sistem selalu mencoba menggunakan hasil kueri historis yang ditautkan ke kredensial dasbor untuk meningkatkan performa, ada beberapa kasus di mana hasil cache tidak dapat dibuat atau dipertahankan. Data yang di-cache tidak memiliki batas memori tertentu atau jumlah kueri tetap.
Untuk dasbor multi-halaman, berikut ini berlaku:
- Mengedit dasbor draf memuat dan menyimpan semua himpunan data.
- Saat penonton membuka dasbor yang diterbitkan, hanya himpunan data yang mendukung halaman aktif yang dijalankan dan di-cache.
- Jika jadwal diatur, semua himpunan data di-refresh sesuai dengan jadwal, dan hasilnya di-cache.
Tabel berikut menjelaskan bagaimana penembolokan bervariasi menurut status dan kredensial dasbor:
| Tipe dasbor | Jenis penembolokan |
|---|---|
| Dasbor yang diterbitkan dengan kredensial yang disematkan | Cache bersama. Semua penonton melihat hasil yang sama. |
| Dasbor draf atau dasbor yang diterbitkan tanpa kredensial yang disematkan | Cache per pengguna. Penonton melihat hasil berdasarkan izin data mereka. |
Dasbor secara otomatis menggunakan hasil kueri yang di-cache jika data yang mendasar tetap tidak berubah setelah kueri terakhir atau jika hasil diambil kurang dari 24 jam yang lalu. Jika ada hasil kedaluarsa dan parameter diterapkan ke dasbor, kueri akan dieksekusi ulang kecuali parameter yang sama digunakan dalam 24 jam terakhir. Demikian pula, menerapkan filter ke himpunan data yang melebihi 100.000 baris meminta kueri untuk dijalankan kembali kecuali filter yang sama sebelumnya diterapkan dalam 24 jam terakhir.
Kueri terjadwal
Menambahkan jadwal ke dasbor yang diterbitkan dengan kredensial yang disematkan dapat secara signifikan mempercepat proses pemuatan awal untuk semua penampil dasbor.
Untuk setiap pembaruan dasbor terjadwal, hal berikut ini terjadi:
- Semua logika SQL yang menentukan himpunan data berjalan pada interval waktu yang ditentukan.
- Hasil mengisi cache hasil kueri dan membantu meningkatkan waktu pemuatan dasbor awal.