Pengoptimalan dan penyimpanan sementara himpunan data

Dasbor AI/BI adalah analisis data yang berharga dan alat pengambilan keputusan, dan waktu muat yang efisien dapat secara signifikan meningkatkan pengalaman pengguna. Artikel ini menjelaskan bagaimana penyimpanan cache dan pengoptimalan himpunan data meningkatkan kinerja dan efisiensi dasbor.

Kinerja kueri

Anda dapat memeriksa kueri dan kinerjanya dalam riwayat kueri di ruang kerja. Riwayat kueri memperlihatkan kueri SQL yang dilakukan menggunakan gudang SQL. Klik Riwayat Kueri di bilah samping untuk menampilkan riwayat kueri. Lihat Riwayat kueri.

Untuk himpunan data dasbor, Azure Databricks menerapkan pengoptimalan performa tergantung pada ukuran hasil himpunan data. Untuk informasi tentang ambang batas performa himpunan data, lihat Ambang performa himpunan data.

Pengoptimalan himpunan data

Dasbor Anda mengoptimalkan kecepatan dengan melakukan operasi pemfilteran dan agregasi, yang didorong oleh filter atau pengaturan visualisasi, langsung di browser Anda jika memungkinkan. Pengoptimalan performa ini memiliki batas berikut:

Ukuran Himpunan Data	Perilaku Pemrosesan
Kecil (≤ 100K baris dan ≤ 100MB)	Untuk kecepatan dasbor yang optimal, pemfilteran dan agregasi berjalan di browser Anda setelah himpunan data awal dimuat. Karena operasi ini diproses secara lokal, operasi tersebut menghindari interaksi lebih lanjut dengan gudang data dan tidak muncul dalam riwayat kueri.
Besar (> 100K baris atau > 100MB)	Pemfilteran dan agregasi ditangani di server backend alih-alih di browser Anda. Kueri himpunan data awal dibungkus dalam klausa SQL WITH , dan kueri yang dihasilkan muncul dalam riwayat kueri.
Kueri gabungan (himpunan data besar)	Untuk kueri visualisasi yang dikirim ke backend, kueri visualisasi terpisah terhadap himpunan data yang sama yang berbagi klausa yang sama GROUP BY dan predikat filter digabungkan ke dalam satu kueri untuk diproses. Dalam hal ini, pengguna mungkin melihat kueri gabungan dalam riwayat kueri yang mengambil hasil untuk beberapa visualisasi atau filter.

Nota

Parameter mengganti nilai langsung ke kueri saat runtime, sehingga operasi ini selalu muncul dalam riwayat kueri.

Cache dan kesegaran data

Dasbor mempertahankan cache hasil selama 24 jam untuk mengoptimalkan waktu pemuatan awal, beroperasi dengan upaya semaksimal mungkin. Ini berarti bahwa meskipun sistem selalu mencoba menggunakan hasil kueri historis yang ditautkan ke kredensial dasbor untuk meningkatkan performa, ada beberapa kasus di mana hasil cache tidak dapat dibuat atau dipertahankan. Data yang di-cache tidak memiliki batas memori tertentu atau jumlah kueri tetap.

Untuk meningkatkan waktu muat, dasbor memeriksa cache dasbor terlebih dahulu. Jika tidak ada hasil cache yang tersedia, mereka memeriksa cache hasil kueri generik. Meskipun cache dasbor dapat mengembalikan hasil kedaluarsa hingga 24 jam, cache hasil kueri tidak pernah mengembalikan data kedaluarsa. Saat data yang mendasar berubah, semua entri cache hasil kueri tidak valid.

Untuk dasbor multi-halaman, berikut ini berlaku:

• Mengedit dasbor draf memuat dan menyimpan semua himpunan data.
• Ketika penonton membuka dasbor yang diterbitkan, hanya himpunan data yang mendukung halaman aktif yang dijalankan dan disimpan dalam cache.
• Jika jadwal diatur, semua himpunan data di-refresh sesuai dengan jadwal, dan hasilnya di-cache.

Tabel berikut menjelaskan bagaimana cache bervariasi berdasarkan status dan identitas pengguna dasbor.

Tipe dasbor	Jenis caching
Dasbor diterbitkan dengan izin berbagi data.	Cache bersama. Semua penonton melihat hasil yang sama.
Dasbor draf atau dasbor yang diterbitkan dengan izin data individual	Cache per pengguna. Penonton melihat hasil berdasarkan izin data mereka.

Dasbor secara otomatis menggunakan hasil kueri yang di-cache jika data yang mendasar tetap tidak berubah setelah kueri terakhir atau jika hasil diambil kurang dari 24 jam yang lalu. Jika ada hasil kedaluarsa dan parameter diterapkan ke dasbor, kueri akan dieksekusi ulang kecuali parameter yang sama digunakan dalam 24 jam terakhir. Demikian pula, menerapkan filter ke himpunan data yang melebihi 100.000 baris meminta kueri untuk dijalankan kembali kecuali filter yang sama sebelumnya diterapkan dalam 24 jam terakhir.

Fungsi tanda waktu saat ini dan invalidasi cache

Menggunakan current_timestamp() atau fungsi serupa dalam kueri SQL Anda tidak membatalkan cache tingkat dasbor. Namun, fungsi-fungsi ini membatalkan cache hasil kueri, yang memeriksa kueri SQL, dan memicu refresh cache.

Kueri terjadwal

Menambahkan jadwal ke dasbor yang diterbitkan dengan izin data bersama dapat mempercepat proses pemuatan awal secara signifikan untuk semua penampil dasbor.

Untuk setiap pembaruan dasbor terjadwal, hal berikut ini terjadi:

• Semua logika SQL yang menentukan himpunan data berjalan pada interval waktu yang ditentukan.
• Hasil mengisi cache hasil kueri dan membantu meningkatkan waktu pemuatan dasbor awal.