Penyimpanan dan analisis kueri historis di Azure Synapse Analytics
Analisis kueri historis adalah salah satu kebutuhan penting teknisi data. Azure Synapse Analytics mendukung empat cara utama untuk menganalisis riwayat dan performa kueri. Cara tersebut meliputi Query Store, DMV, Azure Log Analytics, dan Azure Data Explorer.
Artikel ini akan menunjukkan kepada Anda cara menggunakan masing-masing opsi tersebut untuk kebutuhan Anda. Tinjau kasus penggunaan saat menganalisis riwayat kueri, dan metode terbaik untuk masing-masing.
| Kebutuhan pelanggan | Query Store | DMV | Analitik Log Azure | Azure Data Explorer |
|---|---|---|---|---|
| Solusi di luar kotak | Kebutuhan yang memungkinkan | ✔️ | Layanan tambahan diperlukan | Layanan tambahan diperlukan |
| Periode analisis yang lebih lama | 30 hari | Hingga 10000 baris riwayat | Dapat disesuaikan | Dapat disesuaikan |
| Ketersediaan metrik penting | Terbatas | ✔️ | Terbatas | Dapat disesuaikan |
| Gunakan SQL untuk analisis | ✔️ | ✔️ | KQL diperlukan | Dukungan SQL terbatas |
Query Store
Fitur Query Store memberikan wawasan tentang pilihan dan performa rencana kueri. Hal tersebut menyederhanakan pemecahan masalah performa dengan membantu Anda dengan cepat menemukan perbedaan performa yang disebabkan oleh perubahan rencana kueri.
Query Store tidak diaktifkan secara default untuk database Azure Synapse Analytics baru. Untuk mengaktifkan Query Store guna menjalankan perintah T-SQL berikut:
ALTER DATABASE <database_name>
SET QUERY_STORE = ON;
Contohnya:
ALTER DATABASE [SQLPOOL1]
SET QUERY_STORE = ON;
Anda dapat menjalankan audit kinerja dan pemecahan masalah terkait tugas dengan menemukan kueri yang terakhir dieksekusi, jumlah eksekusi, kueri terpanjang, kueri dengan prospek I/O fisik maksimum. Silakan lihat Kinerja Pemantauan Melalui Query Store sebagai kueri sampel.
Kelebihan:
- Penyimpanan hingga 30 hari untuk data kueri. Default 7 hari.
- Data dapat dikonsumsi dalam alat yang sama dengan tempat Anda menjalankan kueri.
Batasan Umum:
- Penyimpanan default data kueri historis lebih sedikit.
- Skenario untuk analisis terbatas di Query Store untuk Azure Synapse dibandingkan dengan menggunakan DMV.
DMV
Dynamic Management Views (DMV) sangat berguna ketika mengumpulkan informasi tentang waktu tunggu kueri, rencana eksekusi, memori, dll. Sangat disarankan untuk memberi label kueri yang Anda minati untuk melacak setelahnya. Contohnya:
-- Query with Label
SELECT *
FROM sys.tables
OPTION (LABEL = 'My Query');
Untuk informasi selengkapnya tentang pelabelan kueri Anda di Azure Synapse SQL, lihat Menggunakan label kueri Synapse SQL.
Untuk informasi selengkapnya tentang menggunakan DMV untuk memantau beban kerja Azure Synapse Analytics, lihat Memantau beban kerja kumpulan SQL khusus menggunakan DMV. Untuk dokumentasi tentang tampilan katalog khusus untuk Azure Synapse Analytics, lihat Azure Synapse Analytics Catalog Views.
Kelebihan:
- Data dapat dikonsumsi dalam alat kueri yang sama.
- DMV menyediakan pilihan yang luas untuk analisis.
Batasan Umum:
- DMV terbatas pada 10.000 baris entri historis.
- Tampilan diatur ulang saat kumpulan dijeda/dilanjutkan.
Log Analytics
Ruang kerja Log Analytics dapat dibuat dengan mudah di portal Microsoft Azure. Untuk petunjuk lebih lanjut tentang cara menyambungkan Synapse dengan Log Analytics, lihat Memantau beban kerja - portal Azure.
Seperti Azure Data Explorer, Log Analytics menggunakan Kusto Query Language (KQL). Untuk informasi selengkapnya tentang sintaks Kusto, lihat Gambaran umum kueri Kusto.
Seiring dengan periode retensi yang dapat dikonfigurasi, Anda memilih ruang kerja yang Anda targetkan secara khusus untuk kueri di Log Analytics. Log Analytics memberi Anda fleksibilitas untuk menyimpan data, menjalankan, dan menyimpan kueri.
Kelebihan:
- Azure Log Analytics memiliki kebijakan retensi log yang dapat disesuaikan
Batasan Umum:
- Menggunakan KQL menambah kurva belajar.
- Tampilan terbatas dapat keluar dari kotak.
Azure Data Explorer (ADX)
Azure Data Explorer (ADX) adalah layanan eksplorasi data terkemuka. Layanan ini dapat digunakan untuk menganalisis kueri historis dari Azure Synapse Analytics. Untuk menyiapkan alur Azure Data Factory (ADF) untuk menyalin dan menyimpan log ke ADX, lihat Menyalin data ke atau dari Azure Data Explorer. Di ADX, Anda dapat menjalankan kueri Kusto berperforma untuk menganalisis log Anda. Anda dapat menggabungkan strategi lain di sini, misalnya untuk kueri dan memuat output DMV ke ADX melalui ADF.
Kelebihan:
- ADX menyediakan kebijakan retensi log yang dapat disesuaikan.
- Eksekusi kueri berperforma terhadap sejumlah besar data, terutama kueri yang melibatkan pencarian string.
Batasan Umum:
- Menggunakan KQL menambah kurva belajar.