Cache di memori dan disk

Berlaku untuk:✅ Titik akhir analitik SQL dan Gudang di Microsoft Fabric

Mengambil data dari data lake adalah operasi input/output (IO) penting dengan implikasi besar untuk performa kueri. Fabric Data Warehouse menggunakan pola akses yang disempurnakan untuk meningkatkan pembacaan data dari penyimpanan dan meningkatkan kecepatan eksekusi kueri. Selain itu, ia dengan cerdas meminimalkan kebutuhan akan pembacaan penyimpanan jarak jauh dengan memanfaatkan cache lokal.

Penembolokan adalah teknik yang meningkatkan performa aplikasi pemrosesan data dengan mengurangi operasi input dan output. Penyekatan menyimpan data dan metadata yang sering diakses dalam lapisan penyimpanan yang lebih cepat, seperti memori lokal atau disk SSD lokal, sehingga permintaan berikutnya dapat diproses lebih cepat, langsung dari penyekatan. Jika sekumpulan data tertentu sebelumnya telah diakses oleh kueri, kueri berikutnya mengambil data tersebut langsung dari cache dalam memori. Pendekatan ini secara signifikan mengurangi latensi IO, karena operasi memori lokal jauh lebih cepat dibandingkan dengan mengambil data dari penyimpanan jarak jauh.

Penyelipan dalam memori dan penyimpanan disk di Fabric Data Warehouse sepenuhnya transparan bagi pengguna. Terlepas dari asalnya, apakah itu tabel gudang, pintasan OneLake, atau bahkan pintasan OneLake yang mereferensikan ke layanan non-Azure, kueri menyimpan semua data yang diaksesnya.

Ada dua jenis cache yang dijelaskan nanti dalam artikel ini, cache dalam memori dan cache disk. Penyimpanan set hasil dibahas di artikel lain.

Cache dalam memori

Saat kueri mengakses dan mengambil data dari penyimpanan, kueri melakukan proses transformasi yang mentranskode data dari format berbasis file aslinya ke dalam struktur yang sangat dioptimalkan dalam cache dalam memori.

Data dalam cache diatur dalam format kolom terkompresi yang dioptimalkan untuk kueri analitik. Setiap kolom data disimpan bersama dalam setiap kolom, terpisah dari kolom lainnya, memungkinkan kompresi yang lebih baik karena nilai data serupa disimpan bersama, mengakibatkan penggunaan memori yang lebih sedikit. Saat kueri perlu melakukan operasi pada kolom tertentu seperti agregat atau pemfilteran, mesin dapat bekerja lebih efisien karena tidak perlu memproses data yang tidak perlu dari kolom lain.

Selain itu, penyimpanan kolumnar ini juga kondusif untuk pemrosesan paralel, yang dapat secara signifikan mempercepat eksekusi kueri untuk himpunan data besar. Mesin dapat melakukan operasi pada beberapa kolom secara bersamaan, memanfaatkan prosesor multi-core modern.

Pendekatan ini sangat bermanfaat untuk beban kerja analitik di mana kueri melibatkan pemindaian data dalam jumlah besar untuk melakukan agregasi, pemfilteran, dan manipulasi data lainnya.

Cache disk

Himpunan data tertentu terlalu besar untuk diakomodasi dalam cache dalam memori. Untuk mempertahankan performa kueri yang cepat untuk himpunan data ini, Gudang menggunakan ruang disk sebagai ekstensi pelengkap ke cache dalam memori. Informasi apa pun yang dimuat ke dalam cache dalam memori juga diserialisasikan ke cache SSD.

Mengingat bahwa cache dalam memori memiliki kapasitas yang lebih kecil dibandingkan dengan cache SSD, data yang dihapus dari cache dalam memori tetap berada dalam cache SSD untuk jangka waktu yang lama. Ketika kueri berikutnya meminta data ini, data tersebut diambil dari cache SSD ke dalam cache dalam memori secara signifikan lebih cepat dibandingkan jika diambil dari penyimpanan jarak jauh, sehingga akhirnya memberikan Anda kinerja kueri yang lebih konsisten.

Manajemen cache

Penembolokan tetap aktif secara konsisten dan beroperasi dengan mulus di latar belakang, tanpa membutuhkan intervensi dari pihak Anda. Menonaktifkan cache tidak diperlukan, karena ini pasti akan menyebabkan penurunan kinerja kueri yang nyata.

Mekanisme penyimpanan sementara diorkestrasi dan ditegakkan oleh Microsoft Fabric itu sendiri, dan tidak menawarkan kepada pengguna kemampuan untuk menghapus cache secara langsung.

Konsistensi transaksional cache penuh memastikan bahwa setiap modifikasi pada data dalam penyimpanan, seperti melalui operasi Bahasa Manipulasi Data (DML), setelah awalnya dimuat ke dalam cache dalam memori, akan menghasilkan data yang konsisten.

Ketika cache mencapai ambang kapasitasnya dan data baru sedang dibaca untuk pertama kalinya, objek yang tetap tidak digunakan selama durasi terpanjang akan dihapus dari cache. Proses ini diberlakukan untuk menciptakan ruang untuk masuknya data baru dan mempertahankan strategi pemanfaatan cache yang optimal.

Konten terkait

• Penembolokan tataan hasil
• Panduan performa Gudang Data Fabric