Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Berlaku untuk:✅ Titik akhir analitik SQL dan Gudang di Microsoft Fabric
Artikel ini menjelaskan arsitektur dan manajemen beban kerja di Fabric Data Warehouse.
Pemrosesan data
Titik akhir analitik Warehouse dan SQL memiliki arsitektur pemrosesan yang mendasar yang sama. Saat Fabric mengambil atau menyerap data, mesin terdistribusi menangani data skala kecil dan besar dan fungsi komputasi.
Sistem pemrosesan ini bersifat tanpa server karena kapasitas komputasi backend dapat meningkat dan menurun secara otomatis untuk memenuhi tuntutan beban kerja.
Saat kueri dikirimkan, frontend SQL (FE) melakukan pengoptimalan kueri untuk menentukan rencana terbaik berdasarkan ukuran dan kompleksitas data. Setelah rencana dibuat, rencana diberikan ke mesin Pemrosesan Kueri Terdistribusi (DQP). DQP mengatur eksekusi kueri terdistribusi dengan membaginya menjadi kueri yang lebih kecil yang dijalankan pada simpul komputasi backend. Setiap kueri kecil adalah tugas dan mewakili unit eksekusi terdistribusi. Ini membaca file dari OneLake, menggabungkan hasil dari tugas lain, mengelompokkan, atau mengurutkan data yang diambil dari tugas lain. Untuk pekerjaan pemrosesan data, sistem juga menulis data ke tabel tujuan yang tepat.
Ketika data diproses, hasil dikembalikan ke frontend SQL untuk melayani kembali kepada pengguna atau aplikasi panggilan.
Elastisitas dan ketahanan
Kapasitas komputasi backend mendapat manfaat dari arsitektur provisi yang cepat. Meskipun tidak ada SLA (Service Level Agreement) pada penetapan sumber daya, biasanya node baru diperoleh dalam beberapa detik. Ketika permintaan sumber daya meningkat, beban kerja baru menggunakan kapasitas yang telah diperluas. Penskalakan adalah operasi online dan pemrosesan kueri tidak terganggu.
Sistem ini toleran terhadap kesalahan dan jika node menjadi tidak sehat, operasi yang dijalankan pada node didistribusikan ulang ke node yang sehat untuk penyelesaian.
Titik akhir analitik Gudang dan SQL menyediakan kapasitas burstable yang memungkinkan beban kerja menggunakan lebih banyak sumber daya untuk mencapai performa yang lebih baik, dan menggunakan smoothing untuk menawarkan kelegaan bagi pelanggan yang membuat lonjakan mendadak selama waktu sibuk mereka dan memiliki kapasitas menganggur yang tidak digunakan di lain waktu. Smoothing menyederhanakan manajemen kapasitas dengan menyebarkan evaluasi komputasi untuk memastikan bahwa pekerjaan pelanggan berjalan lancar dan efisien.
Penjadwalan dan pengalokasian sumber daya
Penjadwal pemrosesan kueri terdistribusi beroperasi pada tingkat tugas . Kueri diwakili oleh penjadwal sebagai grafik asiklik terarah (DAG) tugas. Konsep ini sudah tidak asing bagi pengguna Spark. DAG memungkinkan paralelisme dan konkurensi karena tugas yang tidak bergantung satu sama lain dapat dijalankan secara bersamaan atau tidak berurutan.
Saat kueri tiba, tugas mereka dijadwalkan sesuai prinsip first-in-first-out (FIFO). Jika ada kapasitas menganggur, penjadwal mungkin menggunakan pendekatan "paling cocok" untuk mengoptimalkan konkurensi.
Ketika penjadwal mengidentifikasi tekanan terkait sumber daya, ia akan menjalankan operasi skala. Penskalaan dikelola secara otonom dan topologi backend tumbuh seiring meningkatnya konkurensi. Karena dibutuhkan beberapa detik untuk memperoleh simpul, sistem tidak dioptimalkan untuk performa kueri subdetik yang konsisten yang memerlukan pemrosesan terdistribusi.
Ketika tekanan mereda, topologi backend mengecilkan skala dan mengembalikan sumber daya ke wilayah tersebut.
Isolasi kumpulan komputasi
Berlaku pada:✅ Gudang di Microsoft Fabric
SKU kapasitas yang ditetapkan ke ruang kerja menentukan total daya komputasi yang tersedia untuk titik akhir analitik SQL tersebut. Komputasi ini dibagi secara merata (50/50) menjadi dua kumpulan sumber daya terisolasi untuk digunakan kueri pengguna:
-
Select Pool - Menangani semua
SELECTkueri. -
Kumpulan Non-SELECT - Menangani semua non-kueri
SELECT, seperti operasi ETL atau penyerapan.
Setiap kumpulan diskalakan secara independen berdasarkan permintaan kueri tetapi tidak pernah melebihi 50% dari total komputasi untuk titik akhir analitik SQL. Pemisahan ini mencegah kontensi sumber daya, memastikan beban kerja penyerapan berjalan pada komputasi khusus yang dioptimalkan untuk tugas ETL tanpa memengaruhi kueri baca. Hasilnya adalah peningkatan performa dan keandalan untuk kedua jenis kueri.
Catatan
Isolasi kolam SELECT dan non-kolamSELECT merupakan pengaturan manajemen beban kerja otonom default yang diterapkan pada setiap ruang kerja. Namun, administrator ruang kerja dapat menyesuaikan ini dengan menggunakan kumpulan SQL kustom.
Sesi
Titik akhir analitik Gudang dan SQL memiliki batas sesi pengguna 2048 per ruang kerja. Ketika batas ini tercapai, kesalahan akan dikembalikan: The user session limit for the workspace is 2048 and has been reached.
Catatan
Karena Microsoft Fabric adalah platform SaaS, ada banyak koneksi sistem yang berjalan untuk terus mengoptimalkan lingkungan. DMV menampilkan kedua jenis sesi, baik untuk sistem maupun pengguna. Untuk informasi selengkapnya, lihat Memantau koneksi, sesi, dan permintaan menggunakan DMV.
Praktik terbaik
Ruang kerja Microsoft Fabric menyediakan batas isolasi alami dari sistem komputasi terdistribusi. Beban kerja dapat memanfaatkan batas ini untuk mengelola biaya dan performa.
OneLake shortcuts dapat digunakan untuk membuat replika tabel baca-saja di ruang kerja lain untuk mendistribusikan beban kerja ke berbagai mesin SQL, menciptakan batas isolasi. Ini dapat secara efektif meningkatkan jumlah maksimum sesi yang melakukan kueri hanya baca.
