Merencanakan, menskalakan, dan memelihara solusi gateway penting bisnis
Artikel ini ditujukan bagi siapa saja yang berencana untuk menyebarkan gateway data lokal dalam skenario penting bagi bisnis. Gateway data lokal sangat penting bagi bisnis jika penting untuk pengoperasian normal bisnis Anda dan menangani data penting bisnis.
Jika gateway penting bisnis tidak dikelola dengan benar, Anda mungkin mengalami kueri yang gagal atau performa lambat. Saat Anda merencanakan, menskalakan, dan memelihara solusi gateway penting bisnis dengan benar, kemungkinan masalah yang berdampak pada bisnis dapat diminimalkan.
Terminologi
Istilah penting berikut digunakan di seluruh artikel ini:
- Gateway: Aplikasi gateway data lokal yang diinstal di komputer.
- Server gateway: Komputer Windows (komputer virtual atau komputer/server fisik) yang menginstal aplikasi gateway data lokal.
- Kluster gateway: Sekumpulan gateway yang bekerja sama (dan mungkin seimbang bebannya).
- Anggota gateway: Gateway yang merupakan bagian dari kluster gateway.
Gambar berikut menunjukkan hubungan antara konsep yang ditentukan di atas.
Rekomendasi untuk gateway yang penting bagi bisnis
Untuk gateway yang penting bagi bisnis, gateway perlu disebarkan dan dikelola dengan benar untuk memastikan ketersediaan tinggi, performa yang baik, dan skalabilitas yang dapat dipertahankan. Menyebarkan gateway dengan tidak benar dapat mengakibatkan performa yang buruk, kueri yang gagal, dan kesulitan dalam mendiagnosis potensi masalah. Ini mungkin juga menghambat kemampuan Anda untuk meningkatkan dan memperluas skala gateway saat penggunaan tumbuh.
Untuk memastikan skalabilitas, performa, dan throughput yang optimal, ikuti rekomendasi di bagian berikutnya.
Mengetahui semua kunci pemulihan gateway Anda
Pastikan bahwa semua kunci pemulihan gateway diketahui dan disimpan di tempat yang aman. Tanpa kunci pemulihan, gateway tidak dapat dipulihkan atau diturunkan. Batasan ini adalah berdasarkan desain. Jika Anda kehilangan kunci pemulihan, satu-satunya opsi adalah membuat gateway baru dan membuat ulang sumber data. Selain itu, Anda tidak dapat menambahkan gateway baru ke kluster tanpa kunci pemulihan, yang akan membatasi skalabilitas di masa mendatang.
Simpan kunci pemulihan Anda di tempat yang aman sama seperti Anda akan menyimpan kredensial administratif, seperti brankas kata sandi, yang hanya dapat diakses oleh administrator yang berwenang.
Jika saat ini Anda tidak mengetahui semua kunci pemulihan gateway Anda, ini adalah risiko bisnis yang signifikan. Segera buat kluster gateway baru dan mulai migrasikan beban kerja ke kluster gateway.
Beban kerja pengembangan dan beban kerja penting bisnis
Pisahkan beban kerja pengembangan dari yang penting bagi bisnis dengan menyiapkan satu atau beberapa kluster gateway pengembangan dan satu atau beberapa kluster gateway produksi seperti yang dijelaskan di bawah ini.
Gunakan kluster gateway pengembangan untuk menguji model semantik baru, laporan, kueri, dan sebagainya. Setelah beban kerja baru diverifikasi, migrasikan ke kluster gateway yang penting bagi bisnis. Proses ini mencegah beban kerja baru, belum diutes, atau eksperimental memiliki dampak performa pada beban kerja produksi.
Gunakan juga kluster gateway pengembangan Anda untuk menguji pembaruan gateway baru sebelum menerapkan pembaruan ke kluster gateway penting bisnis Anda. Pembaruan gateway baru harus disebarkan selama minimal 24 jam dalam kluster gateway pengembangan sebelum digunakan pada kluster gateway penting bisnis.
Menggunakan beberapa kluster gateway
Jika Anda membuat kluster gateway untuk sejumlah besar pengguna di organisasi Anda, Anda perlu membuat beberapa kluster gateway berdasarkan unit bisnis atau lebih kecil untuk membatasi dampak performa potensial ke subset kecil pengguna.
Kami tidak menyarankan agar satu kluster gateway bisnis penting digunakan untuk seluruh perusahaan (kecuali perusahaan kecil). Dalam skenario kluster gateway tunggal, satu pengguna dapat dengan jelas mengirim kueri yang menyebabkan dampak performa yang signifikan ke semua lalu lintas di seluruh gateway. Jika gateway digunakan di seluruh perusahaan, dampak performa dapat memengaruhi seluruh perusahaan. Selain itu, ketika kluster gateway digunakan di seluruh perusahaan, mungkin lebih sulit bagi Anda untuk mengidentifikasi kueri mana yang mungkin menyebabkan masalah performa saat menggunakan fitur pemantauan performa gateway.
Menggunakan fitur ketersediaan tinggi gateway dan penyeimbangan beban
Selalu gunakan fitur ketersediaan tinggi gateway dan penyeimbangan beban untuk kluster gateway penting bisnis apa pun.
- Ketersediaan tinggi: Menghilangkan satu titik kegagalan.
- Penyeimbangan beban: Secara otomatis mendistribusikan beban kerja di semua server gateway dalam kluster.
Siapkan minimal dua gateway per kluster gateway jika gateway offline karena alasan apa pun. Penyiapan ini memastikan bahwa kegagalan gateway tunggal tidak menyebabkan seluruh kluster gateway gagal. Selain itu, batas CPU, memori, konkurensi dapat diaktifkan pada gateway untuk mendistribusikan beban dengan lebih baik di seluruh kluster gateway.
Merencanakan dan memelihara skalabilitas kluster gateway
Menyiapkan kluster gateway menggunakan panduan perangkat keras dan perangkat lunak yang direkomendasikan memastikan kluster berjalan dengan performa yang baik. Gateway yang tidak diskalakan dengan benar dapat mengakibatkan performa yang buruk. Ada banyak faktor yang harus Anda pertimbangkan untuk memiliki performa yang baik pada kluster gateway Anda.
Menentukan spesifikasi perangkat keras server gateway
Spesifikasi server gateway (CPU, memori, disk, dan sebagainya) adalah faktor penting, seperti dalam kebanyakan kasus, transformasi Power Query diterapkan ke data di server gateway. Dengan demikian, server gateway harus memiliki sumber daya, memori, dan daya pemrosesan yang cukup untuk menangani semua transformasi data.
Ketika Anda perlu memilih ukuran server, ada dua metrik yang paling penting: Memori dan CPU. Anda memerlukan daya memori dan CPU yang cukup untuk memproses langkah-langkah transformasi data Power Query di gateway. Penting bahwa server gateway Anda cukup kuat untuk memproses beban kerja tertinggi yang Anda miliki. Jika server gateway tidak dapat menangani beban kerja, kueri langsung atau refresh data Anda akan gagal. Penting juga untuk memahami berapa banyak kueri yang dijalankan secara bersamaan.
Opsi kueri yang berbeda ini memiliki efek yang berbeda pada server gateway Anda.
| Jenis Kueri | Faktor Batas |
|---|---|
| Impor | Memori |
| DirectQuery | CPU |
| LiveConnect | CPU |
Selama impor, seluruh kumpulan data perlu dikueri dan diproses, yang merupakan tugas berat memori. Importasi ini sering membutuhkan waktu yang lebih lama juga. DirectQueries dan Live Koneksi ions biasanya berat CPU. Dalam kebanyakan kasus, kueri langsung dijalankan berkali-kali untuk memproses hanya sebagian kecil data. Karena hanya sebagian kecil data yang diproses, kueri langsung ini biasanya bukan tugas berat memori. Namun, karena kueri dieksekusi berkali-kali sesuai permintaan, ini bisa menjadi CPU intensif.
Bergantung pada beban kerja Anda, pertimbangkan untuk mengoptimalkan server gateway Anda untuk memori atau CPU.
Kapan harus menskalakan kluster gateway
Penskalaan adalah aspek penting dari kluster gateway yang penting bagi bisnis. Saat penggunaan Anda dengan kluster gateway tumbuh, kluster gateway perlu ditingkatkan dan/atau diskalakan untuk memastikan performa yang baik. Kami menyarankan agar Anda mulai menskalakan kluster gateway jika sebelumnya Anda telah meningkatkan gateway di kluster.
Menskalakan dan mendistribusikan beban lalu lintas di seluruh simpul individual dalam kluster adalah proses kompleks yang bervariasi tergantung pada setiap skenario individu. Meskipun tidak ada model pasti untuk memastikan bahwa semua lalu lintas gateway akan diprediksi dilayankan, batas yang tercantum di bawah ini menunjukkan kebutuhan penskalaan. Secara umum, kami sarankan untuk menskalakan keluar (menambahkan simpul ke kluster) lebih disukai untuk meningkatkan skala (meningkatkan ruang CPU, RAM, atau disk pada node individual). Penskalaan keluar cenderung lebih efektif secara keseluruhan dalam kemampuan sistem secara keseluruhan untuk menangani lalu lintas ekstra. Perluasan skala juga berdampak positif pada total bandwidth yang dapat diproses kluster, sedangkan peningkatan skala umumnya tidak. Ketika satu atau beberapa simpul gateway menunjukkan indikasi mencapai ambang yang dijelaskan di bawah ini, perluasan skala kluster harus sangat dipertimbangkan.
CPU: CPU di atas 80% untuk jangka waktu yang lama, namun lonjakan singkat sesekali (di bawah 5 menit) yang memaksimalkan CPU tidak abnormal.
RAM: Memori yang tersedia di bawah 20% secara teratur.
Disk: Ruang disk kosong sering berkurang di bawah 5 GB. Dip ini juga dapat menunjukkan kebutuhan untuk mengonfigurasi direktori penembolokan atau spooling secara lebih strategis.
Konkurensi: Menjalankan lebih dari 40 kueri secara bersamaan pada satu simpul.
Karena refresh dan kueri yang didistribusikan di seluruh simpul gateway dapat memiliki profil yang sangat berbeda, kami juga menyarankan pengamatan ekstra ditempatkan pada pekerjaan yang berjalan lama atau intensif memori. Pengoptimalan kueri dalam kasus seperti itu dapat berdampak besar pada performa dan skalabilitas, tidak hanya untuk laporan dan refresh individu, tetapi pada sistem secara keseluruhan. Sebaiknya isolasi refresh yang dimaksud ke satu kluster gateway khusus untuk mengevaluasi karakteristik performa dan melakukan pengoptimalan menggunakan diagnostik rencana kueri, indikator lipatan, dan semua rekomendasi performa yang diterbitkan lainnya. Isolasi ini meminimalkan jumlah data yang diambil dan jumlah pasca-pemrosesan yang diperlukan. Isolasi ini juga dapat digunakan sebagai strategi jangka panjang untuk mengurutkan pekerjaan ETL yang berjalan lama ke kluster gateway khusus untuk mengurangi ketidakcocokan dengan refresh khas lainnya di seluruh organisasi.
Meningkatkan skala kluster gateway
Peningkatan skala adalah ketika Anda meningkatkan spesifikasi (CPU, memori, disk, dan sebagainya) server gateway Anda.
Peningkatan skala mungkin diperlukan jika CPU atau memori maksimum tercapai saat gateway menjalankan satu atau beberapa kueri. Kueri hanya dapat dijalankan di satu server gateway, itulah sebabnya server gateway harus memiliki sumber daya yang cukup yang tersedia untuk memproses seluruh kueri bersama dengan data yang dihasilkan.
Menskalakan kluster gateway
Penskalaan keluar diperlukan jika server gateway sudah memiliki spesifikasi tinggi (dengan kata lain, server gateway telah ditingkatkan skalanya), atau Anda telah mencapai batas apa yang dapat dikelola server gateway tunggal karena jumlah kueri bersamaan yang dijalankan. Peningkatan beban berbasis luas di seluruh set anggota gateway adalah indikasi yang baik bahwa penskalaan kluster dengan menambahkan simpul adalah tindakan yang benar. Kapan harus menskalakan kluster gateway menyediakan ambang batas tertentu yang menunjukkan kapan saatnya untuk menskalakan. Untuk informasi selengkapnya tentang penskalaan, buka Menggunakan fitur ketersediaan tinggi dan penyeimbangan beban gateway.
Menskalakan dengan membuat kluster gateway baru
Jika penggunaan sumber daya kluster gateway Anda tinggi atau jumlah pengguna yang sangat besar mengandalkan kluster gateway, kluster gateway baru dapat dibuat. Subset beban kerja kemudian dapat dimigrasikan ke kluster gateway baru. Ketika sejumlah besar pengguna mengandalkan satu kluster gateway, kemungkinan pengguna dapat mengirim kueri yang menyebabkan dampak performa signifikan di seluruh kluster gateway meningkat secara signifikan.
Sejumlah besar pengguna yang mengandalkan satu kluster gateway adalah indikator bahwa kluster gateway baru harus dibuat.
Memantau dan memecahkan masalah performa gateway
Penting untuk memantau performa keseluruhan gateway penting bisnis menggunakan fitur pemantauan performa gateway. Anda juga dapat menggunakan fitur ini untuk memecahkan masalah performa, mengidentifikasi hambatan, dan mengidentifikasi kueri yang memengaruhi performa gateway secara keseluruhan. Fitur ini juga merupakan alat penting dalam membantu Anda menentukan kapan harus menskalakan kluster gateway.
Jika Anda mengidentifikasi kueri yang berdampak berat pada gateway yang mengakibatkan performa keseluruhan yang buruk, Anda mungkin dapat menulis ulang kueri agar lebih efisien dan meminimalkan dampak performa.
Jika Microsoft mengidentifikasi performa buruk yang disebabkan oleh gateway atau komponen terkait gateway, seperti Kapasitas Premium Power BI yang kelebihan beban, komponen yang kelebihan beban harus diperbaiki dengan menskalakan atau mengurangi beban. Microsoft tidak menyelidiki performa yang buruk saat gateway atau komponen terkait gateway kelebihan beban.