Memantau runtime integrasi dalam jaringan virtual terkelola

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Anda dapat menggunakan jaringan virtual terkelola Azure Data Factory untuk menyambungkan sumber data Anda dengan aman ke jaringan virtual yang dikelola layanan Data Factory. Dengan menggunakan kemampuan ini, Anda dapat membangun lingkungan privat dan terisolasi untuk proses integrasi dan orkestrasi data Anda.

Saat Anda menggunakan jaringan virtual terkelola, Anda menggabungkan kemampuan integrasi dan orkestrasi data di Data Factory dengan keamanan dan fleksibilitas jaringan virtual Azure. Ini memberdayakan Anda untuk membangun alur integrasi data yang kuat, dapat diskalakan, dan aman yang terhubung dengan lancar ke sumber daya jaringan Anda, baik di tempat maupun di cloud.

Salah satu masalah umum komputasi terkelola adalah kurangnya visibilitas ke dalam performa dan kesehatan, terutama dalam lingkungan jaringan virtual terkelola. Tanpa pemantauan yang tepat, mengidentifikasi dan menyelesaikan masalah menjadi tantangan dan dapat menyebabkan potensi penundaan, kesalahan, dan penurunan performa.

Dengan menggunakan pemantauan yang ditingkatkan di Data Factory, Anda dapat memperoleh wawasan berharga tentang proses integrasi data Anda. Wawasan ini dapat menyebabkan peningkatan efisiensi, pemanfaatan sumber daya yang lebih baik, dan peningkatan performa keseluruhan. Dengan pemantauan proaktif dan pemberitahuan tepat waktu, Anda dapat mengatasi masalah, mengoptimalkan alur kerja, dan memastikan kelancaran eksekusi alur integrasi data Anda dalam lingkungan jaringan virtual terkelola.

Metrik baru

Pengenalan metrik baru meningkatkan visibilitas dan kemampuan pemantauan dalam lingkungan jaringan virtual terkelola.

Azure Data Factory menyediakan tiga jenis kumpulan komputasi yang berbeda:

• Komputasi untuk aktivitas salin
• Komputasi untuk aktivitas alur, seperti pencarian
• Komputasi untuk aktivitas eksternal, seperti buku catatan Azure Databricks

Kumpulan komputasi ini menawarkan fleksibilitas dan skalabilitas untuk mengakomodasi berbagai beban kerja dan mengalokasikan sumber daya secara optimal. Masing-masing disesuaikan untuk menangani persyaratan eksekusi aktivitas tertentu.

Untuk membantu memastikan pemantauan yang konsisten dan komprehensif di semua kumpulan komputasi, kami telah menerapkan serangkaian metrik pemantauan yang sama:

• Pemanfaatan kapasitas
• Persentase kapasitas yang tersedia
• Panjang antrean menunggu

Terlepas dari jenis kumpulan komputasi yang Anda gunakan, Anda dapat mengakses dan menganalisis sekumpulan metrik standar untuk mendapatkan wawasan tentang performa dan kesehatan aktivitas integrasi data Anda.

Catatan

Metrik ini hanya valid saat Anda mengaktifkan time-to-live (TTL) dalam runtime integrasi dalam jaringan virtual terkelola.

Metric	Unit	Deskripsi
Pemanfaatan kapasitas salin runtime integrasi MVNet	Persen	Persentase maksimum pemanfaatan Integrasi Data Unit (DIU) untuk aktivitas salin TTL dalam runtime integrasi jaringan virtual terkelola dalam jangka waktu 1 menit.
Salin persentase kapasitas yang tersedia dari runtime integrasi MVNet	Persen	Persentase maksimum DIU yang tersedia untuk aktivitas penyalinan TTL dalam runtime integrasi jaringan virtual terkelola dalam jendela 1 menit.
Menyalin panjang antrean tunggu runtime integrasi MVNet	Hitung	Panjang antrean tunggu aktivitas salinan TTL dalam runtime integrasi jaringan virtual terkelola dalam jendela 1 menit.
Pemanfaatan kapasitas alur runtime integrasi MVNet	Persen	Persentase maksimum pemanfaatan DIU untuk aktivitas alur dalam runtime integrasi jaringan virtual terkelola dalam jendela 1 menit.
Persentase kapasitas alur yang tersedia dari runtime integrasi MVNet	Persen	Persentase maksimum DIU yang tersedia untuk aktivitas alur dalam runtime integrasi jaringan virtual terkelola dalam jendela 1 menit.
Panjang antrean tunggu alur runtime integrasi MVNet	Hitung	Panjang antrean tunggu aktivitas alur dalam runtime integrasi jaringan virtual terkelola dalam jangka waktu 1 menit.
Pemanfaatan kapasitas eksternal runtime integrasi MVNet	Persen	Persentase maksimum pemanfaatan DIU untuk aktivitas eksternal dalam runtime integrasi jaringan virtual terkelola dalam jendela 1 menit.
Persentase kapasitas eksternal yang tersedia dari runtime integrasi MVNet	Persen	Persentase maksimum DIU yang tersedia untuk aktivitas eksternal dalam runtime integrasi jaringan virtual terkelola dalam jendela 1 menit.
Panjang antrean tunggu eksternal runtime integrasi MVNet	Hitung	Panjang antrean tunggu aktivitas eksternal dalam runtime integrasi jaringan virtual terkelola dalam jendela 1 menit.

Untuk informasi selengkapnya tentang metrik ini, lihat Metrik yang didukung untuk Microsoft.DataFactory/factories.

Menggunakan metrik untuk pengoptimalan performa

Dengan menggunakan metrik, Anda dapat melacak dan menilai performa dan ketahanan runtime integrasi Anda dengan lancar dalam jaringan virtual terkelola. Anda juga dapat mengungkap area potensial untuk peningkatan berkelanjutan dengan mengoptimalkan pengaturan komputasi dan alur kerja untuk memaksimalkan efisiensi.

Untuk memberikan lebih banyak kejelasan tentang aplikasi praktis metrik ini, berikut adalah beberapa contoh skenario.

Seimbang

Jika Anda mengamati bahwa pemanfaatan kapasitas di bawah 100 persen dan persentase kapasitas yang tersedia tinggi, sumber daya komputasi yang Anda pesan sedang digunakan secara efisien.

Jika panjang antrean tunggu tetap rendah secara konsisten atau mengalami lonjakan pendek sesekali, kami menyarankan Anda untuk mengantre aktivitas lain sampai pemanfaatan kapasitas mencapai 100 persen. Pendekatan ini membantu memastikan pemanfaatan sumber daya yang optimal dan membantu mempertahankan alur kerja yang lancar dengan penundaan minimal.

Berorientasi pada performa

Jika Anda mengamati bahwa pemanfaatan kapasitas secara konsisten rendah, dan panjang antrean tunggu tetap rendah secara konsisten atau mengalami lonjakan pendek sesekali, sumber daya komputasi yang Anda pesan lebih tinggi dari permintaan aktivitas.

Dalam kasus seperti itu, terlepas dari apakah persentase kapasitas yang tersedia tinggi atau rendah, kami sarankan Anda mengurangi sumber daya komputasi yang dialokasikan untuk menurunkan biaya Anda. Dengan melakukan hak komputasi agar sesuai dengan persyaratan beban kerja, Anda dapat mengoptimalkan pemanfaatan sumber daya dan menghemat biaya tanpa mengorbankan efisiensi operasi Anda.

Berorientasi biaya

Jika Anda melihat bahwa semua metrik (termasuk pemanfaatan kapasitas, persentase kapasitas yang tersedia, dan panjang antrean tunggu) tinggi, sumber daya komputasi yang Anda pesan kemungkinan tidak cukup untuk aktivitas Anda.

Dalam skenario ini, kami sarankan Anda meningkatkan sumber daya komputasi yang dialokasikan untuk mengurangi waktu antrean. Menambahkan lebih banyak kapasitas komputasi membantu memastikan bahwa aktivitas Anda memiliki sumber daya yang memadai untuk berjalan secara efisien, yang meminimalkan keterlambatan yang disebabkan oleh antrean yang ramai.

Eksekusi aktivitas terputus-terputus

Jika Anda melihat bahwa Persentase Kapasitas yang Tersedia berfluktuasi antara rendah dan tinggi dalam periode waktu tertentu, kemungkinan karena eksekusi aktivitas Anda terputus-terputus, di mana periode Time-To-Live (TTL) yang telah Anda konfigurasi lebih pendek dari interval antara aktivitas Anda. Hal ini dapat berdampak signifikan pada performa alur kerja Anda. Untuk mengatasi masalah ini, ada dua kemungkinan solusi. Pertama, Anda dapat mengantre lebih banyak aktivitas untuk mempertahankan beban kerja yang konsisten dan menggunakan sumber daya komputasi yang tersedia dengan lebih efektif. Dengan menjaga komputasi terus terlibat, Anda dapat menghindari waktu pemanasan dan mencapai performa yang lebih baik. Atau, Anda dapat mempertimbangkan untuk memperbesar periode TTL agar selaras dengan interval antara aktivitas Anda. Ini memastikan bahwa sumber daya komputasi tetap tersedia untuk durasi yang lebih lama, mengurangi frekuensi periode pemanasan dan mengoptimalkan efisiensi biaya.

Dengan menerapkan salah satu solusi ini, Anda dapat meningkatkan performa alur kerja Anda, meminimalkan implikasi biaya, dan memastikan eksekusi aktivitas terputus-terputus yang lebih lancar.

Konten terkait

Lanjutkan ke artikel berikut untuk mempelajari tentang jaringan virtual terkelola dan titik akhir privat terkelola: Jaringan virtual terkelola Azure Data Factory.