Aturan pengumpulan data (DCR) di Azure Monitor
Aturan pengumpulan data (DCR) adalah bagian dari proses pengumpulan data seperti ETL yang meningkat pada metode pengumpulan data warisan untuk Azure Monitor. Proses ini menggunakan alur penyerapan data umum, alur Azure Monitor, untuk semua sumber data dan metode konfigurasi standar yang lebih mudah dikelola dan dapat diskalakan daripada metode lain. Keuntungan spesifik pengumpulan data berbasis DCR meliputi:
- Metode yang konsisten untuk konfigurasi sumber data yang berbeda.
- Kemampuan untuk menerapkan transformasi guna memfilter atau memodifikasi data masuk sebelum disimpan.
- Opsi konfigurasi scalable yang mendukung infrastruktur sebagai kode dan proses DevOps.
- Opsi alur tepi di lingkungan Anda sendiri untuk menyediakan skalabilitas kelas atas, konfigurasi jaringan berlapis, dan konektivitas berkala.
Pengumpulan data menggunakan alur Azure Monitor diperlihatkan dalam diagram di bawah ini. Setiap skenario pengumpulan didefinisikan dalam DCR yang menentukan bagaimana data harus diproses dan di mana data harus dikirim. Alur Azure Monitor itu sendiri terdiri dari dua komponen:
- Alur cloud adalah komponen Azure Monitor yang tersedia secara otomatis di langganan Azure Anda. Ini tidak memerlukan konfigurasi, dan tidak muncul di portal Azure. Ini mewakili jalur pemrosesan untuk data yang dikirim ke Azure Monitor. DCR memberikan instruksi tentang bagaimana alur cloud harus memproses data yang diterimanya.
- Alur Edge adalah komponen opsional yang memperluas alur Azure Monitor ke pusat data Anda sendiri. Ini memungkinkan pengumpulan dan perutean data telemetri dalam skala besar sebelum dikirimkan ke alur cloud. Lihat Alur Edge untuk detail tentang nilai komponen ini.
Menggunakan aturan pengumpulan data
Aturan pengumpulan data (DCR) disimpan di Azure sehingga dapat disebarkan dan dikelola secara terpusat seperti sumber daya Azure lainnya. Mereka adalah serangkaian instruksi yang mendukung pengumpulan data menggunakan alur Azure Monitor. Mereka menyediakan cara yang konsisten dan terpusat untuk menentukan dan menyesuaikan skenario pengumpulan data yang berbeda. Bergantung pada skenarionya, DCR menentukan detail seperti data apa yang harus dikumpulkan, cara mengubah data tersebut, dan ke mana mengirimnya.
Ada dua cara mendasar bahwa DCR ditentukan untuk skenario pengumpulan data tertentu seperti yang dijelaskan di bagian berikut.
Asosiasi aturan pengumpulan data (DCRA)
Asosiasi aturan pengumpulan data (DCRAs) digunakan untuk mengaitkan DCR dengan sumber daya yang dipantau. Ini adalah hubungan banyak ke banyak, di mana satu DCR dapat dikaitkan dengan beberapa sumber daya, dan satu sumber daya dapat dikaitkan dengan beberapa DCR. Ini memungkinkan Anda mengembangkan strategi untuk mempertahankan pemantauan Anda di seluruh set sumber daya dengan persyaratan yang berbeda.
Misalnya, diagram berikut mengilustrasikan pengumpulan data untuk agen Azure Monitor (AMA) yang berjalan di komputer virtual. Saat agen diinstal, agen terhubung ke Azure Monitor untuk mengambil DCR apa pun yang terkait dengannya. Dalam skenario ini, DCR menentukan peristiwa dan data performa untuk dikumpulkan, yang digunakan agen untuk menentukan data apa yang akan dikumpulkan dari komputer dan mengirim ke Azure Monitor. Setelah data dikirimkan, alur cloud menjalankan transformasi apa pun yang ditentukan dalam DCR untuk memfilter dan memodifikasi data lalu mengirim data ke ruang kerja dan tabel yang ditentukan.
Penyerapan langsung
Dengan penyerapan langsung, DCR tertentu ditentukan untuk memproses data yang masuk. Misalnya, diagram berikut mengilustrasikan data dari aplikasi kustom menggunakan API penyerapan Log. Setiap panggilan API menentukan DCR yang akan memproses datanya. DCR memahami struktur data yang masuk, termasuk transformasi yang memastikan bahwa data dalam format tabel target, dan menentukan ruang kerja dan tabel untuk mengirim data yang diubah.
Transformasi
Transformasi memungkinkan Anda memodifikasi data masuk sebelum disimpan di Azure Monitor. Anda dapat memfilter data yang tidak diperlukan untuk mengurangi biaya penyerapan, menghapus data sensitif yang tidak boleh disimpan di ruang kerja Analitik Log, atau memformat data untuk memastikan bahwa data tersebut cocok dengan skema tujuannya. Transformasi adalah kueri KQL yang ditentukan dalam DCR yang berjalan di alur cloud.
Titik akhir
Data yang dikirim ke alur cloud harus dikirim ke URL titik akhir tertentu. Bergantung pada skenarionya, ini mungkin titik akhir publik, titik akhir yang disediakan oleh DCR itu sendiri, atau titik akhir pengumpulan data (DCE) yang Anda buat di langganan Azure Anda. Lihat Titik akhir pengumpulan data di Azure Monitor untuk detail tentang titik akhir yang digunakan dalam skenario pengumpulan data yang berbeda.
Alur edge
Alur tepi memperluas alur Azure Monitor ke pusat data Anda sendiri. Ini memungkinkan pengumpulan dan perutean data telemetri dalam skala besar sebelum dikirimkan ke Azure Monitor di cloud Azure.
Kasus penggunaan khusus untuk alur tepi Azure Monitor adalah:
- Skalabilitas. Alur tepi dapat menangani data dalam volume besar dari sumber daya yang dipantau yang mungkin dibatasi oleh metode pengumpulan lain seperti agen Azure Monitor.
- Konektivitas berkala. Beberapa lingkungan mungkin memiliki konektivitas yang tidak dapat diandalkan ke cloud, atau mungkin memiliki periode tak terduga yang lama tanpa koneksi. Alur tepi dapat menyimpan data secara lokal dan menyinkronkan dengan cloud saat konektivitas dipulihkan.
- Jaringan berlapis. Di beberapa lingkungan, jaringan tersegmentasi dan data tidak dapat dikirim langsung ke cloud. Alur tepi dapat digunakan untuk mengumpulkan data dari sumber daya yang dipantau tanpa akses cloud dan mengelola koneksi ke Azure Monitor di cloud.
Skenario pengumpulan data
Tabel berikut ini menjelaskan skenario pengumpulan data yang saat ini didukung menggunakan DCR dan alur Azure Monitor. Lihat tautan di setiap entri untuk detail tentang konfigurasinya.
| Skenario | Deskripsi |
|---|---|
| Mesin virtual | Instal agen Azure Monitor pada VM dan kaitkan dengan satu atau beberapa DCR yang menentukan peristiwa dan data performa yang akan dikumpulkan dari sistem operasi klien. Anda dapat melakukan konfigurasi ini menggunakan portal Azure sehingga Anda tidak perlu langsung mengedit DCR. Lihat Mengumpulkan peristiwa dan penghitung kinerja dari komputer virtual dengan Agen Azure Monitor. |
| Saat Anda mengaktifkan wawasan VM pada komputer virtual, ia menyebarkan agen Azure Monitor ke telemetri dari klien VM. DCR dibuat untuk Anda secara otomatis untuk mengumpulkan sekumpulan data performa yang telah ditentukan sebelumnya. Lihat Mengaktifkan gambaran umum Wawasan VM. |
|
| Wawasan kontainer | Saat Anda mengaktifkan wawasan Kontainer pada kluster Kubernetes, ia menyebarkan versi kontainer agen Azure Monitor untuk mengirim log dari kluster ke ruang kerja Log Analytics. DCR dibuat untuk Anda secara otomatis, tetapi Anda mungkin perlu memodifikasinya untuk menyesuaikan pengaturan koleksi Anda. Lihat Mengonfigurasi pengumpulan data dalam Wawasan kontainer menggunakan aturan pengumpulan data. |
| API penyerapan log | API penyerapan Log memungkinkan Anda mengirim data ke ruang kerja Analitik Log dari klien REST mana pun. Panggilan API menentukan DCR untuk menerima datanya dan menentukan titik akhir DCR. DCR memahami struktur data yang masuk, termasuk transformasi yang memastikan bahwa data dalam format tabel target, dan menentukan ruang kerja dan tabel untuk mengirim data yang diubah. Lihat API Penyerapan Log di Azure Monitor. |
| Azure Event Hubs | Mengirim data ke ruang kerja Analitik Log dari Azure Event Hubs. DCR mendefinisikan aliran masuk dan menentukan transformasi untuk memformat data untuk ruang kerja dan tabel tujuannya. Lihat Tutorial: Menyerap peristiwa dari Azure Event Hubs ke Log Azure Monitor (Pratinjau Umum). |
| DCR transformasi ruang kerja | DCR transformasi ruang kerja adalah DCR khusus yang terkait dengan ruang kerja Analitik Log dan memungkinkan Anda melakukan transformasi pada data yang dikumpulkan menggunakan metode lain. Anda membuat satu DCR untuk ruang kerja dan menambahkan transformasi ke satu atau beberapa tabel. Transformasi diterapkan ke data apa pun yang dikirim ke tabel tersebut melalui metode yang tidak menggunakan DCR. Lihat DCR transformasi ruang kerja di Azure Monitor. |
Wilayah DCR
Aturan pengumpulan data tersedia di semua wilayah publik tempat ruang kerja Analitik Log dan cloud Azure Government dan Tiongkok didukung. Cloud bersalur udara belum didukung. DCR dibuat dan disimpan di wilayah tertentu dan dicadangkan ke wilayah yang dipasangkan dalam geografi yang sama. Layanan ini disebarkan ke ketiga zona ketersediaan dalam wilayah tersebut. Untuk alasan ini, ini adalah layanan zona-redundan, yang lebih meningkatkan ketersediaan.
Residensi data wilayah tunggal adalah fitur pratinjau untuk memungkinkan penyimpanan data pelanggan dalam satu wilayah dan saat ini hanya tersedia di Wilayah Asia Tenggara (Singapura) dari Geo Asia Pasifik dan Wilayah Brasil Selatan (Negara Bagian Sao Paulo) brasil Geo. Residensi wilayah tunggal diaktifkan secara default di wilayah ini.
Langkah berikutnya
Lihat artikel berikut untuk informasi tambahan tentang cara bekerja dengan DCR.
- Struktur aturan pengumpulan data untuk deskripsi struktur JSON DCR dan elemen berbeda yang digunakan untuk alur kerja yang berbeda.
- Contoh aturan pengumpulan data (DCR) untuk sampel DCR untuk skenario pengumpulan data yang berbeda.
- Membuat dan mengedit aturan pengumpulan data (DCR) di Azure Monitor untuk metode yang berbeda untuk membuat DCR untuk skenario pengumpulan data yang berbeda.
- Batas layanan Azure Monitor untuk batas yang berlaku untuk setiap DCR.