Memfilter dan menyesuaikan pengumpulan data untuk kluster Kubernetes

Data yang dikumpulkan oleh Azure Monitor dari kluster Kubernetes awalnya bergantung pada opsi yang Anda pilih saat mengaktifkan pengumpulan log dan metrik. Setelah onboarding awal ini, Anda dapat menyesuaikan pengumpulan data lebih lanjut baik untuk menambahkan data yang Anda butuhkan untuk memantau lingkungan Kubernetes dengan benar, atau untuk memfilter data yang tidak perlu Anda kurangi biaya pemantauan Anda. Anda dapat lebih mengoptimalkan biaya dengan pemfilteran tingkat lanjut dan mengirim berbagai jenis data ke penyimpanan yang berbeda.

Artikel ini menjelaskan berbagai jenis penyesuaian yang dapat Anda lakukan untuk pengumpulan data dari kluster Kubernetes dan metode yang diperlukan untuk mengimplementasikan masing-masing. Tautan disediakan untuk instruksi terperinci untuk setiap metode.

Metode konfigurasi

Saat Anda mengaktifkan pemantauan untuk kluster Kubernetes di Azure Monitor, agen Azure Monitor (AMA) diinstal di kluster. Agen ini bertanggung jawab untuk mengumpulkan log dan metrik dari kluster dan mengirimkannya ke Azure Monitor.

Ada dua metode untuk menentukan konfigurasi yang akan digunakan agen untuk mengumpulkan data. Setiap metode mengontrol berbagai aspek pengumpulan data, jadi Anda perlu menggunakan kedua metode bersama-sama untuk mencapai kebutuhan Anda. Meskipun log dan metrik menggunakan opsi konfigurasi yang sama, konfigurasi untuk setiap jenis data dilakukan secara terpisah.

Metode	Description
Peta Konfigurasi	ConfigMaps di Kubernetes menyimpan data konfigurasi untuk aplikasi yang berjalan di kluster. Beberapa ConfigMaps disediakan oleh Microsoft untuk log dan metrik yang dibaca oleh agen Azure Monitor untuk memodifikasi berbagai aspek data yang dikumpulkan oleh agen dari kluster. Ubah ConfigMaps ini dan terapkan ke kluster Anda untuk menyesuaikan pengumpulan data untuk setiap jenis data.
Aturan Pengumpulan Data (DCR)	Data collection rules (DCR) di Azure Monitor menentukan data apa yang dikumpulkan dari sumber daya yang dipantau dan tempat data tersebut dikirim. DCR terpisah secara otomatis dibuat untuk log dan metrik saat Anda mengaktifkan pemantauan untuk kluster Kubernetes Anda. Beberapa pengaturan dalam DCR dibaca oleh agen untuk menentukan data yang dikumpulkan oleh klaster. Pengaturan lain digunakan oleh Azure Monitor untuk menentukan cara memproses data tersebut setelah dikirim dari kluster. Ini termasuk transformasi, yang menyediakan pemfilteran dan manipulasi data tingkat lanjut sebelum diserap ke ruang kerja Log Analytics.

Gambar berikut menggambarkan bagaimana masing-masing metode konfigurasi digunakan dalam pengumpulan data dari kluster Kubernetes Anda. Hanya ada satu DCR yang digunakan untuk pengumpulan log. Ini ditunjukkan dua kali dalam gambar untuk menggambarkan bahwa beberapa informasi dalam DCR digunakan oleh agen di tingkat kluster, sementara informasi lain dalam DCR digunakan oleh Azure Monitor setelah data tersebut dikirimkan.

Tabel berikut ini menyediakan perbandingan dua metode konfigurasi. Sebagian besar pengaturan hanya tersedia di salah satu metode, sehingga Anda tidak memiliki opsi untuk memilih metode mana yang akan digunakan. Ada beberapa pengaturan umum yang dapat dikonfigurasi dengan salah satu metode, tetapi ada perbedaan penting dalam cara kerjanya. Dalam kasus tersebut, Anda dapat memilih metode yang paling sesuai dengan kebutuhan Anda.

Task	Peta Konfigurasi	Aturan Pengumpulan Data (DCR)
Pengumpulan log	- Mengaktifkan/menonaktifkan log kontainer secara terpisah - Penyaringan namespace untuk log kontainer - Pemfilteran anotasi - Mengumpulkan variabel lingkungan	- Aktifkan/nonaktifkan semua log kontainer - Pemfilteran namespace untuk log-log lainnya - Tentukan tabel yang dikumpulkan - Log Analytics ruang kerja - Pemfilteran kustom dengan transformasi
Kumpulan metrik	- Mengaktifkan/menonaktifkan target - Mengaktifkan/menonaktifkan metrik tertentu - Pengikisan berbasis anotasi	- Satu atau lebih ruang kerja Azure Monitor
Penyebaran	- Terapkan ConfigMap ke setiap kluster. - Memerlukan penggelaran ulang untuk perubahan.	- Mengonfigurasi DCR tunggal untuk beberapa kluster. - Ubah DCR tanpa perlu menghidupkan ulang.

Pengaturan umum

Beberapa pengaturan dapat dikonfigurasi dengan ConfigMap dan DCR, tetapi ada perbedaan penting seperti yang dijelaskan dalam tabel berikut.

Setting	Recommendation
Log wadah	Log kontainer merupakan log stdout/stderr yang berasal dari kluster. Agar log kontainer dikumpulkan, log harus diaktifkan di ConfigMap dan DCR (aliran ContainerLogV2). ConfigMap memungkinkan Anda mengaktifkan log stdout dan stderr secara terpisah. Jika Anda menonaktifkan salah satu log di ConfigMap, log tersebut tidak akan dikumpulkan.
Penyaringan Namespace	Pemfilteran namespace dikonfigurasi baik di ConfigMap maupun di DCR, tetapi untuk log yang berbeda. Pemfilteran namespace di ConfigMap hanya berlaku untuk log kontainer dan dapat dikonfigurasi secara terpisah untuk log stdout dan stderr. Pemfilteran namespace di DCR berlaku untuk semua log lainnya. Untuk sepenuhnya mengecualikan namespace dari pengumpulan log, Anda harus mengecualikannya di kedua tempat.

Konfigurasi ConfigMap

ConfigMaps terpisah disediakan untuk log dan metrik seperti yang dijelaskan di bawah ini. Baik log maupun metrik memiliki konfigurasi default yang diterapkan saat Anda mengaktifkan pemantauan untuk kluster Anda. Gunakan ConfigMaps ini untuk memodifikasi konfigurasi default untuk memenuhi kebutuhan Anda.

Data Informasi	Description
Catatan	ConfigMap yang digunakan untuk pengumpulan log adalah container-azm-ms-agentconfig.yaml. Lihat Memfilter kumpulan log kontainer dengan ConfigMap untuk deskripsi setiap pengaturan yang tersedia dan cara memodifikasi dan menerapkan ConfigMap ini ke kluster Anda. Bagian Pengaturan ConfigMap dalam artikel tersebut menyediakan nilai default untuk setiap pengaturan yang digunakan sebelum ConfigMap diterapkan.
Metrics	Lihat konfigurasi metrik Default Prometheus di Azure Monitor untuk metrik yang dikumpulkan secara default dari kluster Anda. ConfigMap yang digunakan untuk mengubah konfigurasi ini adalah ama-metrics-settings-configmap. Lihat Menyesuaikan koleksi metrik Prometheus dari kluster Kubernetes Anda menggunakan ConfigMap untuk deskripsi setiap pengaturan yang tersedia dan cara memodifikasi dan menerapkan ConfigMap ini ke kluster Anda. ConfigMaps lainnya tersedia untuk membuat tugas scrape kustom. Lihat Buat pekerjaan scrape Prometheus khusus dari kluster Kubernetes Anda menggunakan ConfigMap untuk detail tentang cara menggunakan ConfigMaps ini.

Konfigurasi DCR

Saat Anda mengaktifkan pengumpulan log untuk kluster Anda, DCR terpisah secara otomatis dibuat untuk log dan metrik yang menyertakan pengaturan yang Anda tentukan dalam proses onboarding. Lihat DCRs dan sumber daya terkait di bawah ini untuk detail DCRs dan objek terkait yang dibuat selama proses onboarding.

Data Informasi	Description
Metrics	DCR untuk metrik disebut MSProm-<region>-<cluster name>. Ini termasuk ruang kerja Azure Monitor tetapi digunakan minimal untuk menentukan detail metrik yang dikumpulkan. Gunakan ConfigMap sebagai gantinya untuk mengonfigurasi detail ini. Skenario utama untuk memodifikasi DCR adalah mengirim metrik ke beberapa ruang kerja Azure Monitor seperti yang dijelaskan dalam metrik Kirim Prometheus ke beberapa ruang kerja Azure Monitor.
Catatan	DCR untuk log disebut MSCI-<region>-<cluster name>. Ini termasuk ruang kerja Log Analytics dan konfigurasi lain yang ditentukan dalam proses onboarding, seperti aliran data yang dikumpulkan dan pemfilteran namespace. Anda dapat menggunakan metode yang sama untuk mengubah pengaturan ini setelah onboarding. Misalnya, pilih preset Logs yang berbeda di portal Azure untuk mengubah aliran yang dikumpulkan, atau jalankan perintah CLI dengan file konfigurasi log baru untuk menambahkan pemfilteran namespace. Dalam kasus ini, Anda tidak perlu bekerja secara interaktif dengan DCR. Atau, Anda dapat memodifikasi DCR secara langsung untuk mengubah pengaturan ini. Anda juga dapat langsung memodifikasi DCR untuk mencapai skenario lanjutan yang dijelaskan di bawah ini.

Pemfilteran tingkat lanjut

Transformations di DCR memungkinkan Anda menerapkan kueri KQL untuk memfilter dan memanipulasi data yang dikirim ke Azure Monitor sebelum diserap ke ruang kerja Log Analytics. Ini memungkinkan Anda untuk memperkaya atau membersihkan data sebelum penyerapan untuk kepatuhan dan pengoptimalan biaya. Contohnya termasuk pemfilteran baris dan kolom data masuk, menutupi bidang sensitif, dan membuat bidang terhitung baru. Lihat Pemfilteran dan transformasi tingkat lanjut untuk log Kubernetes di Azure Monitor untuk detail tentang cara mengimplementasikan transformasi untuk log yang dikumpulkan dari kluster Kubernetes Anda.

Nota

Transformasi hanya berlaku untuk data yang dikirim ke ruang kerja Log Analytics, sehingga tidak dapat digunakan untuk memfilter data metrik yang dikirim ke ruang kerja Azure Monitor.

Kirim ke beberapa ruang kerja dan tabel

DCR menentukan ruang kerja dan tabel tempat data dikirim. DCR untuk Kubernetes hanya dapat menentukan satu Log Analytics ruang kerja untuk data log dan satu Azure Monitor ruang kerja untuk data metrik. Anda dapat membuat DCR tambahan dan menghubungkannya dengan kluster Anda. Misalnya, Anda mungkin memiliki tim yang berbeda yang bertanggung jawab atas berbagai aplikasi yang berjalan di kluster yang sama, dan setiap tim memerlukan kumpulan data mereka sendiri. Lihat Mengirim metrik Prometheus ke beberapa ruang kerja Azure Monitor untuk contoh terperinci yang menggunakan ConfigMap dan DCR.

Log Analytics ruang kerja memiliki tingkat data berbeda yang memberikan kemampuan dan biaya yang berbeda. Anda dapat mengurangi biaya pemantauan dengan mengirim data tertentu ke tabel yang dikonfigurasi dengan biaya lebih rendah. Daripada mengonfigurasi seluruh tabel untuk tingkat lain, misalnya mengonfigurasi ContainerLogV2 untuk log dasar, Anda dapat menggunakan transformasi di DCR untuk memilih data yang akan dikirim ke tabel yang berbeda yang dikonfigurasi untuk tingkat yang berbeda. Lihat Mengirim data ke tabel yang berbeda untuk contoh terperinci.

Berbagi DCR dengan beberapa kluster

Jika Anda memiliki beberapa kluster yang menggunakan konfigurasi yang sama, kluster tersebut dapat berbagi satu DCR. Strategi ini mengurangi overhead manajemen dan memastikan konsistensi di seluruh kluster Anda, terutama saat menerapkan konfigurasi kompleks seperti menggunakan transformasi untuk pemfilteran tingkat lanjut. Satu kluster juga dapat dikaitkan dengan beberapa DCR, masing-masing menentukan data yang berbeda untuk dikumpulkan.

Untuk menggunakan DCR umum untuk beberapa kluster, hapus asosiasi dari DCR kluster saat ini dan buat asosiasi baru ke DCR bersama. Setelah kluster dikaitkan dengan DCR umum, Anda dapat menghapus DCR lama. Lihat Kelola asosiasi aturan pengumpulan data di Azure Monitor untuk metode yang berbeda untuk mengelola asosiasi DCR.

DCR dan sumber daya terkait

Sumber daya yang dibuat saat Anda mengaktifkan pemantauan metrik Prometheus dan pengelogan kontainer untuk kluster Kubernetes di monitor Azure dijelaskan dalam tabel berikut.

Pengumpulan log

Nama Sumber Daya	Jenis Sumber Daya	Grup Sumber Daya	Wilayah/Lokasi	Description
MSCI-<aksclusterregion>-<clustername>	Aturan Pengumpulan Data	Sama seperti kluster	Sama seperti ruang kerja Log Analytics	Terkait dengan sumber daya kluster AKS, menentukan konfigurasi pengumpulan log oleh agen Azure Monitor. Ini adalah DCR untuk menambahkan transformasi.

Prometheus Terkelola

Nama Sumber Daya	Jenis Sumber Daya	Grup Sumber Daya	Wilayah/Lokasi	Description
MSPROM-<aksclusterregion>-<clustername>	Aturan Pengumpulan Data	Sama seperti kluster	Sama seperti ruang kerja Azure Monitor	Terkait dengan sumber daya kluster AKS, menentukan konfigurasi pengumpulan metrik prometheus berdasarkan addon metrik.
MSPROM-<aksclusterregion>-<clustername>	Titik akhir Pengumpulan Data	Sama seperti kluster	Sama seperti ruang kerja Azure Monitor	Digunakan oleh DCR untuk menyerap metrik Prometheus dari addon metrik.

Saat Anda membuat ruang kerja Azure Monitor baru, sumber daya tambahan berikut dibuat.

Nama Sumber Daya	Jenis Sumber Daya	Grup Sumber Daya	Wilayah/Lokasi	Description
<azuremonitor-workspace-name>	Aturan Pengumpulan Data	<MA_azuremonitor-workspace-name>_<azuremonitor-workspace-region>_managed	Sama seperti ruang kerja Azure Monitor	DCR yang akan digunakan jika Anda menggunakan Remote Write dari server Prometheus.
<azuremonitor-workspace-name>	Titik akhir Pengumpulan Data	<MA_azuremonitor-workspace-name>_<azuremonitor-workspace-region>_managed	Sama seperti ruang kerja Azure Monitor	DCE akan digunakan jika Anda menggunakan penulisan jarak jauh dari server Prometheus.

Langkah selanjutnya

• Lihat Transformasi data dalam wawasan Kontainer untuk menambahkan transformasi ke DCR yang akan memfilter data lebih lanjut berdasarkan kriteria terperinci.