Transformasi pengumpulan data di Azure Monitor
Dengan transformasi di Azure Monitor, Anda dapat memfilter atau memodifikasi data masuk sebelum dikirim ke ruang kerja Analitik Log. Artikel ini menyediakan deskripsi dasar transformasi dan cara penerapannya. Ini menyediakan tautan ke konten lain untuk membuat transformasi.
Transformasi dilakukan di Azure Monitor dalam alur penyerapan data setelah sumber data mengirimkan data dan sebelum dikirim ke tujuan. Sumber data mungkin melakukan pemfilterannya sendiri sebelum mengirim data tetapi kemudian mengandalkan transformasi untuk manipulasi lebih lanjut sebelum dikirim ke tujuan.
Transformasi didefinisikan dalam aturan pengumpulan data (DCR) dan menggunakan pernyataan Bahasa Kueri Kusto (KQL) yang diterapkan secara individual ke setiap entri dalam data masuk. Transformasi data harus memahami format data yang masuk dan membuat output dalam struktur yang diharapkan dari tujuan.
Diagram berikut mengilustrasikan proses transformasi untuk data masuk dan memperlihatkan kueri sampel yang mungkin digunakan. Lihat Struktur transformasi di Azure Monitor untuk detail tentang membangun kueri transformasi.
Mengapa menggunakan transformasi
Tabel berikut ini menjelaskan berbagai tujuan yang dapat Anda capai dengan menggunakan transformasi.
| Kategori | Detail |
|---|---|
| Menghapus data sensitif | Anda mungkin memiliki sumber data yang mengirim informasi yang tidak ingin Anda simpan karena alasan privasi atau kesiapan. Memfilter informasi sensitif. Memfilter seluruh baris atau kolom tertentu yang berisi informasi sensitif. Mengaburkan informasi sensitif. Ganti informasi seperti digit dalam alamat IP atau nomor telepon dengan karakter umum. Kirim ke tabel alternatif. Kirim rekaman sensitif ke tabel alternatif dengan konfigurasi kontrol akses berbasis peran yang berbeda. |
| Memperkaya data dengan informasi lebih lanjut atau terhitung | Gunakan transformasi untuk menambahkan informasi ke data yang menyediakan konteks bisnis atau menyederhanakan kueri data nanti. Tambahkan kolom dengan informasi selengkapnya. Misalnya, Anda dapat menambahkan kolom yang mengidentifikasi apakah alamat IP di kolom lain bersifat internal atau eksternal. Tambahkan informasi khusus bisnis. Misalnya, Anda dapat menambahkan kolom yang menunjukkan divisi perusahaan berdasarkan informasi lokasi di kolom lain. |
| Mengurangi biaya data | Karena Anda dikenakan biaya penyerapan untuk data apa pun yang dikirim ke ruang kerja Analitik Log, Anda ingin memfilter data apa pun yang tidak diperlukan untuk mengurangi biaya Anda. Hapus seluruh baris. Misalnya, Anda mungkin memiliki pengaturan diagnostik untuk mengumpulkan log sumber daya dari sumber daya tertentu tetapi tidak memerlukan semua entri log yang dihasilkannya. Buat transformasi yang memfilter rekaman yang sesuai dengan kriteria tertentu. Hapus kolom dari setiap baris. Misalnya, data Anda mungkin menyertakan kolom dengan data yang berlebihan atau memiliki nilai minimal. Buat transformasi yang memfilter kolom yang tidak diperlukan. Mengurai data penting dari kolom. Anda mungkin memiliki tabel dengan data berharga yang terkubur di kolom tertentu. Gunakan transformasi untuk mengurai data berharga ke kolom baru dan menghapus yang asli. Kirim baris tertentu ke log dasar. Kirim baris dalam data Anda yang memerlukan kemampuan kueri dasar ke tabel log dasar untuk biaya penyerapan yang lebih rendah. |
| Memformat data untuk tujuan | Anda mungkin memiliki sumber data yang mengirim data dalam format yang tidak cocok dengan struktur tabel tujuan. Gunakan transformasi untuk memformat ulang data ke skema yang diperlukan. |
Tabel yang didukung
Lihat Tabel yang mendukung transformasi di Log Azure Monitor untuk daftar tabel yang dapat digunakan dengan transformasi. Anda juga dapat menggunakan referensi data Azure Monitor yang mencantumkan atribut untuk setiap tabel, termasuk apakah itu mendukung transformasi. Selain tabel ini, tabel kustom apa pun (akhiran _CL) juga didukung.
- Tabel Azure apa pun yang tercantum dalam Tabel yang mendukung transformasi di Log Azure Monitor. Anda juga dapat menggunakan referensi data Azure Monitor yang mencantumkan atribut untuk setiap tabel, termasuk apakah itu mendukung transformasi.
- Tabel kustom apa pun yang dibuat untuk Agen Azure Monitor. (Tabel kustom MMA tidak dapat menggunakan transformasi)
Membuat transformasi
Ada beberapa metode untuk membuat transformasi tergantung pada metode pengumpulan data. Tabel berikut ini mencantumkan panduan untuk metode yang berbeda dalam membuat transformasi.
| Kumpulan data | Referensi |
|---|---|
| API penyerapan log | Mengirim data ke Log Azure Monitor dengan menggunakan REST API (portal Azure) Mengirim data ke Log Azure Monitor dengan menggunakan REST API (templat Azure Resource Manager) |
| Komputer virtual dengan agen Azure Monitor | Menambahkan transformasi ke Log Azure Monitor |
| Kluster Kubernetes dengan wawasan Kontainer | Transformasi data dalam wawasan Kontainer |
| Azure Event Hubs | Tutorial: Menyerap peristiwa dari Azure Event Hubs ke log Azure Monitor (Pratinjau Umum) |
Biaya untuk transformasi
Meskipun transformasi itu sendiri tidak dikenakan biaya langsung, skenario berikut dapat mengakibatkan biaya tambahan:
- Jika transformasi meningkatkan ukuran data masuk, seperti dengan menambahkan kolom terhitung, Anda akan dikenakan tarif penyerapan standar untuk data tambahan.
- Jika transformasi mengurangi data yang diserap lebih dari 50%, Anda akan dikenakan biaya untuk jumlah data yang difilter di atas 50%.
Untuk menghitung biaya pemrosesan data yang dihasilkan dari transformasi, gunakan rumus berikut:
[GB difilter berdasarkan transformasi] - ([data GB yang diserap oleh alur] / 2). Tabel berikut ini memperlihatkan contoh.
| Data yang diserap oleh alur | Data yang dihilangkan oleh transformasi | Data yang diserap oleh ruang kerja Analitik Log | Biaya pemrosesan data | Biaya penyerapan |
|---|---|---|---|---|
| 20 GB | 12 GB | 8 GB | 2 GB 1 | 8 GB |
| 20 GB | 8 GB | 12 GB | 0 GB | 12 GB |
1 Biaya ini tidak termasuk biaya untuk data yang diserap oleh ruang kerja Analitik Log.
Untuk menghindari biaya ini, Anda harus memfilter data yang diserap menggunakan metode alternatif sebelum menerapkan transformasi. Dengan demikian, Anda dapat mengurangi jumlah data yang diproses oleh transformasi dan, oleh karena itu, meminimalkan biaya tambahan.
Lihat Harga Azure Monitor untuk biaya saat ini untuk penyerapan dan retensi data log di Azure Monitor.
Penting
Jika Azure Sentinel diaktifkan untuk ruang kerja Analitik Log, tidak ada biaya penyerapan pemfilteran terlepas dari berapa banyak data yang difilter transformasi.