Transformasi alur Azure Monitor

Transformasi data alur Azure Monitor memungkinkan Anda memfilter dan memanipulasi data log sebelum dikirim ke Azure Monitor di cloud. Transformasi memungkinkan Anda menyusun data masuk sesuai dengan kebutuhan analitik Anda, memastikan bahwa hanya informasi yang relevan yang dikirim ke Azure Monitor dan bahwa data tersebut dalam format yang sesuai untuk diproses.

Manfaat menggunakan transformasi alur meliputi:

Biaya yang lebih rendah: Memfilter dan mengagregasi data untuk mengurangi volume penyerapan dan pada gilirannya lebih rendah biaya penyerapan
Analitik yang lebih baik: Skema standar untuk kueri yang lebih cepat dan dasbor yang lebih bersih.
Bukti masa depan: Validasi skema bawaan mencegah kejutan selama penyebaran.

Alur Azure Monitor memecahkan tantangan biaya penyerapan tinggi dan analitik kompleks dengan mengaktifkan transformasi sebelum penyerapan, sehingga data Anda bersih, terstruktur, dan dioptimalkan bahkan sebelum mencapai Ruang Kerja Analitik Log Anda.

Struktur kueri dasar

Seperti transformasi Azure Monitor, semua kueri transformasi alur dimulai dengan source, yang merupakan tabel virtual yang mewakili aliran input. Anda kemudian dapat menggunakan operator KQL yang didukung untuk memfilter, memodifikasi, atau menambahkan kolom ke data seperti yang Anda lakukan dengan tabel lain. Kueri diterapkan satu per satu ke setiap entri yang dikirim oleh sumber data.

Lihat Struktur kueri dasar untuk detail selengkapnya tentang struktur kueri dan operator yang didukung.

Mendefinisikan transformasi

Transformasi alur didefinisikan sebagai bagian dari aliran data. Anda dapat mengonfigurasinya menggunakan portal Microsoft Azure atau templat ARM. Anda dapat menentukan transformasi kustom Anda sendiri atau menggunakan templat bawaan untuk pola umum. Validasi sintaks, seperti memeriksa ekspresi KQL, tersedia untuk membantu memastikan akurasi sebelum menyimpan konfigurasi Anda. Kemampuan ini memungkinkan pembentukan data yang fleksibel dan kuat langsung dalam infrastruktur pemantauan Anda.

Portal Azure
ARM

Untuk menentukan transformasi di portal Microsoft Azure, pilih Tambahkan Transformasi Data, yang membuka editor transformasi. Pilih templat yang menyediakan kueri yang telah ditentukan sebelumnya untuk skenario umum. Gunakan templat sebagai titik awal dan ubah kueri KQL sesuai kebutuhan Anda. Gunakan templat Kustom untuk memulai dengan kueri kosong.

Setelah Anda menentukan kueri, klik Periksa sintaks KQL untuk memvalidasi sintaks kueri sebelum menyimpan aliran data. Untuk data syslog dan CEF, pemeriksa juga akan memverifikasi data yang dihasilkan dari transformasi cocok dengan skema tabel tempat data dikirim. Jika transformasi mengganti nama atau menambahkan kolom sebagai bagian dari agregasi misalnya, Anda akan diminta untuk menghapus transformasi tersebut atau mengirim data ke tabel kustom sebagai gantinya. Contoh ditunjukkan dalam gambar berikut.

Transformasi ditentukan di bagian processors aliran data dalam templat ARM. Prosesor type harus diatur ke TransformLanguage, dan kueri KQL ditentukan dalam properti transformLanguage/transformStatement. Prosesor kemudian dirujuk di bagian service/pipelines konfigurasi aliran data.

Contoh berikut menunjukkan transformasi yang memfilter rekaman syslog yang memiliki Facility dengan auth.

"processors": [
    {
        "type": "TransformLanguage",
        "name": "facility-filter",
        "transformLanguage": {
            "transformStatement": "source | where Facility != 'auth'"
        }
    }
]

Prosesor ini kemudian akan dirujuk di bagian service/pipelines yang mirip dengan yang berikut ini:

    "service": {
        "pipelines": [
            {
                "name": "FilteredSyslogs",
                "receivers": [
                    "receiver-Syslog"
                ],
                "processors": [
                    "facility-filter"
                ],
                "exporters": [
                    "exporter-log-analytics-workspace"
                ],
                "type": "logs"
            }
        ]
    }

Lihat Mengonfigurasi alur Azure Monitor untuk detail selengkapnya dan contoh file konfigurasi prosesor.

Penggabungan

Agregasi di KQL meringkas data dari beberapa rekaman ke dalam satu rekaman berdasarkan kriteria yang ditentukan. Misalnya, Anda dapat mengagregasi entri log untuk menghitung nilai rata-rata properti numerik atau menghitung jumlah kemunculan peristiwa tertentu selama periode waktu yang ditentukan. Agregasi membantu mengurangi volume data dan memberikan wawasan dengan membungkus himpunan data besar menjadi ringkasan yang bermakna.

Data dalam alur Azure Monitor diambil dan diproses dalam batch interval satu menit secara default. Agregasi dalam transformasi alur dilakukan atas setiap batch data yang berarti bahwa rekaman agregat akan dibuat setiap menit. Untuk mengubah jendela waktu ini, Anda dapat mengonfigurasi Batch prosesor dalam konfigurasi alur seperti yang dijelaskan dalam konfigurasi Alur. Anda tidak dapat mengubah interval waktu menggunakan portal Microsoft Azure.

Agregasi ditentukan menggunakan summarize operator di KQL. Anda menentukan fungsi agregasi dan kriteria pengelompokan. Misalnya, kueri berikut menghitung jumlah peristiwa yang dikumpulkan selama menit terakhir yang dikelompokkan menurut DestinationIP dan DestinationPort:

source 
| summarize EventCount=count() by DestinationIP, DestinationPort

Contoh berikut mengekstrak nilai penggunaan CPU dari pesan syslog, lalu menghitung penggunaan CPU rata-rata dan maksimum selama interval satu menit:

source
| where Facility == "daemon"
| where SyslogMessage has "CPU="
| parse SyslogMessage with * "CPU=" CPUValue:int * 
| summarize AvgCPU = avg(CPUValue), MaxCPU = max(CPUValue)

Catatan agregasi

Saat menggunakan operator summarize untuk agregasi, mungkin ada pengenalan latensi otomatis hingga 5 menit karena proses batching dalam alur untuk pengalaman antarmuka pengguna.
Prosesor batch selalu diperlukan untuk melakukan agregasi. Modifikasi pengolah batch untuk mengubah interval agregasi. Hindari menggunakan prosesor batch untuk mengirim data dengan latensi minimum.
Jika agregasi menyertakan bin(), Anda mungkin menerima beberapa rekaman untuk interval waktu yang sama. Ini terjadi karena batching dan sifat streaming pengambilan data.
Transformasi dilakukan pada data Syslog atau CEF yang sepenuhnya terbentuk. Jika transformasi mengubah skema, maka Anda harus mengirim data ke tabel kustom. Saat membuat transformasi menggunakan portal Microsoft Azure, satu-satunya kolom yang diekspos adalah SeverityText, , Bodydan TimeGenerated.

Dukungan KQL

Perluas bagian berikut untuk fungsi dan operator KQL yang didukung dalam transformasi alur Azure Monitor:

Agregasi

sum()
max()
min()
avg()
count()
bin()

Penyaringan

where
contains
has
in
and
or
==
!=
>
>=
<
<=

Skemaisasi

extend
project
project-away
project-rename
project-keep
iif
case
coalesce
parse_json

Fungsi

let

Fungsi string

strlen
replace_string
substring
strcat
strcat_delim
extract

Konversi

tostring
toint
tobool
tofloat
tolong
toreal
todouble
todatetime
totimespan

Langkah selanjutnya

Baca selengkapnya tentang aturan pengumpulan data (DCR) di Azure Monitor.

Saran dan Komentar

Apakah halaman ini membantu?

Last updated on 2026-02-05