Tutorial: Mengubah log teks selama penyerapan di Log Azure Monitor

  • Artikel

Transformasi waktu penyerapan memungkinkan Anda memfilter atau memodifikasi data masuk sebelum disimpan di ruang kerja Analitik Log. Artikel ini menjelaskan cara menulis kueri KQL yang mengubah data log teks dan menambahkan transformasi ke aturan pengumpulan data.

Prosedur yang dijelaskan di sini mengasumsikan Anda telah menyerap beberapa data dari file teks, seperti yang dijelaskan dalam Mengumpulkan log teks dengan Agen Azure Monitor. Dalam tutorial ini, Anda akan:

  1. Tulis kueri KQL untuk mengubah data yang diserap.
  2. Ubah skema tabel target.
  3. Tambahkan transformasi ke aturan pengumpulan data Anda.
  4. Verifikasi bahwa transformasi berfungsi dengan benar.

Prasyarat

Untuk menyelesaikan prosedur ini, Anda memerlukan:

  • Ruang kerja Log Analitik tempat Anda memiliki setidaknya hak kontributor.
  • Aturan pengumpulan data, titik akhir pengumpulan data, dan tabel kustom, seperti yang dijelaskan dalam Mengumpulkan log teks dengan Agen Azure Monitor.
  • VM, Virtual Machine Scale Set, atau server lokal dengan dukungan Arc yang menulis log ke file teks. Persyaratan file teks:
    • Simpan di drive lokal komputer tempat Agen Azure Monitor berjalan.
    • Menguraikan dengan akhir baris.
    • Gunakan pengodean ASCII atau UTF-8. Format lain seperti UTF-16 tidak didukung.
    • Jangan izinkan pengelogan melingkar, rotasi log di mana file ditimpa dengan entri baru, atau mengganti nama tempat file dipindahkan dan file baru dengan nama yang sama dibuka.

Menulis kueri KQL untuk mengubah data yang diserap

  1. Lihat data dalam tabel kustom target di Analitik Log:

    1. Di portal Azure, pilih Ruang> kerja Log Analytics log ruang >kerja Analitik Log Anda.
    2. Jalankan kueri dasar tabel log kustom untuk menampilkan data tabel.

  2. Gunakan jendela kueri untuk menulis dan menguji kueri yang mengubah data mentah dalam tabel Anda.

    Untuk informasi tentang operator KQL yang didukung transformasi, lihat Struktur transformasi di Azure Monitor.

    Catatan

    Satu-satunya kolom yang tersedia untuk menerapkan transformasi adalah TimeGenerated dan RawData. Kolom lain ditambahkan ke tabel secara otomatis setelah transformasi dan tidak tersedia pada saat transformasi. Kolom _ResourceId tidak dapat digunakan dalam transformasi.

    Contoh

    Sampel menggunakan operator KQL dasar untuk mengurai data dalam RawData kolom menjadi tiga kolom baru, yang disebut Time Ingested, RecordNumber, dan RandomContent:

    • Operator extend menambahkan kolom baru.
    • Operator project memformat output agar sesuai dengan kolom skema tabel target:
    MyTable_CL
| extend d=todynamic(RawData)  
| project TimeGenerated,TimeIngested=tostring(d.Time), 
RecordNumber=tostring(d.RecordNumber), 
RandomContent=tostring(d.RandomContent), 
RawData

    Catatan

    Mengkueri data tabel dengan cara ini tidak benar-benar mengubah data dalam tabel. Azure Monitor menerapkan transformasi dalam alur penyerapan data setelah Anda menambahkan kueri transformasi ke aturan pengumpulan data.

  3. Format kueri menjadi satu baris dan ganti nama tabel di baris pertama kueri dengan kata source.

    Contohnya:

    source | extend d=todynamic(RawData) | project TimeGenerated,TimeIngested=tostring(d.Time),RecordNumber=tostring(d.RecordNumber), RandomContent=tostring(d.RandomContent), RawData

  4. Salin kueri yang diformat sehingga Anda bisa menempelkannya ke dalam konfigurasi aturan pengumpulan data.

Ubah tabel kustom untuk menyertakan kolom baru

Tambahkan atau hapus kolom dalam tabel kustom Anda, berdasarkan kueri transformasi Anda.

Contoh kueri transformasi di atas menambahkan tiga kolom stringjenis baru :

  • TimeIngested
  • RecordNumber
  • RandomContent

Untuk mendukung transformasi ini, tambahkan tiga kolom baru ini ke tabel kustom Anda.

Cuplikan layar panel editor Skema dengan kolom TimeIngested, RecordNumber, dan RandomContent yang ditentukan.

Menerapkan transformasi ke aturan pengumpulan data Anda

  1. Pada menu Monitor , pilih Aturan> Pengumpulan Data aturan pengumpulan data Anda.

  2. Pilih Sumber data> sumber data Anda.

  3. Tempelkan kueri transformasi yang diformat di bidang Transformasi pada tab Sumber data di layar Tambahkan sumber data.

  4. Pilih Simpan.

    Cuplikan layar panel Tambahkan sumber data dengan bidang Transformasi disorot.

Periksa apakah transformasi berfungsi

Lihat data dalam tabel kustom target dan periksa apakah data sedang diserap dengan benar ke dalam tabel yang dimodifikasi:

  1. Di portal Azure, pilih Ruang> kerja Log Analytics log ruang >kerja Analitik Log Anda.
  2. Jalankan kueri dasar tabel log kustom untuk menampilkan data tabel.

Langkah berikutnya

Pelajari lebih lanjut tentang: