Mengumpulkan log teks dengan agen Log Analytics di Azure Monitor
Sumber data Log Kustom untuk agen Log Analytics di Azure Monitor memungkinkan Anda mengumpulkan peristiwa dari file teks di komputer Windows dan Linux. Berbagai aplikasi mencatat informasi ke file teks sebagai ganti dari layanan pengelogan standar, seperti log Windows Event atau Syslog. Setelah dikumpulkan, Anda dapat mengurai data ke dalam bidang individual dalam kueri Anda atau mengekstrak data selama pengumpulan ke bidang individual.
Penting
Artikel ini menjelaskan cara mengumpulkan log teks dengan agen Analitik Log. Jika Anda menggunakan agen Azure Monitor, lihat Mengumpulkan log teks dengan Agen Azure Monitor.
Penting
Agen Analitik Log warisan tidak digunakan lagi per 31 Agustus 2024. Microsoft tidak akan lagi memberikan dukungan apa pun untuk agen Analitik Log. Jika Anda menggunakan agen Analitik Log untuk menyerap data ke Azure Monitor, migrasikan sekarang ke agen Azure Monitor.
File log yang akan dikumpulkan harus sesuai dengan kriteria berikut:
Log harus memiliki satu entri per baris atau menggunakan tanda waktu yang cocok dengan salah satu format berikut di awal setiap entri:
YYYY-MM-DD HH:MM:SS
M/D/YYYY HH:MM:SS AM/PM
Mon DD, YYYY HH:MM:SS
yyMMdd HH:mm:ss
ddMMyy HH:mm:ss
MMM d hh:mm:ss
dd/MMM/yyyy:HH:mm:ss zzz
yyyy-MM-ddTHH:mm:ssKFile log tidak boleh membolehkan pengelogan melingkar. Perilaku ini adalah rotasi log di mana file ditimpa dengan entri baru atau file diubah namanya dan nama file yang sama digunakan kembali untuk melanjutkan pengelogan.
File log harus menggunakan pengodean ASCII atau UTF-8. Format lain seperti UTF-16 tidak didukung.
Untuk Linux, konversi zona waktu tidak didukung untuk tanda waktu di log.
Sebagai praktik terbaik, file log harus menyertakan tanggal dan waktu pembuatannya untuk mencegah penimpaan atau penggantian nama rotasi log.
Catatan
Jika ada entri duplikat di file log, Azure Monitor akan mengumpulkannya. Hasil kueri yang dihasilkan akan tidak konsisten. Hasil filter akan menampilkan lebih banyak peristiwa daripada jumlah hasil. Anda harus memvalidasi log untuk menentukan apakah aplikasi yang membuatnya menyebabkan perilaku ini. Atasi masalah ini, jika memungkinkan, sebelum Anda membuat definisi pengumpulan log kustom.
Ruang kerja Log Analytics mendukung batas berikut:
- Hanya 500 log kustom yang dapat dibuat.
- Sebuah tabel hanya mendukung hingga 500 kolom.
- Jumlah maksimum karakter untuk nama kolom adalah 500.
Penting
Pengumpulan log kustom mengharuskan aplikasi yang menulis file log membuang isi log ke disk secara berkala. Adanya persyaratan tersebut karena pengumpulan log kustom bergantung pada pemberitahuan perubahan sistem file untuk file log yang dilacak.
Menentukan tabel log kustom
Gunakan prosedur berikut untuk menentukan tabel log kustom. Gulir ke akhir artikel ini untuk panduan sampel menambahkan log kustom.
Membuka wizard Log Kustom
Wizard Log Kustom berjalan di portal Azure dan memungkinkan Anda untuk menentukan log kustom baru yang akan dikumpulkan.
Di portal Azure, pilih Ruang kerja Analitik Log tabel> ruang >kerja Anda.
Pilih Buat lalu Log kustom baru (berbasis MMA).
Secara default, semua perubahan konfigurasi secara otomatis didorong ke semua agen. Untuk agen Linux, file konfigurasi dikirim ke pengumpul data Fluentd.
Mengunggah dan menguraikan log sampel
Mulai dengan mengunggah sampel log kustom. Wizard akan menguraikan dan menampilkan entri dalam file ini untuk Anda validasi. Azure Monitor akan menggunakan pemisah yang Anda tentukan untuk mengidentifikasi setiap rekaman.
Baris Baru adalah pemisah default dan digunakan untuk file log yang memiliki satu entri per baris. Jika baris dimulai dengan tanggal dan waktu dalam salah satu format yang tersedia, Anda dapat menentukan pemisah Stempel waktu yang mendukung entri yang menjangkau lebih dari satu baris.
Jika pemisah stempel waktu digunakan, properti TimeGenerated dari setiap rekaman yang disimpan di Azure Monitor akan diisi dengan tanggal dan waktu yang ditentukan untuk entri tersebut dalam file log. Jika pemisah baris baru digunakan, TimeGenerated diisi dengan tanggal dan waktu Azure Monitor mengumpulkan entri.
Klik Telusuri dan telusuri ke file sampel. Tombol ini mungkin diberi label Pilih File di beberapa browser.
Pilih Selanjutnya.
Wizard Log Kustom akan mengunggah file dan mencantumkan rekaman yang diidentifikasi.
Ubah pemisah yang digunakan untuk mengidentifikasi rekaman baru. Pilih pemisah yang paling baik mengidentifikasi rekaman dalam file log Anda.
Pilih Selanjutnya.
Menambahkan jalur pengumpulan log
Anda harus menentukan satu atau beberapa jalur pada agen tempat agen dapat menemukan log kustom. Anda dapat memberikan jalur dan nama tertentu untuk file log, atau Anda dapat menentukan jalur dengan karakter wildcard untuk nama tersebut. Langkah ini mendukung aplikasi yang membuat file baru setiap hari atau saat satu file mencapai ukuran tertentu. Anda juga dapat menyediakan beberapa jalur untuk satu file log.
Misalnya, aplikasi dapat membuat file log setiap hari dengan tanggal yang disertakan dalam nama seperti dalam log20100316.txt. Pola untuk log semacam itu mungkin log.txt yang akan berlaku untuk file log apa pun setelah skema penamaan aplikasi.
Tabel berikut memberikan contoh pola yang valid untuk menentukan file log yang berbeda.
| Deskripsi | Jalur |
|---|---|
| Semua file di C:\Logs dengan ekstensi .txt di agen Windows | C:\Logs\*.txt |
| Semua file di C:\Logs dengan nama yang dimulai dengan log dan ekstensi .txt di agen Windows | C:\Logs\log*.txt |
| Semua file di /var/log/audit dengan ekstensi .txt di agen Linux | /var/log/audit/*.txt |
| Semua file di /var/log/audit dengan nama yang dimulai dengan log dan ekstensi .txt di agen Linux | /var/log/audit/log*.txt |
- Pilih Windows atau Linux untuk menentukan format jalur yang Anda tambahkan.
- Masukkan jalur dan pilih tombol +.
- Ulangi proses tersebut untuk jalur tambahan apa pun.
Memberikan nama dan deskripsi untuk log
Nama yang Anda tentukan akan digunakan untuk jenis log seperti yang dijelaskan di atas. Nama akan selalu diakhiri dengan _CL untuk membedakannya sebagai log kustom.
- Masukkan nama untuk log tersebut. Akhiran _CL diberikan secara otomatis.
- Tambahkan Deskripsi opsional.
- Klik Berikutnya untuk menyimpan definisi log kustom.
Memvalidasi bahwa log kustom sedang dikumpulkan
Mungkin diperlukan waktu hingga satu jam agar data awal dari log kustom baru muncul di Azure Monitor. Azure Monitor akan mulai mengumpulkan entri dari log yang ditemukan di jalur yang Anda tentukan sejak menentukan log kustom. Azure Monitor tidak akan mempertahankan entri yang Anda unggah selama pembuatan log kustom. Azure Monitor akan mengumpulkan entri di file log yang ditemukan.
Setelah Azure Monitor mulai mengumpulkan dari log kustom, rekamannya akan tersedia dengan kueri log. Gunakan nama yang Anda berikan pada log kustom sebagai Jenis dalam kueri Anda.
Catatan
Jika properti RawData hilang dari kueri, Anda mungkin perlu menutup dan membuka kembali browser Anda.
Uraikan entri log kustom
Seluruh entri log akan disimpan dalam satu properti yang disebut RawData. Anda kemungkinan besar akan ingin memisahkan bagian informasi yang berbeda di setiap entri ke dalam properti individual untuk setiap rekaman. Untuk opsi penguraian RawData ke beberapa properti, lihat Menguraikan data teks di Azure Monitor.
Menghapus tabel log kustom
Lihat Menghapus tabel.
Kumpulan data
Azure Monitor akan mengumpulkan entri baru dari setiap log kustom kira-kira setiap 5 menit. Agen akan merekam tempatnya di setiap file log yang dikumpulkannya. Jika agen offline untuk periode waktu tertentu, Azure Monitor akan mengumpulkan entri dari yang terakhir ditinggalkan, bahkan jika entri tersebut dibuat saat agen offline.
Seluruh isi entri log ditulis ke satu properti yang disebut RawData. Lihat Menguraikan data teks di Azure Monitor untuk metode menguraikan setiap entri log yang diimpor ke beberapa properti.
Properti rekaman log kustom
Rekaman log kustom memiliki jenis dengan nama log yang Anda berikan dan properti dalam tabel berikut.
| Properti | Deskripsi |
|---|---|
| TimeGenerated | Tanggal dan waktu rekaman dikumpulkan oleh Azure Monitor. Jika log menggunakan pemisah berbasis waktu, pemisah tersebut adalah waktu yang dikumpulkan dari entri. |
| SourceSystem | Jenis agen tempat rekaman dikumpulkan. OpsManager – Agen Windows, baik sambungan langsung atau Manajer Operasi Pusat Sistem Linux - Semua agen Linux |
| RawData | Teks lengkap entri yang dikumpulkan. Kemungkinan besar Anda ingin menguraikan data ini ke dalam properti individual. |
| ManagementGroupName | Nama grup manajemen untuk agen Manajer Operasi Pusat Sistem. Untuk agen lain, ini adalah AOI-<ID ruang kerja>. |
Panduan sampel menambahkan log kustom
Bagian berikut menjelaskan contoh pembuatan log kustom. Log sampel yang dikumpulkan memiliki satu entri pada setiap baris yang dimulai dengan tanggal dan waktu, lalu bidang yang dipisahkan koma untuk kode, status, dan pesan. Beberapa entri sampel ditunjukkan di bawah ini.
2019-08-27 01:34:36 207,Success,Client 05a26a97-272a-4bc9-8f64-269d154b0e39 connected
2019-08-27 01:33:33 208,Warning,Client ec53d95c-1c88-41ae-8174-92104212de5d disconnected
2019-08-27 01:35:44 209,Success,Transaction 10d65890-b003-48f8-9cfc-9c74b51189c8 succeeded
2019-08-27 01:38:22 302,Error,Application could not connect to database
2019-08-27 01:31:34 303,Error,Application lost connection to database
Mengunggah dan menguraikan log sampel
Kita menyediakan salah satu file log dan dapat melihat peristiwa yang akan dikumpulkannya. Dalam kasus ini, Baris baru adalah pemisah yang cukup. Jika satu entri dalam log dapat menjangkau beberapa baris, pemisah tanda waktu perlu digunakan.
Menambahkan jalur pengumpulan log
File log akan berada di C:\MyApp\Logs. File baru akan dibuat setiap hari dengan nama yang menyertakan tanggal dalam pola appYYYYMMDD.log. Pola yang memadai untuk log ini adalah C:\MyApp\Logs\*.log.
Memberikan nama dan deskripsi untuk log
Kita gunakan nama MyApp_CL dan ketik Deskripsi.
Memvalidasi bahwa log kustom sedang dikumpulkan
Kita gunakan kueri sederhana MyApp_CL untuk mengembalikan semua rekaman dari log yang dikumpulkan.
Alternatif untuk log kustom
Meskipun log kustom berguna jika data Anda sesuai dengan kriteria yang tercantum di atas, ada beberapa kasus seperti berikut ini di mana Anda memerlukan strategi lain:
- Data tidak sesuai dengan struktur yang diperlukan, seperti memiliki tanda waktu dalam format yang berbeda.
- File log tidak mematuhi persyaratan seperti pengodean file atau struktur folder yang tidak didukung.
- Data memerlukan prapemrosesan atau pemfilteran sebelum pengumpulan.
Jika data Anda tidak dapat dikumpulkan dengan log kustom, pertimbangkan strategi alternatif berikut:
- Gunakan skrip kustom atau metode lain untuk menulis data ke Windows Events atau Syslog yang dikumpulkan oleh Azure Monitor.
- Kirim data langsung ke Azure Monitor menggunakan API Pengumpul Data HTTP.
Langkah berikutnya
- Lihat Menguraikan data teks di Azure Monitor untuk metode menguraikan setiap entri log yang diimpor ke beberapa properti.
- Pelajari tentang kueri log untuk menganalisis data yang dikumpulkan dari sumber data dan solusi.