Mengirim log sumber daya Azure ke ruang kerja Analitik Log, Azure Event Hubs, atau Azure Storage
Log sumber daya Azure adalah log platform yang memberikan wawasan tentang operasi yang dilakukan dalam sumber daya Azure. Konten log sumber daya berbeda untuk setiap jenis sumber daya. Log sumber daya tidak dikumpulkan secara default. Untuk mengumpulkan log sumber daya, Anda harus mengaktifkan dan mengonfigurasi Pengaturan Diagnostik atau menggunakan aturan pengumpulan data. Untuk informasi selengkapnya tentang aturan pengumpulan data, lihat Aturan pengumpulan data di Azure Monitor. Artikel ini menjelaskan pengaturan diagnostik yang diperlukan untuk setiap sumber daya Azure untuk mengirim log sumber dayanya ke ruang kerja Log Analytics, Azure Event Hubs, atau Azure Storage.
Mengirim ke ruang kerja Log Analytics
Kirim log sumber daya ke ruang kerja Analisis Log untuk mengaktifkan fitur Azure Monitor Logs, tempat Anda dapat:
- Menyambungkan data log sumber daya dengan data pemantauan lain yang dikumpulkan oleh Azure Monitor.
- Menggabungkan entri log dari beberapa sumber daya, langganan, dan penyewa Azure ke dalam satu lokasi untuk analisis bersama.
- Menggunakan kueri log untuk melakukan analisis kompleks dan dapatkan wawasan mendalam tentang data log.
- Gunakan pemberitahuan pencarian log dengan logika pemberitahuan yang kompleks.
Buat pengaturan diagnostik untuk mengirim log sumber daya ke ruang kerja Analitik Log. Data ini disimpan dalam tabel seperti yang dijelaskan di Struktur Log Azure Monitor. Tabel yang digunakan oleh log sumber daya bergantung pada jenis sumber daya dan jenis pengumpulan sumber daya yang digunakan. Ada dua jenis mode pengumpulan untuk log sumber daya:
- Diagnostik Azure: Semua data ditulis ke tabel AzureDiagnostics.
- Resource-specific: Data ditulis ke tabel individual untuk setiap kategori sumber daya.
Khusus sumber daya
Untuk log yang menggunakan mode khusus sumber daya, tabel individual di ruang kerja yang dipilih dibuat untuk setiap kategori log yang dipilih dalam pengaturan diagnostik. Log khusus sumber daya memiliki keuntungan berikut daripada log diagnostik Azure:
- Mempermudah bekerja dengan data dalam kueri log.
- Memberikan penemuan skema dan strukturnya yang lebih baik.
- Meningkatkan performa di seluruh latensi penyerapan dan waktu kueri.
- Menyediakan kemampuan untuk memberikan hak kontrol akses berbasis peran Azure pada tabel tertentu.
Untuk deskripsi log dan tabel khusus sumber daya, lihat Kategori log Sumber Daya yang Didukung untuk Azure Monitor
Mode diagnostik Azure
Dalam mode diagnostik Azure, semua data dari pengaturan diagnostik apa pun dikumpulkan dalam tabel AzureDiagnostics . Metode warisan ini digunakan saat ini oleh minoritas layanan Azure. Karena beberapa jenis sumber daya mengirim data ke tabel yang sama, skemanya adalah superset dari skema semua jenis data berbeda yang dikumpulkan. Untuk detail tentang struktur tabel ini dan cara kerjanya dengan jumlah kolom yang berpotensi besar ini, lihat referensi AzureDiagnostics.
Tabel AzureDiagnostics berisi resourceId sumber daya yang menghasilkan log, kategori log, dan waktu log dihasilkan serta properti spesifik sumber daya.
Pilih mode pengumpulan
Sebagian besar sumber daya Azure menulis data ke ruang kerja dalam mode diagnostik Azure atau khusus sumber daya tanpa memberi Anda pilihan. Untuk mengetahui informasi selengkapnya, lihat Skema umum dan khusus layanan untuk log sumber daya Azure.
Semua layanan Azure pada akhirnya akan menggunakan mode khusus sumber daya. Sebagai bagian dari transisi ini, beberapa sumber memungkinkan Anda memilih mode dalam pengaturan diagnostik. Tentukan mode khusus sumber daya untuk pengaturan diagnostik baru karena mode ini membuat data lebih mudah dikelola. Ini juga dapat membantu Anda menghindari migrasi yang kompleks nanti.
Catatan
Untuk contoh yang mengatur mode pengumpulan dengan menggunakan templat Azure Resource Manager, lihat Contoh templat Resource Manager untuk pengaturan diagnostik di Azure Monitor.
Anda dapat mengubah pengaturan diagnostik yang ada ke mode khusus sumber daya. Dalam hal ini, data yang telah dikumpulkan tetap berada di tabel AzureDiagnostics hingga dihapus sesuai dengan setelan retensi Anda untuk ruang kerja. Data baru dikumpulkan dalam tabel khusus. Gunakan operator union untuk mengkueri data di kedua tabel.
Lanjutkan menonton blog Pembaruan Azure untuk pengumuman tentang layanan Azure yang mendukung mode khusus sumber daya.
Mengirim ke Azure Event Hubs
Kirim log sumber daya ke hub peristiwa untuk mengirimnya ke luar Azure. Misalnya, log sumber daya mungkin dikirim ke SIEM pihak ketiga atau solusi analitik log lainnya. Log sumber daya dari hub peristiwa digunakan dalam format JSON dengan elemen records yang berisi catatan di setiap payload. Skema bergantung pada jenis sumber daya seperti yang dijelaskan dalam Skema umum dan khusus layanan untuk Log sumber daya Azure.
Data keluaran sampel berikut ini berasal dari Azure Event Hubs untuk log sumber daya:
{
"records": [
{
"time": "2019-07-15T18:00:22.6235064Z",
"workflowId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/JOHNKEMTEST/PROVIDERS/MICROSOFT.LOGIC/WORKFLOWS/JOHNKEMTESTLA",
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/JOHNKEMTEST/PROVIDERS/MICROSOFT.LOGIC/WORKFLOWS/JOHNKEMTESTLA/RUNS/08587330013509921957/ACTIONS/SEND_EMAIL",
"category": "WorkflowRuntime",
"level": "Error",
"operationName": "Microsoft.Logic/workflows/workflowActionCompleted",
"properties": {
"$schema": "2016-04-01-preview",
"startTime": "2016-07-15T17:58:55.048482Z",
"endTime": "2016-07-15T18:00:22.4109204Z",
"status": "Failed",
"code": "BadGateway",
"resource": {
"subscriptionId": "AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E",
"resourceGroupName": "JohnKemTest",
"workflowId": "2222cccc-33dd-eeee-ff44-aaaaaa555555",
"workflowName": "JohnKemTestLA",
"runId": "08587330013509921957",
"location": "westus",
"actionName": "Send_email"
},
"correlation": {
"actionTrackingId": "3333dddd-44ee-ffff-aa55-bbbbbbbb6666",
"clientTrackingId": "08587330013509921958"
}
}
},
{
"time": "2019-07-15T18:01:15.7532989Z",
"workflowId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/JOHNKEMTEST/PROVIDERS/MICROSOFT.LOGIC/WORKFLOWS/JOHNKEMTESTLA",
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/JOHNKEMTEST/PROVIDERS/MICROSOFT.LOGIC/WORKFLOWS/JOHNKEMTESTLA/RUNS/08587330012106702630/ACTIONS/SEND_EMAIL",
"category": "WorkflowRuntime",
"level": "Information",
"operationName": "Microsoft.Logic/workflows/workflowActionStarted",
"properties": {
"$schema": "2016-04-01-preview",
"startTime": "2016-07-15T18:01:15.5828115Z",
"status": "Running",
"resource": {
"subscriptionId": "AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E",
"resourceGroupName": "JohnKemTest",
"workflowId": "dddd3333-ee44-5555-66ff-777777aaaaaa",
"workflowName": "JohnKemTestLA",
"runId": "08587330012106702630",
"location": "westus",
"actionName": "Send_email"
},
"correlation": {
"actionTrackingId": "ffff5555-aa66-7777-88bb-999999cccccc",
"clientTrackingId": "08587330012106702632"
}
}
}
]
}
Mengirim ke Azure Storage
Kirim log sumber daya ke Azure Storage untuk menyimpannya untuk pengarsipan. Setelah Anda membuat pengaturan diagnostik, kontainer penyimpanan dibuat di akun penyimpanan segera setelah peristiwa terjadi di salah satu kategori log yang diaktifkan.
Catatan
Alternatif pengarsipan adalah mengirim log sumber daya ke tabel di ruang kerja Analitik Log Anda dengan retensi jangka panjang bernilai rendah.
Blob dalam kontainer menggunakan konvensi penamaan berikut:
insights-logs-{log category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/RESOURCEGROUPS/{resource group name}/PROVIDERS/{resource provider name}/{resource type}/{resource name}/y={four-digit numeric year}/m={two-digit numeric month}/d={two-digit numeric day}/h={two-digit 24-hour clock hour}/m=00/PT1H.json
Blob untuk kelompok keamanan jaringan mungkin memiliki nama yang mirip dengan contoh ini:
insights-logs-networksecuritygrouprulecounter/resourceId=/SUBSCRIPTIONS/a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1/RESOURCEGROUPS/TESTRESOURCEGROUP/PROVIDERS/MICROSOFT.NETWORK/NETWORKSECURITYGROUP/TESTNSG/y=2016/m=08/d=22/h=18/m=00/PT1H.json
Setiap blob PT1H.json berisi objek JSON dengan peristiwa dari file log yang diterima selama jam yang ditentukan dalam URL blob. Selama jam ini, peristiwa ditambahkan ke file PT1H.json seperti yang diterima, terlepas dari kapan peristiwa dibuat. Nilai menit dalam URL, m=00 selalu 00 saat blob dibuat per jam.
Dalam file PT1H.json, setiap peristiwa disimpan dengan format berikut. Ini menggunakan skema tingkat atas yang umum tetapi unik untuk setiap layanan Azure, seperti yang dijelaskan dalam Skema log sumber daya.
Catatan
Log ditulis ke blob berdasarkan waktu log diterima, terlepas dari waktu pembuatannya. Ini berarti bahwa blob tertentu dapat berisi data log yang berada di luar jam yang ditentukan dalam URL blob. Di mana sumber data seperti Application insights, mendukung pengunggahan telemetri kedaluarsa, blob dapat berisi data dari 48 jam sebelumnya.
Pada awal jam baru, ada kemungkinan bahwa log yang ada masih ditulis ke blob jam sebelumnya sementara log baru ditulis ke blob jam baru.
{"time": "2016-07-01T00:00:37.2040000Z","systemId": "a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1","category": "NetworkSecurityGroupRuleCounter","resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/TESTRESOURCEGROUP/PROVIDERS/MICROSOFT.NETWORK/NETWORKSECURITYGROUPS/TESTNSG","operationName": "NetworkSecurityGroupCounters","properties": {"vnetResourceGuid": "{12345678-9012-3456-7890-123456789012}","subnetPrefix": "10.3.0.0/24","macAddress": "000123456789","ruleName": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/testresourcegroup/providers/Microsoft.Network/networkSecurityGroups/testnsg/securityRules/default-allow-rdp","direction": "In","type": "allow","matchedConnections": 1988}}
Integrasi mitra Azure Monitor
Log sumber daya juga dapat dikirim ke solusi mitra yang terintegrasi penuh ke dalam Azure. Untuk daftar solusi ini dan detail tentang cara mengonfigurasinya, lihat integrasi mitra Azure Monitor.