Log sumber daya di Azure Monitor

Log sumber daya Azure memberikan wawasan tentang operasi yang dilakukan dalam sumber daya Azure. Konten log sumber daya berbeda untuk setiap jenis sumber daya. Mereka dapat menyertakan informasi tentang operasi yang dilakukan pada sumber daya, status operasi tersebut, dan detail lain yang membantu Anda memahami kesehatan dan performa sumber daya.

Mengumpulkan log sumber daya

Log sumber daya tidak dikumpulkan secara default. Untuk mengumpulkannya, Anda harus membuat pengaturan diagnostik untuk setiap sumber daya Azure. Lihat Pengaturan diagnostik di Azure Monitor untuk detailnya. Informasi di bawah ini memberikan detail lebih lanjut tentang berbagai tujuan tempat log sumber daya dapat dikirim.

Nota

Log Sumber Daya tidak sepenuhnya tanpa kehilangan. Sistem ini didasarkan pada arsitektur penyimpanan dan penerusan yang dirancang untuk memindahkan petabyte data dalam skala besar dengan biaya terjangkau per hari. Kemampuan ini mencakup redundansi bawaan dan percobaan ulang di seluruh platform tetapi tidak memberikan jaminan transaksional. Setiap kali sumber kehilangan data persisten diidentifikasi, resolusinya dan pencegahan di masa mendatang diprioritaskan. Kerugian data kecil mungkin masih terjadi pada masalah layanan sementara yang tidak berulang yang didistribusikan di seluruh Azure.

Setelah log sumber daya dikumpulkan, waktunya untuk tersedia untuk analisis bervariasi menurut tujuan dan layanan Azure. Untuk latensi penyerapan yang diharapkan, lihat Mencatat waktu penyerapan data di Azure Monitor.

Tujuan

Saat membuat pengaturan diagnostik, Anda dapat memilih untuk mengirim log sumber daya ke satu atau beberapa tujuan berikut. Tujuan yang Anda pilih didasarkan pada kebutuhan Anda untuk analisis, retensi, dan integrasi dengan sistem lain.

Bagian berikut ini menjelaskan detail log sumber daya untuk setiap tujuan.

Ruang kerja Log Analytics

Kirim log sumber daya ke ruang kerja Analitik Log untuk fungsionalitas berikut:

• Menghubungkan log sumber daya dengan data log lain menggunakan kueri log.
• Buat pemberitahuan log dari entri log sumber daya.
• Akses data log sumber daya dengan Power BI.

Mode pengumpulan

Tabel dalam ruang kerja Log Analytics yang digunakan oleh log sumber daya bergantung pada tipe sumber daya dan tipe pengumpulan yang digunakan oleh sumber daya. Ada dua jenis mode pengumpulan untuk log sumber daya:

• Diagnostik Azure: Semua data ditulis ke tabel AzureDiagnostics .
• Khusus sumber daya: Data ditulis ke tabel individual untuk setiap kategori sumber daya.

Khusus sumber daya

Untuk log yang menggunakan mode khusus sumber daya, tabel individual di ruang kerja yang dipilih dibuat untuk setiap kategori log yang dipilih dalam pengaturan diagnostik. Log khusus sumber daya memiliki keuntungan berikut daripada log diagnostik Azure:

• Mempermudah bekerja dengan data dalam kueri log.
• Memberikan penemuan skema dan strukturnya yang lebih baik.
• Meningkatkan performa di seluruh latensi penerimaan dan waktu pemrosesan kueri.
• Menyediakan kemampuan untuk memberikan hak kontrol akses berbasis peran Azure pada tabel tertentu.

Untuk deskripsi log dan tabel khusus sumber daya, lihat Kategori log Sumber Daya yang Didukung untuk Azure Monitor

Mode diagnostik Azure

Dalam mode diagnostik Azure, semua data dari pengaturan diagnostik apa pun dikumpulkan dalam tabel AzureDiagnostics . Metode warisan ini digunakan saat ini oleh minoritas layanan Azure. Karena beberapa jenis sumber daya mengirim data ke tabel yang sama, skemanya adalah superset dari skema semua jenis data berbeda yang dikumpulkan. Untuk detail tentang struktur tabel ini dan cara kerjanya dengan kolom dalam jumlah yang berpotensi besar ini, lihat Referensi AzureDiagnostics.

Tabel AzureDiagnostics berisi resourceId sumber daya yang menghasilkan log, kategori log, dan waktu log dihasilkan serta properti spesifik sumber daya.

Pilih mode pengumpulan

Sebagian besar sumber daya Azure menulis data ke ruang kerja baik dalam diagnostik Azure atau mode khusus sumber daya tanpa memberi Anda pilihan. Untuk informasi selengkapnya, lihat Skema umum dan khusus layanan untuk log sumber daya Azure.

Semua layanan Azure pada akhirnya akan menggunakan mode khusus sumber daya. Sebagai bagian dari transisi ini, beberapa sumber memungkinkan Anda memilih mode dalam pengaturan diagnostik. Tentukan mode khusus sumber daya untuk pengaturan diagnostik baru karena mode ini membuat data lebih mudah dikelola. Ini juga dapat membantu Anda menghindari migrasi yang kompleks nanti.

Nota

Untuk contoh yang mengatur mode pengumpulan dengan menggunakan templat Azure Resource Manager, lihat Sampel templat Resource Manager untuk pengaturan diagnostik di Azure Monitor.

Anda dapat mengubah pengaturan diagnostik yang ada ke mode khusus sumber daya. Dalam hal ini, data yang telah dikumpulkan tetap berada di tabel AzureDiagnostics hingga dihapus sesuai dengan setelan retensi Anda untuk ruang kerja. Data baru dikumpulkan dalam tabel khusus. Gunakan operator gabungan untuk mengkueri data di kedua tabel.

Lanjutkan menonton blog Pembaruan Azure untuk pengumuman tentang layanan Azure yang mendukung mode khusus sumber daya.

Event Hubs

Kirim log sumber daya ke hub peristiwa untuk mengirimnya ke luar Azure. Misalnya, log sumber daya mungkin dikirim ke SIEM pihak ketiga atau solusi analitik log lainnya.

Log sumber daya dari hub-hub peristiwa dikonsumsi dalam format JSON dengan elemen records yang berisi catatan di setiap payload. Skema tergantung pada jenis sumber daya seperti yang dijelaskan dalam Skema umum dan khusus layanan untuk log sumber daya Azure.

Data keluaran sampel berikut ini berasal dari Azure Event Hubs untuk log sumber daya:

{
    "records": [
        {
            "time": "2019-07-15T18:00:22.6235064Z",
            "workflowId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/JOHNKEMTEST/PROVIDERS/MICROSOFT.LOGIC/WORKFLOWS/JOHNKEMTESTLA",
            "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/JOHNKEMTEST/PROVIDERS/MICROSOFT.LOGIC/WORKFLOWS/JOHNKEMTESTLA/RUNS/08587330013509921957/ACTIONS/SEND_EMAIL",
            "category": "WorkflowRuntime",
            "level": "Error",
            "operationName": "Microsoft.Logic/workflows/workflowActionCompleted",
            "properties": {
                "$schema": "2016-04-01-preview",
                "startTime": "2016-07-15T17:58:55.048482Z",
                "endTime": "2016-07-15T18:00:22.4109204Z",
                "status": "Failed",
                "code": "BadGateway",
                "resource": {
                    "subscriptionId": "AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E",
                    "resourceGroupName": "JohnKemTest",
                    "workflowId": "2222cccc-33dd-eeee-ff44-aaaaaa555555",
                    "workflowName": "JohnKemTestLA",
                    "runId": "08587330013509921957",
                    "location": "westus",
                    "actionName": "Send_email"
                },
                "correlation": {
                    "actionTrackingId": "3333dddd-44ee-ffff-aa55-bbbbbbbb6666",
                    "clientTrackingId": "08587330013509921958"
                }
            }
        },
        {
            "time": "2019-07-15T18:01:15.7532989Z",
            "workflowId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/JOHNKEMTEST/PROVIDERS/MICROSOFT.LOGIC/WORKFLOWS/JOHNKEMTESTLA",
            "resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/JOHNKEMTEST/PROVIDERS/MICROSOFT.LOGIC/WORKFLOWS/JOHNKEMTESTLA/RUNS/08587330012106702630/ACTIONS/SEND_EMAIL",
            "category": "WorkflowRuntime",
            "level": "Information",
            "operationName": "Microsoft.Logic/workflows/workflowActionStarted",
            "properties": {
                "$schema": "2016-04-01-preview",
                "startTime": "2016-07-15T18:01:15.5828115Z",
                "status": "Running",
                "resource": {
                    "subscriptionId": "AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E",
                    "resourceGroupName": "JohnKemTest",
                    "workflowId": "dddd3333-ee44-5555-66ff-777777aaaaaa",
                    "workflowName": "JohnKemTestLA",
                    "runId": "08587330012106702630",
                    "location": "westus",
                    "actionName": "Send_email"
                },
                "correlation": {
                    "actionTrackingId": "ffff5555-aa66-7777-88bb-999999cccccc",
                    "clientTrackingId": "08587330012106702632"
                }
            }
        }
    ]
}

Azure Storage

Kirim log sumber daya ke Azure Storage untuk menyimpannya untuk pengarsipan. Setelah Anda membuat pengaturan diagnostik, kontainer penyimpanan dibuat di akun penyimpanan segera setelah peristiwa terjadi di salah satu kategori log yang diaktifkan.

Nota

Alternatif untuk melakukan pengarsipan adalah mengirim log sumber daya ke tabel di ruang kerja Analitik Log Anda dengan retensi berbiaya rendah jangka panjang.

Blob dalam kontainer menggunakan konvensi penamaan berikut:

insights-logs-{log category name}/resourceId=/SUBSCRIPTIONS/{subscription ID}/RESOURCEGROUPS/{resource group name}/PROVIDERS/{resource provider name}/{resource type}/{resource name}/y={four-digit numeric year}/m={two-digit numeric month}/d={two-digit numeric day}/h={two-digit 24-hour clock hour}/m=00/PT1H.json

Blob untuk kelompok keamanan jaringan mungkin memiliki nama yang mirip dengan contoh ini:

insights-logs-networksecuritygrouprulecounter/resourceId=/SUBSCRIPTIONS/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/RESOURCEGROUPS/TESTRESOURCEGROUP/PROVIDERS/MICROSOFT.NETWORK/NETWORKSECURITYGROUP/TESTNSG/y=2016/m=08/d=22/h=18/m=00/PT1H.json

Setiap blob PT1H.json berisi objek JSON dengan peristiwa dari file log yang diterima selama jam yang ditentukan dalam URL blob. Selama jam ini, peristiwa ditambahkan ke file PT1H.json seperti yang diterima, terlepas dari kapan peristiwa dibuat. Nilai menit dalam URL, m=00 selalu 00 karena blob dibuat setiap jam.

Dalam file PT1H.json, setiap peristiwa disimpan dengan format berikut. Ini menggunakan skema tingkat atas umum tetapi unik untuk setiap layanan Azure, seperti yang dijelaskan dalam skema log Sumber Daya.

Nota

Log ditulis ke blob berdasarkan waktu log diterima, terlepas dari waktu pembuatannya. Ini berarti bahwa blob tertentu dapat berisi data log yang berada di luar jam yang ditentukan dalam URL blob. Di mana sumber data seperti Application insights, mendukung pengunggahan telemetri kedaluarsa, blob dapat berisi data dari 48 jam sebelumnya. Pada awal jam baru, ada kemungkinan bahwa log yang ada masih ditulis ke blob jam sebelumnya sementara log baru ditulis ke blob jam baru.

{"time": "2016-07-01T00:00:37.2040000Z","systemId": "a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1","category": "NetworkSecurityGroupRuleCounter","resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/TESTRESOURCEGROUP/PROVIDERS/MICROSOFT.NETWORK/NETWORKSECURITYGROUPS/TESTNSG","operationName": "NetworkSecurityGroupCounters","properties": {"vnetResourceGuid": "{aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e}","subnetPrefix": "10.3.0.0/24","macAddress": "000123456789","ruleName": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/testresourcegroup/providers/Microsoft.Network/networkSecurityGroups/testnsg/securityRules/default-allow-rdp","direction": "In","type": "allow","matchedConnections": 1988}}

Integrasi mitra Azure Monitor

Log sumber daya dapat dikirim ke solusi mitra yang sepenuhnya terintegrasi ke Azure. Untuk daftar solusi dan detail tentang cara mengonfigurasinya, lihat Integrasi mitra Azure Monitor.

Kategori dan skema

Semua log sumber daya berbagi skema tingkat atas umum. Setiap layanan mendefinisikan properti unik untuk lognya sendiri. Lihat Skema umum dan khusus layanan untuk log sumber daya Azure untuk skema umum dan skema untuk setiap layanan. Lihat Kategori log Sumber Daya yang Didukung untuk Azure Monitor untuk berbagai kategori yang didukung oleh setiap layanan dan tautan ke skema untuk setiap kategori.

Langkah selanjutnya

• Baca selengkapnya tentang log sumber daya.
• Buat pengaturan diagnostik untuk mengirim log dan metrik platform ke tujuan yang berbeda.