Mengalirkan data pemantauan Azure ke pusat aktivitas dan mitra eksternal
Metode efektif untuk mengalirkan data dari Azure Monitor ke alat eksternal adalah dengan menggunakan Azure Event Hubs. Artikel ini memberikan deskripsi tentang cara mengalirkan data ke Azure Event Hubs dan mencantumkan beberapa mitra yang dapat menggunakan data tersebut dari hub. Beberapa mitra berintegrasi dengan Azure Monitor dan memiliki layanan yang dihosting Azure.
Membuat namespace layanan Pusat Aktivitas
Sebelum mengonfigurasi streaming untuk sumber data, Anda perlu membuat namespace layanan Event Hubs dan hub peristiwa. Namespace layanan dan hub peristiwa ini adalah tujuan untuk semua data pemantauan Anda. Namespace Layanan Azure Event Hubs adalah pengelompokan logis hub peristiwa yang memiliki kebijakan akses yang sama, sama seperti akun penyimpanan yang memiliki kontainer individual untuk blob dalam akun penyimpanan. Pertimbangkan detail berikut tentang namespace layanan Azure Event Hubs dan hub peristiwa yang Anda gunakan untuk streaming data pemantauan:
- Jumlah unit throughput memungkinkan Anda untuk meningkatkan skala throughput untuk hub peristiwa Anda. Hanya satu unit throughput yang biasanya diperlukan. Jika Anda perlu meningkatkan skala seiring dengan meningkatnya penggunaan log, Anda dapat secara manual meningkatkan jumlah unit throughput untuk namespace layanan atau mengaktifkan inflasi otomatis.
- Pengaturan jumlah partisi memungkinkan Anda melakukan paralelisasi konsumsi di banyak konsumen. Satu partisi dapat mendukung hingga 20 MBps atau sekitar 20.000 pesan per detik. Bergantung pada alat yang mengonsumsi data, mungkin atau mungkin tidak mendukung penggunaan dari beberapa partisi. Anda dapat memulai dengan menggunakan empat partisi jika tidak yakin dengan jumlah partisi yang ditetapkan.
- Atur retensi pesan di hub peristiwa Anda ke setidaknya tujuh hari. Jika alat konsumsi Anda berhenti berfungsi lebih dari satu hari, retensi ini memastikan bahwa alat tersebut dapat melanjutkan dari bagian terakhir untuk kejadian hingga 7 hari.
- Gunakan grup konsumen default untuk hub peristiwa Anda. Anda tidak perlu membuat grup konsumen lain atau menggunakan grup konsumen terpisah kecuali Jika Anda berencana untuk memiliki dua alat yang berbeda yang mengonsumsi data yang sama dari hub kejadian yang sama.
- Untuk log aktivitas Azure, saat Anda memilih namespace Layanan Pusat Aktivitas, Azure Monitor membuat hub peristiwa dalam namespace layanan yang disebut
insights-logs-operational-logs
. Untuk jenis log lainnya, Anda dapat memilih hub peristiwa yang sudah ada atau meminta Azure Monitor membuat hub peristiwa per kategori log. - Port keluar 5671 dan 5672 harus dibuka pada komputer atau jaringan virtual yang menggunakan data dari hub peristiwa.
Metode streaming
Data dapat dikirim ke Azure Event Hubs dengan menggunakan metode berikut di Azure Monitor:
Aturan pengumpulan data
Aturan pengumpulan data digunakan untuk mengalirkan log dan metrik ke Azure Event Hubs, ruang kerja analitik log, dan Azure Storage. Untuk informasi tentang cara menyiapkan aturan pengumpulan data, lihat Aturan pengumpulan data di Azure Monitor dan Membuat dan mengedit aturan pengumpulan data.Pengaturan diagnostik
Gunakan pengaturan diagnostik untuk mengalirkan log dan metrik ke Azure Event Hubs. Untuk informasi tentang cara menyiapkan pengaturan diagnostik, lihat Membuat pengaturan diagnostik.Melakukan streaming secara manual menggunakan Logic Apps
Untuk data yang tidak dapat Anda streaming langsung ke pusat aktivitas, Anda dapat menulis ke Azure Storage dan kemudian Anda dapat menggunakan aplikasi logika yang dipicu waktu yang menarik data dari Azure Blob Storage dan mendorongnya sebagai pesan ke hub peristiwa. Untuk informasi selengkapnya, lihat Menyambungkan ke pusat aktivitas dari alur kerja di Azure Logic Apps.
Format data
JSON berikut adalah contoh data metrik yang dikirim ke pusat aktivitas:
[
{
"records": [
{
"count": 2,
"total": 0.217,
"minimum": 0.042,
"maximum": 0.175,
"average": 0.1085,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 2,
"total": 0.284,
"minimum": 0.053,
"maximum": 0.231,
"average": 0.142,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:04:00.0000000Z",
"metricName": "CpuTime",
"timeGrain": "PT1M"
},
{
"count": 1,
"total": 1,
"minimum": 1,
"maximum": 1,
"average": 1,
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.WEB/SITES/SCALEABLEWEBAPP1",
"time": "2023-04-18T09:03:00.0000000Z",
"metricName": "Requests",
"timeGrain": "PT1M"
},
...
]
}
]
JSON berikut adalah contoh data log yang dikirim ke pusat aktivitas:
[
{
"records": [
{
"time": "2023-04-18T09:39:56.5027358Z",
"category": "AuditEvent",
"operationName": "VaultGet",
"resultType": "Success",
"correlationId": "cccc2222-dd33-4444-55ee-666666ffffff",
"callerIpAddress": "10.0.0.10",
"identity": {
"claim": {
"http://schemas.microsoft.com/identity/claims/objectidentifier": "123abc12-abcd-9876-cdef-123abc456def",
"appid": "44445555-eeee-6666-ffff-7777aaaa8888"
}
},
"properties": {
"id": "https://mykeyvault.vault.azure.net/",
"clientInfo": "AzureResourceGraph.IngestionWorkerService.global/1.23.1.224",
"requestUri": "https://northeurope.management.azure.com/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/rg-001/providers/Microsoft.KeyVault/vaults/mykeyvault?api-version=2023-02-01&MaskCMKEnabledProperties=true",
"httpStatusCode": 200,
"properties": {
"sku": {
"Family": "A",
"Name": "Standard",
"Capacity": null
},
"tenantId": "bbbbcccc-1111-dddd-2222-eeee3333ffff",
"networkAcls": null,
"enabledForDeployment": 0,
"enabledForDiskEncryption": 0,
"enabledForTemplateDeployment": 0,
"enableSoftDelete": 1,
"softDeleteRetentionInDays": 90,
"enableRbacAuthorization": 0,
"enablePurgeProtection": null
}
},
"resourceId": "/SUBSCRIPTIONS/AAAA0A0A-BB1B-CC2C-DD3D-EEEEEE4E4E4E/RESOURCEGROUPS/RG-001/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/mykeyvault",
"operationVersion": "2023-02-01",
"resultSignature": "OK",
"durationMs": "16"
}
],
"EventProcessedUtcTime": "2023-04-18T09:42:07.0944007Z",
"PartitionId": 1,
"EventEnqueuedUtcTime": "2023-04-18T09:41:14.9410000Z"
},
...
Alat mitra dengan integrasi Azure Monitor
Merutekan data pemantauan Anda ke hub peristiwa dengan Azure Monitor memungkinkan Anda untuk dengan mudah berintegrasi dengan SIEM eksternal dan alat pemantauan. Tabel berikut ini mencantumkan contoh alat dengan integrasi Azure Monitor.
Alat | Dihosting di Azure | Deskripsi |
---|---|---|
IBM QRadar | No | Protokol Microsoft Azure DSM dan Microsoft Azure Event Hubs dapat diunduh dari situs web dukungan IBM. |
Splunk | No | Add-on Splunk untuk Microsoft Cloud Services adalah proyek sumber terbuka yang tersedia di Splunkbase. Jika Anda tidak dapat menginstal add-on di instans Splunk dan menggunakan proksi atau berjalan di Splunk Cloud, Anda dapat meneruskan peristiwa ini ke Splunk HTTP Event Collector dengan menggunakan Azure Function for Splunk. Alat ini dipicu oleh pesan baru di pusat aktivitas. |
SumoLogic | No | Petunjuk untuk menyiapkan SumoLogic untuk menggunakan data dari pusat aktivitas tersedia di Mengumpulkan Log untuk Aplikasi Audit Azure dari Azure Event Hubs. |
ArcSight | No | Konektor cerdas ArcSight Azure Event Hubs tersedia sebagai bagian dari koleksi konektor cerdas ArcSight. |
Server Syslog | No | Jika Anda ingin melakukan streaming data Azure Monitor langsung ke server Syslog, Anda dapat menggunakan solusi berdasarkan fungsi Azure. |
LogRhythm | No | Instruksi untuk menyiapkan LogRhythm untuk mengumpulkan log dari pusat aktivitas tersedia di situs web LogRhythm ini. |
Logz.io | Ya | Untuk informasi selengkapnya, lihat Mulai memantau dan mencatat dengan menggunakan Logz.io untuk aplikasi Java yang berjalan di Azure. |