Menganalisis penggunaan di ruang kerja Analitik Log
Biaya Azure Monitor dapat bervariasi secara signifikan berdasarkan volume data yang dikumpulkan di ruang kerja Analitik Log Anda. Volume ini dipengaruhi oleh serangkaian solusi menggunakan ruang kerja dan jumlah data yang dikumpulkan setiap solusi. Artikel ini menyediakan panduan tentang menganalisis data yang Anda kumpulkan untuk membantu mengontrol biaya penyerapan data Anda. Ini membantu Anda menentukan penyebab penggunaan yang lebih tinggi dari yang diharapkan. Ini juga membantu Anda memprediksi biaya saat Anda memantau lebih banyak sumber daya dan mengonfigurasi fitur Azure Monitor yang berbeda.
Tip
Untuk strategi mengurangi biaya Azure Monitor Anda, lihat Pengoptimalan biaya dan Azure Monitor.
Penyebab penggunaan yang lebih tinggi dari yang diharapkan
Setiap ruang kerja Analitik Log dibebankan sebagai layanan terpisah dan berkontribusi pada tagihan untuk langganan Azure Anda. Jumlah penyerapan data dapat cukup besar, tergantung pada:
- Sekumpulan wawasan dan layanan diaktifkan dan konfigurasinya.
- Jumlah dan jenis sumber daya yang dipantau.
- Volume data yang dikumpulkan dari setiap sumber daya yang dipantau.
Peningkatan tak terduga dalam salah satu faktor ini dapat mengakibatkan peningkatan biaya untuk retensi data. Sisa artikel ini menyediakan metode untuk mendeteksi situasi seperti itu dan kemudian menganalisis data yang dikumpulkan untuk mengidentifikasi dan mengurangi sumber peningkatan penggunaan.
Mengirim peringatan saat pengumpulan data tinggi
Untuk menghindari tagihan tak terduga, Anda harus proaktif diberi tahu setiap kali Anda mengalami penggunaan yang berlebihan. Pemberitahuan ini memungkinkan Anda untuk mengatasi potensi anomali sebelum akhir periode penagihan Anda.
Contoh berikut adalah aturan pemberitahuan pencarian log yang mengirim pemberitahuan jika volume data yang dapat ditagih yang diserap dalam 24 jam terakhir lebih besar dari 50 GB. Ubah pengaturan Logika Peringatan untuk menggunakan ambang yang berbeda berdasarkan penggunaan yang diharapkan di lingkungan Anda. Anda juga dapat meningkatkan frekuensi untuk memeriksa penggunaan beberapa kali setiap hari, tetapi opsi ini akan menghasilkan biaya yang lebih tinggi untuk aturan peringatan.
| Pengaturan | Nilai |
|---|---|
| Cakupan | |
| Cakupan target | Pilih ruang kerja Log Analytics Anda. |
| Kondisi | |
| Kueri | Usage | where IsBillable | summarize DataGB = sum(Quantity / 1000) |
| Pengukuran | Ukuran: DataGB Jenis agregasi: Total Granuralitas agregasi: 1 hari |
| Logika Peringatan | Operator: Lebih besar dari Nilai ambang: 50 Frekuensi evaluasi: 1 hari |
| Tindakan | Pilih atau tambahkan grup tindakan untuk memberi tahu Anda bila ambang terlampaui. |
| Rincian | |
| Tingkat keparahan | Peringatan |
| Nama aturan pemberitahuan | Volume data yang dapat ditagih lebih besar dari 50 GB dalam 24 jam. |
Analisis penggunaan di Azure Monitor
Mulai analisis Anda dengan alat yang sudah ada di Azure Monitor. Alat-alat ini tidak memerlukan konfigurasi dan sering kali dapat memberikan informasi yang Anda butuhkan dengan upaya minimal. Jika Anda memerlukan analisis yang lebih mendalam ke dalam data yang dikumpulkan daripada fitur Azure Monitor yang ada, gunakan salah satu kueri log berikut di Analitik Log.
Log Analytics Workspace Insights
Wawasan Ruang Kerja Analitik Log memberi Anda pemahaman cepat tentang data di ruang kerja Anda. Misalnya, Anda dapat menentukan:
- Tabel data yang menyerap volume data terbanyak dalam tabel utama.
- Sumber daya teratas yang berkontribusi data.
- Tren penyerapan data.
Lihat tab Penggunaan untuk perincian penyerapan menurut solusi dan tabel. Informasi ini dapat membantu Anda dengan cepat mengidentifikasi tabel yang berkontribusi pada sebagian besar volume data Anda. Tab juga memperlihatkan tren pengumpulan data dari waktu ke waktu. Anda dapat menentukan apakah pengumpulan data terus meningkat dari waktu ke waktu atau tiba-tiba meningkat sebagai respons terhadap perubahan konfigurasi.
Pilih Kueri Tambahan untuk kueri bawaan yang membantu Anda lebih memahami pola data Anda.
Penggunaan dan estimasi biaya
Bagan Penyerapan data per solusi pada halaman Penggunaan dan perkiraan biaya untuk setiap ruang kerja menunjukkan total volume data yang dikirim dan berapa banyak yang dikirim oleh setiap solusi selama 31 hari sebelumnya. Informasi ini membantu Anda menentukan tren seperti apakah ada peningkatan dari penggunaan atau penggunaan data secara keseluruhan oleh solusi tertentu.
Mengkueri volume data dari tabel Penggunaan
Analisis jumlah data yang dapat ditagih yang dikumpulkan oleh layanan atau solusi tertentu. Kueri ini menggunakan tabel Penggunaan yang mengumpulkan data penggunaan untuk setiap tabel di ruang kerja.
Catatan
Klausa dengan TimeGenerated hanya untuk memastikan bahwa pengalaman kueri di portal Microsoft Azure melihat kembali melampaui 24 jam default. Saat Anda menggunakan jenis data Penggunaan , StartTime dan EndTime mewakili wadah waktu yang hasilnya disajikan.
Volume data yang dapat ditagih berdasarkan jenis selama sebulan terakhir
Usage
| where TimeGenerated > ago(32d)
| where StartTime >= startofday(ago(31d)) and EndTime < startofday(now())
| where IsBillable == true
| summarize BillableDataGB = sum(Quantity) / 1000. by bin(StartTime, 1d), DataType
| render columnchart
Volume data yang dapat ditagih berdasarkan solusi dan jenis selama sebulan terakhir
Usage
| where TimeGenerated > ago(32d)
| where StartTime >= startofday(ago(31d)) and EndTime < startofday(now())
| where IsBillable == true
| summarize BillableDataGB = sum(Quantity) / 1000 by Solution, DataType
| sort by Solution asc, DataType asc
Mengkueri volume data dari peristiwa secara langsung
Anda dapat menggunakan kueri log di Analitik Log jika Anda memerlukan analisis yang lebih dalam ke dalam data yang dikumpulkan. Setiap tabel di ruang kerja Analitik Log memiliki kolom standar berikut yang dapat membantu Anda menganalisis data yang dapat ditagih:
- _IsBillable mengidentifikasi rekaman yang ada biaya penyerapannya. Gunakan kolom ini untuk memfilter data yang tidak dapat ditagih.
- _BilledSize menyediakan ukuran dalam byte rekaman.
Volume data yang dapat ditagih untuk peristiwa tertentu
Jika Anda menemukan bahwa jenis data tertentu mengumpulkan data yang berlebihan, Anda mungkin ingin menganalisis data dalam tabel tersebut untuk menentukan rekaman tertentu yang meningkat. Contoh ini memfilter ID peristiwa tertentu dalam Event tabel lalu menyediakan hitungan untuk setiap ID. Anda bisa mengubah kueri ini dengan menggunakan kolom dari tabel lain.
Event
| where TimeGenerated > startofday(ago(31d)) and TimeGenerated < startofday(now())
| where EventID == 5145 or EventID == 5156
| where _IsBillable == true
| summarize count(), Bytes=sum(_BilledSize) by EventID, bin(TimeGenerated, 1d)
Volume data menurut sumber daya, grup sumber daya, atau langganan Azure
Anda dapat menganalisis jumlah data yang dapat ditagih yang dikumpulkan dari sumber daya atau sekumpulan sumber daya tertentu. Kueri ini menggunakan kolom _ResourceId dan _SubscriptionId untuk data dari sumber daya yang dihosting di Azure.
Peringatan
Gunakan kueri temukan secukupnya karena pemindaian di seluruh tipe data memerlukan banyak sumber daya untuk dieksekusi. Jika Anda tidak memerlukan hasil per langganan, grup sumber daya, atau nama sumber daya, gunakan tabel Penggunaan seperti dalam kueri sebelumnya.
Volume data yang dapat ditagih menurut ID sumber daya untuk satu hari penuh terakhir
find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _ResourceId, _BilledSize, _IsBillable
| where _IsBillable == true
| summarize BillableDataBytes = sum(_BilledSize) by _ResourceId
| sort by BillableDataBytes nulls last
Volume data yang dapat ditagih menurut grup sumber daya untuk satu hari penuh terakhir
find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _ResourceId, _BilledSize, _IsBillable
| where _IsBillable == true
| summarize BillableDataBytes = sum(_BilledSize) by _ResourceId
| extend resourceGroup = tostring(split(_ResourceId, "/")[4] )
| summarize BillableDataBytes = sum(BillableDataBytes) by resourceGroup
| sort by BillableDataBytes nulls last
Mungkin berguna untuk mengurai _ResourceId:
| parse tolower(_ResourceId) with "/subscriptions/" subscriptionId "/resourcegroups/"
resourceGroup "/providers/" provider "/" resourceType "/" resourceName
Volume data yang dapat ditagih dengan berlangganan untuk satu hari penuh terakhir
find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _BilledSize, _IsBillable, _SubscriptionId
| where _IsBillable == true
| summarize BillableDataBytes = sum(_BilledSize) by _SubscriptionId
| sort by BillableDataBytes nulls last
Tip
Untuk ruang kerja dengan volume data besar, melakukan kueri seperti yang diperlihatkan di bagian ini, yang mengkueri data mentah dalam volume besar, mungkin perlu dibatasi hingga satu hari. Untuk melacak tren dari waktu ke waktu, pertimbangkan untuk menyiapkan laporan Power BI dan menggunakan refresh bertahap untuk mengumpulkan volume data per sumber daya sekali sehari.
Volume data menurut komputer
Anda dapat menganalisis jumlah data yang dapat ditagih yang dikumpulkan dari komputer virtual atau sekumpulan komputer virtual. Tabel Penggunaan tidak memiliki granularitas untuk menampilkan volume data untuk komputer virtual tertentu, sehingga kueri ini menggunakan operator temukan untuk mencari semua tabel yang menyertakan nama komputer. Jenis Penggunaan dihilangkan karena kueri ini hanya untuk analitik tren data.
Peringatan
Gunakan kueri temukan secukupnya karena pemindaian di seluruh tipe data memerlukan banyak sumber daya untuk dieksekusi. Jika Anda tidak memerlukan hasil per langganan, grup sumber daya, atau nama sumber daya, gunakan tabel Penggunaan seperti dalam kueri sebelumnya.
Volume data yang dapat ditagih oleh komputer untuk satu hari penuh terakhir
find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _BilledSize, _IsBillable, Computer, Type
| where _IsBillable == true and Type != "Usage"
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| summarize BillableDataBytes = sum(_BilledSize) by computerName
| sort by BillableDataBytes desc nulls last
Hitungan acara yang dapat ditagih oleh komputer untuk satu hari penuh terakhir
find where TimeGenerated between(startofday(ago(1d))..startofday(now())) project _IsBillable, Computer, Type
| where _IsBillable == true and Type != "Usage"
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| summarize eventCount = count() by computerName
| sort by eventCount desc nulls last
Melakukan kueri untuk tipe data umum
Jika Anda menemukan bahwa Anda memiliki data yang dapat ditagih berlebihan untuk jenis data tertentu, Anda mungkin perlu melakukan kueri untuk menganalisis data dalam tabel tersebut. Kueri berikut ini menyediakan sampel untuk beberapa jenis data umum:
Solusi keamanan
SecurityEvent
| summarize AggregatedValue = count() by EventID
| order by AggregatedValue desc nulls last
Solusi Manajemen Log
Usage
| where Solution == "LogManagement" and iff(isnotnull(toint(IsBillable)), IsBillable == true, IsBillable == "true") == true
| summarize AggregatedValue = count() by DataType
| order by AggregatedValue desc nulls last
Tipe data Perf
Perf
| summarize AggregatedValue = count() by CounterPath
Perf
| summarize AggregatedValue = count() by CounterName
Tipe data Peristiwa
Event
| summarize AggregatedValue = count() by EventID
Event
| summarize AggregatedValue = count() by EventLog, EventLevelName
Tipe data Syslog
Syslog
| summarize AggregatedValue = count() by Facility, SeverityLevel
Syslog
| summarize AggregatedValue = count() by ProcessName
Tipe data AzureDiagnostics
AzureDiagnostics
| summarize AggregatedValue = count() by ResourceProvider, ResourceId
Data Application Insights
Ada dua pendekatan untuk menyelidiki jumlah data yang dikumpulkan untuk Application Insights, tergantung pada apakah Anda memiliki aplikasi klasik atau berbasis ruang kerja. _BilledSize Gunakan properti yang tersedia di setiap peristiwa yang diserap untuk sumber daya berbasis ruang kerja dan klasik. Anda juga dapat menggunakan informasi agregat dalam tabel systemEvents untuk sumber daya klasik.
Catatan
Kueri terhadap tabel Application Insights, kecuali SystemEvents, akan berfungsi untuk sumber daya Application Insights berbasis ruang kerja dan klasik. Kompatibilitas mundur memungkinkan Anda untuk terus menggunakan nama tabel warisan. Untuk sumber daya berbasis ruang kerja, buka Log pada menu ruang kerja Analitik Log. Untuk sumber daya klasik, buka Log pada menu Application Insights .
Operasi dependensi menghasilkan volume data terbanyak dalam 30 hari terakhir (berbasis ruang kerja atau klasik)
dependencies
| where timestamp >= startofday(ago(30d))
| summarize sum(_BilledSize) by operation_Name
| render barchart
Volume data harian berdasarkan jenis untuk sumber daya Application Insights ini selama 7 hari terakhir (hanya klasik)
systemEvents
| where timestamp >= startofday(ago(7d)) and timestamp < startofday(now())
| where type == "Billing"
| extend BillingTelemetryType = tostring(dimensions["BillingTelemetryType"])
| extend BillingTelemetrySizeInBytes = todouble(measurements["BillingTelemetrySize"])
| summarize sum(BillingTelemetrySizeInBytes) by BillingTelemetryType, bin(timestamp, 1d)
Tren volume data untuk sumberdaya berdasarkan ruang kerja
Untuk melihat tren volume data untuk sumber daya Application Insights berbasis ruang kerja, gunakan kueri yang menyertakan semua tabel Application Insights. Kueri berikut menggunakan nama tabel khusus untuk sumber daya berbasis ruang kerja.
Volume data harian menurut jenis untuk semua sumber daya Application Insights di ruang kerja selama 7 hari
union AppAvailabilityResults,
AppBrowserTimings,
AppDependencies,
AppExceptions,
AppEvents,
AppMetrics,
AppPageViews,
AppPerformanceCounters,
AppRequests,
AppSystemEvents,
AppTraces
| where TimeGenerated >= startofday(ago(7d)) and TimeGenerated < startofday(now())
| summarize sum(_BilledSize) by _ResourceId, bin(TimeGenerated, 1d)
Untuk melihat tren volume data hanya untuk satu sumber daya Application Insights, tambahkan baris berikut sebelum summarize dalam kueri sebelumnya:
| where _ResourceId contains "<myAppInsightsResourceName>"
Tip
Untuk ruang kerja dengan volume data besar, melakukan kueri seperti yang sebelumnya, yang mengkueri data mentah dalam volume besar, mungkin perlu dibatasi hingga satu hari. Untuk melacak tren dari waktu ke waktu, pertimbangkan untuk menyiapkan laporan Power BI dan menggunakan refresh bertahap untuk mengumpulkan volume data per sumber daya sekali sehari.
Memahami simpul yang mengirim data
Jika Anda tidak memiliki data yang berlebihan dari sumber tertentu, Anda mungkin memiliki jumlah agen berlebihan yang mengirim data.
Jumlah simpul agen yang mengirim heartbeat setiap hari dalam sebulan terakhir
Heartbeat
| where TimeGenerated > startofday(ago(31d))
| summarize nodes = dcount(Computer) by bin(TimeGenerated, 1d)
| render timechart
Peringatan
Gunakan kueri temukan secukupnya karena pemindaian di seluruh tipe data memerlukan banyak sumber daya untuk dieksekusi. Jika Anda tidak memerlukan hasil per langganan, grup sumber daya, atau nama sumber daya, gunakan tabel Penggunaan seperti dalam kueri sebelumnya.
Jumlah simpul yang mengirim data apa pun dalam 24 jam terakhir
find where TimeGenerated > ago(24h) project Computer
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| where computerName != ""
| summarize nodes = dcount(computerName)
Volume data yang dikirim oleh setiap simpul dalam 24 jam terakhir
find where TimeGenerated > ago(24h) project _BilledSize, Computer
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| where computerName != ""
| summarize TotalVolumeBytes=sum(_BilledSize) by computerName
Node yang ditagih oleh tingkat harga warisan Per Node
Tingkat harga warisan Per Node ditagih untuk simpul dengan granularitas per jam. Ini juga tidak menghitung simpul yang hanya mengirim sekumpulan jenis data keamanan. Untuk mendapatkan daftar komputer yang akan ditagih sebagai simpul jika ruang kerja berada di tingkat harga Per Simpul warisan, cari simpul yang mengirim jenis data yang ditagih karena beberapa jenis data gratis. Pada kasus ini, gunakan bidang paling kiri dari nama domain yang sepenuhnya memenuhi syarat.
Kueri berikut mengembalikan jumlah komputer dengan data yang ditagih per jam. Jumlah unit pada tagihan Anda berada dalam satuan simpul bulan, yang diwakili oleh billableNodeMonthsPerDay dalam kueri. Jika ruang kerja memiliki solusi Manajemen Pembaruan terinstal, tambahkan tipe data Update dan UpdateSummary ke daftar pada klausa where.
find where TimeGenerated >= startofday(ago(7d)) and TimeGenerated < startofday(now()) project Computer, _IsBillable, Type, TimeGenerated
| where Type !in ("SecurityAlert", "SecurityBaseline", "SecurityBaselineSummary", "SecurityDetection", "SecurityEvent", "WindowsFirewall", "MaliciousIPCommunication", "LinuxAuditLog", "SysmonEvent", "ProtectionStatus", "WindowsEvent")
| extend computerName = tolower(tostring(split(Computer, '.')[0]))
| where computerName != ""
| where _IsBillable == true
| summarize billableNodesPerHour=dcount(computerName) by bin(TimeGenerated, 1h)
| summarize billableNodesPerDay = sum(billableNodesPerHour)/24., billableNodeMonthsPerDay = sum(billableNodesPerHour)/24./31. by day=bin(TimeGenerated, 1d)
| sort by day asc
Catatan
Beberapa kompleksitas dalam algoritma penagihan aktual saat penargetan solusi digunakan tidak diwakili dalam kueri sebelumnya.
Jumlah simpul keamanan dan otomatisasi
Jumlah simpul keamanan yang berbeda
union
(
Heartbeat
| where (Solutions has 'security' or Solutions has 'antimalware' or Solutions has 'securitycenter')
| project Computer
),
(
ProtectionStatus
| where Computer !in (Heartbeat | project Computer)
| project Computer
)
| distinct Computer
| project lowComputer = tolower(Computer)
| distinct lowComputer
| count
Jumlah simpul otomatisasi yang berbeda
ConfigurationData
| where (ConfigDataType == "WindowsServices" or ConfigDataType == "Software" or ConfigDataType =="Daemons")
| extend lowComputer = tolower(Computer) | summarize by lowComputer
| join (
Heartbeat
| where SCAgentChannel == "Direct"
| extend lowComputer = tolower(Computer) | summarize by lowComputer, ComputerEnvironment
) on lowComputer
| summarize count() by ComputerEnvironment | sort by ComputerEnvironment asc
Data yang terlambat tiba
Jika Anda mengamati penyerapan data tinggi yang dilaporkan dengan menggunakan Usage rekaman, tetapi Anda tidak mengamati hasil yang sama yang menjumlahkan _BilledSize langsung pada jenis data, ada kemungkinan Anda memiliki data yang terlambat tiba. Situasi ini terjadi ketika data diserap dengan tanda waktu lama.
Misalnya, agen mungkin memiliki masalah konektivitas dan mengirim akumulasi data saat tersambung kembali. Atau host mungkin memiliki waktu yang salah. Salah satu contoh dapat mengakibatkan perbedaan yang jelas antara data yang diserap yang dilaporkan oleh jenis data Penggunaan dan kueri yang menjumlahkan _BilledSize atas data mentah untuk hari tertentu yang ditentukan oleh TimeGenerated, tanda waktu saat peristiwa dibuat.
Untuk mendiagnosis masalah data yang terlambat tiba, gunakan kolom _TimeReceived dan kolom TimeGenerated . Properti _TimeReceived adalah waktu ketika rekaman diterima oleh titik penyerapan Azure Monitor di cloud Azure.
Contoh berikut adalah sebagai respons terhadap volume data yang diserap tinggi dari data W3CIISLog pada 2 Mei 2021, untuk mengidentifikasi tanda waktu pada data yang diserap ini. where TimeGenerated > datetime(1970-01-01) pernyataan muncul hanya untuk memberikan petunjuk ke antarmuka pengguna Analitik Log untuk melihat semua data.
W3CIISLog
| where TimeGenerated > datetime(1970-01-01)
| where _TimeReceived >= datetime(2021-05-02) and _TimeReceived < datetime(2021-05-03)
| where _IsBillable == true
| summarize BillableDataMB = sum(_BilledSize)/1.E6 by bin(TimeGenerated, 1d)
| sort by TimeGenerated asc
Langkah berikutnya
- Lihat Detail harga Log Azure Monitor untuk mengetahui informasi tentang cara biaya dihitung untuk data di ruang kerja Analitik Log dan opsi konfigurasi yang berbeda untuk mengurangi biaya Anda.
- Lihat Biaya dan penggunaan Azure Monitor untuk deskripsi berbagai jenis biaya Azure Monitor dan cara menganalisisnya di tagihan Azure Anda.
- Lihat Praktik terbaik Azure Monitor - Manajemen biaya untuk praktik terbaik dalam mengonfigurasi dan mengelola Azure Monitor guna meminimalkan biaya Anda.
- Lihat Transformasi pengumpulan data di Azure Monitor (pratinjau) untuk informasi tentang penggunaan transformasi untuk mengurangi jumlah data yang Anda kumpulkan di ruang kerja Analitik Log dengan memfilter rekaman dan kolom yang tidak diinginkan.