Penyerapan dan transformasi data khusus di Microsoft Sentinel
Analitik Log Azure Monitor berfungsi sebagai platform di balik ruang kerja Microsoft Sentinel. Semua log yang terserap ke Microsoft Sentinel disimpan di Analitik Log secara default. Dari Microsoft Sentinel, Anda dapat mengakses log yang disimpan dan menjalankan kueri Kusto Query Language (KQL) untuk mendeteksi ancaman dan memantau aktivitas jaringan Anda.
Proses penyerapan data kustom Analitik Log memberi Anda tingkat kontrol yang tinggi atas data yang terserap. Proses ini menggunakan aturan pengumpulan data (DCR) untuk mengumpulkan data Anda dan memanipulasinya bahkan sebelum disimpan di ruang kerja Anda. Hal ini memungkinkan Anda untuk menyaring dan memperkaya tabel standar dan membuat tabel yang sangat dapat disesuaikan untuk menyimpan data dari sumber yang menghasilkan format log yang unik.
Microsoft Sentinel memberi Anda dua alat untuk mengontrol proses ini:
API penyerapan log memungkinkan Anda mengirim log format-kustom dari sumber data apa pun ke ruang kerja Analitik Log Anda, dan menyimpan log tersebut di dalam tabel standar khusus tertentu, atau dalam tabel yang diformat khusus yang Anda buat. Anda memiliki kontrol penuh atas pembuatan tabel kustom ini, hingga menentukan nama dan jenis kolom. Anda membuat Aturan pengumpulan data (DCR) untuk menentukan, mengonfigurasi, dan menerapkan transformasi ke alur data ini.
Transformasi kumpulan data menggunakan DCR untuk menerapkan kueri KQL dasar ke log standar masuk (dan jenis log kustom tertentu) sebelum disimpan di dalam ruang kerja Anda. Transformasi ini dapat menyaring data yang tidak relevan, memperkaya data yang ada dengan analitik atau data eksternal, atau menutupi informasi sensitif atau pribadi.
Kedua alat ini akan dijelaskan lebih rinci di bawah ini.
Kasus penggunaan dan sampel skenario
Filter
Transformasi waktu penyerapan memberi Anda kemampuan untuk memfilter data yang tidak relevan bahkan sebelum pertama kali disimpan di ruang kerja Anda.
Anda dapat memfilter di tingkat baris (row), dengan menentukan kriteria baris yang akan disertakan, atau di tingkat bidang (kolom), dengan menghapus konten untuk bidang tertentu. Memfilter data yang tidak relevan dapat:
- Membantu mengurangi biaya, karena Anda mengurangi persyaratan penyimpanan
- Tingkatkan kinerja, karena diperlukan lebih sedikit penyesuaian waktu kueri
Transformasi data waktu penyerapan mendukung skenario beberapa ruang kerja.
Normalisasi kasus
Transformasi Ingest-time juga memungkinkan Anda untuk menormalkan log saat diserap ke dalam tabel asim bawaan atau pelanggan yang dinormalisasi. Menggunakan normalisasi ingest-time meningkatkan performa kueri yang dinormalisasi.
Untuk informasi selengkapnya tentang normalisasi ingest-time menggunakan transformasi, lihat Normalisasi Ingest-time.
Pengayaan dan penandaan
Transformasi waktu penyerapan juga memungkinkan Anda meningkatkan analitik dengan memperkaya data dengan kolom tambahan yang ditambahkan ke transformasi KQL yang dikonfigurasi. Kolom tambahan mungkin menyertakan data yang diurai atau dihitung dari kolom yang ada, atau data yang diambil dari struktur data yang dibuat saat berjalan.
Misalnya, Anda dapat menambahkan informasi tambahan seperti data HR eksternal, deskripsi peristiwa yang diperluas, atau klasifikasi yang bergantung pada pengguna, lokasi, atau jenis aktivitas.
Masking
Transformasi waktu penyerapan juga dapat digunakan untuk menutupi atau menghapus informasi pribadi. Misalnya, Anda mungkin menggunakan transformasi data untuk menutupi semua kecuali beberapa digit terakhir dari nomor jaminan sosial atau nomor kartu kredit, atau Anda dapat mengganti jenis data pribadi lainnya dengan data yang tidak masuk akal, teks standar, atau dummy. Tutupi informasi pribadi Anda pada waktu penyerapan untuk meningkatkan keamanan di seluruh jaringan Anda.
Aliran penyerapan data di Microsoft Sentinel
Gambar berikut menunjukkan di mana transformasi data waktu penyerapan memasuki alur penyerapan data di Microsoft Azure Sentinel.
Microsoft Sentinel mengumpulkan data ke ruang kerja Analitik Log dari berbagai sumber.
- Data dari konektor data bawaan diproses di Analitik Log menggunakan beberapa kombinasi alur kerja yang dikodekan secara permanen dan transformasi waktu penyerapan di DCR ruang kerja. Data ini dapat disimpan dalam tabel standar atau dalam sekumpulan tabel kustom tertentu.
- Data yang diserap langsung ke titik akhir API penyerapan Log diproses oleh DCR standar yang mungkin mencakup transformasi waktu penyerapan. Data ini kemudian dapat disimpan dalam tabel standar atau kustom dalam bentuk apa pun.
Dukungan DCR di Microsoft Sentinel
Di Analitik Log, aturan pengumpulan data (DCR) menentukan aliran data untuk aliran input yang berbeda. Aliran data meliputi: aliran yang akan diubah (standar atau kustom), ruang kerja tujuan, transformasi KQL, dan tabel output. Untuk aliran input standar, tabel output sama dengan aliran input.
Dukungan untuk DCR di Microsoft Sentinel meliputi:
DCR standar, saat ini hanya didukung untuk konektor dan alur kerja berbasis AMA menggunakan API penyerapan log yang baru.
Setiap konektor atau alur kerja sumber log dapat memiliki DCR standar khusus sendiri, meskipun beberapa konektor atau sumber dapat berbagi DCR standar umum juga.
DCR transformasi ruang kerja, untuk alur kerja yang saat ini tidak mendukung DCR standar.
DCR transformasi ruang kerja tunggal melayani semua alur kerja yang didukung di ruang kerja yang tidak dilayani oleh DCR standar. Ruang kerja hanya dapat memiliki satu DCR transformasi ruang kerja, tetapi DCR tersebut berisi transformasi terpisah untuk setiap aliran input. Selain itu, DCR transformasi ruang kerja hanya didukung untuk satu set tabel tertentu.
Dukungan Microsoft Sentinel untuk transformasi waktu penyerapan tergantung pada jenis konektor data yang Anda gunakan. Untuk informasi lebih mendalam tentang log kustom, transformasi waktu penyerapan, dan aturan pengumpulan data, lihat artikel yang ditautkan di bagian Langkah selanjutnya di akhir artikel ini.
Dukungan DCR untuk konektor data Microsoft Sentinel
Tabel berikut menjelaskan dukungan DCR untuk jenis konektor data Microsoft Sentinel:
| Jenis konektor data | Dukungan DCR |
|---|---|
| Penyerapan langsung melalui API penyerapan log | DCR Standar |
| Log standar AMA, seperti: |
DCR Standar |
| Log standar MMA, seperti |
DCR transformasi ruang kerja |
| Koneksi berbasis setelan diagnostik | DCR transformasi ruang kerja, berdasarkan tabel output yang didukung untuk konektor data tertentu |
| Konektor data layanan-ke-layanan bawaan, , seperti: |
DCR transformasi ruang kerja, berdasarkan tabel output yang didukung untuk konektor data tertentu |
| Konektor data berbasis API bawaan, seperti: |
DCR Standar |
| Konektor data berbasis API bawaan, seperti: |
Saat ini tidak didukung |
Dukungan transformasi data untuk konektor data kustom
Jika Anda telah membuat konektor data kustom untuk Microsoft Sentinel, Anda dapat menggunakan DCR untuk mengonfigurasi bagaimana data akan diurai dan disimpan di Analitik Log di ruang kerja Anda.
Hanya tabel berikut yang saat ini didukung untuk penyerapan log kustom:
- WindowsEvent
- SecurityEvent
- CommonSecurityLog
- Syslog
- ASimAuditEventLogs
- ASimAuthenticationEventLogs
- ASimDnsActivityLogs
- ASimFileEventLogs
- ASimNetworkSessionLogs
- ASimWebSessionLogs
Untuk informasi selengkapnya, lihat Tabel yang mendukung transformasi waktu penyerapan.
Pembatasan
Transformasi data waktu penyerapan saat ini memiliki masalah yang diketahui berikut untuk konektor data Microsoft Sentinel:
Transformasi data menggunakan DCR transformasi ruang kerja hanya didukung per tabel, dan bukan per konektor.
Hanya ada satu DCR transformasi ruang kerja untuk seluruh ruang kerja. Dalam DCR itu, setiap tabel dapat menggunakan aliran input terpisah dengan transformasinya sendiri. Namun, jika Anda memiliki dua konektor data berbasis MMA yang berbeda yang mengirim data ke tabel Syslog, keduanya harus menggunakan konfigurasi aliran input yang sama di DCR. Memisahkan data ke beberapa tujuan (ruang kerja Analitik Log) dengan DCR transformasi ruang kerja tidak dimungkinkan.
Konfigurasi berikut hanya didukung melalui API:
DCR standar untuk konektor berbasis AMA seperti Peristiwa Keamanan Windows dan Peristiwa Windows yang Diteruskan.
DCR standar untuk penyerapan log kustom ke tabel standar.
Butuh waktu hingga 60 menit agar konfigurasi transformasi data diterapkan.
Sintaks KQL: Tidak semua operator didukung. Untuk informasi selengkapnya, lihat batasan KQL dan fitur KQL yang Didukung dalam dokumentasi Azure Monitor.
Anda hanya dapat mengirim log dari satu sumber data tertentu ke satu ruang kerja. Untuk mengirim data dari satu sumber data ke beberapa ruang kerja (tujuan) dengan DCR standar, buat satu DCR per ruang kerja.
Langkah berikutnya
Mulai mengonfigurasi transformasi data waktu penyerapan di Microsoft Sentinel.
Pelajari selengkapnya tentang jenis konektor data Microsoft Sentinel. Untuk informasi selengkapnya, lihat:
Untuk informasi lebih mendalam tentang transformasi waktu penyerapan, API Log Kustom, dan aturan pengumpulan data, lihat artikel berikut dalam dokumentasi Azure Monitor: