Penyerapan dan transformasi data khusus di Microsoft Sentinel

Artikel
09/25/2024

Analitik Log Azure Monitor berfungsi sebagai platform di balik ruang kerja Microsoft Sentinel. Semua log yang terserap ke Microsoft Sentinel disimpan di Analitik Log secara default. Dari Microsoft Sentinel, Anda dapat mengakses log yang disimpan dan menjalankan kueri Kusto Query Language (KQL) untuk mendeteksi ancaman dan memantau aktivitas jaringan Anda.

Proses penyerapan data kustom Analitik Log memberi Anda tingkat kontrol yang tinggi atas data yang terserap. Proses ini menggunakan aturan pengumpulan data (DCR) untuk mengumpulkan data Anda dan memanipulasinya bahkan sebelum disimpan di ruang kerja Anda. Hal ini memungkinkan Anda untuk menyaring dan memperkaya tabel standar dan membuat tabel yang sangat dapat disesuaikan untuk menyimpan data dari sumber yang menghasilkan format log yang unik.

Microsoft Sentinel memberi Anda dua alat untuk mengontrol proses ini:

API penyerapan log memungkinkan Anda mengirim log format-kustom dari sumber data apa pun ke ruang kerja Analitik Log Anda, dan menyimpan log tersebut di dalam tabel standar khusus tertentu, atau dalam tabel yang diformat khusus yang Anda buat. Anda memiliki kontrol penuh atas pembuatan tabel kustom ini, hingga menentukan nama dan jenis kolom. Anda membuat DCR untuk menentukan, mengonfigurasi, dan menerapkan transformasi ke aliran data ini.
Transformasi kumpulan data menggunakan DCR untuk menerapkan kueri KQL dasar ke log standar masuk (dan jenis log kustom tertentu) sebelum disimpan di dalam ruang kerja Anda. Transformasi ini dapat menyaring data yang tidak relevan, memperkaya data yang ada dengan analitik atau data eksternal, atau menutupi informasi sensitif atau pribadi.

Kedua alat ini akan dijelaskan lebih rinci di bawah ini.

Kasus penggunaan dan sampel skenario

Filter

Transformasi waktu penyerapan memberi Anda kemampuan untuk memfilter data yang tidak relevan bahkan sebelum pertama kali disimpan di ruang kerja Anda.

Anda dapat memfilter di tingkat baris (row), dengan menentukan kriteria baris yang akan disertakan, atau di tingkat bidang (kolom), dengan menghapus konten untuk bidang tertentu. Memfilter data yang tidak relevan dapat:

Membantu mengurangi biaya, karena Anda mengurangi persyaratan penyimpanan
Tingkatkan kinerja, karena diperlukan lebih sedikit penyesuaian waktu kueri

Transformasi data waktu penyerapan mendukung skenario beberapa ruang kerja.

Normalisasi kasus

Transformasi Ingest-time juga memungkinkan Anda untuk menormalkan log saat diserap ke dalam tabel bawaan atau yang dinormalisasi pelanggan dengan Model Informasi Keamanan Tingkat Lanjut (ASIM). Menggunakan normalisasi ingest-time meningkatkan performa kueri yang dinormalisasi.

Untuk informasi selengkapnya, lihat Normalisasi Ingest-time.

Pengayaan dan penandaan

Transformasi waktu penyerapan juga memungkinkan Anda meningkatkan analitik dengan memperkaya data dengan kolom tambahan yang ditambahkan ke transformasi KQL yang dikonfigurasi. Kolom tambahan mungkin menyertakan data yang diurai atau dihitung dari kolom yang ada, atau data yang diambil dari struktur data yang dibuat saat berjalan.

Misalnya, Anda dapat menambahkan informasi tambahan seperti data HR eksternal, deskripsi peristiwa yang diperluas, atau klasifikasi yang bergantung pada pengguna, lokasi, atau jenis aktivitas.

Masking

Transformasi waktu penyerapan juga dapat digunakan untuk menutupi atau menghapus informasi pribadi. Misalnya, Anda mungkin menggunakan transformasi data untuk menutupi semua kecuali beberapa digit terakhir dari nomor jaminan sosial atau nomor kartu kredit, atau Anda dapat mengganti jenis data pribadi lainnya dengan data yang tidak masuk akal, teks standar, atau dummy. Tutupi informasi pribadi Anda pada waktu penyerapan untuk meningkatkan keamanan di seluruh jaringan Anda.

Aliran penyerapan data di Microsoft Sentinel

Gambar berikut menunjukkan di mana transformasi data waktu penyerapan memasuki alur penyerapan data di Microsoft Azure Sentinel.

Microsoft Sentinel mengumpulkan data ke ruang kerja Analitik Log dari berbagai sumber.

Data dari konektor data bawaan diproses di Analitik Log menggunakan beberapa kombinasi alur kerja yang dikodekan secara permanen dan transformasi waktu penyerapan di DCR ruang kerja. Data ini dapat disimpan dalam tabel standar atau dalam sekumpulan tabel kustom tertentu.
Data yang diserap langsung ke titik akhir API penyerapan Log diproses oleh DCR standar yang mungkin mencakup transformasi waktu penyerapan. Data ini kemudian dapat disimpan dalam tabel standar atau kustom dalam bentuk apa pun.

Diagram arsitektur transformasi data Microsoft Sentinel.

Dukungan DCR di Microsoft Sentinel

Di Analitik Log, aturan pengumpulan data (DCR) menentukan aliran data untuk aliran input yang berbeda. Aliran data meliputi: aliran yang akan diubah (standar atau kustom), ruang kerja tujuan, transformasi KQL, dan tabel output. Untuk aliran input standar, tabel output sama dengan aliran input.

Dukungan untuk DCR di Microsoft Sentinel meliputi:

DCR standar, saat ini hanya didukung untuk konektor dan alur kerja berbasis AMA menggunakan API penyerapan Log.

Setiap konektor atau alur kerja sumber log dapat memiliki DCR standar khusus sendiri, meskipun beberapa konektor atau sumber dapat berbagi DCR standar umum juga.
DCR transformasi ruang kerja, untuk alur kerja yang saat ini tidak mendukung DCR standar.

DCR transformasi ruang kerja tunggal melayani semua alur kerja yang didukung di ruang kerja yang tidak dilayani oleh DCR standar. Ruang kerja hanya dapat memiliki satu DCR transformasi ruang kerja, tetapi DCR tersebut berisi transformasi terpisah untuk setiap aliran input. Selain itu, DCR transformasi ruang kerja hanya didukung untuk satu set tabel tertentu.

Dukungan Microsoft Sentinel untuk transformasi waktu penyerapan tergantung pada jenis konektor data yang Anda gunakan. Untuk informasi lebih mendalam tentang log kustom, transformasi waktu penyerapan, dan aturan pengumpulan data, lihat artikel yang ditautkan di bagian Konten terkait di akhir artikel ini.

Dukungan DCR untuk konektor data Microsoft Sentinel

Tabel berikut menjelaskan dukungan DCR untuk jenis konektor data Microsoft Sentinel:

Jenis konektor data	Dukungan DCR
Penyerapan langsung melalui API penyerapan log	DCR Standar
Log standar AMA, seperti: Keamanan Windows Peristiwa melalui AMA Peristiwa Windows yang Diteruskan Data CEF Data Syslog	DCR Standar
Koneksi berbasis setelan diagnostik	DCR transformasi ruang kerja, berdasarkan tabel output yang didukung untuk konektor data tertentu
Konektor data layanan-ke-layanan bawaan, , seperti: Microsoft Office 365 Microsoft Entra ID Amazon S3	DCR transformasi ruang kerja, berdasarkan tabel output yang didukung untuk konektor data tertentu
Konektor data berbasis API bawaan, seperti: Konektor data tanpa kode	DCR Standar
Konektor data berbasis API bawaan, seperti: Konektor data tanpa kode warisan Konektor data berbasis Azure Functions	Saat ini tidak didukung

Dukungan transformasi data untuk konektor data kustom

Jika Anda telah membuat konektor data kustom untuk Microsoft Sentinel, Anda dapat menggunakan DCR untuk mengonfigurasi bagaimana data akan diurai dan disimpan di Analitik Log di ruang kerja Anda.

Hanya tabel berikut yang saat ini didukung untuk penyerapan log kustom:

Untuk informasi selengkapnya, lihat Tabel yang mendukung transformasi waktu penyerapan.

Batasan

Transformasi data waktu penyerapan saat ini memiliki masalah yang diketahui berikut untuk konektor data Microsoft Sentinel:

Transformasi data menggunakan DCR transformasi ruang kerja hanya didukung per tabel, dan bukan per konektor.

Hanya ada satu DCR transformasi ruang kerja untuk seluruh ruang kerja. Dalam DCR itu, setiap tabel dapat menggunakan aliran input terpisah dengan transformasinya sendiri. Memisahkan data ke beberapa tujuan (ruang kerja Analitik Log) dengan DCR transformasi ruang kerja tidak dimungkinkan. Konektor data berbasis AMA menggunakan konfigurasi yang Anda tentukan di DCR terkait untuk aliran dan transformasi input dan output, dan abaikan DCR transformasi ruang kerja.
Konfigurasi berikut hanya didukung melalui API:
- DCR standar untuk konektor berbasis AMA seperti Peristiwa Keamanan Windows dan Peristiwa Windows yang Diteruskan.
- DCR standar untuk penyerapan log kustom ke tabel standar.
Mungkin perlu waktu hingga 60 menit agar konfigurasi transformasi data diterapkan.
Sintaks KQL: Tidak semua operator didukung. Untuk informasi selengkapnya, lihat batasan KQL dan fitur KQL yang Didukung dalam dokumentasi Azure Monitor.
Anda hanya dapat mengirim log dari satu sumber data tertentu ke satu ruang kerja. Untuk mengirim data dari satu sumber data ke beberapa ruang kerja (tujuan) dengan DCR standar, buat satu DCR per ruang kerja.

Untuk informasi selengkapnya, lihat:

Untuk informasi lebih mendalam tentang transformasi waktu penyerapan, API Log Kustom, dan aturan pengumpulan data, lihat artikel berikut dalam dokumentasi Azure Monitor:

Bagikan melalui