Mengubah data menggunakan filter dan memisahkan dalam Microsoft Sentinel

Ketika volume data keamanan terus bertambah, organisasi menghadapi tantangan untuk menyeimbangkan retensi telemetri hemat biaya yang digunakan untuk AI, kepatuhan, dan investigasi sambil memastikan bahwa hanya data yang diperlukan yang dipertahankan dalam tingkat penyimpanan berperforma tinggi. Gunakan transformasi data filter dan pemisahan di Microsoft Sentinel untuk mengatasi tantangan ini dengan memodifikasi data saat proses pemasukan data guna mengoptimalkan strategi retensi data Anda.

Artikel ini menjelaskan cara mengonfigurasi filter dan memisahkan transformasi data tanpa perlu membuat konfigurasi Aturan Pengumpulan Data (DCR) kustom secara manual. Ketika Anda menyesuaikan pengambilan data dengan menggunakan transformasi filter dan split, Anda dapat meningkatkan performa dan mengurangi noise.

Dengan menggunakan transformasi data, Anda dapat mengoptimalkan alur data keamanan dengan mengontrol data apa yang disimpan dan di tingkat mana. Menggunakan transformasi filter dan pemisahan memberikan manfaat berikut:

• Pengoptimalan biaya: Mengurangi biaya penyimpanan dan pemrosesan dengan memfilter data bernilai rendah yang tidak berkontribusi pada deteksi ancaman. Alihkan data yang jarang diakses ke penyimpanan Data lake yang hemat biaya, sementara data dengan prioritas tinggi disimpan di tier Analitik.

• Peningkatan efisiensi SOC: Fokuskan pusat operasi keamanan (SOC) Anda pada peristiwa bernilai tinggi yang dapat ditindak lanjuti. Dengan menghilangkan kebisingan pada waktu penyerapan, analis menghabiskan lebih sedikit waktu untuk menyaring log yang tidak relevan dan lebih banyak waktu menyelidiki ancaman nyata.

• Performa kueri yang lebih cepat: Himpunan data yang lebih kecil di tingkat Analitik menghasilkan waktu eksekusi kueri yang lebih cepat, membuat perburuan ancaman, investigasi insiden, dan aturan analitik Anda lebih responsif.

• Fleksibilitas kepatuhan dan retensi: Pertahankan retensi data yang komprehensif untuk audit peraturan dan analisis forensik di tingkat Data lake sambil mengoptimalkan tingkat Analitik untuk beban kerja operasional. Mempertahankan retensi komprehensif di tingkat Data lake sambil mengoptimalkan tingkat Analitik memenuhi persyaratan kepatuhan tanpa mengorbankan performa.

• Manajemen data yang dapat diskalakan: Seiring pertumbuhan volume data organisasi Anda, transformasi membantu Anda mempertahankan kontrol atas biaya dan performa. Terapkan kebijakan yang konsisten di seluruh tabel untuk memastikan manajemen data yang dapat diprediksi.

Memfilter dan memisahkan transformasi adalah langkah pertama dalam kerangka kerja transformasi yang lebih besar yang memberdayakan Anda untuk mengembangkan data agar sesuai dengan kebutuhan Anda. Untuk informasi selengkapnya tentang konsep transformasi data, lihat Penyerapan dan transformasi data kustom di Microsoft Azure Sentinel.

Prasyarat

Sebelum Anda mengonfigurasi aturan transformasi filter atau pemisahan, verifikasi persyaratan berikut:

• Ruang kerja Microsoft Sentinel Anda harus di-onboard ke portal Defender. Untuk informasi selengkapnya, lihat Koneksikan Microsoft Sentinel ke portal Microsoft Defender.

• Di portal Microsoft Defender dengan akses kontrol berbasis peran terpadu (RBAC), izin Data (kelola) di bawah grup perizinan Data operations.

• Untuk ruang kerja Microsoft Sentinel, Anda memerlukan peran Log Analytics Contributor, yang menyediakan:

  • Microsoft.OperationalInsights/workspaces/write
  • Izin Microsoft.OperationalInsights/workspaces/tables/write untuk ruang kerja Log Analytics.

• Untuk mengonfigurasi transformasi split:

  • Integrasikan ruang kerja ke data lake Microsoft Sentinel.
  • Pastikan tabel saat ini berada di tingkat Analytics.

Tabel yang didukung

Transformasi filter dan split memiliki kebutuhan dukungan tabel yang berbeda. Aturan Pengumpulan Data (DCR) menentukan bagaimana data dikumpulkan dan diubah selama proses pengambilan.

• Penyaringan: Didukung pada tabel apa pun yang mendukung DCR.
• Pemisahan: Didukung pada tabel apa pun yang hanya mendukung penyerapan Analitik, Penyerapan data lake saja, dan Aturan Pengumpulan Data (DCR).

Untuk memverifikasi apakah tabel konektor mendukung DCR, lihat Temukan data konektor Microsoft Sentinel Anda.

Transformasi filter

Transformasi filter memungkinkan Anda meminimalkan kebisingan dengan membuang data yang tidak berguna untuk penyelidikan selama proses penyerapan. Gunakan aturan transformasi filter untuk menentukan kondisi KQL yang menentukan data mana yang akan difilter, dengan data yang tersisa dikirim ke tingkat Analitik.

Gunakan transformasi filter saat Anda perlu:

• Kurangi kebisingan: Fokuskan SOC Anda pada peristiwa yang dapat ditindaklanjuti dengan memfilter log rutin dengan tingkat keparahan rendah seperti peristiwa "izinkan" dari log firewall.
• Optimalkan biaya: Biaya penyimpanan dan pemrosesan yang lebih rendah dengan membuang data yang tidak berkontribusi pada deteksi ancaman.
• Meningkatkan performa: Mempercepat kueri dan menyederhanakan analitik dengan mengurangi volume data yang disimpan.

Pertimbangkan contoh transformasi filter berikut:

Perusahaan Anda bergantung pada log firewall untuk mengidentifikasi anomali. Sebagian besar log firewall adalah peristiwa "izinkan" rutin dengan tingkat keparahan rendah yang tidak berkontribusi pada deteksi ancaman. Untuk mempertahankan hanya peristiwa penting seperti lalu lintas terblokir atau keparahan tinggi dan memfilter log dengan nilai rendah, buat aturan transformasi filter dengan kondisi KQL untuk hanya mengirim data keparahan sedang atau tinggi yang bukan merupakan peristiwa "izinkan" ke lapisan Analitik.

Transformasi terpisah

Transformasi terpisah memungkinkan Anda merutekan data antara tingkat Analitik dan tingkat Data lake berdasarkan kondisi yang ditentukan. Gunakan aturan transformasi terpisah untuk menentukan ekspresi KQL yang menentukan data mana yang mendarat di Analytics. Data yang tidak cocok dengan ekspresi dirutekan ke tingkat Data lake saja.

Note

Saat Anda mengonfigurasi transformasi terpisah, data yang ditunjuk untuk lapisan Analitik juga dicerminkan ke lapisan Data Lake. Data yang tidak cocok dengan kriteria Analitik hanya masuk ke tingkat Data lake. Mencerminkan data tingkat Analitik ke Data lake sambil mengirim data yang tidak cocok hanya ke Data lake memastikan bahwa semua data Anda tetap tersedia di Data lake untuk tujuan retensi dan kepatuhan jangka panjang.

Gunakan transformasi terpisah saat Anda perlu menyeimbangkan biaya dan performa dengan merutekan data ke tingkat penyimpanan yang sesuai:

• Mengoptimalkan biaya penyimpanan: Merutekan log yang lebih lama atau kurang sering diakses ke tingkat Data lake untuk penyimpanan jangka panjang yang hemat biaya.
• Jaga kinerja: Pertahankan log terbaru di lapisan Analitik untuk kueri yang lebih cepat selama perburuan ancaman aktif.
• Memenuhi persyaratan kepatuhan: Pertahankan log historis untuk audit peraturan dan analisis forensik tanpa mengorbankan kelincahan operasional.

Pertimbangkan contoh transformasi terpisah berikut:

Perusahaan Anda menyerap jutaan entri log firewall setiap hari untuk deteksi dan kepatuhan ancaman. Tim SOC Anda memerlukan akses real time ke log terbaru untuk penyelidikan aktif, tetapi juga harus menyimpan log historis untuk audit peraturan. Buat aturan transformasi terpisah untuk merutekan data real-time ke tingkat Analitik dan data historis ke tingkat Data lake.

Penting

Transformasi yang Anda buat di Microsoft Sentinel mungkin bertentangan dengan transformasi yang dibuat di Azure Monitor dengan menggunakan DCR. Misalnya, jika DCR sudah diterapkan pada tabel untuk mengingest hanya data dari Region A, dan transformasi filter mengecualikan Region A, maka tidak ada data yang dimasukkan. Pastikan Anda memahami dan memeriksa efek gabungan dari penerapan DCR dan transformasi pada tabel.

Mengonfigurasi aturan transformasi filter

Ikuti langkah-langkah ini untuk membuat aturan transformasi filter:

1. Di portal Microsoft Defender, buka Microsoft Sentinel>Konfigurasi>Tables.

2. Pilih tabel. Di panel samping, pilih Aturan filter.

   

3. Di panel samping, masukkan Nama aturan.

4. Di bidang Kondisi , masukkan ekspresi KQL yang menunjuk data mana yang akan difilter. Ekspresi KQL harus mengevaluasi ke true untuk data yang tidak ingin Anda serap.

5. Atur sakelar status aturan ke Aktif untuk mengaktifkan filter.

   Penting

   Filter mengeluarkan data. Data yang sesuai dengan kondisi filter dibuang dan tidak dimasukkan ke tingkat analitik atau data lake. Pastikan ekspresi KQL Anda secara akurat menangkap data yang ingin Anda kecualikan.

6. Untuk menambahkan kondisi lain, pilih Tambahkan kondisi dan masukkan ekspresi KQL baru untuk memfilter data. Beberapa kondisi dikombinasikan dengan OR logis, sehingga data yang cocok dengan salah satu kondisi difilter.

7. Pilih Simpan untuk menerapkan aturan.

8. Verifikasi bahwa aturan filter diterapkan dengan memeriksa kolom Aturan Transformasi untuk tabel. Kolom menampilkan Filter saat aturan filter aktif.

   

Mengonfigurasi aturan transformasi terpisah

Ikuti langkah-langkah ini untuk membuat aturan transformasi terpisah:

1. Di portal Defender, buka Microsoft Sentinel>Konfigurasi>Tables.

2. Pilih tabel lalu pilih Pisahkan aturan.

3. Di panel samping, masukkan Nama aturan.

4. Di bidang ekspresi KQL , masukkan ekspresi KQL yang menentukan data mana yang akan diserap ke tingkat Analitik. Data yang tidak cocok dengan ekspresi ini diserap ke tingkat Data lake.

5. Pilih Simpan untuk menerapkan aturan.

6. Verifikasi bahwa aturan pemisahan diterapkan dengan memeriksa kolom Aturan Transformasi untuk tabel. Kolom menampilkan Pembagian saat aturan pembagian aktif.

Note

Data terpisah yang diserap ke dalam tingkat Data lake masuk ke tabel terpisah dengan nama yang sama dengan tabel asli tetapi dengan akhiran "_SPLT". Misalnya, jika Anda menerapkan aturan pemisahan ke tabel "FirewallLogs", data yang dialihkan ke tingkat Data lake dimasukkan ke dalam tabel "FirewallLogs_SPLT" yang terpisah. Menggunakan tabel _SPLT terpisah untuk data Data lake memungkinkan Anda mengelola kebijakan retensi dan akses secara terpisah untuk tingkat Analitik dan Data lake.

Mengonfigurasi retensi untuk tabel terpisah

Setelah membuat aturan terpisah, konfigurasikan pengaturan retensi untuk setiap tingkatan:

1. Di bawah tabel asli, lihat tabel pemisahan Analitik dan Data lake yang dihasilkan.

2. Untuk mengonfigurasi retensi, pilih tabel Analitik atau Data lake.

3. Pilih Pengaturan retensi data.

4. Konfigurasikan periode retensi dan simpan.

Atau, pilih tabel asli dan konfigurasikan retensi Analytics dan Data Lake dari dialog Pengaturan Retensi Data gabungan.

Mengelola aturan

Untuk mengelola aturan yang sudah ada, pilih tabel lalu pilih Aturan pemisahan atau Aturan filter bergantung pada jenis aturan yang ingin Anda kelola.

• Untuk menonaktifkan aturan, pilih tombol Status aturan untuk menonaktifkan aturan, lalu pilih Simpan.
• Untuk menghapus aturan, perlu diperhatikan bahwa menghapus aturan transformasi akan langsung menghentikan pemrosesan data untuk aturan tersebut dan dapat memengaruhi proses ingesti yang aktif. Untuk melanjutkan, pilih Hapus.

Verifikasi aturan dengan menjalankan kueri KQL untuk mengonfirmasi bahwa data diserap dengan benar dan dirutekan ke tingkat yang benar.

Batasan yang diketahui

Ketahui batasan berikut saat menggunakan transformasi filter dan pemisahan:

• Visibilitas tabel XDR: Transformasi pemisahan dan filter yang diterapkan ke tabel XDR tidak muncul di Perburuan Tingkat Lanjut untuk 30 hari pertama data. Transformasi diterapkan, dan setelah data berusia lebih dari 30 hari pertama, data berperilaku normal dalam Perburuan Tingkat Lanjut. Data yang dikueri dari Log Analytics atau Microsoft Sentinel segera mencerminkan penghematan biaya.

• Penundaan penyebaran: Transformasi dapat memakan waktu hingga satu jam untuk diterapkan.

• Dukungan tabel: Hanya tabel yang mendukung Aturan Pengumpulan Data (DCR) yang mendukung transformasi pemisahan dan filter.

Konten terkait

• Penyerapan dan transformasi data khusus di Microsoft Sentinel
• Transformasi dan kustomisasi data saat ingestasi di Microsoft Sentinel
• Aturan pengumpulan data di Azure Monitor
• Contoh aturan pengumpulan data di Azure Monitor
• Temukan konektor data Microsoft Sentinel Anda