Menangani keterlambatan ingesti data dalam aturan analitik yang dijadwalkan

Penting

Deteksi kustom sekarang menjadi cara terbaik untuk membuat aturan baru di seluruh Microsoft Sentinel SIEM Microsoft Defender XDR. Dengan deteksi kustom, Anda dapat mengurangi biaya penyerapan, mendapatkan deteksi real-time tanpa batas, dan mendapat manfaat dari integrasi yang mulus dengan data, fungsi, dan tindakan remediasi Defender XDR dengan pemetaan entitas otomatis. Untuk informasi selengkapnya, baca Deteksi kustom sekarang menjadi pengalaman terpadu untuk membuat deteksi di Microsoft Defender XDR.

Meskipun Microsoft Sentinel dapat mengolah data dari sumber data yang terhubung, waktu pengambilan untuk setiap sumber data dapat berbeda dalam situasi yang berbeda.

Artikel ini menjelaskan bagaimana penundaan penyerapan dapat memengaruhi aturan analitik terjadwal Anda dan bagaimana Anda dapat memperbaikinya untuk menutupi kesenjangan ini.

Mengapa penundaan itu penting

Misalnya, Anda dapat menulis aturan deteksi kustom, dengan mengatur kolom Jalankan kueri setiap dan Cari data dari agar aturan dijalankan setiap lima menit, dengan mengambil data dari lima menit terakhir tersebut:

Data pencarian dari bidang terakhir mendefinisikan pengaturan yang dikenal sebagai periode lihat ke belakang. Idealnya, ketika tidak ada penundaan, deteksi ini tidak akan melewatkan peristiwa, seperti yang ditunjukkan pada diagram berikut:

Kejadian diterima saat dihasilkan, dan disertakan dalam periode peninjauan ke belakang.

Sekarang, asumsikan ada beberapa penundaan untuk sumber data Anda. Untuk contoh ini, katakanlah peristiwa tersebut diserap dua menit setelah dihasilkan. Penundaannya adalah dua menit:

Peristiwa ini dihasilkan dalam periode peninjauan ke belakang pertama, tetapi tidak masuk ke ruang kerja Microsoft Sentinel Anda pada saat pertama kali dijalankan. Saat kueri terjadwal dijalankan lagi, kueri tersebut mengimpor peristiwa, tetapi filter waktu pembuatan menghapus peristiwa itu karena terjadi lebih dari lima menit sebelumnya. Dalam hal ini, aturan tidak memunculkan peringatan.

Cara menangani keterlambatan

Gunakan pendekatan berikut untuk memperhitungkan keterlambatan penyerapan dalam aturan analitik terjadwal.

Note

Anda dapat mengatasi masalah tersebut menggunakan proses yang dijelaskan di bawah ini, atau menerapkan aturan deteksi hampir real time (NRT) Microsoft Sentinel. Untuk informasi lebih lanjut, lihat Deteksi ancaman dengan cepat dengan aturan analitik hampir real-time (NRT) di Microsoft Sentinel.

Untuk mengatasi masalah ini, Anda perlu mengetahui penundaan untuk jenis data Anda. Untuk contoh ini, Anda sudah tahu penundaannya adalah dua menit.

Untuk data Anda sendiri, Anda dapat memahami keterlambatan menggunakan fungsi ingestion_time() Kusto dan menghitung perbedaan antara TimeGenerated dan waktu penyerapan. Untuk informasi selengkapnya, lihat Menghitung penundaan penyerapan.

Setelah menentukan penundaan, Anda dapat mengatasi masalah sebagai berikut:

• Tingkatkan periode melihat ke belakang: Intuisi dasar memberi tahu Anda bahwa memperbesar ukuran periode melihat ke belakang akan membantu. Karena periode lihat ke belakang Anda adalah lima menit dan penundaan Anda adalah dua menit, mengatur periode lihat ke belakang menjadi tujuh menit akan membantu mengatasi masalah ini. Misalnya, dalam pengaturan aturan Anda:

  

  Diagram berikut menunjukkan bagaimana periode peninjauan ke belakang kini mencakup peristiwa yang terlewat:

  

• * Tangani duplikasi:. Hanya meningkatkan periode lihat ke belakang dapat membuat duplikasi, karena jendela lihat ke belakang sekarang tumpang tindih. Misalnya, peristiwa yang berbeda mungkin terlihat seperti yang ditunjukkan pada diagram berikut:

  

  Karena nilai TimeGenerated event ditemukan di kedua periode look-back, event tersebut memicu dua peringatan. Anda perlu menemukan cara untuk menyelesaikan duplikasi.

• Asosiasikan peristiwa tersebut dengan periode tinjauan ke belakang tertentu: Pada contoh pertama, Anda melewatkan peristiwa karena data Anda tidak tercermin saat kueri terjadwal dijalankan. Anda memperpanjang periode peninjauan ke belakang hingga mencakup peristiwa tersebut, tetapi ini menyebabkan duplikasi. Anda harus mengaitkan event tersebut ke jendela yang Anda perluas agar memuatnya.

  Lakukan ini dengan mengatur ingestion_time() > ago(5m), alih-alih menggunakan aturan look-back = 5m asli. Pengaturan ini mengaitkan peristiwa dengan periode lihat balik pertama. Contohnya:

  

  Pembatasan waktu penyerapan data kini memangkas dua menit tambahan yang Anda tambahkan ke periode peninjauan ke belakang. Untuk contoh pertama, periode peninjauan balik pada eksekusi kedua kini mencakup peristiwa tersebut:

  

Kueri sampel berikut merangkum solusi untuk memecahkan masalah penundaan penyerapan:

let ingestion_delay = 2min;
let rule_look_back = 5min;
CommonSecurityLog
| where TimeGenerated >= ago(ingestion_delay + rule_look_back)
| where ingestion_time() > ago(rule_look_back)

Lihat informasi lebih lanjut tentang item berikut yang digunakan dalam contoh sebelumnya di dokumentasi Kusto:

• let statement
• operator 'where'
• ago() fungsi

Menghitung penundaan penyerapan

Secara default, aturan peringatan terjadwal Microsoft Sentinel dikonfigurasi untuk memiliki periode tinjauan mundur selama lima menit. Namun, setiap sumber data mungkin memiliki penundaan penghapusan yang individual. Saat menggabungkan beberapa tipe data, Anda harus memahami jeda yang berbeda untuk setiap tipe data agar dapat mengonfigurasi periode lihat balik dengan benar.

Laporan Penggunaan Ruang Kerja, yang disediakan secara bawaan di Microsoft Sentinel, menyertakan dasbor yang menampilkan latensi dan keterlambatan untuk berbagai jenis data yang mengalir ke ruang kerja Anda.

Contohnya:

Konten terkait

• Buat aturan analitik terjadwal dari awal
• Menyesuaikan detail pemberitahuan di Microsoft Azure Sentinel
• Kelola versi template untuk aturan analitik terjadwal Anda di Microsoft Sentinel
• Memantau kesehatan konektor data Anda
• Catat waktu penyerapan data di Azure Monitor