Solusi ini menyimpan log keamanan di Azure Data Explorer secara jangka panjang. Solusi ini meminimalkan biaya dan memberikan akses mudah ketika Anda perlu mengkueri data.
Grafana dan Jupyter Notebooks adalah merek dagang dari perusahaan masing-masing. Tidak ada dukungan yang tersirat oleh penggunaan tanda-tanda ini.
Arsitektur
Unduh file Visio arsitektur ini.
Aliran data
Untuk SIEM dan SOAR, perusahaan menggunakan Sentinel dan Pertahanan untuk Titik akhir.
Pertahanan untuk titik akhir menggunakan fungsionalitas asli untuk mengekspor data ke Azure Event Hubs dan Azure Data Lake. Sentinel menyerap data Pertahanan Untuk Titik Akhir untuk memantau perangkat.
Sentinel menggunakan Log Analytics sebagai platform data untuk mengekspor data ke Event Hubs dan Azure Data Lake.
Azure Data Explorer menggunakan konektor untuk Event Hubs, Azure Blob Storage, dan Azure Data Lake Storage untuk menelan data dengan latensi rendah dan throughput tinggi. Proses ini menggunakan Azure Event Grid, yang memicu alur penyerapan Azure Data Explorer.
Jika diperlukan, Azure Data Explorer terus mengekspor log keamanan ke Azure Storage. Log ini dalam format Parquet terkompresi dan dipartisi dan siap untuk ditanyakan.
Untuk mengikuti persyaratan peraturan, Azure Data Explorer mengekspor data pra-agregat ke Data Lake Storage untuk pengarsipan.
Log Analytics dan Sentinel mendukung kueri lintas layanan dengan Azure Data Explorer. Analis SOC menggunakan kemampuan ini untuk menjalankan penyelidikan jarak penuh pada data keamanan.
Azure Data Explorer menyediakan kemampuan asli untuk memproses, menggabungkan, dan menganalisis data.
Berbagai alat menyediakan dasbor analitik real time dekat yang dengan cepat memberikan insight:
Komponen
Pertahanan untuk Titik Akhir melindungi organisasi dari ancaman di seluruh perangkat, identitas, aplikasi, email, data, dan beban kerja cloud.
Sentinel adalah solusi SIEM dan SOAR cloud-native. Ini menggunakan AI tingkat lanjut dan analitik keamanan untuk mendeteksi, memburu, mencegah, dan menanggapi ancaman di seluruh perusahaan.
Monitor adalah solusi perangkat lunak sebagai layanan (SaaS) yang mengumpulkan dan menganalisis data tentang lingkungan dan sumber daya Azure. Data ini mencakup telemetri aplikasi, seperti metrik performa dan log aktivitas. Monitor juga menawarkan fungsi peringatan.
Log Analytics adalah layanan Monitor yang dapat Anda gunakan untuk mengkueri dan memeriksa data log Monitor. Log Analytics juga menyediakan fitur untuk memetakan dan menganalisis hasil kueri secara statistik.
Azure Event Hubs adalah layanan penyerapan data real time yang dikelola sepenuhnya yang mudah dan dapat diskalakan.
Data Lake Storage adalah repositori penyimpanan terukur yang menyimpan sejumlah besar data dalam format asli dan mentah data. Data lake ini dibangun di atas Blob Storage dan menyediakan fungsionalitas untuk menyimpan dan memproses data.
Azure Data Explorer adalah platform analitik data yang cepat, dikelola sepenuhnya, dan sangat terskala. Anda dapat menggunakan layanan cloud ini untuk analisis real time pada volume data yang besar. Azure Data Explorer dioptimalkan untuk kueri interaktif dan ad-hoc. Ini dapat menghandel beragam aliran data dari aplikasi, situs web, perangkat IoT, dan sumber lainnya.
Dasbor Azure Data Explorer mengimpor data secara native dari kueri UI Web Azure Data Explorer. Dasbor yang dioptimalkan ini menyediakan cara untuk menampilkan dan menjelajahi hasil kueri.
Alternatif
Alih-alih menggunakan Azure Data Explorer untuk penyimpanan log keamanan jangka panjang, Anda dapat menggunakan Storage. Pendekatan ini menyederhanakan arsitektur dan dapat membantu mengendalikan biaya. Kerugiannya adalah kebutuhan untuk rehidrasi log untuk audit keamanan dan pertanyaan investigasi interaktif. Dengan Azure Data Explorer, Anda dapat memindahkan data dari partisi dingin ke partisi panas dengan mengubah kebijakan. Fungsi ini mempercepat eksplorasi data.
Opsi lain dengan solusi ini adalah mengirim semua data, terlepas dari nilai keamanannya, ke Sentinel dan Azure Data Explorer pada saat yang bersamaan. Beberapa hasil duplikasi, tetapi penghematan biaya bisa signifikan. Karena Azure Data Explorer menyediakan penyimpanan jangka panjang, Anda dapat mengurangi biaya retensi Sentinel dengan pendekatan ini.
Analitik Log saat ini tidak mendukung ekspor tabel log kustom. Dalam skenario ini, Anda dapat menggunakan Azure Logic Apps untuk mengekspor data dari ruang kerja Analitik Log. Untuk informasi selengkapnya, lihat Mengarsipkan data dari ruang kerja Analitik Log ke Azure Storage menggunakan Logic Apps.
Detail skenario
Log keamanan berguna untuk mengidentifikasi ancaman dan melacak upaya yang tidak sah untuk mengakses data. Serangan keamanan dapat dimulai dengan baik sebelum mereka ditemukan. Akibatnya, memiliki akses ke log keamanan jangka panjang adalah penting. Log Kueri jangka panjang sangat penting untuk mengidentifikasi dampak ancaman dan menyelidiki penyebaran upaya akses ilegal.
Artikel ini menguraikan solusi untuk retensi log keamanan jangka panjang. Inti dari arsitektur adalah Azure Data Explorer. Layanan ini menyediakan penyimpanan untuk data keamanan dengan biaya minimal tetapi menyimpan data itu dalam format yang dapat Anda kueri. Komponen utama lainnya meliputi:
Pertahanan Microsoft untuk Titik Akhir dan Microsoft Sentinel, untuk kemampuan ini:
- Keamanan titik akhir yang komprehensif
- Informasi keamanan dan manajemen acara (SIEM)
- Respons otomatis orkestrasi keamanan (SOAR)
Log Analytics, untuk penyimpanan jangka pendek log keamanan Sentinel.
Kasus penggunaan potensial
Solusi ini berlaku untuk berbagai skenario. Secara khusus, analis pusat operasi keamanan (SOC) dapat menggunakan solusi ini untuk:
- Investigasi skala penuh.
- Analisis forensik.
- Perburuan ancaman.
- Audit keamanan.
Pelanggan bersaksi tentang kegunaan solusi: "Kami menyebarkan kluster Azure Data Explorer hampir satu setengah tahun yang lalu. Dalam pelanggaran data Solorigate terakhir, kami menggunakan kluster Azure Data Explorer untuk analisis forensik. Tim Microsoft Dart juga menggunakan kluster Azure Data Explorer untuk menyelesaikan penyelidikan. Retensi data keamanan jangka panjang sangat penting untuk penyelidikan data skala penuh."
Tumpukan pemantauan
Diagram berikut menunjukkan tumpukan pemantauan Azure:
- Sentinel menggunakan ruang kerja Analitik Log untuk menyimpan log keamanan dan menyediakan solusi SIEM dan SOAR.
- Monitor melacak status aset IT dan mengirimkan peringatan saat diperlukan.
- Azure Data Explorer menyediakan platform data dasar yang menyimpan log keamanan untuk ruang kerja, Monitor, dan Sentinel Log Analytics.
Fitur utama
Fitur utama solusi ini menawarkan banyak manfaat, seperti yang dijelaskan oleh bagian berikut.
Penyimpanan data jangka panjang yang dapat dikuerikan
Azure Data Explorer mengindeks data selama proses penyimpanan, membuat data tersedia untuk kueri. Ketika Anda perlu fokus pada menjalankan audit dan investigasi, tidak perlu memproses data. Mengkueri data itu mudah.
Analisis forensik skala penuh
Azure Data Explorer, Log Analytics, dan Sentinel mendukung kueri lintas layanan. Akibatnya, dalam satu kueri, Anda dapat mereferensikan data yang disimpan di salah satu layanan ini. Analis SOC dapat menggunakan bahasa kueri Kusto (KQL) untuk menjalankan penyelidikan jarak penuh. Anda juga dapat menggunakan kueri Azure Data Explorer di Sentinel untuk tujuan berburu. Untuk informasi selengkapnya, lihat Apa yang Baru: Sentinel Hunting mendukung kueri lintas sumber daya ADX.
Penembolokan data sesuai permintaan
Azure Data Explorer mendukung penembolokan panas berbasis jendela. Fungsi ini menyediakan cara untuk memindahkan data dari periode yang dipilih ke dalam cache panas. Kemudian Anda dapat menjalankan kueri cepat pada data, membuat penyelidikan lebih efisien. Anda mungkin perlu menambahkan node komputasi ke cache panas untuk tujuan ini. Setelah penyelidikan selesai, Anda dapat mengubah kebijakan cache panas untuk memindahkan data ke partisi dingin. Anda juga dapat mengembalikan kluster ke ukuran aslinya.
Ekspor berkelanjutan ke data arsip
Untuk mengikuti persyaratan peraturan, beberapa perusahaan perlu menyimpan log keamanan untuk waktu yang tidak terbatas. Azure Data Explorer mendukung ekspor data secara berkelanjutan. Anda dapat menggunakan kemampuan ini untuk membangun tingkat arsip dengan menyimpan log keamanan di Storage.
Bahasa kueri yang telah terbukti
Bahasa kueri Kusto berasal dari Azure Data Explorer. Bahasa ini juga tersedia di ruang kerja Log Analytics dan lingkungan berburu ancaman Sentinel. Ketersediaan ini secara signifikan mengurangi kurva belajar bagi analis SOC. Kueri yang Anda jalankan di Sentinel juga berfungsi pada data yang Anda simpan di kluster Azure Data Explorer.
Pertimbangan
Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian prinsip panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.
Ingat hal-hal berikut saat Anda menerapkan solusi ini.
Skalabilitas
Pertimbangkan masalah skalabilitas ini:
Metode ekspor data
Jika Anda perlu mengekspor sejumlah besar data dari Analitik Log, Anda mungkin mencapai batas kapasitas Azure Event Hubs. Untuk menghindari situasi ini:
- Ekspor data dari Log Analytics ke Blob Storage.
- Gunakan beban kerja Azure Data Factory untuk mengekspor data secara berkala ke Azure Data Explorer.
Dengan menggunakan metode ini, Anda dapat menyalin data dari Data Factory hanya ketika data mendekati batas retensinya di Sentinel atau Log Analytics. Akibatnya, Anda menghindari duplikasi data. Untuk informasi selengkapnya, lihat Mengekspor data dari Analitik Log ke Azure Data Explorer.
Penggunaan kueri dan kesiapan audit
Umumnya, Anda menyimpan data dalam cache dingin di kluster Azure Data Explorer Anda. Pendekatan ini meminimalkan biaya kluster Anda dan cukup untuk sebagian besar kueri yang melibatkan data dari bulan-bulan sebelumnya. Tetapi ketika Anda meminta rentang data besar, Anda mungkin perlu menskalakan kluster dan memuat data ke dalam cache panas.
Anda dapat menggunakan fitur jendela panas dari kebijakan cache panas untuk tujuan ini. Anda juga dapat menggunakan fitur ini saat mengaudit data jangka panjang. Ketika Anda menggunakan jendela panas, Anda mungkin perlu meningkatkan kluster Anda ke atas atau ke luar untuk memberi ruang bagi lebih banyak data dalam cache panas. Setelah selesai mengkueri rentang data yang besar, ubah kebijakan cache panas untuk mengurangi biaya komputasi Anda.
Dengan mengaktifkan fitur skala otomatis yang dioptimalkan di kluster Azure Data Explorer, Anda dapat mengoptimalkan ukuran kluster berdasarkan kebijakan penembolokan. Untuk informasi selengkapnya tentang kueri data dingin di Azure Data Explorer, lihat Kueri data dingin dengan jendela panas.
Efisiensi performa
Efisiensi performa adalah kemampuan beban kerja Anda untuk menskalakan untuk memenuhi tuntutan yang diberikan oleh pengguna dengan cara yang efisien. Untuk informasi selengkapnya, lihat Gambaran umum pilar efisiensi performa.
Jika Anda perlu menyimpan data keamanan untuk waktu yang lama atau untuk jangka waktu yang tidak terbatas, ekspor log ke Storage. Azure Data Explorer mendukung ekspor data secara berkelanjutan. Dengan menggunakan fungsi ini, Anda dapat mengekspor data ke Storage dalam format Parquet terkompresi dan dipartisi. Anda kemudian dapat dengan mulus mengkueri data tersebut. Untuk informasi selengkapnya, lihat Gambaran umum ekspor data berkelanjutan.
Pengoptimalan biaya
Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.
Biaya kluster Azure Data Explorer didasarkan pada daya komputasi yang digunakan untuk menyimpan data dalam cache panas. Kueri pada data cache panas menawarkan kinerja yang lebih baik dibandingkan kueri cache dingin. Solusi ini menyimpan sebagian besar data dalam cache dingin, meminimalkan biaya komputasi.
Untuk menjelajahi biaya menjalankan solusi ini di lingkungan Anda, gunakan kalkulator harga Azure.
Menyebarkan skenario ini
Untuk mengotomatiskan penyebaran, gunakan skrip PowerShell ini. Skrip ini membuat komponen-komponen ini:
- Tabel target
- Meja mentah
- Pemetaan tabel yang mendefinisikan bagaimana Azure Event Hubs mencatat tanah dalam tabel mentah
- Kebijakan retensi dan pembaruan
- Namespace Azure Event Hubs
- Aturan ekspor data di ruang kerja Analitik Log
- Koneksi data antara Hub Peristiwa dan tabel data mentah Azure Data Explorer
Kontributor
Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.
Penulis utama:
- Deepak Agrawal | Manajer Produk
Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.
Langkah berikutnya
- Mengintegrasikan Azure Data Explorer untuk retensi log jangka panjang
- Pindahkan Log Microsoft Sentinel Anda ke Penyimpanan Jangka Panjang dengan Mudah
- Kueri lintas sumber daya Azure Data Explorer dengan menggunakan Azure Monitor
- CARA: Mengonfigurasi ekspor data Microsoft Sentinel untuk penyimpanan jangka panjang
- Menggunakan Azure Data Explorer untuk retensi jangka panjang log Microsoft Sentinel
- Apa yang Baru: Microsoft Sentinel Hunting mendukung kueri lintas sumber daya ADX
- Cara melakukan streaming log berburu Microsoft Defender ATP di Azure Data Explorer
- Seri Blog: Perburuan Tingkat Lanjut Tanpa Batas dengan Azure Data Explorer (ADX)