Membawa Pembelajaran Mesin (ML) Anda sendiri ke Microsoft Azure Sentinel
Catatan
Untuk informasi tentang ketersediaan fitur di cloud Pemerintah AS, lihat tabel Microsoft Azure Sentinel di ketersediaan fitur Cloud untuk pelanggan Pemerintah AS.
Pembelajaran Mesin (ML) adalah salah satu dasar utama Microsoft Azure Sentinel, dan salah satu atribut utama yang membedakannya. Microsoft Azure Sentinel menawarkan ML dalam beberapa pengalaman: bawaan ke mesin korelasi Fusion dan notebook Jupyter, dan platform Build-Your-Own ML (BYO ML) yang baru tersedia.
Model deteksi ML dapat beradaptasi dengan lingkungan individu dan perubahan perilaku pengguna, untuk mengurangi positif palsu dan mengidentifikasi ancaman yang tidak akan ditemukan dengan pendekatan tradisional. Banyak organisasi keamanan memahami nilai ML untuk keamanan, meskipun tidak banyak dari mereka memiliki kemewahan profesional yang mempunyai keahlian dalam keamanan dan ML. Kami merancang kerangka kerja yang disajikan di sini untuk organisasi keamanan dan profesional agar tumbuh bersama kami dalam perjalanan ML mereka. Organisasi yang baru menggunakan ML, atau tanpa keahlian yang diperlukan, dapat memperoleh nilai perlindungan yang signifikan dari kemampuan ML bawaan Microsoft Azure Sentinel.
Apa itu platform Bring Your Own Machine Learning (BYO-ML)?
Untuk organisasi yang memiliki sumber daya ML dan ingin membangun model ML yang disesuaikan untuk kebutuhan bisnis mereka yang unik, kami menawarkan platform BYO-ML. Platform ini memanfaatkan lingkungan Azure Databricks/Apache Spark dan Jupyter Notebooks untuk menghasilkan lingkungan ML. Ini menyediakan komponen-komponen berikut:
paket BYO-ML, yang mencakup pustaka untuk membantu Anda mengakses data dan mendorong hasilnya kembali ke Log Analytics (LA), sehingga Anda dapat mengintegrasikan hasilnya dengan deteksi, investigasi, dan perburuan Anda.
Templat algoritma ML untuk Anda kustomisasi agar sesuai dengan masalah keamanan tertentu di organisasi Anda.
contoh notebook untuk melatih model dan menjadwalkan penilaian model.
Selain semua ini, Anda dapat membawa model ML Anda sendiri, dan/atau lingkungan Spark Anda sendiri, untuk diintegrasikan dengan Microsoft Azure Sentinel.
Dengan platform BYO-ML, Anda bisa memulai langkah awal untuk membangun model ML Anda sendiri:
Notebook dengan data sampel membantu Anda mendapatkan pengalaman langsung secara end-to-end, tanpa khawatir menangani data produksi.
Paket yang terintegrasi dengan lingkungan Spark ini mengurangi tantangan dan gesekan dalam mengelola infrastruktur.
Pustaka mendukung pergerakan data. Pelatihan dan penilaian notebooks menunjukkan pengalaman end-to-end dan berfungsi sebagai templat bagi Anda untuk beradaptasi dengan lingkungan Anda.
Kasus penggunaan
Platform dan paket BYO-ML secara signifikan mengurangi waktu dan upaya yang Anda perlukan untuk membangun deteksi ML Anda sendiri, dan mereka melepaskan kemampuan untuk mengatasi masalah keamanan tertentu di Microsoft Azure Sentinel. Platform ini mendukung kasus penggunaan berikut:
Latih algoritma ML untuk mendapatkan model yang dikustomisasi: Anda dapat mengambil algoritma ML yang ada (dibagikan oleh Microsoft atau oleh komunitas pengguna) dan dengan mudah melatihnya pada data Anda sendiri untuk mendapatkan model ML yang dikustomisasi yang lebih sesuai dengan data dan lingkungan Anda.
Modifikasi templat algoritma ML untuk mendapatkan model yang disesuaikan: Anda dapat memodifikasi templat algoritma ML (dibagikan oleh Microsoft atau oleh komunitas pengguna), dan melatih algoritma yang dimodifikasi pada data Anda sendiri, untuk mendapatkan model yang disesuaikan agar sesuai dengan masalah spesifik Anda.
Buat model Anda sendiri: Buat model Anda sendiri dari awal menggunakan platform dan utilitas BYO-ML Microsoft Azure Sentinel.
Integrasikan Lingkungan Databricks/Spark Anda: Integrasikan lingkungan Databricks/Spark yang ada ke Microsoft Azure Sentinel, serta gunakan pustaka dan templat BYO-ML guna membangun model ML untuk situasi unik mereka.
Impor model ML Anda sendiri: Anda dapat mengimpor model ML Anda sendiri dan menggunakan platform dan utilitas BYO-ML untuk mengintegrasikannya dengan Microsoft Azure Sentinel.
Berbagi algoritma ML: Bagikan algoritma ML agar komunitas dapat mengadopsi dan mengadaptasi.
Gunakan ML untuk memberdayakan SecOps: gunakan model ML kustom Anda sendiri dan hasil untuk berburu, mendeteksi, menginvestigasi, dan merespons.
Artikel ini memperlihatkan kepada Anda komponen platform BYO-ML dan cara memanfaatkan platform dan algoritma Akses Sumber Daya Anomali untuk menghasilkan deteksi ML yang disesuaikan dengan Microsoft Azure Sentinel.
Lingkungan Azure Databricks/Spark
Apache Spark membuat lompatan ke depan dalam menyederhanakan big data dengan menyediakan kerangka kerja terpadu untuk membangun saluran data. Azure Databricks membawa ini lebih jauh dengan menyediakan platform cloud tanpa manajemen yang dibangun di sekitar Spark. Kami menyarankan agar Anda menggunakan Databricks untuk platform BYO-ML Anda, sehingga Anda dapat fokus menemukan jawaban yang berdampak langsung pada bisnis Anda, daripada mengatasi alur data dan masalah platform.
Jika Anda sudah memiliki Databricks atau lingkungan Spark lainnya, dan lebih suka menggunakan penyiapan yang ada, paket BYO-ML juga akan berfungsi dengan baik di situ.
Paket BYO-ML
Paket BYO ML mencakup praktik terbaik dan penelitian Microsoft di ujung depan ML untuk keamanan. Dalam paket ini, kami menyediakan daftar utilitas, Notebook, dan templat algoritma berikut untuk masalah keamanan.
| Nama file | Deskripsi |
|---|---|
| azure_sentinel_utilities.whl | Berisi utilitas untuk membaca blob dari Azure dan menulis ke Log Analytics. |
| AnomalousRASampleData | Notebook menunjukkan penggunaan model Akses Sumber Daya Anomali di Microsoft Azure Sentinel dengan pelatihan yang dihasilkan dan menguji data sampel. |
| AnomalousRATraining.ipynb | Notebook untuk melatih algoritma, membangun, dan menyimpan model. |
| AnomalousRAScoring.ipynb | Notebook untuk menjadwalkan model yang akan dijalankan, memvisualisasikan hasilnya dan menulis skor kembali ke Microsoft Azure Sentinel. |
Templat algoritma ML pertama yang kami tawarkan adalah untuk Mendeteksi Akses Sumber Daya Anomali. Ini didasarkan pada algoritma penyaringan kolaboratif dan dilatih dengan log akses berbagi file Windows (Peristiwa Keamanan dengan Peristiwa ID 5140). Informasi kunci yang Anda butuhkan untuk model ini dalam log adalah pemasangan pengguna dan sumber daya yang diakses.
Contoh Penelusuran: Deteksi Akses Berbagi File Anomali
Sekarang setelah Anda berkenalan dengan komponen kunci platform BYO-ML, berikut adalah contoh untuk menunjukkan kepada Anda cara menggunakan platform dan komponen untuk menghasilkan deteksi ML yang disesuaikan.
Menyiapkan Lingkungan Databricks/Spark
Anda harus menyiapkan lingkungan Databricks Anda sendiri jika Anda belum memilikinya. Lihat dokumen mulai cepat Databricks untuk mendapatkan instruksi.
Instruksi ekspor otomatis
Untuk membuat model ML kustom berdasarkan data Anda sendiri di Microsoft Azure Sentinel, Anda harus mengekspor data Anda dari Analitik Log ke penyimpanan Blob atau sumber daya Pusat Aktivitas, sehingga model ML dapat mengaksesnya dari Databricks. Pelajari cara memasukkan data ke Microsoft Azure Sentinel.
Untuk contoh ini, Anda harus memiliki data pelatihan untuk log Akses Berbagi File di penyimpanan blob Azure. Format data didokumentasikan dalam notebook dan pustaka.
Anda dapat secara otomatis mengekspor data dari Analitik Log menggunakan Azure (CLI).
Anda harus diberi peran Kontributor di ruang kerja Log Analytics, akun Penyimpanan, dan sumber daya EventHub Anda untuk menjalankan perintah.
Berikut adalah sekumpulan contoh perintah untuk menyiapkan ekspor otomatis:
az –version
# Login with Azure CLI
az login
# List all Log Analytics clusters
az monitor log-analytics cluster list
# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]
# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"
# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"
Mengekspor data kustom
Untuk data kustom yang tidak didukung oleh ekspor otomatis Log Analytics, Anda dapat menggunakan Aplikasi Logika atau solusi lain untuk memindahkan data Anda. Anda dapat merujuk ke blog Data Ekspor Log Analytics ke Blob Store dan skrip.
Berkorelasi dengan data di luar Microsoft Azure Sentinel
Anda juga dapat membawa data dari luar Microsoft Azure Sentinel ke penyimpanan Blob atau Pusat Aktivitas dan menghubungkannya dengan data Microsoft Azure Sentinel untuk membangun model ML Anda.
Menyalin dan memasang paket terkait
Salin paket BYO-ML dari repositori Microsoft Azure Sentinel GitHub yang disebutkan di atas ke lingkungan Databricks Anda. Lalu buka notebook dan ikuti instruksi di dalam notebook untuk memasang pustaka yang diperlukan pada kluster Anda.
Pelatihan dan penilaian model
Ikuti instruksi di dua notebook untuk mengubah konfigurasi sesuai dengan lingkungan dan sumber daya Anda sendiri, ikuti langkah-langkah untuk melatih dan membangun model Anda, lalu jadwalkan model untuk menilai log akses berbagi file yang masuk.
Tulis hasil ke Log Analytics
Setelah jadwal penilaian, Anda dapat menggunakan modul di notebook penilaian untuk menulis hasil skor ke ruang kerja Log Analytics yang terkait dengan instans Microsoft Azure Sentinel Anda.
Periksa hasil di Microsoft Azure Sentinel
Untuk melihat hasil skor bersama dengan detail log terkait, kembali ke portal Microsoft Azure Sentinel Anda. Di Log> Log Kustom, Anda akan melihat hasilnya di tabel AnomalousResourceAccessResult_CL (atau nama tabel kustom Anda sendiri). Anda dapat menggunakan hasil tersebut untuk meningkatkan pengalaman penyelidikan dan perburuan Anda.
Menyusun aturan analitik kustom dengan hasil ML
Setelah Anda mengonfirmasi hasil ML yang berada dalam tabel log kustom, dan Anda puas dengan keakuratan skor, Anda dapat membuat deteksi berdasarkan hasilnya. Buka Analytics dari portal Microsoft Azure Sentinel dan buat aturan deteksi baru. Di bawah ini adalah contoh yang memperlihatkan kueri yang digunakan untuk membuat deteksi.
Melihat dan merespons insiden
Setelah Anda menyiapkan aturan analitik berdasarkan hasil ML, jika ada hasil yang di atas ambang batas yang Anda tetapkan dalam kueri, insiden akan dihasilkan dan muncul di halaman Insiden di Microsoft Azure Sentinel.
Langkah berikutnya
Dalam dokumen ini, Anda mempelajari cara menggunakan platform BYO-ML Microsoft Azure Sentinel untuk membuat atau mengimpor algoritma pembelajaran mesin Anda sendiri untuk menganalisis data dan mendeteksi ancaman.
- Lihat postingan tentang pembelajaran mesin dan banyak topik relevan lainnya di Blog Microsoft Azure Sentinel.