Kendi Machine Learning'inizi (ML) Microsoft Sentinel'e getirme

  • Makale

Not

US Government bulutlarında özellik kullanılabilirliği hakkında bilgi için bkz. US Government müşterileri için Bulut özelliği kullanılabilirliği'ndeki Microsoft Sentinel tabloları.

Machine Learning (ML), Microsoft Sentinel'in önemli temellerinden ve onu ayıran ana özniteliklerden biridir. Microsoft Sentinel çeşitli deneyimlerde ML sunar: Fusion bağıntı altyapısı ve Jupyter not defterlerinde yerleşik olarak ve yeni kullanılabilir Build-Your-Own ML (BYO ML) platformu.

ML algılama modelleri, hatalı pozitif sonuçları azaltmak ve geleneksel bir yaklaşımla bulunmayacak tehditleri belirlemek için tek tek ortamlara ve kullanıcı davranışındaki değişikliklere uyarlanabilir. Birçok güvenlik kuruluşu ML'nin güvenlik için değerini anlar, ancak bunların çoğu hem güvenlik hem de ML konusunda uzman olan profesyonellerin lükslerine sahip değildir. Burada sunulan çerçeveyi, güvenlik kuruluşlarının ve profesyonellerin ML yolculuklarında bizimle birlikte büyümesi için tasarladık. ML'de yeni olan veya gerekli uzmanlıkları olmayan kuruluşlar, Microsoft Sentinel'in yerleşik ML özelliklerinden önemli bir koruma değeri elde edebilir.

makine öğrenmesi çerçevesi

Kendi Makine Öğrenmenizi Getirin (BYO-ML) platformu nedir?

ML kaynaklarına sahip olan ve benzersiz iş ihtiyaçları için özelleştirilmiş ML modelleri oluşturmak isteyen kuruluşlar için BYO-ML platformunu sunuyoruz. Platform, ML ortamını oluşturmak için Azure Databricks/Apache Spark ortamını ve Jupyter Notebooks'u kullanır. Aşağıdaki bileşenleri sağlar:

  • Verilere erişmenize ve sonuçları Log Analytics'e (LA) geri göndermenize yardımcı olacak kitaplıklar içeren bir BYO-ML paketi; böylece sonuçları algılama, araştırma ve tehdit avcılığınızla tümleştirebilirsiniz.

  • Kuruluşunuzdaki belirli güvenlik sorunlarına uyacak şekilde özelleştirmeniz için ML algoritma şablonları.

  • modeli eğitmek ve model puanlamasını zamanlamak için örnek not defterleri.

Tüm bunların yanı sıra, Microsoft Sentinel ile tümleştirmek için kendi ML modellerinizi ve/veya kendi Spark ortamınızı getirebilirsiniz.

BYO-ML platformu ile kendi ML modellerinizi oluşturmaya hızlı bir başlangıç yapabilirsiniz:

  • Örnek verilere sahip not defteri, üretim verilerini işleme konusunda endişelenmeden uçtan uca uygulamalı deneyim elde etmenize yardımcı olur.

  • Spark ortamıyla tümleştirilen paket, altyapının yönetilmesindeki zorlukları ve uyuşzluğu azaltır.

  • Kitaplıklar veri hareketlerini destekler. Eğitim ve puanlama not defterleri uçtan uca deneyimi gösterir ve ortamınıza uyarlamanız için bir şablon görevi görür.

Uygulama alanları

BYO-ML platformu ve paketi, kendi ML algılamalarınızı oluşturmak için ihtiyacınız olan süreyi ve çabayı önemli ölçüde azaltır ve Microsoft Sentinel'deki belirli güvenlik sorunlarını giderme özelliğini ortaya çıkarmıştır. Platform aşağıdaki kullanım örneklerini destekler:

Özelleştirilmiş bir model elde etmek için ml algoritmasını eğitin: Mevcut bir ML algoritmasını (Microsoft veya kullanıcı topluluğu tarafından paylaşılır) alabilir ve verilerinize ve ortamınıza daha uygun özelleştirilmiş bir ML modeli elde etmek için kendi verilerinizle kolayca eğitebilirsiniz.

Özelleştirilmiş model elde etmek için ML algoritması şablonunu değiştirin: Ml algoritması şablonunu değiştirebilir (Microsoft veya kullanıcı topluluğu tarafından paylaşılır) ve özelleştirilmiş bir modeli kendi verilerinizle eğiterek özel sorununuza uyacak özelleştirilmiş bir model türetebilirsiniz.

Kendi modelinizi oluşturun: Microsoft Sentinel'in BYO-ML platform ve yardımcı programlarını kullanarak sıfırdan kendi modelinizi oluşturun.

Databricks/Spark Ortamınızı tümleştirin: Mevcut Databricks/Spark ortamınızı Microsoft Sentinel ile tümleştirin ve BYO-ML kitaplıklarını ve şablonlarını kullanarak benzersiz durumlarına yönelik ML modelleri oluşturun.

Kendi ML modelinizi içeri aktarabilirsiniz: Kendi ML modellerinizi içeri aktarabilir ve BYO-ML platformunu ve yardımcı programlarını kullanarak bunları Microsoft Sentinel ile tümleştirebilirsiniz.

ML algoritmalarını paylaşma: Topluluğun benimsemesi ve uyarlaması için bir ML algoritması paylaşın.

SecOps'u güçlendirmek için ML kullanın: Tehdit avcılığı, algılamalar, araştırma ve yanıt için kendi özel ML modelinizi ve sonuçlarınızı kullanın.

Bu makalede, BYO-ML platformunun bileşenleri ve Microsoft Sentinel ile özelleştirilmiş bir ML algılaması sunmak için platformdan ve Anormal Kaynak Erişimi algoritmasından nasıl yararlanabileceğiniz gösterilmektedir.

Azure Databricks/Spark Ortamı

Apache Spark , veri işlem hatları oluşturmaya yönelik birleşik bir çerçeve sağlayarak büyük verileri basitleştirme konusunda bir sıçrama yaptı. Azure Databricks, Spark'ın etrafında oluşturulmuş sıfır yönetimli bir bulut platformu sağlayarak bunu daha da ileri götürmektedir. Databricks'i BYO-ML platformunuz için kullanmanızı öneririz, böylece veri işlem hatlarını ve platform sorunlarını çözmek yerine işletmenizi hemen etkileyen yanıtlar bulmaya odaklanabilirsiniz.

Databricks veya başka bir Spark ortamınız zaten varsa ve mevcut kurulumu kullanmayı tercih ediyorsanız, BYO-ML paketi bunlar üzerinde de düzgün çalışır.

BYO-ML paketi

BYO ML paketi, güvenlik için ML'nin ön ucunda Microsoft'un en iyi uygulamalarını ve araştırmasını içerir. Bu pakette, güvenlik sorunları için aşağıdaki yardımcı programların, Not Defterlerinin ve algoritma şablonlarının listesini sağlıyoruz.

Dosya adı Açıklama
azure_sentinel_utilities.whl Azure'dan blobları okumak ve Log Analytics'e yazmak için yardımcı programlar içerir.
AnomalousRASampleData Not defteri, oluşturulan eğitim ve test örnek verileriyle Microsoft Sentinel'de Anormal Kaynak Erişimi modelinin kullanımını gösterir.
AnomalousRATraining.ipynb Algoritmayı eğitmek, modelleri oluşturmak ve kaydetmek için not defteri.
AnomalousRAScoring.ipynb Modeli çalışacak şekilde zamanlamak, sonucu görselleştirmek ve puanı Microsoft Sentinel'e geri yazmak için not defteri.

Sunduğumuz ilk ML algoritması şablonu Anormal Kaynak Erişimi algılama içindir. İşbirliğine dayalı bir filtreleme algoritmasını temel alır ve Windows dosya paylaşımı erişim günlükleriyle eğitilir (Olay Kimliği 5140 olan Güvenlik Olayları). Günlükte bu model için ihtiyacınız olan temel bilgiler, erişilen kullanıcı ve kaynakların eşlenmesidir.

Örnek İzlenecek Yol: Anormal Dosya Paylaşımı Erişim Algılama

ARTıK BYO-ML platformunun temel bileşenlerini tanıdığınıza göre, özelleştirilmiş bir ML algılaması sunmak için platformu ve bileşenleri nasıl kullanacağınızı gösteren bir örnek aşağıda verilmiştir.

Databricks/Spark Ortamını Ayarlama

Henüz bir ortamınız yoksa kendi Databricks ortamınızı ayarlamanız gerekir. Yönergeler için Databricks hızlı başlangıç belgesine bakın.

Otomatik dışarı aktarma yönergesi

Microsoft Sentinel'de kendi verilerinizi temel alan özel ML modelleri oluşturmak için, ML modelinin Databricks'ten erişebilmesi için verilerinizi Log Analytics'ten Blob depolamaya veya Olay hub'ı kaynağına aktarmanız gerekir. Microsoft Sentinel'e veri almayı öğrenin.

Bu örnekte, Azure blob depolamada Dosya Paylaşımı Erişim günlüğü için eğitim verilerinizin olması gerekir. Verilerin biçimi not defterinde ve kitaplıklarda belgelenmiştir.

Verilerinizi Azure CLI'yi kullanarak Log Analytics'ten otomatik olarak dışarı aktarabilirsiniz.

Komutları çalıştırmak için Log Analytics çalışma alanınızda, Depolama hesabınızda ve EventHub kaynağınızda Katkıda Bulunan rolüne sahip olmanız gerekir.

Aşağıda, otomatik dışarı aktarmayı ayarlamaya yönelik örnek bir komut kümesi verilmiştir:


az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

Özel verileri dışarı aktarma

Log Analytics otomatik dışarı aktarma tarafından desteklenmeyen özel veriler için, verilerinizi taşımak için Logic App'i veya diğer çözümleri kullanabilirsiniz. Log Analytics Verilerini Blob Deposuna Aktarma bloguna ve betiğine başvurabilirsiniz.

Microsoft Sentinel dışındaki verilerle bağıntı

Ayrıca Verileri Microsoft Sentinel'in dışından blob depolamaya veya Olay Hub'ına getirebilir ve ML modellerinizi oluşturmak için bunları Microsoft Sentinel verileriyle ilişkilendirebilirsiniz.

Daha önce bahsedilen Microsoft Sentinel GitHub deposundaki BYO-ML paketini Databricks ortamınıza kopyalayın. Ardından not defterlerini açın ve gerekli kitaplıkları kümelerinize yüklemek için not defterindeki yönergeleri izleyin.

Model eğitimi ve puanlama

Yapılandırmaları kendi ortamınıza ve kaynaklarınıza göre değiştirmek için iki not defterindeki yönergeleri izleyin, modelinizi eğitip derleme adımlarını izleyin, ardından modeli gelen dosya paylaşımı erişim günlüklerini puanlamak için zamanlayın.

Sonuçları Log Analytics'e yazma

Puanlamayı zamanladıktan sonra puanlama not defterindeki modülü kullanarak puan sonuçlarını Microsoft Sentinel örneğiniz ile ilişkili Log Analytics çalışma alanına yazabilirsiniz.

Microsoft Sentinel'de sonuçları denetleme

Puanlanmış sonuçlarınızı ilgili günlük ayrıntılarıyla birlikte görmek için Microsoft Sentinel portalınıza geri dönün. Günlükler> Özel Günlükleri'nde, sonuçları AnomalousResourceAccessResult_CL tablosunda (veya kendi özel tablo adınızda) görürsünüz. Araştırma ve tehdit avcılığı deneyimlerinizi geliştirmek için bu sonuçları kullanabilirsiniz.

anormal kaynak erişim günlükleri

ML sonuçlarıyla özel analiz kuralı oluşturma

ML sonuçlarının özel günlükler tablosunda olduğunu onayladıktan ve puanların doğruluğundan memnun olduğunuzda, sonuçlara göre bir algılama oluşturabilirsiniz. Microsoft Sentinel portalından Analytics'e gidin ve yeni bir algılama kuralı oluşturun. Algılamayı oluşturmak için kullanılan sorguyu gösteren bir örnek aşağıda verilmiştir.

B Y O M L algılamaları için özel analiz kuralı oluşturma

Olayları görüntüleme ve yanıtlama

ANALIZ kuralını ML sonuçlarına göre ayarladıktan sonra, sorguda ayarladığınız eşiğin üzerinde sonuçlar varsa bir olay oluşturulur ve Microsoft Sentinel'deki Olaylar sayfasında ortaya çıkar.

Sonraki adımlar

Bu belgede, verileri analiz etmek ve tehditleri algılamak için kendi makine öğrenmesi algoritmalarınızı oluşturmak veya içeri aktarmak için Microsoft Sentinel'in BYO-ML platformlarını kullanmayı öğrendiniz.