Microsoft Sentinel filtre ve bölme kullanarak verileri dönüştürme

Güvenlik verisi hacimleri artmaya devam ettikçe kuruluşlar yapay zeka, uyumluluk ve araştırma için kullanılan telemetri verilerinin uygun maliyetli saklamasını dengeleme ve yüksek performanslı depolama katmanlarında yalnızca gerekli verilerin korunmasını sağlama zorluğuyla karşı karşıya kalır. Veri saklama stratejinizi iyileştirmek için veri alımı sırasında verileri değiştirerek bu zorluğu gidermek için Microsoft Sentinel'daki filtre ve bölme veri dönüştürmelerini kullanın.

Bu makalede, özel Veri Toplama Kuralı (DCR) yapılandırmalarını el ile oluşturmaya gerek kalmadan filtre ve bölme veri dönüştürmelerinin nasıl yapılandırıldığı açıklanır. Veri alımını filtre ve bölünmüş veri dönüşümleriyle özelleştirdiğinizde, performansı artırabilir ve gürültüyü azaltabilirsiniz.

Veri dönüştürmelerini kullanarak hangi verilerin depolandığını ve hangi katmanda depolandığını denetleyerek güvenlik verileri işlem hattınızı iyileştirebilirsiniz. Filtre ve bölme dönüştürmelerinin kullanılması aşağıdaki avantajları sağlar:

• Maliyet iyileştirme: Tehdit algılamaya katkıda bulunmayan düşük değerli verileri filtreleyerek depolama ve işleme maliyetlerini azaltın. Daha az sıklıkta erişilen verileri uygun maliyetli Data lake depolama alanına yönlendirirken, yüksek öncelikli verileri Analiz katmanında tutun.

• Geliştirilmiş SOC verimliliği: Güvenlik operasyonları merkezinizi (SOC) eyleme dönüştürülebilir, yüksek değerli olaylara odaklayın. Analistler, veri alımı sırasındaki gürültüyü ortadan kaldırarak ilgisiz günlüklerde eleme yaparak daha az zaman ve gerçek tehditleri araştırmak için daha fazla zaman harcar.

• Daha hızlı sorgu performansı: Analiz katmanındaki daha küçük veri kümeleri sorgu yürütme sürelerinin daha hızlı gerçekleşmesine neden olur ve tehdit avcılığı, olay araştırma ve analiz kurallarınızı daha hızlı yanıt verir.

• Uyumluluk ve saklama esnekliği: Veri gölü katmanında mevzuat denetimleri ve adli analiz için kapsamlı veri saklamayı korurken, operasyonel iş yükleri için Analiz katmanını iyileştirin. Data lake katmanında kapsamlı saklamanın sürdürülmesi ve Analiz katmanının iyileştirilmesi, performanstan ödün vermeden uyumluluk gereksinimlerini karşılar.

• Ölçeklenebilir veri yönetimi: Kuruluşunuzun veri hacimleri arttıkça, dönüşümler maliyetler ve performans üzerinde denetiminizi korumanıza yardımcı olur. Tahmin edilebilir veri yönetimi sağlamak için tablolar arasında tutarlı ilkeler uygulayın.

Filtreleme ve bölme dönüştürmeleri, verilerinizi ihtiyaçlarınıza uyacak şekilde geliştirmenizi sağlayan daha büyük bir dönüştürme çerçevesinin ilk adımlarıdır. Veri dönüştürme kavramları hakkında daha fazla bilgi için bkz. Microsoft Sentinel'de özel veri alımı ve dönüşümü.

Önkoşullar

Filtre veya bölme dönüştürme kurallarını yapılandırmadan önce aşağıdaki gereksinimleri doğrulayın:

• Microsoft Sentinel çalışma alanınız Defender portalına eklenmelidir. Daha fazla bilgi için bkz.: Microsoft Sentinel'i Microsoft Defender portalına bağlama.

• Birleşik rol tabanlı erişim denetimi (RBAC) ile Microsoft Defender portalında, Veri işlemleri izinleri grubu altındaki Veri (yönet) izinleri.

• Microsoft Sentinel çalışma alanı için, Log Analytics Katkıcı rolüne ihtiyacınız var; bu rol şunları sağlar:

  • Microsoft.OperationalInsights/workspaces/write
  • Log Analytics çalışma alanı için Microsoft.OperationalInsights/workspaces/tables/write izinleri.

• Bölünmüş dönüşümü yapılandırmak için:

  • Çalışma alanını Microsoft Sentinel veri gölüne bağlayın.
  • Tablonun şu anda Analitik seviyesinde olduğundan emin olun.

Desteklenen tablolar

Filtre ve bölme dönüşümlerinin farklı tablo destek gereksinimleri vardır. Veri Toplama Kuralları (DCR'ler), verilerin alım sırasında nasıl toplandığını ve dönüştürüldüğünü belirler.

• Filtreleme: DCR'leri destekleyen herhangi bir tabloda desteklenir.
• Bölme: Yalnızca Analytics alımını, Yalnızca Data lake alımını ve Veri Toplama Kurallarını (DCR) destekleyen tüm tablolarda desteklenir.

Bağlayıcı tablolarının DCR'leri destekleyip desteklemediğini doğrulamak için bkz. Microsoft Sentinel veri bağlayıcınızı bulma.

Filtre dönüşümleri

Filtre dönüştürmeleri, veri alımı sırasında araştırmalarda yararlı olmayan verileri atarak gürültüyü azaltmanıza olanak tanır. Hangi verilerin ayıklanacağını belirleyen bir KQL koşulu tanımlamak için bir filtre dönüştürme kuralı kullanın; geri kalan veriler Analytics katmanına gönderilir.

Şunları yapmanız gerektiğinde filtre dönüşümlerini kullanın:

• Gürültüyü azaltma: Güvenlik duvarı günlüklerinden gelen "izin ver" olayları gibi rutin, düşük önem dereceli günlükleri filtreleyerek SOC'nizi eyleme dönüştürülebilir olaylara odaklayın.
• Maliyetleri iyileştirme: Tehdit algılamaya katkıda bulunmayan verileri atarak depolama ve işleme maliyetlerini düşürebilirsiniz.
• Performansı geliştirme: Depolanan veri hacmini azaltarak sorguları hızlandırın ve analizi kolaylaştırın.

Aşağıdaki filtre dönüştürme örneğini göz önünde bulundurun:

Kuruluşunuz anomalileri tanımlamak için güvenlik duvarı günlüklerine dayanır. Çoğu güvenlik duvarı günlüğü, tehdit algılamaya katkıda bulunmayan düşük önem derecesine sahip "izin verme" olaylarıdır. Yalnızca engellenen trafik veya yüksek önem derecesine sahip olaylar gibi kritik olayları tutmak ve düşük değerli günlükleri filtrelemek için, KQL koşulu içeren bir filtre dönüşüm kuralı oluşturarak yalnızca orta veya yüksek önem dereceli ve "allow" türünde olmayan olay verilerini Analiz katmanına gönderin.

Bölünmüş dönüştürmeler

Bölünmüş dönüştürmeler, verileri belirtilen koşullara göre Analiz katmanı ile Data lake katmanı arasında yönlendirmenizi sağlar. Analytics'e hangi verilerin geldiğini belirleyen bir KQL ifadesi tanımlamak için bölünmüş dönüştürme kuralı kullanın. İfadeyle eşleşmeyen veriler yalnızca Data lake katmanına yönlendirilir.

Not

Bölünmüş dönüştürmeyi yapılandırdığınızda, Analiz katmanı için belirlenen veriler de Data lake katmanına yansıtılır. Analiz ölçütleriyle eşleşmeyen veriler yalnızca Data lake katmanına gider. Eşleşmeyen verileri yalnızca Data lake'e gönderirken Analytics katmanı verilerini Data lake'e yansıtmak, tüm verilerinizin uzun süreli saklama ve uyumluluk amacıyla Data lake'te kullanılabilir kalmasını sağlar.

Verileri uygun depolama katmanına yönlendirerek maliyet ve performansı dengelemeniz gerektiğinde bölünmüş dönüştürmeleri kullanın:

• Depolama maliyetlerini iyileştirme: Eski veya daha az sıklıkta erişilen günlükleri, uygun maliyetli uzun süreli depolama için Data lake katmanına yönlendirin.
• Performansı koruma: Etkin tehdit avcılığı sırasında daha hızlı sorgular için en son günlükleri Analiz katmanında tutun.
• Uyumluluk gereksinimlerini karşılayın: Operasyonel çeviklikten ödün vermeden mevzuat denetimleri ve adli analiz için geçmiş günlükleri koruyun.

Aşağıdaki bölünmüş dönüştürme örneğini göz önünde bulundurun:

Kuruluşunuz tehdit algılama ve uyumluluk için her gün milyonlarca güvenlik duvarı günlüğü girdisi alır. SOC ekibinizin etkin araştırmalara yönelik son günlüklere gerçek zamanlı olarak erişmesi gerekir, ancak yasal denetimler için geçmiş günlükleri de saklaması gerekir. Gerçek zamanlı verileri Analiz katmanına, geçmiş verileri de Data lake katmanına yönlendirmek için bölünmüş bir dönüştürme kuralı oluşturun.

Önemli

Microsoft Sentinel'de oluşturduğunuz dönüştürmeler, DCR'ler kullanılarak Azure İzleyici'de oluşturulan dönüştürmelerle çakışabilir. Örneğin, bir DCR zaten bir tabloya uygulanıp sadece Bölge A'dan veri alıyorsa ve bir filtre dönüşümü Bölge A'yı hariç tutuysa, veri alınmaz. Bir DCR ve bir tabloya uygulanan dönüştürmenin birleştirilmiş etkilerini anladığınızdan ve denetlediğinizden emin olun.

Filtre dönüştürme kurallarını yapılandırma

Filtre dönüştürme kuralı oluşturmak için şu adımları izleyin:

1. Microsoft Defender portalında Microsoft Sentinel>Configuration>Tabloları'na gidin.

2. Bir tablo seçin. Yan panelde Kuralı filtrele'yi seçin.

   

3. Yan panele bir Kural adı girin.

4. Koşul alanına, hangi verilerin filtreleneceğine karar veren bir KQL ifadesi girin. KQL ifadesi, almak istemediğiniz veriler için true olarak değerlendirilmelidir.

5. Filtreyi etkinleştirmek için kural durumu anahtarını Açık olarak ayarlayın.

   Önemli

   Filtreler verileri filtreler. Filtre koşuluyla eşleşen veriler atılır ve Analytics veya Data lake katmanlarına alınmaz. KQL ifadenizin dışlamak istediğiniz verileri doğru şekilde yakaladığından emin olun.

6. Başka bir koşul eklemek için Koşul ekle'yi seçin ve verileri filtrelemek için yeni bir KQL ifadesi girin. Birden çok koşul mantıksal VEYA ile birleştirildiğinden, koşullardan herhangi biriyle eşleşen veriler filtrelenir.

7. Kuralı uygulamak için Kaydet'i seçin.

8. Tablo için Dönüştürme Kuralları sütununu denetleyerek filtre kuralının uygulandığını doğrulayın. Bir filtre kuralı etkin olduğunda sütunda Filtre görüntülenir.

   

Bölme dönüşümü kuralını yapılandırın

Bölünmüş dönüştürme kuralı oluşturmak için şu adımları izleyin:

1. Defender portalında Microsoft Sentinel>Configuration>Tabloları'na gidin.

2. Bir tablo seçin ve ardından Kuralı böl'e tıklayın.

3. Yan panele bir Kural adı girin.

4. KQL ifadesi alanına, Analiz katmanına hangi verilerin alındığını tanımlayan KQL ifadesini girin. Bu ifadeyle eşleşmeyen veriler Data lake katmanına alınıyor.

5. Kuralı uygulamak için Kaydet'i seçin.

6. Tablonun Dönüştürme Kuralları sütununu denetleyerek bölme kuralının uygulandığını doğrulayın. Bölme kuralı etkin olduğunda sütunda Böl görüntülenir.

Not

Data Lake katmanına yüklenen bölünmüş veriler, orijinal tabloyla aynı ada ancak "_SPLT" son ekine sahip ayrı bir tabloda yer alır. Örneğin, "FirewallLogs" tablosuna bölünmüş bir kural uygularsanız Data lake katmanına yönlendirilen veriler ayrı bir "FirewallLogs_SPLT" tablosuna alınır. Data lake verileri için ayrı bir _SPLT tablosu kullanmak, Analytics ve Data lake katmanları için bekletme ve erişim ilkelerini ayrı ayrı yönetmenize olanak tanır.

Bölünmüş tablolar için saklamayı yapılandırma

Bölme kuralı oluşturduktan sonra her katman için bekletme ayarlarını yapılandırın:

1. Özgün tablonun altında, elde edilen Analiz ve Data lake bölünmüş tablolarını görüntüleyin.

2. Bekletmeyi yapılandırmak için Analiz veya Data lake tablosunu seçin.

3. Veri saklama ayarları'nı seçin.

4. Bekletme süresini yapılandırın ve kaydedin.

Alternatif olarak, özgün tabloyu seçin ve birleşik Veri saklama ayarları iletişim kutusundan hem Analytics hem de Data lake bekletmeyi yapılandırın.

Kuralları yönetme

Mevcut kuralları yönetmek için tabloyu seçin ve ardından yönetmek istediğiniz kural türüne bağlı olarak Kuralı böl veya Kuralı filtrele'yi seçin.

• Kuralı devre dışı bırakmak için Kural durumu anahtarını seçerek kuralı kapatın ve ardından Kaydet'i seçin.
• Bir kuralı silmek için, bir dönüşüm kuralını silmenin o kural için veri işlemesini hemen durdurduğunu ve aktif alımı etkileyebileceğini unutmayın. Devam etmek için Sil'i seçin.

Verilerin doğru şekilde alındığını ve doğru katmana yönlendirildiğini onaylamak için KQL sorgularını çalıştırarak kuralları doğrulayın.

Bilinen sınırlamalar

Filtre ve bölme dönüştürmelerini kullanırken aşağıdaki sınırlamalara dikkat edin:

• XDR tablo görünürlüğü: XDR tablolarına uygulanan bölme ve filtre dönüştürmeleri, verilerin ilk 30 günü için Gelişmiş Tehdit Avcılığı'nda görünmez. Dönüşümler uygulanır ve verilerin yaşı ilk 30 günü aştığında, Gelişmiş Avcılık'ta normal şekilde davranır. Log Analytics veya Microsoft Sentinel sorgulanan veriler maliyet tasarrufunu hemen yansıtır.

• Yayılma gecikmesi: Dönüşümlerin etkili olması bir saate kadar sürebilir.

• Tablo desteği: Yalnızca Veri Toplama Kurallarını (DCR) destekleyen tablolar bölme ve filtre dönüştürmelerini destekler.

İlgili içerik

• Microsoft Sentinel'da özel veri alımı ve dönüşümü
• Microsoft Sentinel veri alımı sırasında verileri dönüştürme veya özelleştirme
• Azure İzleyici'de veri toplama kuralları
• Azure İzleyici'de örnek veri toplama kuralları
• Microsoft Sentinel veri bağlayıcınızı bulma