Adatok átalakítása szűréssel és felosztással a Microsoft Sentinel

A biztonsági adatmennyiségek növekedésével a szervezetek szembesülnek azzal a kihívással, hogy kiegyensúlyozzák a mi-hez, megfelelőséghez és vizsgálatokhoz használt telemetriai adatok költséghatékony megőrzését, miközben biztosítják, hogy csak a szükséges adatok legyenek megőrizve a nagy teljesítményű tárolási szinteken. A Microsoft Sentinelben a szűrési és felosztási adattranszformációk használatával kezelheti ezt a kihívást az adatok betöltéskori módosításával, és ezzel optimalizálhatja adatmegőrzési stratégiáját.

Ez a cikk bemutatja, hogyan konfigurálhatja az adatátalakítások szűrését és felosztását anélkül, hogy manuálisan kellene létrehoznia az adatgyűjtési szabály (DCR) konfigurációit. Ha az adatfelvételt testreszabod szűrő- és osztott adattranszformációk használatával, javíthatod a teljesítményt és csökkentheted a zajt.

Az adatátalakítások használatával optimalizálhatja a biztonsági adatfolyamatot a tárolt adatok és a rétegek szabályozásával. A szűrési és felosztási átalakítások a következő előnyöket biztosítják:

• Költségoptimalizálás: Csökkentheti a tárolási és feldolgozási költségeket az alacsony értékű adatok kiszűrésével, amelyek nem járulnak hozzá a fenyegetésészleléshez. A ritkábban használt adatokat a költséghatékony Data Lake Storage-ba irányíthatja, miközben a magas prioritású adatokat az Elemzési szinten tartja.

• Továbbfejlesztett SOC-hatékonyság: Összpontosítsa a biztonsági üzemeltetési központot (SOC) a végrehajtható, nagy értékű eseményekre. A betöltési időben a zaj eltávolításával az elemzők kevesebb időt töltenek az irreleváns naplókon keresztüli szitálással, és több időt töltenek a valós fenyegetések vizsgálatával.

• Gyorsabb lekérdezési teljesítmény: Az Elemzési szint kisebb adathalmazai gyorsabb lekérdezés-végrehajtási időt eredményeznek, így a fenyegetéskeresés, az incidensvizsgálatok és az elemzési szabályok rugalmasabbak lesznek.

• Megfelelőség és megőrzés rugalmassága: Átfogó adatmegőrzés fenntartása szabályozási auditokhoz és kriminalisztikai elemzésekhez a Data Lake-szinten, miközben optimalizálja az Elemzési szintet az üzemeltetési számítási feladatokhoz. Az átfogó adatmegőrzés fenntartása a Data Lake-szinten, az Analytics-szint optimalizálása pedig a teljesítmény feláldozása nélkül felel meg a megfelelőségi követelményeknek.

• Skálázható adatkezelés: A szervezet adatmennyiségének növekedésével az átalakítások segítenek a költségek és a teljesítmény szabályozásában. Konzisztens szabályzatok alkalmazása táblákra a kiszámítható adatkezelés biztosítása érdekében.

A szűrési és felosztási átalakítások egy nagyobb átalakítási keretrendszer első lépései, amelyek lehetővé teszik, hogy az igényeinek megfelelően fejlõdjön az adatok. Az adatátalakítási fogalmakkal kapcsolatos további információkért lásd: Egyéni adatbetöltés és -átalakítás Microsoft Sentinel.

Előfeltételek

A szűrési vagy felosztási átalakítási szabályok konfigurálása előtt ellenőrizze a következő követelményeket:

• A Microsoft Sentinel-munkaterületet csatlakoztatni kell a Defender portálhoz. További információ: Microsoft Sentinel csatlakoztatása a Microsoft Defender portálhoz.

• Az egyesített szerepköralapú hozzáférés-vezérléssel (RBAC) rendelkező Microsoft Defender portálon az Adatműveletek engedélycsoportban található Adatok (kezelés) engedélyek.

• A Microsoft Sentinel munkaterülethez a Log Analytics Contributor szerepkörre van szükség, amely a következőket biztosítja:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write engedélyek a Log Analytics-munkaterületre.

• A split transzformáció konfigurálásához:

  • Kapcsold be a munkaterületet a Microsoft Sentinel adattóhoz.
  • Győződj meg róla, hogy a tábla jelenleg az Analitika szintben van.

Támogatott táblák

A szűrő- és osztott transzformációknak eltérő táblatámogatási követelményei vannak. Az adatgyűjtési szabályok (DCR-ek) határozzák meg az adatok gyűjtésének és átalakításának módját a betöltés során.

• Szűrés: Támogatott bármely táblázatban, amely támogatja a DCR-eket.
• Felosztás: Minden olyan tábla esetében támogatott, amely csak az Analyticsbe való adatbetöltést, csak a Data Lake-be való adatbetöltést és az adatgyűjtési szabályokat (DCR) támogatja.

Annak ellenőrzéséhez, hogy egy összekötő táblái támogatják-e a DCR-eket, olvassa el a Microsoft Sentinel adatösszekötő megkeresése című cikket.

Transzformációk szűrése

A szűrőátalakítások lehetővé teszik a zaj csökkentését azáltal, hogy elveti az adatokat a betöltés során, ami nem hasznos a vizsgálatokhoz. Használjon szűrőátalakítási szabályt egy KQL-feltétel megadásához, amely meghatározza, hogy mely adatokat kell kiszűrni, a fennmaradó adatokat pedig az Elemzési szintre küldi.

Használjon szűrőátalakításokat, ha a következőkre van szüksége:

• Zajcsökkentés: Az SOC a beavatkozást igénylő eseményekre összpontosíthat, ha kiszűri a rutinszerű, alacsony súlyosságú naplóbejegyzéseket, például a tűzfalnaplók „allow” eseményeit.
• Költségek optimalizálása: Csökkentheti a tárolási és feldolgozási költségeket olyan adatok elvetésével, amelyek nem járulnak hozzá a fenyegetésészleléshez.
• Teljesítmény javítása: Felgyorsíthatja a lekérdezéseket és egyszerűsítheti az elemzést a tárolt adatok mennyiségének csökkentésével.

Tekintse meg a következő példát egy szűrőátalakításra:

A vállalat tűzfalnaplókra támaszkodik az anomáliák azonosításához. A tűzfalnaplók többsége alacsony súlyosságú, rutinszerű „engedélyezés” esemény, amelyek nem járulnak hozzá a fenyegetések észleléséhez. Ha csak olyan kritikus eseményeket szeretne megőrizni, mint például a blokkolt forgalom vagy a nagy súlyosság, és kiszűrni az alacsony értékű naplókat, hozzon létre egy KQL-feltétellel rendelkező szűrőátalakítási szabályt, amely csak azokat a közepes vagy nagy súlyosságú adatokat küldi el az Elemzési szintre, amelyek nem "engedélyezik" az eseményeket.

Átalakítások szétválasztása

A felosztásos átalakítások lehetővé teszik az adatok átirányítását az Elemzési szint és a Data Lake-szint között a megadott feltételek alapján. Használjon felosztott átalakítási szabályt egy KQL-kifejezés definiálásához, amely meghatározza, hogy mely adatok adhatók meg az Analyticsben. A kifejezésnek nem megfelelő adatok csak a Data Lake-szintre lesznek irányítva.

Megjegyzés:

Osztott átalakítás konfigurálásakor az Elemzési szinthez kijelölt adatok is a Data Lake-szintre lesznek tükrözve. Az elemzési feltételeknek nem megfelelő adatok csak a Data Lake-szintre kerülnek. Az Analytics-szintű adatok tükrözése a Data lake-be, miközben a nem egyező adatokat csak a Data lake-nek küldi, biztosítja, hogy az összes adat hosszú távú megőrzési és megfelelőségi célokból elérhető maradjon a Data lake-ben.

Használjon felosztásos átalakításokat, ha ki kell egyensúlyoznia a költségeket és a teljesítményt azáltal, hogy az adatokat a megfelelő tárolási szintre irányítja:

• Tárolási költségek optimalizálása: A költséghatékony hosszú távú tárolás érdekében a régebbi vagy ritkábban használt naplókat a Data Lake-szintre irányíthatja.
• Teljesítmény fenntartása: Tartsa meg a legutóbbi naplókat az Analytics-szinten, hogy gyorsabban lekérdezze azokat az aktív veszélyforrás-keresés során.
• Megfelelőségi követelményeknek való megfelelés: A korábbi naplók megőrzése a szabályozási auditokhoz és a kriminalisztikai elemzésekhez a működési rugalmasság feláldozása nélkül.

Vegyük az alábbi példát egy felosztásos átalakításra:

A vállalat naponta több millió tűzfalnapló-bejegyzést vesz fel a fenyegetések észlelése és megfelelősége érdekében. Az SOC-csapatnak valós idejű hozzáférésre van szüksége a legutóbbi naplókhoz az aktív vizsgálatokhoz, de a szabályozási auditokhoz is meg kell őriznie az előzménynaplókat. Hozzon létre egy osztott átalakítási szabályt, amellyel valós idejű adatokat irányíthat az Elemzési szintre, az előzményadatokat pedig a Data Lake-szintre.

Fontos

A Microsoft Sentinel létrehozott átalakítások ütközhetnek a Azure Monitorban DCR-ekkel létrehozott átalakításokkal. Például, ha egy DCR már alkalmazva van egy táblára, hogy csak az A régióból származó adatokat fogadjon be, és egy szűrőtranszformáció kizárja az A régiót, akkor nem vesznek fel adatot. Győződjön meg arról, hogy tisztában van a DCR és a táblára alkalmazott átalakítás együttes hatásaival.

Szűrőátalakítási szabályok konfigurálása

Szűrőátalakítási szabály létrehozásához kövesse az alábbi lépéseket:

1. A Microsoft Defender portálon lépjen a Microsoft Sentinel>Konfigurálási>táblák elemre.

2. Válasszon ki egy táblát. Az oldalsó panelen válassza a Szabály szűrése lehetőséget.

   

3. Az oldalsó panelen adjon meg egy szabálynevet.

4. A Feltétel mezőben adjon meg egy KQL-kifejezést, amely meghatározza, hogy mely adatokat kell kiszűrni. A KQL-kifejezésnek igaz értéket kell adnia azokhoz az adatokhoz, amelyeket nem szeretne bevinni.

5. A szűrő engedélyezéséhez állítsa a szabályállapot-kapcsolótBe értékre.

   Fontos

   A szűrők kiszűrik az adatokat. A szűrési feltételnek megfelelő adatok elvesznek, és nem kerülnek be az Analytics vagy a Data Lake szintre. Győződjön meg arról, hogy a KQL-kifejezés pontosan rögzíti a kizárni kívánt adatokat.

6. Másik feltétel hozzáadásához válassza a Feltétel hozzáadása lehetőséget, és adjon meg egy új KQL-kifejezést az adatok szűréséhez. A rendszer több feltételt kombinál egy logikai OR-val, így a rendszer kiszűri a feltételeknek megfelelő adatokat.

7. A szabály alkalmazásához válassza a Mentés lehetőséget.

8. A tábla Transzformációs szabályok oszlopának ellenőrzésével ellenőrizze, hogy a szűrőszabály alkalmazva van-e. Az oszlopban megjelenik a Szűrő , ha egy szűrőszabály aktív.

   

Osztott átalakítási szabály konfigurálása

Osztott átalakítási szabály létrehozásához kövesse az alábbi lépéseket:

1. A Defender portálon lépjen a Microsoft Sentinel>Konfigurálási>táblák elemre.

2. Jelöljön ki egy táblát, majd válassza a Felosztási szabály lehetőséget.

3. Az oldalsó panelen adjon meg egy szabálynevet.

4. A KQL-kifejezés mezőbe írja be azt a KQL-kifejezést, amely meghatározza, hogy mely adatok kerülnek be az Elemzési szintre. A kifejezésnek nem megfelelő adatok a Data Lake rétegbe kerülnek.

5. A szabály alkalmazásához válassza a Mentés lehetőséget.

6. A felosztási szabály alkalmazásának ellenőrzéséhez ellenőrizze a tábla Átalakítási szabályok oszlopát. Az oszlop a Felosztást jeleníti meg, ha egy felosztási szabály aktív.

Megjegyzés:

A Data Lake-szintre betöltött felosztott adatok egy külön táblába kerülnek, amelynek neve megegyezik az eredeti tábláéval, de egy "_SPLT" utótaggal. Ha például felosztási szabályt alkalmaz a "FirewallLogs" táblára, a Data Lake szintre irányított adatok egy külön "FirewallLogs_SPLT" táblába kerülnek betöltésre. A Data lake-adatokhoz egy külön _SPLT tábla használatával az Analytics és a Data Lake-szintek adatmegőrzési és hozzáférési szabályzatait külön kezelheti.

Adatmegőrzés konfigurálása felosztott táblákhoz

Osztott szabály létrehozása után konfigurálja az adatmegőrzési beállításokat az egyes szintekhez:

1. Az eredeti tábla alatt tekintse meg az eredményül kapott Analytics - és Data Lake-felosztott táblákat.

2. A megőrzés konfigurálásához válassza az Analytics vagy a Data Lake táblát.

3. Válassza az Adatmegőrzési beállítások lehetőséget.

4. Konfigurálja a megőrzési időtartamot, és mentse a fájlt.

Másik lehetőségként válassza ki az eredeti táblát, és konfigurálja az Elemzés és a Data Lake-adatmegőrzést is a kombinált Adatmegőrzési beállítások párbeszédpanelen.

Szabályok kezelése

Meglévő szabályok kezeléséhez jelölje ki a táblát, majd válassza a Szabály felosztása vagy a Szabály szűrése lehetőséget a kezelni kívánt szabálytípustól függően.

• Egy szabály letiltásához válassza a Szabály állapota kapcsolót a szabály kikapcsolásához, majd válassza a Mentés lehetőséget.
• Egy szabály törléséhez vegye figyelembe, hogy egy transzformációs szabály törlése azonnal leállítja az adott szabályhoz tartozó adatfeldolgozást, és hatással lehet az aktív adatbetöltésre. A folytatáshoz válassza a Törlés lehetőséget.

Ellenőrizze a szabályokat a KQL-lekérdezések futtatásával annak ellenőrzéséhez, hogy az adatok megfelelően lettek-e betöltve, és a megfelelő szintre lettek-e átirányítva.

Ismert korlátozások

A szűrési és felosztási átalakítások használatakor vegye figyelembe a következő korlátozásokat:

• XDR-táblák láthatósága: Az XDR-táblákra alkalmazott felosztó és szűrő átalakítások nem jelennek meg a Speciális keresésben az első 30 napnyi adat esetében. A transzformációk alkalmazását követően, amikor az adatok kora meghaladja az első 30 napot, a Speciális keresésben normál módon viselkednek. A Log Analyticsből vagy Microsoft Sentinel lekérdezett adatok azonnal tükrözik a költségmegtakarítást.

• Propagálási késleltetés: Az átalakítások érvénybe lépése akár egy órát is igénybe vehet.

• Táblatámogatás: Csak az adatgyűjtési szabályokat (DCR-eket) támogató táblák támogatják a felosztási és szűrési átalakításokat.

Kapcsolódó tartalom

• Egyéni adatbetöltés és -átalakítás a Microsoft Sentinel
• Adatok átalakítása vagy testreszabása a Microsoft Sentinelben betöltéskor
• Adatgyűjtési szabályok a Azure Monitorban
• Mintaadat-gyűjtési szabályok a Azure Monitorban
• A Microsoft Sentinel adatösszekötő megkeresése