CEF-naplók betöltése az Azure Monitor-ügynökkel

Ez a cikk azt ismerteti, hogyan használható a Common Event Format (CEF) az AMA (Előzetes verzió) összekötőn keresztül a Közös eseményformátum (CEF) naplóinak gyors szűrésére és betöltésére több biztonsági eszközről és berendezésről a Syslogon keresztül.

Az összekötő az Azure Monitor Agentet (AMA) használja, amely az adatgyűjtési szabályok (DCRs) utasításait követi. A DCR-ek meghatározzák a monitorozandó rendszereket, és a jobb teljesítmény, valamint a hatékonyabb lekérdezés és elemzés érdekében definiálják a naplókra alkalmazandó szűrőket.

Az Azure Monitor-ügynökkel (nem CEF) is gyűjthet syslog-naplókat. Megtudhatja, hogyan konfigurálhatja a Syslogot, és hogyan hozhat létre DCR-t.

Fontos

A CEF az AMA-összekötőn keresztül jelenleg előzetes verzióban érhető el. Az Azure Előzetes verzió kiegészítő feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy más módon még nem általánosan elérhető Azure-funkciókra vonatkoznak.

Az AMA egy linuxos gépen van telepítve, amely naplótovábbítóként működik, és az AMA CEF formátumban gyűjti a biztonsági eszközök és berendezések által küldött naplókat.

Fontos

2023. február 28-án bevezettük a CommonSecurityLog táblaséma módosításait. A módosítást követően előfordulhat, hogy át kell tekintenie és frissítenie kell az egyéni lekérdezéseket. További részletekért tekintse meg a blogbejegyzés "Ajánlott műveletek" szakaszát. A Microsoft Sentinel frissítette a beépített tartalmakat (észleléseket, keresési lekérdezéseket, munkafüzeteket, elemzőket stb.).

Áttekintés

Mi az a Common Event Format (CEF)?

Számos hálózati és biztonsági eszköz és berendezés elküldi naplóit a Syslog alapján a Common Event Format (CEF) formátumban. Ez a formátum strukturáltabb információkat tartalmaz, mint a Syslog, és az információk egy elemzett kulcs-érték elrendezésben jelennek meg. Az ilyen formátumú naplók alapértelmezés szerint továbbra is a syslog porton (514) keresztül lesznek továbbítva, és a Syslog démon fogadja őket.

Ha a berendezés vagy a rendszer a CEF használatával küld naplókat a Syslogon keresztül, a Microsoft Sentinelrel való integráció lehetővé teszi az elemzések és lekérdezések egyszerű futtatását az adatok között.

A CEF normalizálja az adatokat, így azonnal hasznosabbá válik a Microsoft Sentinellel való elemzéshez. A Microsoft Sentinel lehetővé teszi a nem elemzett Syslog-események betöltését és a lekérdezési idő elemzésével történő elemzését is.

Hogyan gyűjti a Microsoft Sentinel a CEF-naplókat az Azure Monitor-ügynökkel?

Ez az ábra a CEF-naplógyűjtemény architektúráját mutatja be a Microsoft Sentinelben a Common Event Format (CEF) AMA (Preview) összekötőn keresztüli használatával.

Diagram showing the CEF log forwarding procedure.

Az Azure Monitor-ügynökkel végzett adatbetöltési folyamat a következő összetevőket és adatfolyamokat használja:

  • CEF-naplóforrások: Ezek a környezetében található különböző biztonsági eszközök és berendezések, amelyek CEF formátumban készítenek naplókat. Ezek az eszközök úgy vannak konfigurálva, hogy a naplóüzeneteiket az 514-ös TCP- vagy UDP-porton keresztül küldjék el (tetszés szerint), ne a helyi Syslog démonnak, hanem a naplótovábbító Syslog démonjának.

  • Naplótovábbító: Ez egy dedikált Linux rendszerű virtuális gép, amelyet a szervezet úgy állít be, hogy összegyűjtse a naplóüzeneteket a CEF-naplóforrásokból. A virtuális gép lehet helyszíni, Azure-beli vagy más felhőben. Maga a naplótovábbító két összetevőből áll:

    • A Syslog démon (vagy vagy rsyslogsyslog-ng) összegyűjti a naplóüzeneteket az 514-ös TCP- vagy UDP-porton (tetszés szerint). A démon ezután elküldi ezeket a naplókat* az Azure Monitor-ügynöknek.
    • A naplótovábbítóra telepített Azure Monitor-ügynök az adatösszekötő beállításával az alábbi utasításoknak megfelelően. Az ügynök elemzi a naplókat, majd elküldi őket a Microsoft Sentinel (Log Analytics) munkaterületére.
  • A Microsoft Sentinel (Log Analytics) munkaterülete: az itt elküldött CEF-naplók a CommonSecurityLog táblába kerülnek, ahol lekérdezheti a naplókat, és elemzéseket végezhet rajtuk a biztonsági fenyegetések észleléséhez és megválaszolásához.

    Feljegyzés

    * A Syslog démon az AMA-verziótól függően két különböző módon küld naplókat az Azure Monitor-ügynöknek:

    • Az AMA 1.28.11-s és újabb verziói naplókat kapnak a 28330-at használó TCP-porton.
    • Az AMA korábbi verziói a Unix tartományi szoftvercsatornán keresztül fogadják a naplókat.

A Common Event Format (CEF) beállítása az AMA-összekötőn keresztül

A CEF AMA-összekötőn keresztüli beállítási folyamata két részből áll:

  1. Telepítse az Azure Monitor-ügynököt, és hozzon létre egy adatgyűjtési szabályt (DCR).

  2. Futtassa a "telepítési" szkriptet a naplótovábbítón a Syslog démon konfigurálásához.

Előfeltételek

  • Engedélyezve kell lennie a Microsoft Sentinel Common Event Format megoldásnak.

  • Az Azure-fióknak a következő szerepkörök/engedélyek birtokában kell lennie:

    Beépített szerepkör Hatókör Ok
    - Virtuálisgép-közreműködő
    - Azure Csatlakozás ed Machine
       Erőforrás-Rendszergazda istrator
    - Virtuális gépek
    – Virtuálisgép-méretezési csoportok
    – Azure Arc-kompatibilis kiszolgálók
    Az ügynök üzembe helyezése
    Minden olyan szerepkör, amely tartalmazza a műveletet
    Microsoft.Resources/deployments/*
    - Előfizetés
    – Erőforráscsoport
    – Meglévő adatgyűjtési szabály
    Azure Resource Manager-sablonok üzembe helyezése
    Monitorozási közreműködő - Előfizetés
    – Erőforráscsoport
    – Meglévő adatgyűjtési szabály
    Adatgyűjtési szabályok létrehozása vagy szerkesztése
  • A naplók gyűjtéséhez rendelkeznie kell egy kijelölt Linux rendszerű virtuális géppel (a naplótovábbítóval).

  • Ha a naplótovábbító nem Azure-beli virtuális gép, akkor az Azure Arc Csatlakozás ed Machine-ügynököt kell telepíteni.

  • A Linux-naplótovábbító virtuális gépnek telepítve kell lennie a Python 2.7-nek vagy 3-nak. Az ellenőrzéshez használja a python --version vagy python3 --version a parancsot. Ha a Python 3-at használja, győződjön meg arról, hogy a gép alapértelmezett parancsaként van beállítva, vagy futtassa az alábbi szkripteket a "python3" paranccsal a "python" helyett.

  • A naplótovábbítónak engedélyeznie kell a démont vagy rsyslog a syslog-ng démont.

  • A naplótovábbító helykövetelményeiért tekintse meg az Azure Monitor-ügynök teljesítménymutatóját. Ezt a blogbejegyzést is áttekintheti, amely skálázható betöltési terveket is tartalmaz.

  • A naplóforrásokat (a biztonsági eszközöket és berendezéseket) úgy kell konfigurálni, hogy a naplóüzeneteiket a naplótovábbító Syslog démonjának küldjék el a helyi Syslog démon helyett.

Az adatbetöltés duplikálásának elkerülése

Ha ugyanazt a létesítményt használja a Syslog és a CEF-üzenetek esetében is, az adatbetöltés duplikálását eredményezheti a CommonSecurityLog és a Syslog táblák között.

A forgatókönyv elkerülése érdekében használja az alábbi módszerek egyikét:

  • Ha a forráseszköz engedélyezi a céllétesítmény konfigurálását: Minden olyan forrásgépen, amely CEF formátumban küld naplókat a naplótovábbítónak, szerkessze a Syslog konfigurációs fájlját a CEF-üzenetek küldéséhez használt létesítmények eltávolításához. Így a CEF-ben küldött létesítmények nem lesznek elküldve a Syslogban sem. Győződjön meg arról, hogy a következő lépésekben konfigurált összes DCR a CEF vagy a Syslog megfelelő létesítményét használja.

  • Ha a forrásberendezés létesítményének módosítása nem alkalmazható: Betöltési idő átalakításával kiszűrheti a CEF-üzeneteket a Syslog-streamből a duplikációk elkerülése érdekében. Az adatok kétszer lesznek elküldve a gyűjtőgépről a munkaterületre:

    source |
    where ProcessName !contains "CEF"
    

A naplótovábbító biztonsági szempontjai

Győződjön meg arról, hogy a gép biztonságát a szervezet biztonsági szabályzatának megfelelően konfigurálja. Konfigurálhatja például a hálózatot úgy, hogy igazodjon a vállalati hálózati biztonsági szabályzathoz, és módosítsa a démon portjait és protokolljait a követelményeknek megfelelően. A gép biztonsági konfigurációjának javítása érdekében biztonságossá teheti a virtuális gépet az Azure-ban, vagy áttekintheti a hálózati biztonságra vonatkozó ajánlott eljárásokat.

Ha az eszközei Syslog- és CEF-naplókat küldenek a TLS-en keresztül (mert például a naplótovábbító a felhőben van), konfigurálnia kell a Syslog démont (rsyslog vagy syslog-ng) a TLS-ben való kommunikációhoz:

Telepítse az AMA-t, és hozzon létre egy adatgyűjtési szabályt (DCR)

Ezt a lépést kétféleképpen hajthatja végre:

  • A CEF üzembe helyezése és konfigurálása AMA-adatösszekötőn keresztül a Microsoft Sentinel portálon. Ezzel a beállítással munkaterületenként tartományvezérlőket hozhat létre, kezelhet és törölhet. Az AMA automatikusan települ az összekötő konfigurációjában kiválasztott virtuális gépekre.
    —VAGY—
  • HTTP-kérések küldése a Logs Ingestion API-nak. Ezzel a beállítással tartományvezérlőket hozhat létre, kezelhet és törölhet. Ez a lehetőség rugalmasabb, mint a portál. Az API-val például meghatározott naplószintek alapján szűrhet, ahol a felhasználói felületen csak a minimális naplószintet választhatja ki. Ennek hátránya, hogy a DCR létrehozása előtt manuálisan kell telepítenie az Azure Monitor-ügynököt a naplótovábbítóra.

Az egyes útokkal kapcsolatos utasítások megtekintéséhez válassza az alábbi megfelelő lapot.

Nyissa meg az összekötő lapot, és indítsa el a DCR varázslót

  1. Nyissa meg az Azure Portalt , és lépjen a Microsoft Sentinel szolgáltatáshoz.

  2. Adatösszekötők kiválasztása a navigációs menüből

  3. Írja be a CEF kifejezést a Keresőmezőbe. Az eredmények közül válassza ki a Common Event Format (CEF) lehetőséget az AMA (Előzetes verzió) összekötőn keresztül.

  4. Válassza az Összekötő megnyitása lapot a részletek panelen.

  5. A Konfiguráció területen válassza a +Adatgyűjtési szabály létrehozása lehetőséget.

    Screenshot showing the CEF via AMA connector page.

  6. Az Alapszintű lapon:

    • Adjon meg egy DCR-nevet.
    • Válassza ki előfizetését.
    • Válassza ki azt az erőforráscsoportot, amelyben a gyűjtő definiálva van.

    Screenshot showing the DCR details in the Basic tab.

  7. Válassza a Következő: Erőforrások >lehetőséget.

Erőforrások definiálása (virtuális gépek)

Az Erőforrások lapon válassza ki azokat a gépeket, amelyekre telepíteni szeretné az AMA-t – ebben az esetben a naplótovábbító gépet. (Ha a naplótovábbító nem jelenik meg a listában, előfordulhat, hogy nincs telepítve az Azure Csatlakozás gépügynöke.)

  1. A naplótovábbító virtuális gép megkereséséhez használja a rendelkezésre álló szűrőket vagy keresőmezőket. A listában kibonthatja az előfizetést az erőforráscsoportok megtekintéséhez, az erőforráscsoportokat pedig a virtuális gépek megtekintéséhez.

  2. Válassza ki azt a naplótovábbító virtuális gépet, amelyen telepíteni szeretné az AMA-t. (A jelölőnégyzet a virtuális gép neve mellett jelenik meg, amikor rámutat rá.)

    Screenshot showing how to select resources when setting up the DCR.

  3. Tekintse át a módosításokat, és válassza a Tovább: Gyűjtés >lehetőséget.

Válassza ki a létesítményeket és a súlyosságokat, és hozza létre a DCR-t

Feljegyzés

Ha ugyanazt a létesítményt használja a Syslog és a CEF-üzenetek esetében is, az adatbetöltés duplikálását eredményezheti. Megtudhatja, hogyan kerülheti el az adatbetöltési duplikációt.

  1. A Gyűjtemény lapon válassza ki az egyes létesítmények minimális naplószintét. Amikor kiválaszt egy naplószintet, a Microsoft Sentinel összegyűjti a naplókat a kiválasztott szinthez és a magasabb súlyosságú egyéb szintekhez. Ha például LOG_ERR választ, a Microsoft Sentinel naplókat gyűjt a LOG_ERR, LOG_CRIT, LOG_ALERT és LOG_EMERG szintekről.

    Screenshot showing how to select log levels when setting up the DCR.

  2. Tekintse át a kijelölt elemeket, és válassza a Tovább: Áttekintés + létrehozás lehetőséget.

  3. A Véleményezés és létrehozás lapon válassza a Létrehozás lehetőséget.

    Screenshot showing how to review the configuration of the DCR and create it.

  • Az összekötő telepíti az Azure Monitor-ügynököt a DCR létrehozásakor kiválasztott gépekre.

  • Az Azure Portal értesítései a DCR létrehozásakor és az ügynök telepítésekor jelennek meg.

  • Válassza a Frissítés lehetőséget az összekötő oldalán a DCR megjelenítéséhez a listában.

Futtassa a "telepítési" szkriptet

A "telepítési" szkript valójában nem telepít semmit, de megfelelően konfigurálja a Syslog démont a naplótovábbítón a naplók gyűjtéséhez.

  1. Az összekötő oldaláról másolja ki a következő parancs futtatásával megjelenő parancssort a CEF-gyűjtő telepítéséhez és alkalmazásához: a mellette lévő másolási ikonra kattintva.

    Screenshot of command line on connector page.

    Innen is másolhatja:

    sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
    
  2. Jelentkezzen be a naplótovábbító gépre, ahol most telepítette az AMA-t.

  3. Illessze be az utolsó lépésben másolt parancsot a telepítési szkript elindításához.
    A szkript konfigurálja a rsyslogsyslog-ng démont a szükséges protokoll használatára, és újraindítja a démont. A szkript megnyitja az 514-ös portot, hogy az UDP- és TCP-protokollokban is figyelje a bejövő üzeneteket. A beállítás módosításához tekintse meg a Syslog démon konfigurációs fájlját a számítógépen futó démontípusnak megfelelően:

    • Rsyslog: /etc/rsyslog.conf
    • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

    Feljegyzés

    A teljes lemezes forgatókönyvek elkerülése érdekében, ha az ügynök nem tud működni, javasoljuk, hogy állítsa be a syslog-ngrsyslog konfigurációt a szükségtelen naplók tárolására. A teljes lemezes forgatókönyv megzavarja a telepített AMA működését. További információ az RSyslogról vagy a Syslog-ng-ről.

Az összekötő tesztelése

  1. Annak ellenőrzéséhez, hogy a syslog démon fut-e az UDP-porton, és hogy az AMA figyel-e, futtassa a következő parancsot:

    netstat -lnptv
    

    Az 514-ös porton látnia kell a rsyslog démont syslog-ng vagy a démont.

  2. A naplózótól vagy csatlakoztatott eszközről küldött üzenetek rögzítéséhez futtassa ezt a parancsot a háttérben:

    tcpdump -i any port 514 -A -vv &
    
  3. Az ellenőrzés befejezése után javasoljuk, hogy állítsa le a következőt: Írja be, majd válassza a tcpdumpCtrl C billentyűkombinációt+.fg

  4. Demóüzenetek küldéséhez tegye az alábbiak egyikét:

    • Használja a netcat segédprogramot. Ebben a példában a segédprogram beolvassa a echo parancson keresztül közzétett adatokat, és az új vonalkapcsoló ki van kapcsolva. A segédprogram ezután időtúllépés nélkül írja az adatokat a localhost UDP-portjára 514 . A netcat segédprogram futtatásához szükség lehet egy további csomag telepítésére.

      echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
      
    • Használja a naplózót. Ez a példa az üzenetet a local 4 létesítménynek írja súlyossági szinten Warning, a porton 514, a helyi gazdagépen, CEF RFC formátumban. A -t jelzők a --rfc3164 várt RFC-formátumnak való megfelelésre szolgálnak.

      logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time"
      
  5. Az összekötő megfelelő telepítésének ellenőrzéséhez futtassa a hibaelhárítási szkriptet az alábbi parancsok egyikével:

    • CEF-naplók esetén futtassa a következőt:

       sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --cef
      
    • A Cisco Adaptive Security Appliance (ASA) naplóihoz futtassa a következőt:

      sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --asa
      
    • A Cisco Firepower Threat Defense (FTD) naplóihoz futtassa a következőt:

      sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --ftd
      

Következő lépések

Ebben a cikkben megtanulta, hogyan állíthat be adatbetöltést a CEF-t támogató biztonsági eszközökről és berendezésekről a Syslogon keresztül, a Common Event Format (CEF) használatával az AMA (előzetes verzió) összekötőn keresztül.

A Microsoft Sentinelről az alábbi cikkekben olvashat bővebben: