Menyerap pesan Syslog dan CEF ke Microsoft Sentinel dengan Agen Azure Monitor

Artikel ini menjelaskan cara menggunakan Syslog melalui AMA dan Common Event Format (CEF) melalui konektor AMA untuk memfilter dan menyerap pesan Syslog dengan cepat, termasuk pesan dalam Common Event Format (CEF), dari komputer Linux dan dari perangkat dan appliance jaringan dan keamanan. Untuk mempelajari selengkapnya tentang konektor data ini, lihat Syslog dan Common Event Format (CEF) melalui konektor AMA untuk Microsoft Sentinel.

Prasyarat

Sebelum memulai, Anda harus mengonfigurasi sumber daya dan izin yang sesuai yang dijelaskan di bagian ini.

Prasyarat Microsoft Azure Sentinel

Untuk Microsoft Azure Sentinel, instal solusi yang sesuai dan pastikan Anda memiliki izin untuk menyelesaikan langkah-langkah dalam artikel ini.

• Instal solusi yang sesuai—Syslog dan/atau Common Event Format dari hub Konten di Microsoft Azure Sentinel. Untuk informasi selengkapnya, lihat Menemukan dan mengelola konten di luar kotak Microsoft Azure Sentinel.

• Akun Azure Anda harus memiliki peran kontrol akses berbasis peran Azure (Azure RBAC) berikut:

  Peran bawaan	Cakupan	Alasan
  - Kontributor Komputer Virtual - Azure Koneksi ed Machine    Administrator Sumber Daya	Komputer virtual (VM) Virtual Machine Scale Sets Server dengan Azure Arc yang diaktifkan	Untuk menyebarkan agen
  Peran apa pun yang menyertakan tindakan Microsoft.Resources/penyebaran/*	Langganan Grup sumber daya Aturan pengumpulan data yang ada	Untuk menyebarkan templat Azure Resource Manager
  Kontributor Pemantauan	Langganan Grup sumber daya Aturan pengumpulan data yang ada	Untuk membuat atau mengedit aturan pengumpulan data

Prasyarat penerus log

Jika Anda mengumpulkan pesan dari penerus log, prasyarat berikut berlaku:

• Anda harus memiliki VM Linux yang ditunjuk sebagai penerus log untuk mengumpulkan log.

  • Buat VM Linux di portal Azure.
  • Sistem operasi Linux yang didukung untuk Agen Azure Monitor.

• Jika penerus log Anda bukan komputer virtual Azure, penerus log harus memiliki agen Azure Arc Koneksi ed Machine yang terinstal di dalamnya.

• VM penerus log Linux harus menginstal Python 2.7 atau 3. Gunakan perintah python --version atau python3 --version untuk memeriksa. Jika Anda menggunakan Python 3, pastikan diatur sebagai perintah default pada komputer, atau jalankan skrip dengan perintah 'python3' alih-alih 'python'.

• Penerus log harus syslog-ng mengaktifkan daemon atau rsyslog .

• Untuk persyaratan ruang untuk penerus log Anda, lihat Tolok Ukur Performa Agen Azure Monitor. Anda juga dapat meninjau posting blog ini, yang mencakup desain untuk penyerapan yang dapat diskalakan.

• Sumber log, perangkat keamanan, dan appliance Anda, harus dikonfigurasi untuk mengirim pesan log mereka ke daemon Syslog penerus log alih-alih ke daemon Syslog lokal mereka.

Prasyarat keamanan mesin

Konfigurasikan keamanan komputer sesuai dengan kebijakan keamanan organisasi Anda. Misalnya, konfigurasikan jaringan Anda agar selaras dengan kebijakan keamanan jaringan perusahaan Anda dan ubah port dan protokol di daemon agar selaras dengan kebutuhan Anda. Untuk meningkatkan konfigurasi keamanan komputer Anda, amankan VM Anda di Azure, atau tinjau praktik terbaik ini untuk keamanan jaringan.

Jika perangkat Anda mengirim log Syslog dan CEF melalui TLS karena, misalnya, penerus log Anda berada di cloud, Anda perlu mengonfigurasi daemon Syslog (rsyslog atau syslog-ng) untuk berkomunikasi di TLS. Untuk informasi selengkapnya, lihat:

• Mengenkripsi lalu lintas Syslog dengan TLS – rsyslog
• Mengenkripsi pesan log dengan TLS – syslog-ng

Mengonfigurasi konektor data

Proses penyiapan untuk Syslog melalui AMA atau Common Event Format (CEF) melalui konektor data AMA mencakup langkah-langkah berikut:

1. Instal Agen Azure Monitor dan buat Aturan Pengumpulan Data (DCR) dengan menggunakan salah satu metode berikut:
   • Portal Azure atau Defender
   • API Penyerapan Log Azure Monitor
2. Jika Anda mengumpulkan log dari komputer lain menggunakan penerus log, jalankan skrip "penginstalan" pada penerus log untuk mengonfigurasi daemon Syslog untuk mendengarkan pesan dari komputer lain, dan untuk membuka port lokal yang diperlukan.

Pilih tab yang sesuai untuk instruksi.

Portal Azure atau Defender

Buat aturan pengumpulan data

Untuk memulai, buka konektor data di Microsoft Azure Sentinel dan buat aturan konektor data.

1. Untuk Microsoft Azure Sentinel di portal Azure, di bawah Konfigurasi, pilih Konektor data.
   Untuk Microsoft Azure Sentinel di portal Defender, pilih konektor Data Konfigurasi>Microsoft Sentinel.>

2. Untuk syslog, ketik Syslog di kotak Pencarian . Dari hasilnya, pilih Syslog melalui konektor AMA .
   Untuk CEF, ketik CEF di kotak Pencarian . Dari hasilnya, pilih Common Event Format (CEF) melalui konektor AMA .

3. Pilih Buka halaman konektor pada panel detail.

4. Di area Konfigurasi, pilih +Buat aturan pengumpulan data.

   

   

5. Di tab Dasar :

   • Ketik nama DCR.
   • Pilih langganan Anda.
   • Pilih grup sumber daya tempat Anda ingin menemukan DCR Anda.

   

6. Pilih Berikutnya: Sumber Daya>.

Menentukan sumber daya VM

Di tab Sumber Daya , pilih komputer tempat Anda ingin menginstal AMA—dalam hal ini, mesin penerus log Anda. Jika penerus log Anda tidak muncul dalam daftar, mungkin agen Azure Koneksi ed Machine tidak terinstal.

1. Gunakan filter atau kotak pencarian yang tersedia untuk menemukan VM penerus log Anda. Perluas langganan dalam daftar untuk melihat grup sumber dayanya, dan grup sumber daya untuk melihat VM-nya.

2. Pilih VM penerus log yang ingin Anda instal AMA-nya. Kotak centang muncul di samping nama VM saat Anda mengarahkan mouse ke atasnya.

   

3. Tinjau perubahan Anda dan pilih Berikutnya: Kumpulkan >.

Pilih fasilitas dan tingkat keparahan

Ketahuilah bahwa menggunakan fasilitas yang sama untuk pesan Syslog dan CEF dapat mengakibatkan duplikasi penyerapan data. Untuk informasi selengkapnya, lihat Penghindarian duplikasi penyerapan data.

1. Di tab Kumpulkan , pilih tingkat log minimum untuk setiap fasilitas. Saat Anda memilih tingkat log, Microsoft Sentinel mengumpulkan log untuk tingkat yang dipilih dan tingkat lainnya dengan tingkat keparahan yang lebih tinggi. Misalnya, jika Anda memilih LOG_ERR, Microsoft Azure Sentinel mengumpulkan log untuk tingkat LOG_ERR, LOG_CRIT, LOG_ALERT, dan LOG_EMERG .

   

2. Tinjau pilihan Anda dan pilih Berikutnya: Tinjau + buat.

Meninjau dan membuat aturan

Setelah Anda menyelesaikan semua tab, tinjau apa yang Anda masukkan dan buat aturan pengumpulan data.

1. Di tab Tinjau dan buat , pilih Buat.

   

   Konektor menginstal Agen Azure Monitor pada komputer yang Anda pilih saat membuat DCR Anda.

2. Periksa pemberitahuan di portal portal Azure atau Microsoft Defender untuk melihat kapan DCR dibuat dan agen diinstal.

3. Pilih Refresh pada halaman konektor untuk melihat DCR yang ditampilkan dalam daftar.

API Penyerapan Log

Menginstal Agen Azure Monitor

Ikuti instruksi yang sesuai dari dokumentasi Azure Monitor untuk menginstal Agen Azure Monitor di penerus log Anda. Ingatlah untuk menggunakan instruksi untuk Linux, bukan untuk Windows.

• Menginstal AMA menggunakan PowerShell
• Menginstal AMA menggunakan Azure CLI
• Menginstal AMA menggunakan templat Azure Resource Manager

Anda dapat membuat Aturan Pengumpulan Data (DCR) menggunakan API Penyerapan Log Azure Monitor. Untuk informasi selengkapnya, lihat Aturan pengumpulan data di Azure Monitor.

Membuat aturan pengumpulan data

Buat file JSON untuk aturan pengumpulan data, buat permintaan API, dan kirim permintaan.

1. Siapkan file DCR dalam format JSON. Konten file ini adalah isi permintaan dalam permintaan API Anda.

   Misalnya, lihat isi permintaan pembuatan Syslog/CEF DCR. Untuk mengumpulkan pesan Syslog dan CEF dalam aturan pengumpulan data yang sama, lihat contoh aliran Syslog dan CEF di DCR yang sama.

   • Verifikasi bahwa streams bidang diatur ke Microsoft-Syslog untuk pesan Syslog, atau ke Microsoft-CommonSecurityLog untuk pesan CEF.
   • Tambahkan tingkat log filter dan fasilitas dalam facilityNames parameter dan logLevels . Lihat bagian Contoh fasilitas dan tingkat log.

2. Buat permintaan API di klien REST API yang Anda pilih.

   1. Untuk URL dan header permintaan, salin URL dan header permintaan berikut.

      PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}?api-version=2022-06-01
      

      • Ganti nilai yang sesuai untuk {subscriptionId} tempat penampung dan {resourceGroupName} .
      • Masukkan nama pilihan Anda untuk DCR sebagai pengganti {dataCollectionRuleName} tempat penampung.

   2. Untuk isi permintaan, salin dan tempel konten file DCR JSON yang Anda buat (pada langkah 1 di atas) ke dalam isi permintaan.

3. Kirim permintaan.

   Untuk contoh respons yang harus Anda terima, lihat respons pembuatan Syslog/CEF DCR.

Mengaitkan DCR dengan penerus log

Sekarang Anda perlu membuat Asosiasi DCR (DCRA) yang mengikat DCR ke sumber daya VM yang menghosting penerus log Anda.

1. Buat permintaan API di klien REST API yang Anda pilih.

2. Untuk URL dan header permintaan, salin URL permintaan dan header berikut.

   PUT 
   https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/virtualMachines/{virtualMachineName}/providers/Microsoft.Insights/dataCollectionRuleAssociations/{dataCollectionRuleAssociationName}?api-version=2022-06-01
   

   • Ganti nilai yang sesuai untuk {subscriptionId}tempat penampung , , {resourceGroupName}dan {virtualMachineName} .
   • Masukkan nama pilihan Anda untuk DCR sebagai pengganti {dataCollectionRuleAssociationName} tempat penampung.

3. Untuk isi permintaan, salin isi permintaan berikut.

   {
     "properties": {
       "dataCollectionRuleId": "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}"
     }
   }
   

   • Ganti nilai yang sesuai untuk {subscriptionId} tempat penampung dan {resourceGroupName} .
   • Masukkan nama pilihan Anda untuk DCR sebagai pengganti {dataCollectionRuleName} tempat penampung.

4. Kirim permintaan.

Contoh bagian fasilitas dan tingkat log

Tinjau contoh pengaturan tingkat fasilitas dan log ini. Bidang name menyertakan nama filter.

Untuk penyerapan pesan CEF, nilai untuk "streams" harus bukan "Microsoft-CommonSecurityLog""Microsoft-Syslog".

Contoh ini mengumpulkan peristiwa dari cron, , daemon, local3local0dan uucp fasilitas, dengan Warningtingkat log , , Error, CriticalAlert, dan Emergency :

    "dataSources": {
      "syslog": [
        {
        "name": "SyslogStream0",
        "streams": [
          "Microsoft-Syslog"
        ],
        "facilityNames": [ 
          "cron",
          "daemon",
          "local0",
          "local3", 
          "uucp"
        ],
        "logLevels": [ 
          "Warning", 
          "Error", 
          "Critical", 
          "Alert", 
          "Emergency"
        ]
      }
    ]
  }

Aliran Syslog dan CEF di DCR yang sama

Contoh ini menunjukkan bagaimana Anda dapat mengumpulkan pesan Syslog dan CEF dalam DCR yang sama.

DCR mengumpulkan pesan peristiwa CEF untuk:

• Fasilitas authpriv dan mark dengan Infotingkat log , , NoticeWarning, Error, CriticalAlert, dan Emergency
• Fasilitas daemon dengan Warningtingkat log , , CriticalError, Alert, dan Emergency

Ini mengumpulkan pesan peristiwa Syslog untuk:

• , kern, local0local5, dan news fasilitas dengan Criticaltingkat log , Alert, dan Emergency
• Fasilitas mail dan uucp dengan Emergency tingkat log

    "dataSources": {
      "syslog": [
        {
          "name": "CEFStream1",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "authpriv", 
            "mark"
          ],
          "logLevels": [
            "Info",
            "Notice", 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "CEFStream2",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "daemon"
          ],
          "logLevels": [ 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream3",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "kern",
            "local0",
            "local5", 
            "news"
          ],
          "logLevels": [ 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream4",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "mail",
            "uucp"
          ],
          "logLevels": [ 
            "Emergency"
          ]
        }
      ]
    }

Jalankan skrip "penginstalan"

Jika Anda menggunakan penerus log, konfigurasikan daemon Syslog untuk mendengarkan pesan dari komputer lain, dan buka port lokal yang diperlukan.

1. Dari halaman konektor, salin baris perintah yang muncul di bawah Jalankan perintah berikut untuk menginstal dan menerapkan pengumpul CEF:

   

   Atau salin dari sini:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Masuk ke mesin penerus log tempat Anda baru saja menginstal AMA.

3. Tempelkan perintah yang Anda salin di langkah terakhir untuk meluncurkan skrip penginstalan.
   Skrip mengonfigurasi rsyslog daemon atau syslog-ng untuk menggunakan protokol yang diperlukan dan memulai ulang daemon. Skrip membuka port 514 untuk mendengarkan pesan masuk dalam protokol UDP dan TCP. Untuk mengubah pengaturan ini, lihat file konfigurasi daemon Syslog sesuai dengan jenis daemon yang berjalan pada komputer:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Jika Anda menggunakan Python 3, dan tidak diatur sebagai perintah default pada komputer, ganti python3python di perintah yang ditempelkan. Lihat Prasyarat penerus log.

   Catatan

   Untuk menghindari skenario Disk Penuh di mana agen tidak dapat berfungsi, kami sarankan Anda mengatur syslog-ng konfigurasi atau rsyslog untuk tidak menyimpan log yang tidak diperlukan. Skenario Disk Penuh mengganggu fungsi AMA yang diinstal. Untuk informasi selengkapnya, lihat RSyslog atau Syslog-ng.

Menguji konektor

Verifikasi bahwa log pesan dari komputer linux atau perangkat dan appliance keamanan Anda diserap ke Microsoft Azure Sentinel.

1. Untuk memvalidasi bahwa daemon syslog berjalan pada port UDP dan bahwa AMA mendengarkan, jalankan perintah ini:

   netstat -lnptv
   

   Anda akan melihat rsyslog daemon atau syslog-ng mendengarkan di port 514.

2. Untuk mengambil pesan yang dikirim dari pencatat atau perangkat yang tersambung, jalankan perintah ini di latar belakang:

   tcpdump -i any port 514 -A -vv &
   

3. Setelah Anda menyelesaikan validasi, kami sarankan Anda menghentikan tcpdump: Ketik fg lalu pilih Ctrl+C.

4. Untuk mengirim pesan demo, selesaikan langkah-langkah berikut:

   • Gunakan utilitas netcat. Dalam contoh ini, utilitas membaca data yang diposting melalui echo perintah dengan tombol baris baru dimatikan. Utilitas kemudian menulis data ke port 514 UDP di localhost tanpa batas waktu. Untuk menjalankan utilitas netcat, Anda mungkin perlu menginstal paket lain.

     echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
     

   • Gunakan pencatat. Contoh ini menulis pesan ke local 4 fasilitas, pada tingkat Warningkeparahan , ke port 514, pada host lokal, dalam format CEF RFC. Bendera -t dan --rfc3164 digunakan untuk mematuhi format RFC yang diharapkan.

     logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time"
     

5. Untuk memverifikasi bahwa konektor diinstal dengan benar, jalankan skrip pemecahan masalah dengan salah satu perintah ini:

   • Untuk log CEF, jalankan:

      sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --cef
     

   • Untuk log Cisco Adaptive Security Appliance (ASA), jalankan:

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --asa
     

   • Untuk log Cisco Firepower Threat Defense (FTD), jalankan:

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --ftd
     

Konten terkait

• Syslog dan Common Event Format (CEF) melalui konektor AMA untuk Microsoft Azure Sentinel
• Aturan pengumpulan data di Azure Monitor