Memecahkan masalah konektor data CEF atau Syslog Anda

  • Artikel

Perhatian

Artikel ini mereferensikan CentOS, distribusi Linux yang mendekati status End Of Life (EOL). Harap pertimbangkan penggunaan dan perencanaan Anda yang sesuai. Untuk informasi selengkapnya, lihat panduan Akhir Masa Pakai CentOS.

Artikel ini menjelaskan metode umum untuk memverifikasi dan memecahkan masalah konektor data CEF atau Syslog untuk Microsoft Azure Sentinel.

Misalnya, jika log Anda tidak muncul di Microsoft Azure Sentinel, baik di tabel Syslog atau Log Keamanan Umum, sumber data Anda mungkin gagal terhubung atau mungkin ada alasan lain mengapa data Anda tidak diserap.

Gejala lain dari penyebaran konektor yang gagal termasuk ketika file security_events.conf atau security-omsagent.config.conf hilang, atau jika server rsyslog tidak mendengarkan pada port 514.

Untuk informasi selengkapnya, lihat Menyambungkan solusi eksternal Anda menggunakan Common Event Format dan Mengumpulkan data dari sumber berbasis Linux menggunakan Syslog.

Jika Anda telah menyebarkan konektor Anda menggunakan metode yang berbeda dari prosedur yang didokumentasikan dan mengalami masalah, kami sarankan Anda menghapus penyebaran secara menyeluruh dan menginstal lagi seperti yang didokumentasikan.

Artikel ini memperlihatkan kepada Anda cara memecahkan masalah konektor CEF atau Syslog dengan agen Analitik Log. Untuk informasi pemecahan masalah yang terkait dengan penyerapan log CEF melalui Agen Azure Monitor (AMA), tinjau Common Event Format (CEF) melalui instruksi konektor AMA .

Penting

Pada 28 Februari 2023, kami memperkenalkan perubahan pada skema tabel CommonSecurityLog. Setelah perubahan ini, Anda mungkin perlu meninjau dan memperbarui kueri kustom. Untuk detail selengkapnya, lihat bagian tindakan yang direkomendasikan di posting blog ini. Konten siap pakai (deteksi, kueri berburu, buku kerja, pengurai, dll.) telah diperbarui oleh Microsoft Azure Sentinel.

Cara menggunakan artikel ini

Ketika informasi dalam artikel ini hanya relevan untuk Syslog atau hanya untuk konektor CEF, kami telah mengatur halaman ke dalam tab. Pastikan Anda menggunakan instruksi pada tab yang benar untuk jenis konektor Anda.

Misalnya, jika Anda memecahkan masalah konektor CEF, mulailah dengan Validasi konektivitas CEF. Jika Anda memecahkan masalah konektor Syslog, mulai di bawah ini, dengan Verifikasi prasyarat konektor data Anda.

Memvalidasi konektivitas CEF

Setelah Anda menyebarkan penerus log dan mengonfigurasi solusi keamanan Anda untuk mengirim pesan CEF kepadanya, gunakan langkah-langkah di bagian ini untuk memverifikasi konektivitas antara solusi keamanan Anda dan Microsoft Azure Sentinel.

Prosedur ini hanya relevan untuk koneksi CEF, dan tidak relevan untuk koneksi Syslog.

  1. Pastikan Anda telah memenuhi prasyarat berikut:

    • Anda harus memiliki izin yang lebih tinggi (sudo) pada komputer penerus log Anda.

    • Anda harus memasang python 2.7 atau 3 pada komputer penerus log Anda. Gunakan perintah python --version untuk memeriksa.

    • Anda mungkin memerlukan ID Ruang Kerja dan Kunci Utama Ruang Kerja di beberapa titik dalam proses ini. Anda dapat menemukannya di sumber daya ruang kerja, di bawah Manajemen agen.

  2. Dari menu navigasi Microsoft Azure Sentinel, buka Log. Jalankan kueri menggunakan skema CommonSecurityLog untuk melihat apakah Anda menerima log dari solusi keamanan Anda.

    Mungkin perlu waktu hingga 20 menit sampai log Anda mulai muncul di Log Analytics.

  3. Jika Anda tidak melihat hasil kueri, verifikasi bahwa peristiwa sedang dihasilkan dari solusi keamanan Anda, atau coba buat beberapa, dan verifikasi bahwa peristiwa tersebut sedang diteruskan ke komputer penerus Syslog yang Anda tentukan.

  4. Jalankan skrip berikut ini di penerus log (dengan menerapkan ID Ruang Kerja sebagai pengganti tempat penampung) untuk memeriksa konektivitas antara solusi keamanan Anda, penerus log, dan Microsoft Azure Sentinel. Skrip ini memeriksa bahwa daemon mendengarkan port yang benar, bahwa penerusan dikonfigurasi dengan benar, dan bahwa tidak ada yang menghalangi komunikasi antara daemon dan agen Analitik Log. Ini juga mengirim pesan tiruan 'TestCommonEventFormat' untuk memeriksa konektivitas end-to-end. 

    sudo wget -O cef_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/CEF/cef_troubleshoot.py&&sudo python cef_troubleshoot.py [WorkspaceID]

    • Anda mungkin mendapatkan pesan yang mengarahkan Anda untuk menjalankan perintah untuk memperbaiki masalah dengan pemetaan Bidang Komputer. Lihat penjelasan dalam skrip validasi untuk detailnya.

    • Anda mungkin mendapatkan pesan yang mengarahkan Anda untuk menjalankan perintah untuk memperbaiki masalah dengan penguraian log firewall Cisco ASA. Lihat penjelasan dalam skrip validasi untuk detailnya.

Skrip validasi CEF dijelaskan

Bagian berikut menjelaskan skrip validasi CEF, untuk rsyslog daemon dan syslog-ng daemon.

rsyslog daemon

Untuk rsyslog daemon, skrip validasi CEF menjalankan pemeriksaan berikut:

  1. Memeriksa bahwa file
    /etc/opt/microsoft/omsagent/[WorkspaceID]/conf/omsagent.d/security_events.conf
    ada dan valid.

  2. Memeriksa bahwa file menyertakan teks berikut:

    <source>
    type syslog
    port 25226
    bind 127.0.0.1
    protocol_type tcp
    tag oms.security
    format /(?<time>(?:\w+ +){2,3}(?:\d+:){2}\d+|\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}.[\w\-\:\+]{3,12}):?\s*(?:(?<host>[^: ]+) ?:?)?\s*(?<ident>.*CEF.+?(?=0\|)|%ASA[0-9\-]{8,10})\s*:?(?<message>0\|.*|.*)/
    <parse>
        message_format auto
    </parse>
</source>

<filter oms.security.**>
    type filter_syslog_security
</filter>

  3. Memeriksa apakah penguraian untuk peristiwa Cisco ASA Firewall dikonfigurasi seperti yang diharapkan, menggunakan perintah berikut:

    grep -i "return ident if ident.include?('%ASA')" /opt/microsoft/omsagent/plugin/security_lib.rb

    • Jika ada masalah dengan penguraian, skrip akan menghasilkan pesan kesalahan yang mengarahkan Anda untuk menjalankan perintah berikut secara manual (menerapkan ID Ruang Kerja sebagai ganti tempat penampung). Perintah akan memastikan penguraian yang benar dan memulai ulang agen.

      # Cisco ASA parsing fix
sed -i "s|return '%ASA' if ident.include?('%ASA')|return ident if ident.include?('%ASA')|g" /opt/microsoft/omsagent/plugin/security_lib.rb && sudo /opt/microsoft/omsagent/bin/service_control restart [workspaceID]

  4. Memeriksa bahwa bidang Komputer di sumber syslog dipetakan dengan benar di agen Analitik Log, menggunakan perintah berikut:

    grep -i "'Host' => record\['host'\]"  /opt/microsoft/omsagent/plugin/filter_syslog_security.rb

    • Jika ada masalah dengan pemetaan, skrip akan menghasilkan pesan kesalahan yang mengarahkan Anda untuk menjalankan perintah berikut secara manual (menerapkan ID Ruang Kerja sebagai ganti tempat penampung). Perintah akan memastikan pemetaan yang benar dan memulai ulang agen.

      # Computer field mapping fix
sed -i -e "/'Severity' => tags\[tags.size - 1\]/ a \ \t 'Host' => record['host']" -e "s/'Severity' => tags\[tags.size - 1\]/&,/" /opt/microsoft/omsagent/plugin/filter_syslog_security.rb && sudo /opt/microsoft/omsagent/bin/service_control restart [workspaceID]

  5. Memeriksa apakah ada peningkatan keamanan pada komputer yang mungkin memblokir lalu lintas jaringan (seperti firewall host).

  6. Memeriksa bahwa daemon syslog (rsyslog) dikonfigurasi dengan benar untuk mengirim pesan (yang diidentifikasi sebagai CEF) ke agen Analitik Log pada port TCP 25226:

    File Konfigurasi: /etc/rsyslog.d/security-config-omsagent.conf

    if $rawmsg contains "CEF:" or $rawmsg contains "ASA-" then @@127.0.0.1:25226

  7. Memulai ulang daemon syslog dan agen Analitik Log:

    service rsyslog restart

/opt/microsoft/omsagent/bin/service_control restart [workspaceID]

  8. Memeriksa bahwa koneksi yang diperlukan dibuat: tcp 514 untuk menerima data, tcp 25226 untuk komunikasi internal antara daemon syslog dan agen Analitik Log:

    netstat -an | grep 514

netstat -an | grep 25226

  9. Memeriksa bahwa daemon syslog menerima data pada port 514, dan bahwa agen menerima data pada port 25226:

    sudo tcpdump -A -ni any port 514 -vv

sudo tcpdump -A -ni any port 25226 -vv

  10. Mengirim data MOCK ke port 514 di localhost. Data ini harus dapat diamati di ruang kerja Microsoft Azure Sentinel dengan menjalankan kueri berikut:

    CommonSecurityLog
| where DeviceProduct == "MOCK"

syslog-ng daemon

Untuk syslog-ng daemon, skrip validasi CEF menjalankan pemeriksaan berikut:

  1. Memeriksa bahwa file
    /etc/opt/microsoft/omsagent/[WorkspaceID]/conf/omsagent.d/security_events.conf
    ada dan valid.

  2. Memeriksa bahwa file menyertakan teks berikut:

    <source>
    type syslog
    port 25226
    bind 127.0.0.1
    protocol_type tcp
    tag oms.security
    format /(?<time>(?:\w+ +){2,3}(?:\d+:){2}\d+|\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}.[\w\-\:\+]{3,12}):?\s*(?:(?<host>[^: ]+) ?:?)?\s*(?<ident>.*CEF.+?(?=0\|)|%ASA[0-9\-]{8,10})\s*:?(?<message>0\|.*|.*)/
    <parse>
        message_format auto
    </parse>
</source>

<filter oms.security.**>
    type filter_syslog_security
</filter>

  3. Memeriksa apakah penguraian untuk peristiwa Cisco ASA Firewall dikonfigurasi seperti yang diharapkan, menggunakan perintah berikut:

    grep -i "return ident if ident.include?('%ASA')" /opt/microsoft/omsagent/plugin/security_lib.rb

    • Jika ada masalah dengan penguraian, skrip akan menghasilkan pesan kesalahan yang mengarahkan Anda untuk menjalankan perintah berikut secara manual (menerapkan ID Ruang Kerja sebagai ganti tempat penampung). Perintah akan memastikan penguraian yang benar dan memulai ulang agen.

      # Cisco ASA parsing fix
sed -i "s|return '%ASA' if ident.include?('%ASA')|return ident if ident.include?('%ASA')|g" /opt/microsoft/omsagent/plugin/security_lib.rb && sudo /opt/microsoft/omsagent/bin/service_control restart [workspaceID]

  4. Memeriksa bahwa bidang Komputer di sumber syslog dipetakan dengan benar di agen Analitik Log, menggunakan perintah berikut:

    grep -i "'Host' => record\['host'\]"  /opt/microsoft/omsagent/plugin/filter_syslog_security.rb

    • Jika ada masalah dengan pemetaan, skrip akan menghasilkan pesan kesalahan yang mengarahkan Anda untuk menjalankan perintah berikut secara manual (menerapkan ID Ruang Kerja sebagai ganti tempat penampung). Perintah akan memastikan pemetaan yang benar dan memulai ulang agen.

      # Computer field mapping fix
sed -i -e "/'Severity' => tags\[tags.size - 1\]/ a \ \t 'Host' => record['host']" -e "s/'Severity' => tags\[tags.size - 1\]/&,/" /opt/microsoft/omsagent/plugin/filter_syslog_security.rb && sudo /opt/microsoft/omsagent/bin/service_control restart [workspaceID]

  5. Memeriksa apakah ada peningkatan keamanan pada komputer yang mungkin memblokir lalu lintas jaringan (seperti firewall host).

  6. Memeriksa bahwa daemon syslog (rsyslog-ng) dikonfigurasi dengan benar untuk mengirim pesan yang diidentifikasi sebagai CEF (menggunakan regex) ke agen Analitik Log pada port TCP 25226:

    • File Konfigurasi: /etc/syslog-ng/conf.d/security-config-omsagent.conf

      filter f_oms_filter {match(\"CEF\|ASA\" ) ;};destination oms_destination {tcp(\"127.0.0.1\" port(25226));};
log {source(s_src);filter(f_oms_filter);destination(oms_destination);};

  7. Memulai ulang daemon syslog dan agen Analitik Log:

    service syslog-ng restart

/opt/microsoft/omsagent/bin/service_control restart [workspaceID]

  8. Memeriksa bahwa koneksi yang diperlukan dibuat: tcp 514 untuk menerima data, tcp 25226 untuk komunikasi internal antara daemon syslog dan agen Analitik Log:

    netstat -an | grep 514

netstat -an | grep 25226

  9. Memeriksa bahwa daemon syslog menerima data pada port 514, dan bahwa agen menerima data pada port 25226:

    sudo tcpdump -A -ni any port 514 -vv

sudo tcpdump -A -ni any port 25226 -vv

  10. Mengirim data MOCK ke port 514 di localhost. Data ini harus dapat diamati di ruang kerja Microsoft Azure Sentinel dengan menjalankan kueri berikut:

    CommonSecurityLog
| where DeviceProduct == "MOCK"

Memverifikasi prasyarat konektor data Anda

Gunakan bagian berikut untuk memeriksa prasyarat konektor data CEF atau Syslog Anda.

Mesin Virtual Azure sebagai pengumpul CEF

Jika Anda menggunakan Mesin Virtual Azure sebagai pengumpul CEF, verifikasi hal berikut:

  • Sebelum Anda menyebarkan skrip Python konektor Data Format Peristiwa umum, pastikan bahwa Mesin Virtual Anda ridak tersambung ke ruang kerja Analitik Log yang ada. Anda dapat menemukan informasi ini di daftar Log Analytics Workspace Virtual Machine, di mana mesin virtual yang tersambung ke ruang kerja Syslog terdaftar sebagai Tersambung.

  • Pastikan Microsoft Azure Sentinel tersambung ke ruang kerja Analitik Log yang benar, dengan solusi SecurityInsights terpasang.

    Untuk informasi selengkapnya, lihat Langkah 1: Sebarkan penerus log.

  • Pastikan ukuran mesin Anda benar dengan setidaknya prasyarat minimum yang diperlukan. Untuk informasi selengkapnya, lihat prasyarat CEF.

Mesin Virtual Lokal atau non-Azure

Jika Anda menggunakan mesin lokal atau mesin virtual non-Azure untuk konektor data Anda, pastikan Anda telah menjalankan skrip penginstalan pada penginstalan baru sistem operasi Linux yang didukung:

Tip

Anda juga dapat menemukan skrip ini dari halaman konektor data Common Event Format di Microsoft Azure Sentinel.

sudo wget -O cef_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/CEF/cef_installer.py&&sudo python cef_installer.py <WorkspaceId> <Primary Key>

Mengaktifkan fasilitas CEF Anda dan kumpulan keparahan log

Server Syslog, baik rsyslog atau syslog-ng, meneruskan data apa pun yang didefinisikan dalam file konfigurasi yang relevan, yang secara otomatis diisi oleh pengaturan yang ditentukan di ruang kerja Log Analytics Anda.

Pastikan untuk menambahkan detail tentang fasilitas dan keparahan tingkat log yang ingin diserap ke Microsoft Azure Sentinel. Proses konfigurasi mungkin memakan waktu sekitar 20 menit.

Untuk informasi selengkapnya, lihat Skrip penyebaran yang dijelaskan.

Misalnya, untuk server rsyslog, jalankan perintah berikut untuk menampilkan pengaturan saat ini untuk penerusan Syslog Anda, dan tinjau setiap perubahan pada file konfigurasi:

cat /etc/rsyslog.d/security-config-omsagent.conf

Dalam hal ini, untuk rsyslog, output yang mirip dengan berikut harus menampilkan:

if $rawmsg contains "CEF:" or $rawmsg contains "ASA-" then @@127.0.0.1:25226

Memecahkan masalah sistem operasi

Prosedur ini menjelaskan cara memecahkan masalah yang tentunya berasal dari konfigurasi sistem operasi.

Untuk memecahkan masalah sistem operasi::

  1. Jika Anda belum melakukannya, verifikasi bahwa Anda bekerja dengan sistem operasi yang didukung dan versi Python. Untuk informasi selengkapnya, lihat prasyarat CEF.

  2. Jika Mesin Virtual Anda berada di Azure, verifikasi bahwa grup keamanan jaringan (NSG) memungkinkan konektivitas TCP / UDP {i>inbound

  3. Verifikasi bahwa paket tiba di Syslog Collector. Untuk mengambil paket syslog yang tiba di Syslog Collector, jalankan:

    tcpdump -Ani any port 514 and host <ip_address_of_sender> -vv

  4. Lakukan salah satu hal berikut ini:

    • Jika Anda tidak melihat paket tiba, konfirmasikan izin grup keamanan NSG dan jalur perutean ke Syslog Collector.

    • Jika Anda melihat paket tiba, konfirmasikan bahwa paket tidak ditolak.

    Jika Anda melihat paket yang ditolak, konfirmasikan bahwa tabel IP tidak memblokir koneksi.

    Untuk memastikan bahwa paket tidak ditolak, jalankan:

    watch -n 2 -d iptables -nvL

  5. Verifikasi apakah server CEF sedang memproses log. Jalankan:

    tail -f /var/log/messages or tail -f /var/log/syslog

    Setiap log CEF yang sedang diproses ditampilkan dalam teks biasa.

  6. Konfirmasikan bahwa server rsyslog mendengarkan pada port TCP / UDP 514. Jalankan:

    netstat -anp | grep syslog

    Jika Anda memiliki log CEF atau ASA yang dikirim ke Syslog Collector, Anda akan melihat koneksi yang dibuat pada port TCP 25226.

    Contohnya:

    0 127.0.0.1:36120 127.0.0.1:25226 ESTABLISHED 1055/rsyslogd

    Jika koneksi diblokir, Anda mungkin memiliki koneksi SELinux yang diblokir ke agen OMS, atau proses firewall yang diblokir. Gunakan instruksi relevan di bawah ini untuk menentukan masalah.

SELinux memblokir koneksi ke agen OMS

Prosedur ini menjelaskan cara mengkonfirmasi apakah SELinux saat ini dalam kondisi permissive, atau memblokir koneksi ke agen OMS. Prosedur ini relevan ketika sistem operasi Anda adalah distribusi dari RedHat atau CentOS, dan untuk konektor data CEF dan Syslog.

Catatan

Dukungan Microsoft Azure Sentinel untuk CEF dan Syslog hanya mencakup pengerasan FIPS. Metode pengerasan lainnya, seperti SELinux atau CIS saat ini tidak didukung.

  1. Jalankan:

    sestatus

    Status ditampilkan sebagai salah satu dari berikut ini:

    • disabled. Konfigurasi ini didukung untuk koneksi Anda ke Microsoft Azure Sentinel.
    • permissive. Konfigurasi ini didukung untuk koneksi Anda ke Microsoft Azure Sentinel.
    • enforced. Konfigurasi ini tidak didukung, dan Anda harus menonaktifkan status atau mengaturnya ke permissive.

  2. Jika status saat ini diatur ke enforced, matikan sementara untuk mengkonfirmasi apakah ini pemblokir. Jalankan:

    setenforce 0

    Catatan

    Langkah ini mematikan SELinux hanya sampai server {i>reboot

  3. Untuk memverifikasi apakah perubahan berhasil, jalankan:

    getenforce

    Kondisi permissive harus dikembalikan.

Penting

Pembaruan pengaturan ini hilang saat sistem di-{i>rebootpermissive, ubah file /etc/selinux/config, ubah nilai SELINUX menjadi SELINUX=permissive.

Untuk informasi selengkapnya, lihat dokumentasi RedHat.

Kebijakan {i>firewall

Prosedur ini menjelaskan cara memverifikasi apakah kebijakan {i>firewall

  1. Jalankan perintah berikut untuk memverifikasi apakah ada penolakan dalam tabel IP, yang menunjukkan lalu lintas yang dijatuhkan oleh kebijakan{i> firewall 

    watch -n 2 -d iptables -nvL

  2. Untuk menjaga kebijakan{i> firewallfirewall

    Contohnya:

    Every 2.0s: iptables -nvL                      rsyslog: Wed Jul  7 15:56:13 2021

Chain INPUT (policy ACCEPT 6185K packets, 2466M bytes)
 pkts bytes target     prot opt in     out     source               destination


Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination


Chain OUTPUT (policy ACCEPT 6792K packets, 6348M bytes)
 pkts bytes target     prot opt in     out     source               destination

  3. Untuk membuat aturan yang mengizinkan port TCP/UDP 25226 dan 25224 melalui {i>firewall

    1. Untuk menginstal editor Firewall Policy, jalankan:

      yum install policycoreutils-python

    2. Tambahkan aturan {i>firewallfirewall 

      sudo firewall-cmd --direct --add-rule ipv4 filter INPUT 0 -p tcp --dport 25226  -j ACCEPT
sudo firewall-cmd --direct --add-rule ipv4 filter INPUT 0 -p udp --dport 25224  -j ACCEPT
sudo firewall-cmd --direct --add-rule ipv4 filter INPUT 0 -p tcp --dport 25224  -j ACCEPT

    3. Verifikasi bahwa pengecualian ditambahkan. Jalankan:

      sudo firewall-cmd --direct --get-rules ipv4 filter INPUT

    4. Muat ulang firewall. Jalankan:

      sudo firewall-cmd --reload

Catatan

Untuk menonaktifkan firewall, jalankan: sudo systemctl disable firewalld

Jika langkah-langkah yang dijelaskan sebelumnya dalam artikel ini tidak menyelesaikan masalah, Anda mungkin mengalami masalah konektivitas antara Agen OMS dan ruang kerja Microsoft Azure Sentinel.

Dalam kasus seperti itu, lanjutkan pemecahan masalah dengan memverifikasi hal-hal berikut:

  • Pastikan Anda dapat melihat paket yang tiba di port TCP / UDP 514 pada pengumpul Syslog

  • Pastikan Anda dapat melihat log sedang ditulis ke file log lokal, baik /var/log/messages atau /var/log/syslog

  • Pastikan Anda dapat melihat paket data yang mengalir di port 25226

  • Pastikan bahwa mesin virtual Anda memiliki koneksi keluar ke port 443 melalui TCP, atau dapat tersambung ke titik akhir Log Analytics

  • Pastikan Anda memiliki akses ke URL yang diperlukan dari pengumpul CEF Anda melalui kebijakan{i> Persyaratan firewall Agen Log Analytics.

Jalankan perintah berikut untuk menentukan apakah agen berhasil berkomunikasi dengan Azure, atau jika agen OMS diblokir untuk tersambung ke ruang kerja Log Analytics.

Heartbeat
 | where Computer contains "<computername>"
 | sort by TimeGenerated desc

Entri log dikembalikan jika agen berhasil berkomunikasi. Jika tidak, agen OMS dapat diblokir.

Langkah berikutnya

Jika langkah pemecahan masalah dalam artikel ini tidak membantu masalah Anda, buka tiket dukungan atau gunakan sumber daya komunitas Microsoft Azure Sentinel. Untuk informasi selengkapnya, lihat Sumber daya yang berguna untuk bekerja dengan Microsoft Azure Sentinel.

Untuk mempelajari selengkapnya tentang Microsoft Azure Sentinel, lihat artikel berikut: