Manajemen pengumpul log tingkat lanjut

Artikel ini menjelaskan cara mengonfigurasi opsi tingkat lanjut untuk pengumpul log penemuan cloud Defender untuk Cloud Apps.

Defender untuk Cloud Penemuan cloud Apps terus berfokus pada format firewall dasar. Perubahan pada log yang diteruskan di tingkat firewall mungkin tidak terus berfungsi, atau dapat menyebabkan masalah dengan penguraian. Jika Anda menemukan kesalahan semacam ini, kami sarankan Anda terus menggunakan format firewall dasar, atau menggunakan opsi dengan pengumpul log kustom. Untuk informasi selengkapnya, lihat Menggunakan pengurai log kustom.

Artikel ini menjelaskan cara mengubah konfigurasi untuk docker penemuan cloud Defender untuk Cloud Apps Anda.

Mengubah konfigurasi FTP pengumpul log

Gunakan langkah-langkah ini di bagian berikut untuk memodifikasi konfigurasi untuk Defender untuk Cloud Apps Cloud Discovery Docker Anda.

Memverifikasi versi pengumpul log

Untuk memverifikasi versi pengumpul log yang saat ini diinstal pada sistem Anda, sambungkan ke host pengumpul log dan jalankan:

cat /var/adallom/versions | grep columbus-

Mengubah kata sandi FTP

Prosedur ini menjelaskan cara mengubah kata sandi yang digunakan untuk mengakses file pengumpul log:

1. Koneksi ke host pengumpul log dan jalankan:

   docker exec -it <collector name> pure-pw passwd <ftp user>
   

2. Masukkan kata sandi baru Anda, lalu masukkan lagi untuk mengonfirmasi.

3. Jalankan perintah berikut untuk menerapkan perubahan:

   docker exec -it <collector name> pure-pw mkdb
   

Anda akan dapat melihat konten berikut:

• run_logs
• ssl_update
• config.json

Menyesuaikan file sertifikat

Prosedur ini menjelaskan cara menyesuaikan file sertifikat yang digunakan untuk koneksi aman ke instans Docker penemuan cloud.

1. Buka klien FTP dan sambungkan ke host pengumpul log.

2. Navigasi ke ssl_update direktori dan unggah file sertifikat baru, termasuk file berikut:

   Jenis penerima	File yang diperlukan
   FTP	- pure-ftpd.pem: Menyertakan data kunci dan sertifikat
   Syslog	- ca.pem: Sertifikat otoritas sertifikat yang digunakan untuk menandatangani sertifikat klien. - server-key.pem dan server-cert.pem: Sertifikat dan kunci pengumpul log Pesan Syslog dikirim melalui TLS ke pengumpul log, yang memerlukan autentikasi TLS bersama, termasuk mengautentikasi sertifikat klien dan server.

   Nama file wajib. Jika salah satu file hilang, pembaruan gagal.

3. Di jendela terminal, jalankan:

   docker exec -t <collector name> update_certs
   

   Output akan tampak mirip dengan kode berikut:

   root@DockerPlayground:~# docker exec -t columbus update_certs
   rsyslog: stopped
   rsyslog: started
   ftpd: stopped
   ftpd: started
   root@DockerPlayground:~#
   

4. Di jendela terminal, jalankan:

   docker exec <collector name> chmod -R 700 /etc/ssl/private/
   

Mengaktifkan pengumpul log di belakang proksi

Jika Anda menjalankan di belakang proksi, pengumpul log mungkin mengalami masalah saat mengirim data ke aplikasi Defender untuk Cloud. Misalnya, ini mungkin terjadi karena pengumpul log tidak mempercayai otoritas sertifikat akar proksi dan tidak dapat terhubung ke Microsoft Defender untuk Cloud Apps untuk mengambil konfigurasinya atau mengunggah log yang diterima.

Prosedur berikut menjelaskan cara mengaktifkan pengumpul log Anda di belakang proksi.

Tip

Anda mungkin juga ingin mengubah sertifikat yang digunakan oleh pengumpul log untuk Syslog atau FTP, atau mengatasi masalah konektivitas dari firewall dan proksi ke pengumpul log. Untuk informasi selengkapnya, lihat Mengubah konfigurasi FTP pengumpul log.

Menyiapkan pengumpul log di belakang proksi

Pastikan Anda telah melakukan langkah-langkah yang diperlukan untuk menjalankan Docker pada komputer Windows atau Linux dan telah berhasil mengunduh gambar Defender untuk Cloud Apps Docker ke komputer host Anda.

Untuk informasi selengkapnya, lihat Mengonfigurasi unggahan log otomatis untuk laporan berkelanjutan.

Memvalidasi pembuatan kontainer pengumpul log Docker

Verifikasi bahwa kontainer telah dibuat dan sedang berjalan. Di shell, jalankan:

docker ps

Sekarang, Anda akan melihat sesuatu yang mirip dengan output berikut:

Menyalin sertifikat OS akar proksi ke kontainer

Dari komputer virtual Anda, salin sertifikat CA ke kontainer Defender untuk Cloud Apps. Dalam contoh berikut, kontainer diberi nama Ubuntu-LogCollector dan sertifikat CA diberi nama Proxy-CA.crt.

Perintah berikut menyalin sertifikat ke folder dalam kontainer yang sedang berjalan. Jalankan perintah pada host Ubuntu:

docker cp Proxy-CA.crt Ubuntu-LogCollector:/var/adallom/ftp/discovery

Atur konfigurasi agar berfungsi dengan sertifikat CA

1. Masuk ke kontainer. Jalankan perintah berikut untuk membuka bash di kontainer pengumpul log:

   docker exec -it Ubuntu-LogCollector /bin/bash
   

2. Dari jendela bash di dalam kontainer, buka folder Java jre . Untuk menghindari kesalahan jalur terkait versi, gunakan perintah berikut:

   cd "$(find /opt/jdk/*/jre -name "bin" -printf '%h' -quit)"
   cd bin
   

3. Impor sertifikat akar yang Anda salin sebelumnya, dari folder penemuan ke Java KeyStore dan tentukan kata sandi.

   Kata sandi defaultnya adalah changeit. Untuk informasi selengkapnya, lihat Mengubah kata sandi Java KeyStore.

   ./keytool --import --noprompt --trustcacerts --alias SelfSignedCert --file /var/adallom/ftp/discovery/Proxy-CA.crt --keystore ../lib/security/cacerts --storepass <password>
   

4. Verifikasi bahwa sertifikat diimpor dengan benar ke keystore CA. Jalankan perintah berikut untuk mencari alias yang Anda berikan selama impor (SelfSignedCert):

   ./keytool --list --keystore ../lib/security/cacerts | grep self
   

Anda akan melihat sertifikat OS proksi yang diimpor. Contohnya:

Membatasi alamat IP yang mengirim pesan syslog ke pengumpul log di Linux

Untuk mengamankan gambar docker dan memastikan bahwa hanya satu alamat IP yang diizinkan untuk mengirim pesan syslog ke pengumpul log, buat aturan tabel IP pada komputer host untuk memungkinkan lalu lintas input dan menjatuhkan lalu lintas yang datang melalui port tertentu, seperti TCP/601 atau UDP/514, tergantung pada penyebaran.

Perintah berikut menunjukkan contoh cara membuat aturan tabel IP yang dapat ditambahkan ke komputer host. Aturan tabel ini memungkinkan alamat IP '1.2.3.4'' untuk terhubung ke kontainer pengumpul log melalui port TCP 601, dan menghilangkan semua koneksi lain yang berasal dari alamat IP lain melalui port yang sama.

iptables -I DOCKER-USER \! --src 1.2.3.4 -m tcp -p tcp --dport 601 -j DROP

Atur pengumpul log untuk dijalankan dengan konfigurasi baru

Kontainer sekarang siap.

Jalankan perintah collector_config menggunakan token API yang Anda gunakan selama pembuatan pengumpul log Anda. Contohnya:

Saat Anda menjalankan perintah, tentukan token API Anda sendiri, seperti collector_config abcd1234abcd1234abcd1234abcd1234 ${CONSOLE} ${COLLECTOR}

Contohnya:

Pengumpul log sekarang dapat berkomunikasi dengan Defender untuk Cloud Apps. Setelah mengirim data ke Defender untuk Cloud Apps, status pengumpul log berubah dari Sehat menjadi Koneksi. Contohnya:

Catatan

Jika Anda harus memperbarui konfigurasi pengumpul log, untuk menambahkan atau menghapus sumber data misalnya, Anda biasanya harus menghapus kontainer dan melakukan langkah-langkah sebelumnya lagi.

Untuk menghindari hal ini, Anda dapat menjalankan kembali alat collector_config dengan token API baru yang dihasilkan di portal Defender untuk Cloud Apps.

Mengubah kata sandi Java KeyStore

1. Hentikan server Java KeyStore.

2. Buka shell bash di dalam kontainer dan buka folder appdata/conf .

3. Untuk mengubah kata sandi KeyStore server, jalankan:

   keytool -storepasswd -new newStorePassword -keystore server.keystore
   -storepass changeit
   

   Kata sandi server default adalah changeit.

4. Untuk mengubah kata sandi sertifikat, jalankan:

   keytool -keypasswd -alias server -keypass changeit -new newKeyPassword -keystore server.keystore -storepass newStorePassword
   

   Alias server default adalah server.

5. Di editor teks, buka file server-install\conf\server\secured-install.properties . Tambahkan baris kode berikut, lalu simpan perubahan:

   1. Tentukan kata sandi Java KeyStore baru untuk server: server.keystore.password=newStorePassword
   2. Tentukan kata sandi Sertifikat baru untuk server: server.key.password=newKeyPassword

6. Mulai server.

Memindahkan pengumpul log ke partisi data yang berbeda di Linux

Banyak perusahaan memiliki persyaratan untuk memindahkan data ke partisi terpisah. Prosedur ini menjelaskan cara memindahkan gambar pengumpul log Defender untuk Cloud Apps Docker Anda ke partisi data di host Linux Anda.

Prosedur ini menjelaskan pemindahan data ke partisi yang disebut datastore dan mengasumsikan Anda telah memasang partisi. Contohnya:

Menambahkan dan mengonfigurasi partisi baru di host Linux Anda tidak berada dalam cakupan panduan ini.

Untuk memindahkan pengumpul log Anda ke partisi yang berbeda:

1. Hentikan layanan Docker. Jalankan:

   service docker stop
   

2. Pindahkan data pengumpul log ke partisi baru. Jalankan:

   mv /var/lib/docker /datastore/docker
   

3. Hapus direktori penyimpanan Docker lama (/var/lib/docker) dan buat tautan simbolis ke direktori baru (/datastore/docker). Jalankan:

   rm -rf /var/lib/docker && ln -s /datastore/docker /var/lib/
   

4. Mulai layanan Docker. Jalankan:

   service docker start
   

5. Secara opsional, verifikasi status pengumpul log Anda. Jalankan:

   docker ps
   

Memeriksa penggunaan disk pengumpul log di Linux

Prosedur ini menjelaskan cara meninjau penggunaan dan lokasi disk pengumpul log Anda.

1. Identifikasi jalur ke direktori tempat data pengumpul log disimpan. Jalankan:

   docker inspect <collector_name> | grep WorkDir
   

   Contohnya:

   

2. Dapatkan ukuran pada disk pengumpul log menggunakan jalur yang diidentifikasi tanpa akhiran "/work". Jalankan:

   du -sh /var/lib/docker/overlay2/<log_collector_id>/
   

   

   Catatan

   Jika Anda hanya perlu mengetahui ukuran pada disk, Anda dapat menggunakan perintah berikut: docker ps -s

Memindahkan pengumpul log ke host yang dapat diakses

Di lingkungan yang diatur, akses ke Docker Hubs tempat gambar pengumpul log dihosting dapat diblokir. Ini mencegah aplikasi Defender untuk Cloud mengimpor data dari pengumpul log dan dapat diselesaikan saya memindahkan gambar pengumpul log ke host yang dapat diakses.

Prosedur ini menjelaskan cara mengunduh gambar pengumpul log menggunakan komputer yang memiliki akses ke Docker Hub dan mengimpornya ke host tujuan Anda.

Gambar yang diunduh dapat diimpor baik di repositori privat Anda atau langsung di host Anda. Prosedur ini menjelaskan cara mengunduh gambar pengumpul log Anda ke komputer Windows Anda lalu menggunakan WinSCP untuk memindahkan pengumpul log ke host tujuan Anda.

Prasyarat

1. Pastikan Anda telah menginstal Docker di host Anda. Misalnya, gunakan salah satu unduhan berikut:

   • https://download.docker.com/linux/ubuntu
   • https://download.docker.com/linux/centos/

2. Setelah mengunduh, gunakan panduan penginstalan offline Docker untuk menginstal sistem operasi Anda.

   Mulai proses dengan mengekspor gambar pengumpul log lalu impor gambar ke host tujuan Anda.

Mengekspor gambar pengumpul log dari Docker Hub Anda

Prosedur berikut menjelaskan cara mengekspor gambar pengumpul log, menggunakan Linux atau Windows.

Mengekspor gambar di Linux

1. Di komputer Linux yang memiliki akses ke Docker Hub, jalankan perintah berikut untuk menginstal Docker dan unduh gambar pengumpul log.

   curl -o /tmp/MCASInstallDocker.sh https://adaprodconsole.blob.core.windows.net/public-files/MCASInstallDocker.sh && chmod +x /tmp/MCASInstallDocker.sh; /tmp/MCASInstallDocker.sh
   

2. Ekspor gambar pengumpul log. Jalankan:

   docker save --output /tmp/mcasLC.targ mcr.microsoft.com/mcas/logcollector
   chmod +r /tmp/mcasLC.tar
   

   Penting

   Pastikan untuk menggunakan parameter output untuk menulis ke file alih-alih STDOUT.

3. Unduh gambar pengumpul log ke komputer Windows Anda di bawah C:\mcasLogCollector\ menggunakan WinSCP. Contohnya:

   

Mengekspor gambar di Windows

1. Pada komputer Windows 10 yang memiliki akses ke Docker Hub, instal Docker Desktop.

2. Unduh gambar pengumpul log. Jalankan:

   docker login -u caslogcollector -p C0llector3nthusiast
   docker pull mcr.microsoft.com/mcas/logcollector
   

3. Ekspor gambar pengumpul log. Jalankan:

   docker save --output C:\mcasLogCollector\mcasLC.targ mcr.microsoft.com/mcas/logcollector
   

   Penting

   Pastikan untuk menggunakan parameter output untuk menulis ke file alih-alih STDOUT.

Mengimpor dan memuat gambar pengumpul log ke host tujuan Anda

Prosedur ini menjelaskan cara mentransfer gambar yang diekspor ke host tujuan Anda.

1. Unggah gambar pengumpul log ke host tujuan Anda di bawah /tmp/. Contohnya:

   

2. Pada host tujuan, impor gambar pengumpul log ke repositori gambar Docker. Jalankan:

   docker load --input /tmp/mcasLC.tar
   

   Contohnya:

   

3. Secara opsional, verifikasi bahwa impor berhasil diselesaikan. Jalankan:

   docker image ls
   

   Contohnya:

   

   Anda sekarang dapat melanjutkan untuk membuat pengumpul log Anda menggunakan gambar dari host tujuan.

Menentukan port kustom untuk penerima Syslog dan FTP untuk pengumpul log di Linux

Beberapa organisasi memiliki persyaratan untuk menentukan port kustom untuk layanan Syslog dan FTP.

Saat Anda menambahkan sumber data, pengumpul log Defender untuk Cloud Apps menggunakan nomor port tertentu untuk mendengarkan log lalu lintas dari satu atau beberapa sumber data.

Daftar tabel berikut dari port mendengarkan default untuk penerima:

Jenis penerima	Port
Syslog	* UDP/514 - UDP/51x * TCP/601 - TCP/60x
FTP	* TCP/21

Gunakan langkah-langkah berikut untuk menentukan port kustom:

1. Di Portal Pertahanan Microsoft, pilih Pengaturan. Lalu pilih Cloud Apps.

2. Di bawah Cloud Discovery, pilih Unggahan log otomatis. Lalu pilih tab Pengumpul log.

3. Pada tab Pengumpul log, tambahkan atau edit pengumpul log dan setelah memperbarui sumber data, salin perintah jalankan dari dialog. Contohnya:

   

   Jika digunakan sebagaimana disediakan, perintah yang disediakan wizard mengonfigurasi pengumpul log untuk menggunakan port 514/udp dan 515/udp. Contohnya:

   (echo <credentials>) | docker run --name LogCollector1 -p 514:514/udp -p 515:515/udp -p 21:21 -p 20000-20099:20000-20099 -e "PUBLICIP='10.0.0.100'" -e "PROXY=" -e "SYSLOG=true" -e "CONSOLE=machine.us2.portal.cloudappsecurity.com" -e "COLLECTOR=LogCollector1" --security-opt apparmor:unconfined --cap-add=SYS_ADMIN --restart unless-stopped -a stdin -i mcr.microsoft.com/mcas/logcollector starter
   

   Contohnya:

   

4. Sebelum menggunakan perintah pada komputer host Anda, ubah perintah untuk menggunakan port kustom Anda. Misalnya, untuk mengonfigurasi pengumpul log untuk menggunakan port UDP 414 dan 415, ubah perintah sebagai berikut:

   (echo <credentials>) | docker run --name LogCollector1 -p 414:514/udp -p 415:515/udp -p 21:21 -p 20000-20099:20000-20099 -e "PUBLICIP='10.0.0.100'" -e "PROXY=" -e "SYSLOG=true" -e "CONSOLE=machine.us2.portal.cloudappsecurity.com" -e "COLLECTOR=LogCollector1" --security-opt apparmor:unconfined --cap-add=SYS_ADMIN --restart unless-stopped -a stdin -i mcr.microsoft.com/mcas/logcollector starter
   

   Contohnya:

   

   Catatan

   Hanya pemetaan Docker yang dimodifikasi. Port yang ditetapkan secara internal tidak diubah memungkinkan Anda memilih port mendengarkan apa pun pada host.

Memvalidasi lalu lintas dan format log yang diterima oleh pengumpul log di Linux

Terkadang, Anda mungkin perlu menyelidiki masalah seperti berikut ini:

• Pengumpul log menerima data: Validasi bahwa pengumpul log menerima pesan Syslog dari appliance Anda dan tidak diblokir oleh firewall.
• Data yang diterima dalam format log yang benar: Validasi format log untuk membantu Anda memecahkan masalah kesalahan penguraian dengan membandingkan format log yang diharapkan oleh Defender untuk Cloud Apps dan yang dikirim oleh appliance Anda.

Gunakan langkah-langkah berikut untuk memverifikasi bahwa lalu lintas diterima oleh pengumpul log:

1. Masuk ke server Anda yang menghosting kontainer Docker.

2. Validasi bahwa pengumpul log menerima pesan Syslog menggunakan salah satu metode berikut:

   • Gunakan tcpdump, atau perintah serupa untuk menganalisis lalu lintas jaringan pada port 514:

     tcpdump -Als0 port 514
     

     Jika semuanya dikonfigurasi dengan benar, Anda akan melihat lalu lintas jaringan dari appliance Anda. Contohnya:

     

   • Gunakan netcat, atau perintah serupa untuk menganalisis lalu lintas jaringan pada komputer host:

     1. Pasang netcat dan wget.

     2. Unduh file log sampel dari Microsoft Defender XDR. Jika diperlukan, unzip file log.

        1. Di Microsoft Defender XDR, di bawah Aplikasi Cloud pilih Tindakan Penemuan>>Cloud Buat laporan rekam jepret Cloud Discovery.

        2. Pilih Sumber data tempat Anda ingin mengunggah file log.

        3. Pilih Tampilkan dan verifikasi lalu klik kanan Unduh log sampel dan salin tautan alamat URL.

        4. Pilih Tutup>Batal.

     3. Jalankan:

        wget <URL_address_to_sample_log>
        

     4. Jalankan netcat untuk mengalirkan data ke pengumpul log.

        cat <path_to_downloaded_sample_log>.log | nc -w 0 localhost <datasource_port>
        

     Jika pengumpul dikonfigurasi dengan benar, data log ada dalam file pesan dan tak lama setelah itu diunggah ke portal aplikasi Defender untuk Cloud.

   • Periksa file yang relevan dalam kontainer Docker Defender untuk Cloud Apps:

     1. Masuk ke kontainer. Jalankan:

        docker exec -it <Container Name> bash
        

     2. Tentukan apakah pesan Syslog sedang ditulis ke file pesan. Jalankan:

        cat /var/adallom/syslog/<your_log_collector_port>/messages
        

     Jika semuanya dikonfigurasi dengan benar, Anda akan melihat lalu lintas jaringan dari appliance Anda. Contohnya:

     

     Catatan

     File ini akan terus ditulis hingga mencapai ukuran 40 KB. Contohnya:

3. Tinjau log yang diunggah ke aplikasi Defender untuk Cloud di /var/adallom/discoverylogsbackup direktori. Contohnya:

   

4. Validasi format log yang diterima oleh pengumpul log dengan membandingkan pesan yang disimpan dalam /var/adallom/discoverylogsbackup format log sampel yang disediakan dalam wizard Defender untuk Cloud Apps Create log collector.

Menulis output file pesan ke file lokal

Jika Anda ingin menggunakan log sampel Anda sendiri tetapi tidak memiliki akses ke appliance, gunakan perintah berikut untuk menulis output file pesan , yang terletak di direktori syslog kolektor log, ke file lokal di host:

docker exec CustomerLogCollectorName tail -f -q /var/adallom/syslog/<datasource_port>/messages > /tmp/log.log

Bandingkan file output (/tmp/log.log) dengan pesan yang disimpan di /var/adallom/discoverylogsbackup direktori.

Memperbarui versi pengumpul log

Saat memperbarui pengumpul log Anda:

• Sebelum menginstal versi baru, pastikan untuk menghentikan pengumpul log Anda dan menghapus gambar saat ini.
• Setelah menginstal versi baru, perbarui file sertifikat Anda.

Langkah berikutnya

Menyebarkan Cloud Discovery

Kebijakan aktivitas pengguna

Jika Anda mengalami masalah, kami di sini untuk membantu. Untuk mendapatkan bantuan atau dukungan untuk masalah produk Anda, buka tiket dukungan.