Mengumpulkan log dari file teks dengan Agen Azure Monitor dan menyerap ke Microsoft Azure Sentinel

• Berlaku untuk:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

Artikel ini menjelaskan cara menggunakan Log Kustom melalui konektor AMA untuk memfilter dan menyerap log dalam format file teks dengan cepat dari aplikasi jaringan atau keamanan yang diinstal pada komputer Windows atau Linux.

Banyak aplikasi mencatat data ke file teks alih-alih layanan pencatatan standar seperti log Windows Event atau Syslog. Anda dapat menggunakan Azure Monitor Agent (AMA) untuk mengumpulkan data dalam file teks dengan format nonstandar dari komputer Windows dan Linux. AMA juga dapat memengaruhi transformasi pada data pada saat pengumpulan, untuk mengurainya ke bidang yang berbeda.

Untuk informasi selengkapnya tentang aplikasi di mana Microsoft Sentinel memiliki solusi untuk mendukung pengumpulan log, lihat Log Kustom melalui konektor data AMA - Mengonfigurasi penyerapan data ke Microsoft Azure Sentinel dari aplikasi tertentu.

Untuk informasi umum selengkapnya tentang menyerap log kustom dari file teks, lihat Mengumpulkan log dari file teks dengan Agen Azure Monitor.

Penting

• Log Kustom melalui konektor data AMA saat ini dalam PRATINJAU. Lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure untuk ketentuan hukum tambahan yang berlaku untuk fitur Azure dalam versi beta, pratinjau, atau belum dirilis ke ketersediaan umum.

• Microsoft Sentinel sekarang tersedia secara umum dalam platform operasi keamanan terpadu Microsoft di portal Pertahanan Microsoft. Untuk informasi selengkapnya, lihat Microsoft Azure Sentinel di portal Pertahanan Microsoft.

Prasyarat

Sebelum memulai, Anda harus memiliki sumber daya yang dikonfigurasi dan izin yang sesuai yang ditetapkan, seperti yang dijelaskan di bagian ini.

Prasyarat Microsoft Azure Sentinel

• Instal solusi Microsoft Azure Sentinel yang cocok dengan aplikasi Anda dan pastikan Anda memiliki izin untuk menyelesaikan langkah-langkah dalam artikel ini. Anda dapat menemukan solusi ini di hub Konten di Microsoft Azure Sentinel, dan semuanya menyertakan Log Kustom melalui konektor AMA.

  Untuk daftar aplikasi yang memiliki solusi di hub konten, lihat Instruksi khusus per aplikasi. Jika tidak ada solusi yang tersedia untuk aplikasi Anda, instal Log Kustom melalui solusi AMA .

  Untuk informasi selengkapnya, lihat Menemukan dan mengelola konten di luar kotak Microsoft Azure Sentinel.

• Memiliki akun Azure dengan peran kontrol akses berbasis peran Azure (Azure RBAC) berikut:

  Peran bawaan	Cakupan	Alasan
  - Kontributor Komputer Virtual - Azure Connected Machine    Administrator Sumber Daya	Komputer virtual (VM) Virtual Machine Scale Sets Server dengan Azure Arc yang diaktifkan	Untuk menyebarkan agen
  Peran apa pun yang menyertakan tindakan Microsoft.Resources/penyebaran/*	Langganan Grup sumber daya Aturan pengumpulan data yang ada	Untuk menyebarkan templat Azure Resource Manager
  Kontributor Pemantauan	Langganan Grup sumber daya Aturan pengumpulan data yang ada	Untuk membuat atau mengedit aturan pengumpulan data

Prasyarat penerus log

Aplikasi kustom tertentu dihosting pada appliance tertutup yang mengharuskan pengiriman log mereka ke pengumpul/penerus log eksternal. Dalam skenario seperti itu, prasyarat berikut berlaku untuk penerus log:

• Anda harus memiliki VM Linux yang ditunjuk sebagai penerus log untuk mengumpulkan log.

  • Buat VM Linux di portal Azure.
  • Sistem operasi Linux yang didukung untuk Agen Azure Monitor.

• Jika penerus log Anda bukan komputer virtual Azure, penerus log harus memiliki agen Azure Arc Connected Machine yang terinstal di dalamnya.

• VM penerus log Linux harus menginstal Python 2.7 atau 3. Gunakan perintah python --version atau python3 --version untuk memeriksa. Jika Anda menggunakan Python 3, pastikan diatur sebagai perintah default pada komputer, atau jalankan skrip dengan perintah 'python3' alih-alih 'python'.

• Penerus log harus syslog-ng mengaktifkan daemon atau rsyslog .

• Untuk persyaratan ruang untuk penerus log Anda, lihat Tolok Ukur Performa Agen Azure Monitor. Anda juga dapat meninjau posting blog ini, yang mencakup desain untuk penyerapan yang dapat diskalakan.

• Sumber log, perangkat keamanan, dan appliance Anda harus dikonfigurasi untuk mengirim pesan log mereka ke daemon syslog penerus log alih-alih ke daemon syslog lokal mereka.

Prasyarat keamanan mesin

Konfigurasikan keamanan komputer penerus log sesuai dengan kebijakan keamanan organisasi Anda. Misalnya, konfigurasikan jaringan Anda agar selaras dengan kebijakan keamanan jaringan perusahaan Anda dan ubah port dan protokol di daemon agar selaras dengan kebutuhan Anda. Untuk meningkatkan konfigurasi keamanan komputer Anda, amankan VM Anda di Azure, atau tinjau praktik terbaik ini untuk keamanan jaringan.

Jika perangkat Anda mengirim log melalui TLS karena, misalnya, penerus log Anda berada di cloud, Anda perlu mengonfigurasi daemon syslog (rsyslog atau syslog-ng) untuk berkomunikasi di TLS. Untuk informasi selengkapnya, lihat:

• Mengenkripsi lalu lintas Syslog dengan TLS – rsyslog
• Mengenkripsi pesan log dengan TLS – syslog-ng

Mengonfigurasi konektor data

Proses penyiapan untuk Log Kustom melalui konektor data AMA mencakup langkah-langkah berikut:

1. Buat tabel tujuan di Analitik Log (atau Perburuan Tingkat Lanjut jika Anda berada di portal Defender).

   Nama tabel harus diakhir dengan _CL dan hanya boleh terdiri dari dua bidang berikut:

   • TimeGenerated (jenis DateTime): tanda waktu pembuatan pesan log.
   • RawData (dari jenis String): pesan log secara keseluruhan.
     (Jika Anda mengumpulkan log dari penerus log dan tidak langsung dari perangkat yang menghosting aplikasi, beri nama bidang iniPesan alih-alih RawData.)

2. Instal Agen Azure Monitor dan buat Aturan Pengumpulan Data (DCR) dengan menggunakan salah satu metode berikut:

   • Portal Azure atau Defender
   • Templat Azure Resource Manager

3. Jika Anda mengumpulkan log menggunakan penerus log, konfigurasikan daemon syslog di komputer tersebut untuk mendengarkan pesan dari sumber lain, dan buka port lokal yang diperlukan. Untuk detailnya, lihat Mengonfigurasi penerus log untuk menerima log.

Pilih tab yang sesuai untuk instruksi.

Portal Azure atau Defender

Buat aturan pengumpulan data (DCR)

Untuk memulai, buka Log Kustom melalui konektor data AMA di Microsoft Sentinel dan buat aturan pengumpulan data (DCR).

1. Untuk Microsoft Azure Sentinel di portal Azure, di bawah Konfigurasi, pilih Konektor data.
   Untuk Microsoft Azure Sentinel di portal Defender, pilih konektor Data Konfigurasi>Microsoft Sentinel.>

2. Ketik kustom di kotak Pencarian . Dari hasilnya, pilih Log Kustom melalui konektor AMA .

3. Pilih Buka halaman konektor pada panel detail.

   

4. Di area Konfigurasi, pilih +Buat aturan pengumpulan data.

   

5. Di tab Dasar :

   • Ketik nama DCR.
   • Pilih langganan Anda.
   • Pilih grup sumber daya tempat Anda ingin menemukan DCR Anda.

   

6. Pilih Berikutnya: Sumber Daya>.

Menentukan sumber daya VM

Di tab Sumber Daya , pilih komputer tempat Anda ingin mengumpulkan log. Ini adalah mesin tempat aplikasi Anda diinstal, atau mesin penerus log Anda. Jika komputer yang Anda cari tidak muncul dalam daftar, komputer tersebut mungkin bukan Azure VM dengan agen Azure Connected Machine yang diinstal.

1. Gunakan filter atau kotak pencarian yang tersedia untuk menemukan komputer yang Anda cari. Perluas langganan dalam daftar untuk melihat grup sumber dayanya, dan grup sumber daya untuk melihat VM-nya.

2. Pilih komputer yang ingin Anda kumpulkan lognya. Kotak centang muncul di samping nama VM saat Anda mengarahkan mouse ke atasnya.

   

   Jika komputer yang Anda pilih belum menginstal Agen Azure Monitor, agen diinstal saat DCR dibuat dan disebarkan.

3. Tinjau perubahan Anda dan pilih Berikutnya: Kumpulkan >.

Mengonfigurasi DCR untuk aplikasi Anda

1. Di tab Kumpulkan , pilih aplikasi atau jenis perangkat Anda dari kotak drop-down Pilih jenis perangkat (opsional), atau biarkan sebagai Tabel baru kustom jika aplikasi atau perangkat Anda tidak tercantum.

2. Jika Anda memilih salah satu aplikasi atau perangkat yang tercantum, bidang Nama tabel secara otomatis diisi dengan nama tabel yang tepat. Jika Anda memilih Tabel baru kustom, masukkan nama tabel di bawah Nama tabel. Nama harus diakhiri dengan akhiran _CL .

3. Di bidang Pola file, masukkan jalur dan nama file file log teks yang akan dikumpulkan. Untuk menemukan nama dan jalur file default untuk setiap jenis aplikasi atau perangkat, lihat Instruksi khusus per jenis aplikasi. Anda tidak perlu menggunakan nama atau jalur file default, dan Anda dapat menggunakan kartubebas dalam nama file.

4. Di bidang Transformasi, jika Anda memilih tabel baru kustom di langkah 1, masukkan kueri Kusto yang menerapkan transformasi pilihan Anda ke data.

   Jika Anda memilih salah satu aplikasi atau perangkat yang tercantum di langkah 1, bidang ini secara otomatis diisi dengan transformasi yang tepat. JANGAN edit transformasi yang muncul di sana. Bergantung pada jenis yang dipilih, nilai ini harus menjadi salah satu dari berikut ini:

   • source (default—tidak ada transformasi)
   • source | project-rename Message=RawData (untuk perangkat yang mengirim log ke penerus)

5. Tinjau pilihan Anda dan pilih Berikutnya: Tinjau + buat.

Meninjau dan membuat aturan

Setelah Anda menyelesaikan semua tab, tinjau apa yang Anda masukkan dan buat aturan pengumpulan data.

1. Di tab Tinjau dan buat , pilih Buat.

   

   Konektor menginstal Agen Azure Monitor pada komputer yang Anda pilih saat membuat DCR Anda.

2. Periksa pemberitahuan di portal portal Azure atau Microsoft Defender untuk melihat kapan DCR dibuat dan agen diinstal.

3. Pilih Refresh pada halaman konektor untuk melihat DCR yang ditampilkan dalam daftar.

Templat Azure Resource Manager

Menginstal Agen Azure Monitor

Ikuti instruksi yang sesuai dari dokumentasi Azure Monitor untuk menginstal Agen Azure Monitor di komputer yang menghosting aplikasi Anda, atau di penerus log Anda. Gunakan instruksi untuk Windows atau untuk Linux, sebagaimana mewajarkan.

• Menginstal AMA menggunakan PowerShell
• Menginstal AMA menggunakan Azure CLI
• Menginstal AMA menggunakan templat Azure Resource Manager

Buat Aturan Pengumpulan Data (DCR) menggunakan API Penyerapan Log Azure Monitor. Untuk informasi selengkapnya, lihat Aturan pengumpulan data di Azure Monitor.

Membuat aturan pengumpulan data

Gunakan templat ARM berikut untuk membuat atau memodifikasi DCR untuk mengumpulkan file log teks:

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Ganti nilai {PLACE_HOLDER} dengan nilai berikut:

Placeholder	Nilai
{DCR_NAME}	Nama yang Anda pilih untuk Aturan Pengumpulan Data Anda. Ini harus unik dalam ruang kerja Anda.
{DCR_LOCATION}	Wilayah tempat grup sumber daya yang berisi DCR berada.
{TABLE_NAME}	Nama tabel tujuan di Analitik Log. Harus diakhir dengan _CL.
{LOCAL_PATH_FILE_1} (diperlukan), {LOCAL_PATH_FILE_2} (opsional)	Jalur dan nama file file teks yang berisi log yang ingin Anda kumpulkan. Ini harus ada di komputer tempat Agen Azure Monitor diinstal.
{WORKSPACE_RESOURCE_PATH}	Jalur sumber daya Azure dari ruang kerja Microsoft Azure Sentinel Anda.
{WORKSPACE_ID}	GUID ruang kerja Microsoft Azure Sentinel Anda.

Mengaitkan DCR dengan Agen Azure Monitor

Jika Anda membuat DCR menggunakan templat ARM, Anda masih harus mengaitkan DCR dengan agen yang akan menggunakannya. Anda dapat mengedit DCR di portal Azure dan memilih agen seperti yang dijelaskan dalam Menentukan sumber daya VM.

Mengonfigurasi penerus log untuk menerima log

Jika Anda mengumpulkan log dari appliance menggunakan penerus log, konfigurasikan daemon syslog di penerus log untuk mendengarkan pesan dari komputer lain, dan buka port lokal yang diperlukan.

1. Salin baris perintah berikut:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Masuk ke mesin penerus log tempat Anda baru saja menginstal AMA.

3. Tempelkan perintah yang Anda salin di langkah terakhir untuk meluncurkan skrip penginstalan.
   Skrip mengonfigurasi rsyslog daemon atau syslog-ng untuk menggunakan protokol yang diperlukan dan memulai ulang daemon. Skrip membuka port 514 untuk mendengarkan pesan masuk dalam protokol UDP dan TCP. Untuk mengubah pengaturan ini, lihat file konfigurasi daemon syslog sesuai dengan jenis daemon yang berjalan pada komputer:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Jika Anda menggunakan Python 3, dan tidak diatur sebagai perintah default pada komputer, ganti python3 python di perintah yang ditempelkan. Lihat Prasyarat penerus log.

   Catatan

   Untuk menghindari skenario Disk Penuh di mana agen tidak dapat berfungsi, kami sarankan Anda mengatur syslog-ng konfigurasi atau rsyslog untuk tidak menyimpan log yang tidak diperlukan. Skenario Disk Penuh mengganggu fungsi AMA yang diinstal. Untuk informasi selengkapnya, lihat RSyslog atau Syslog-ng.

Mengonfigurasi perangkat keamanan atau appliance

Untuk instruksi khusus untuk mengonfigurasi aplikasi atau appliance keamanan Anda, lihat Log Kustom melalui konektor data AMA - Mengonfigurasi penyerapan data ke Microsoft Sentinel dari aplikasi tertentu

Hubungi penyedia solusi untuk informasi lebih lanjut atau jika informasi tidak tersedia untuk appliance atau perangkat.

Konten terkait

• Aturan pengumpulan data di Azure Monitor
• Mengumpulkan log dari file teks dengan Agen Azure Monitor