Bagikan melalui

Menyerap data dari Splunk Universal Forwarder ke Azure Data Explorer

  • Artikel

Penting

Konektor ini dapat digunakan dalam Analitik Real Time di Microsoft Fabric. Gunakan instruksi dalam artikel ini dengan pengecualian berikut:

Splunk Universal Forwarder adalah versi ringan dari perangkat lunak Splunk Enterprise yang memungkinkan Anda untuk menyerap data dari banyak sumber secara bersamaan. Ini dirancang untuk mengumpulkan dan meneruskan data log dan data mesin dari berbagai sumber ke server Splunk Enterprise pusat atau penyebaran Splunk Cloud. Splunk Universal Forwarder berfungsi sebagai agen yang menyederhanakan proses pengumpulan dan penerusan data, menjadikannya komponen penting dalam penyebaran Splunk. Azure Data Explorer adalah layanan eksplorasi data yang cepat dan sangat dapat diskalakan untuk data log dan telemetri.

Dalam artikel ini, pelajari cara menggunakan Konektor Penerus Universal Kusto Splunk untuk mengirim data ke tabel di kluster Anda. Anda awalnya membuat tabel dan pemetaan data, lalu mengarahkan Splunk untuk mengirim data ke dalam tabel, lalu memvalidasi hasilnya.

Prasyarat

Membuat tabel Azure Data Explorer

Buat tabel untuk menerima data dari Splunk Universal Forwarder lalu berikan akses perwakilan layanan ke tabel ini.

Dalam langkah-langkah berikut, Anda membuat tabel bernama SplunkUFLogs dengan satu kolom (RawText). Ini karena Splunk Universal Forwarder mengirim data dalam format teks mentah secara default. Perintah berikut dapat dijalankan di editor kueri UI web.

  1. Buat tabel:

    .create table SplunkUFLogs (RawText: string)

  2. Verifikasi bahwa tabel SplunkUFLogs telah dibuat dan kosong:

    SplunkUFLogs
| count

  3. Gunakan perwakilan layanan dari Prasyarat untuk memberikan izin untuk bekerja dengan database yang berisi tabel Anda.

    .add database YOUR_DATABASE_NAME admins ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra service principal: Splunk UF'

Mengonfigurasi Splunk Universal Forwarder

Saat Anda mengunduh Splunk Universal Forwarder, wizard terbuka untuk mengonfigurasi penerus.

  1. Dalam wizard, atur Pengindeks Penerima untuk menunjuk ke sistem yang menghosting konektor Kusto Splunk Universal Forwarder. Masukkan 127.0.0.1 untuk Nama host atau IP dan 9997 untuk port. Biarkan Pengindeks Tujuan kosong.

    Untuk informasi selengkapnya, lihat Mengaktifkan penerima untuk Splunk Enterprise.

  2. Buka folder tempat Splunk Universal Forwarder diinstal lalu ke folder /etc/system/local . Buat atau ubah file inputs.conf untuk memungkinkan penerus membaca log:

    [default]
index = default
disabled = false

[monitor://C:\Program Files\Splunk\var\log\splunk\modinput_eventgen.log*]
sourcetype = modinput_eventgen

    Untuk informasi selengkapnya, lihat Memantau file dan direktori dengan inputs.conf.

  3. Buka folder tempat Splunk Universal Forwarder diinstal lalu ke folder /etc/system/local . Buat atau ubah file outputs.conf untuk menentukan lokasi tujuan log, yang merupakan nama host dan port sistem yang menghosting konektor Kusto Splunk Universal Forwarder:

    [tcpout]
defaultGroup = default-autolb-group
sendCookedData = false

[tcpout:default-autolb-group]
server = 127.0.0.1:9997

[tcpout-server://127.0.0.1:9997]

    Untuk informasi selengkapnya, lihat Mengonfigurasi penerusan dengan outputs.conf.

  4. Mulai ulang Splunk Universal Forwarder.

Mengonfigurasi konektor Kusto Splunk Universal

Untuk mengonfigurasi konektor Kusto Splunk Universal untuk mengirim log ke tabel Azure Data Explorer Anda:

  1. Unduh atau klon konektor dari repositori GitHub.

  2. Buka direktori dasar konektor:

    cd .\SplunkADXForwarder\

  3. Edit config.yml untuk berisi properti berikut:

    ingest_url: <ingest_url>
client_id: <ms_entra_app_client_id>
client_secret: <ms_entra_app_client_secret>
authority: <ms_entra_authority>
database_name: <database_name>
table_name: <table_name>
table_mapping_name: <table_mapping_name>
data_format: csv
    Bidang Deskripsi
    ingest_url URL penyerapan untuk kluster Azure Data Explorer Anda. Anda dapat menemukannya di portal Azure di bawah URI Penyerapan data di tab Gambaran Umum kluster Anda. Ini harus dalam format https://ingest-<clusterName>.<region>.kusto.windows.net.
    client_id ID klien pendaftaran aplikasi Microsoft Entra Anda yang dibuat di bagian Prasyarat.
    client_secret Rahasia klien pendaftaran aplikasi Microsoft Entra Anda yang dibuat di bagian Prasyarat.
    authority ID penyewa yang menyimpan pendaftaran aplikasi Microsoft Entra Anda yang dibuat di bagian Prasyarat.
    database_name Nama database Azure Data Explorer Anda.
    table_name Nama tabel tujuan Azure Data Explorer Anda.
    table_mapping_name Nama pemetaan data penyerapan untuk tabel Anda. Jika Anda tidak memiliki pemetaan, Anda dapat menghilangkan properti ini dari file konfigurasi. Anda selalu dapat mengurai data ke dalam berbagai kolom nanti.
    data_format Format data yang diharapkan untuk data masuk. Data masuk dalam format teks mentah, sehingga format yang direkomendasikan adalah csv, yang memetakan teks mentah ke indeks nol secara default.

  4. Bangun gambar docker:

    docker build -t splunk-forwarder-listener

  5. Jalankan kontainer docker:

    docker run -p 9997:9997 splunk-forwarder-listener

Verifikasi bahwa data diserap ke Azure Data Explorer

Setelah docker berjalan, data dikirim ke tabel Azure Data Explorer Anda. Anda dapat memverifikasi bahwa data diserap dengan menjalankan kueri di editor kueri UI web.

  1. Jalankan kueri berikut untuk memverifikasi bahwa data diserap ke dalam tabel:

    SplunkUFLogs
| count

  2. Jalankan kueri berikut untuk menampilkan data:

    SplunkUFLogs
| take 100

Konten terkait