Menjalankan pekerjaan pencarian di Azure Monitor

Pekerjaan pencarian adalah kueri asinkron yang Anda jalankan pada data apa pun di Analitik Log Anda - di retensi interaktif dan jangka panjang - yang membuat hasil kueri tersedia untuk kueri interaktif di tabel pencarian baru dalam ruang kerja Anda. Pekerjaan pencarian menggunakan pemrosesan paralel dan dapat berjalan selama berjam-jam di seluruh himpunan data yang sangat besar. Artikel ini menjelaskan cara membuat pekerjaan penelusuran dan cara mengkueri data yang dihasilkannya.

Video ini menjelaskan kapan dan bagaimana menggunakan pekerjaan pencarian:

Izin yang diperlukan

Perbuatan	Izin yang diperlukan
Menjalankan pekerjaan pencarian	Microsoft.OperationalInsights/workspaces/tables/write dan Microsoft.OperationalInsights/workspaces/searchJobs/write izin ke ruang kerja Analitik Log, misalnya, seperti yang disediakan oleh peran bawaan Kontributor Analitik Log.

Catatan

Pekerjaan pencarian lintas penyewa saat ini tidak didukung, bahkan ketika penyewa ID Entra dikelola melalui Azure Lighthouse.

Kapan menggunakan pekerjaan pencarian

Gunakan pekerjaan pencarian untuk:

• Ambil rekaman dari retensi dan tabel jangka panjang dengan paket Dasar dan Tambahan ke dalam tabel Analitik baru tempat Anda dapat memanfaatkan kemampuan analitik penuh Log Azure Monitor.
• Pindai melalui data dalam volume besar, jika batas waktu kueri log 10 menit tidak cukup.

Apa fungsi pekerjaan pencarian?

Pekerjaan pencarian mengirimkan hasilnya ke tabel baru di ruang kerja yang sama dengan data sumber. Tabel hasil tersedia segera setelah pekerjaan pencarian dimulai, tetapi mungkin perlu waktu agar hasil mulai muncul.

Tabel hasil pekerjaan pencarian adalah tabel Analitik yang tersedia untuk kueri log dan fitur Azure Monitor lainnya yang menggunakan tabel di ruang kerja. Tabel menggunakan set nilai retensi untuk ruang kerja, tetapi Anda dapat mengubah nilai ini setelah tabel dibuat.

Skema tabel hasil pencarian didasarkan pada skema tabel sumber dan kueri yang ditentukan. Kolom lain berikut ini membantu Anda melacak rekaman sumber:

Kolom	Nilai
_OriginalType	Ketik nilai dari tabel sumber.
_OriginalItemId	_ItemID nilai dari tabel sumber.
_OriginalTimeGenerated	Nilai TimeGenerated dari tabel sumber.
TimeGenerated	Waktu di mana pekerjaan pencarian berjalan.

Kueri pada tabel hasil muncul dalam audit kueri log tetapi bukan pekerjaan pencarian awal.

Menjalankan pekerjaan pencarian

Jalankan pekerjaan pencarian untuk mengambil rekaman dari himpunan data besar ke dalam tabel hasil pencarian baru di ruang kerja Anda.

Tip

Anda dikenakan biaya untuk menjalankan pekerjaan pencarian. Oleh karena itu, tulis dan optimalkan kueri Anda dalam mode kueri interaktif sebelum menjalankan pekerjaan pencarian.

Portal

Untuk menjalankan pekerjaan pencarian, di portal Azure:

1. Dari menu ruang kerja Analitik Log, pilih Log.

2. Pilih menu elipsis di sisi kanan layar dan alihkan mode cari pekerjaan.

   

   Azure Monitor Logs intellisense mendukung batasan kueri KQL dalam mode pekerjaan pencarian untuk membantu Anda menulis kueri pekerjaan pencarian Anda.

3. Tentukan rentang tanggal pekerjaan pencarian menggunakan pemilih waktu.

4. Ketik kueri pekerjaan pencarian dan pilih tombol Cari Pekerjaan .

   Log Azure Monitor meminta Anda untuk memberikan nama untuk tabel kumpulan hasil dan memberi tahu Anda bahwa pekerjaan pencarian tunduk pada penagihan.

   

5. Masukkan nama untuk tabel hasil pekerjaan pencarian dan pilih Jalankan pekerjaan pencarian.

   Log Azure Monitor menjalankan pekerjaan pencarian dan membuat tabel baru di ruang kerja Anda untuk hasil pekerjaan pencarian Anda.

   

6. Saat tabel baru siap, pilih Tampilkan tablename_SRCH untuk menampilkan tabel di Analitik Log.

   

   Anda dapat melihat hasil pekerjaan pencarian saat mulai mengalir ke tabel hasil pekerjaan pencarian yang baru dibuat.

   

   Log Azure Monitor memperlihatkan pekerjaan Pencarian dilakukan pesan di akhir pekerjaan pencarian. Tabel hasil sekarang siap dengan semua rekaman yang cocok dengan kueri pencarian.

   

API

Untuk menjalankan pekerjaan pencarian, panggil API Tabel - Buat atau Perbarui. Panggilan menyertakan nama tabel hasil yang akan dibuat. Nama tabel hasil harus diakhiri dengan _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Badan permintaan

Sertakan nilai-nilai berikut dalam isi permintaan:

Nama	Tipe	Deskripsi
properties.searchResults.query	string	Kueri log ditulis di KQL untuk mengambil data.
properties.searchResults.limit	Integer	Jumlah maksimum catatan dalam hasil yang ditetapkan, hingga satu juta catatan. (Opsional)
properties.searchResults.startSearchTime	string	Mulai dari rentang waktu untuk mencari.
properties.searchResults.endSearchTime	string	Akhir dari rentang waktu untuk mencari.

Permintaan sampel

Contoh ini membuat tabel yang disebut Syslog_suspected_SRCH dengan hasil kueri yang mencari catatan tertentu di tabel Syslog.

Permintaan

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Badan permintaan

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Respons

Kode status: diterima 202.

CLI

Untuk menjalankan pekerjaan pencarian, jalankan perintah az monitor log-analytics workspace search-job create. Nama tabel hasil, yang Anda atur menggunakan --name parameter, harus diakhiri dengan _SRCH.

Contoh

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

PowerShell

Untuk menjalankan pekerjaan pencarian, jalankan perintah New-AzOperationalInsightsSearchTable . Nama tabel hasil, yang Anda atur menggunakan TableName parameter, harus diakhiri dengan _SRCH.

Contoh

New-AzOperationalInsightsSearchTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -TableName HeartbeatByIp_SRCH -SearchQuery "Heartbeat" -StartSearchTime "01-01-2022 00:00:00" -EndSearchTime "01-01-2022 00:00:00"

Mendapatkan status dan detail pekerjaan pencarian

Portal

1. Dari menu ruang kerja Analitik Log, pilih Log.

2. Dari tab Tabel, pilih Hasil pencarian untuk melihat semua tabel hasil pekerjaan pencarian.

   Ikon pada tabel hasil pekerjaan pencarian menampilkan indikasi pembaruan hingga pekerjaan pencarian selesai.

   

API

Panggil API Tabel - Dapatkan untuk mendapatkan status dan detail pekerjaan pencarian:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Status tabel

Setiap tabel pekerjaan pencarian memiliki properti yang disebut provisioningState, yang dapat memiliki salah satu nilai berikut:

Keadaan	Deskripsi
Memperbarui	Mengisi tabel dan skemanya.
SedangBerlangsung	Pekerjaan pencarian sedang berjalan, mengambil data.
Berhasil	Pekerjaan pencarian selesai.
Menghapus	Menghapus tabel pekerjaan pencarian.

Permintaan sampel

Contoh ini mengambil status tabel untuk pekerjaan pencarian di contoh sebelumnya.

Permintaan

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Respons

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

CLI

Untuk memeriksa status dan detail tabel pekerjaan penelusuran, jalankan perintah tampilan tabel ruang kerja analitik log az monitor.

Contoh

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

PowerShell

Untuk memeriksa status dan detail tabel pekerjaan pencarian, jalankan perintah Get-AzOperationalInsightsTable .

Contoh

Get-AzOperationalInsightsTable -ResourceGroupName "ContosoRG" -WorkspaceName "ContosoWorkspace" -tableName "HeartbeatByIp_SRCH"

Catatan

Ketika "-TableName" tidak disediakan, perintah akan mencantumkan semua tabel yang terkait dengan ruang kerja.

Menghapus tabel pekerjaan pencarian

Kami sarankan Anda menghapus tabel pekerjaan pencarian saat Anda selesai mengkueri tabel. Ini mengurangi kekacauan ruang kerja dan biaya tambahan untuk retensi data.

Batasan

Pekerjaan pencarian tunduk pada batasan berikut:

• Dioptimalkan untuk mengkueri satu tabel pada satu waktu.
• Rentang tanggal pencarian hingga satu tahun.
• Mendukung pencarian jangka panjang hingga batas waktu 24 jam.
• Hasil dibatasi hingga satu juta catatan dalam kumpulan catatan.
• Eksekusi bersamaan dibatasi hingga lima pekerjaan pencarian per ruang kerja.
• Terbatas pada 100 tabel hasil pencarian per ruang kerja.
• Terbatas pada 100 eksekusi pekerjaan pencarian per hari per ruang kerja.

Saat Anda mencapai batas rekaman, Azure membatalkan pekerjaan dengan status keberhasilan parsial, dan tabel hanya berisi rekaman yang diserap hingga titik tersebut.

Batasan kueri KQL

Pekerjaan pencarian dimaksudkan untuk memindai data dalam volume besar dalam tabel tertentu. Oleh karena itu, kueri pekerjaan pencarian harus selalu dimulai dengan nama tabel. Untuk mengaktifkan eksekusi asinkron menggunakan distribusi dan segmentasi, kueri mendukung subset KQL, termasuk operator:

• di mana
• perpanjang
• proyek
• project-away
• project-keep
• project-rename
• project-reorder
• Mengurai
• parse-where

Anda dapat menggunakan semua fungsi dan operator biner dalam operator ini.

Rencana harga

Biaya pekerjaan pencarian didasarkan pada:

• Eksekusi pekerjaan pencarian:

  • Rencana analitik - Jumlah data yang dipindai pekerjaan pencarian yang berada dalam retensi jangka panjang. Tidak ada biaya untuk memindai data yang berada dalam retensi interaktif dalam tabel Analytics.
  • Paket dasar atau Tambahan - Semua data yang dipindai pekerjaan pencarian dalam retensi interaktif dan jangka panjang.

  Untuk informasi selengkapnya tentang retensi interaktif dan jangka panjang, lihat Mengelola retensi data di ruang kerja Analitik Log.

• Hasil pekerjaan pencarian - Jumlah data yang ditemukan pekerjaan pencarian dan diserap ke dalam tabel hasil, berdasarkan tingkat penyerapan data untuk tabel Analytics.

Misalnya, jika pencarian pada tabel Dasar mencakup 30 hari dan tabel menyimpan data 500 GB per hari, Anda dikenakan biaya untuk 15.000 GB data yang dipindai. Jika pekerjaan pencarian mengembalikan 1.000 rekaman, Anda akan dikenakan biaya untuk menyerap 1.000 rekaman ini ke dalam tabel hasil.

Untuk informasi selengkapnya, lihat Harga Azure Monitor.

Langkah berikutnya

• Pelajari selengkapnya tentang mengelola retensi data di log Analytics worksapce.
• Pelajari tentang mengkueri tabel Dasar dan Tambahan secara langsung.