Tutorial: Menambahkan transformasi untuk data ruang kerja Azure Cosmos DB dengan menggunakan portal Azure

Artikel
08/15/2024

Tutorial ini memandu Anda melalui konfigurasi transformasi sampel dalam aturan pengumpulan data ruang kerja (DCR) dengan menggunakan portal Azure.

Catatan

Untuk membantu meningkatkan biaya untuk mengaktifkan Analitik Log, kami sekarang mendukung penambahan Aturan Pengumpulan Data dan transformasi pada sumber daya Log Analytics Anda untuk memfilter kolom, mengurangi jumlah hasil yang dikembalikan, dan membuat kolom baru sebelum data dikirim ke tujuan.

Transformasi ruang kerja disimpan bersama-sama dalam satu DCR untuk ruang kerja, yang disebut DCR ruang kerja. Setiap transformasi dikaitkan dengan tabel tertentu. Transformasi diterapkan ke semua data yang dikirim ke tabel ini dari alur kerja apa pun yang tidak menggunakan DCR.

Catatan

Tutorial ini menggunakan portal Azure untuk mengonfigurasi transformasi ruang kerja. Untuk tutorial yang sama menggunakan templat Azure Resource Manager dan REST API, lihat Tutorial: Menambahkan transformasi dalam aturan pengumpulan data ruang kerja ke Azure Monitor menggunakan templat resource manager.

Dalam tutorial ini, Anda akan mempelajari cara:

Mengonfigurasi transformasi ruang kerja untuk tabel di ruang kerja Analitik Log.
Menulis kueri log untuk transformasi ruang kerja.

Prasyarat

Untuk menyelesaikan tutorial ini, Anda perlu:

Ruang kerja Analitik Log tempat Anda memiliki setidaknya hak kontributor.
Izin untuk membuat objek DCR di ruang kerja.
Tabel yang sudah memiliki beberapa data.
Tabel tidak dapat ditautkan ke DCR transformasi ruang kerja.

Gambaran umum tutorial

Dalam tutorial ini, Anda mengurangi persyaratan penyimpanan untuk CDBDataPlaneRequests tabel dengan memfilter rekaman tertentu. Anda juga menghapus konten kolom saat mengurai data kolom untuk menyimpan sepotong data dalam kolom kustom. Tabel CDBDataPlaneRequests dibuat saat Anda mengaktifkan analitik log di ruang kerja.

Tutorial ini menggunakan portal Azure, yang menyediakan wizard untuk memandu Anda melalui proses pembuatan transformasi waktu penyerapan. Setelah menyelesaikan langkah-langkahnya, Anda akan melihat bahwa wizard:

Memperbarui skema tabel dengan kolom lain dari kueri.
WorkspaceTransformation Membuat DCR dan menautkannya ke ruang kerja jika DCR default belum ditautkan ke ruang kerja.
Membuat transformasi waktu penyerapan dan menambahkannya ke DCR.

Mengaktifkan log audit kueri

Anda perlu mengaktifkan analitik log untuk ruang kerja Anda untuk membuat CDBDataPlaneRequests tabel yang sedang Anda kerjakan. Langkah ini tidak diperlukan untuk semua transformasi waktu penyerapan. Ini hanya untuk menghasilkan data sampel yang sedang kami kerjakan.

Menambahkan transformasi ke tabel

Sekarang setelah tabel dibuat, Anda dapat membuat transformasi untuknya.

Pada menu ruang kerja Analitik Log di portal Azure, pilih Tabel. Cari tabel CDBDataPlaneRequests dan pilih Buat transformasi.
Karena transformasi ini adalah yang pertama di ruang kerja, Anda harus membuat DCR transformasi ruang kerja. Jika Anda membuat transformasi untuk tabel lain di ruang kerja yang sama, transformasi tersebut disimpan dalam DCR yang sama ini. Pilih Buat aturan pengumpulan data baru. Grup Langganan dan Sumber Daya sudah diisi untuk ruang kerja. Masukkan nama untuk DCR dan pilih Selesai.
Pilih Berikutnya untuk menampilkan data sampel dari tabel. Saat Anda menentukan transformasi, hasilnya diterapkan ke data sampel. Untuk alasan ini, Anda dapat mengevaluasi hasil sebelum menerapkannya ke data aktual. Pilih Editor transformasi untuk menentukan transformasi.
Di editor transformasi, Anda dapat melihat transformasi yang diterapkan ke data sebelum penyerapannya ke dalam tabel. Tabel virtual bernama source mewakili data masuk, yang memiliki kumpulan kolom yang sama dengan tabel tujuan itu sendiri. Transformasi awalnya berisi kueri sederhana yang mengembalikan source tabel tanpa perubahan.
Ubah kueri ke contoh berikut:
```
source
| where StatusCode != 200 // searching for requests that are not successful
| project-away Type, TenantId
```
Modifikasi membuat perubahan berikut:
- Baris yang terkait dengan kueri tabel itu CDBDataPlaneRequests sendiri dihilangkan untuk menghemat ruang karena entri log ini tidak berguna.
- Data dari TenantId kolom dan Type dihapus untuk menghemat ruang.
- Transformasi juga mendukung penambahan kolom menggunakan extend operator dalam kueri Anda.
Catatan

Menggunakan portal Azure, output dari transformasi akan memulai perubahan pada skema tabel jika diperlukan. Kolom akan ditambahkan agar sesuai dengan hasil transformasi jika belum ada. Pastikan output Anda tidak berisi kolom apa pun yang tidak ingin Anda tambahkan ke tabel. Jika output tidak menyertakan kolom yang sudah ada dalam tabel, kolom tersebut tidak akan dihapus, tetapi data tidak akan ditambahkan.

Setiap kolom kustom yang ditambahkan ke tabel bawaan harus berakhiran _CF. Kolom yang ditambahkan ke tabel kustom tidak perlu memiliki akhiran ini. Tabel kustom memiliki nama yang berakhiran _CL.
Salin kueri ke editor transformasi dan pilih Jalankan untuk menampilkan hasil dari data sampel. Anda dapat memverifikasi bahwa kolom Workspace_CF baru ada dalam kueri.
Pilih Terapkan untuk menyimpan transformasi lalu pilih Berikutnya untuk meninjau konfigurasi. Pilih Buat untuk memperbarui DCR dengan transformasi baru.

Menguji transformasi

Biarkan sekitar 30 menit agar transformasi diterapkan, lalu uji dengan menjalankan kueri terhadap tabel. Transformasi ini hanya memengaruhi data yang dikirim ke tabel setelah transformasi diterapkan.

Untuk tutorial ini, jalankan beberapa contoh kueri untuk mengirim data ke tabel CDBDataPlaneRequests. Sertakan beberapa kueri CDBDataPlaneRequests sehingga Anda dapat memverifikasi bahwa transformasi memfilter rekaman ini.

Pemecahan Masalah

Bagian ini menjelaskan berbagai kondisi kesalahan yang mungkin Anda terima dan cara memperbaikinya.

IntelliSense di Log Analytics tidak mengenali kolom baru di tabel

Cache yang mendorong IntelliSense mungkin membutuhkan waktu hingga 24 jam untuk diperbarui.

Transformasi pada kolom dinamis tidak berfungsi

Masalah yang diketahui saat ini memengaruhi kolom dinamis. Solusi sementara adalah mengurai data kolom dinamis secara eksplisit dengan menggunakan parse_json() sebelum melakukan operasi apa pun terhadapnya.

Langkah berikutnya

Transformasi pengumpulan data

Bagikan melalui