Pertanyaan umum tentang pencernaan Azure Data Explorer

Manajer batching buffer dan batch masuk data berdasarkan pengaturan pencernaan dalam kebijakan batching pencernaan. Kebijakan batching pencernaan menetapkan batas batch sesuai dengan tiga faktor pembatas, mana yang pertama kali dicapai: waktu berlalu sejak pembuatan batch, akumulasi jumlah item (blob), atau ukuran batch total. Pengaturan batching default adalah 5 menit/1 GB/1000 blob, yang berarti setidaknya akan ada penundaan 5 menit saat mengantre data sampel untuk pencernaan.

Penyerapan antrean dioptimalkan untuk throughput penyerapan tinggi, dan merupakan jenis penyerapan yang lebih disukai dan paling berkinerja. Sebaliknya, pencernaan streaming dioptimalkan untuk latensi pencernaan rendah. Pelajari selengkapnya tentang antrean versus penyerapan streaming.

Jika pengaturan default untuk kebijakan batching pencernaan tidak sesuai dengan kebutuhan Anda, Anda dapat mencoba menurunkan kebijakan batching time. Lihat Mengoptimalkan throughput. Anda juga harus memperbarui pengaturan saat meningkatkan pencernaan. Saat Anda mengubah pengaturan kebijakan batching, diperlukan waktu hingga 5 menit untuk berlaku.

Latensi pencernaan dapat dihasilkan dari pengaturan kebijakan batching pencernaan, atau penumpukan backlog data. Untuk mengatasi hal ini, sesuaikan pengaturan kebijakan batching. Latensi yang merupakan bagian dari proses pencernaan dapat dipantau.

Untuk melihat metrik latensi penyerapan yang diantrekan, lihat memantau latensi penyerapan. Metrik Stage Latency dan Discovery Latency menunjukkan latensi dalam proses pencernaan, dan mengungkapkan apakah ada latensi panjang.

Anda dapat mempelajari tentang latensi dan menyesuaikan pengaturan dalam kebijakan batching untuk mengatasi masalah yang menyebabkan latensi seperti backlog data, batching yang tidak efisien, batching sejumlah besar data yang tidak terkompresi, atau menelan data dalam jumlah yang sangat kecil.

Ukuran data kebijakan batching ditetapkan untuk data yang tidak terkompresi. Saat mencerna data terkompresi, ukuran data yang dihitung yang tidak terkompresi dari parameter batching pencernaan, metadata file zip, atau faktor atas ukuran file terkompresi.

Anda dapat memantau pencernaan menggunakan metrik, dan dengan menyiapkan dan menggunakan log diagnostik pencernaan untuk pemantauan tingkat tabel terperinci, melihat kode kesalahan pencernaan terperinci, dan sebagainya. Anda dapat memilih metrik tertentu untuk dilacak, memilih cara mengagregasi hasil Anda, dan buat bagan metrik untuk dilihat di dasbor Anda. Lihat selengkapnya tentang metrik streaming dan cara memantau penyerapan antrean.

Anda dapat menggunakan Wawasan Azure Monitor portal untuk membantu Anda memahami kinerja Azure Data Explorer dan bagaimana kinerjanya. Tampilan Wawasan didasarkan pada metrik dan log diagnostik yang dapat dialirkan ke ruang kerja Log Analytics. Gunakan perintah .dup-next-ingest untuk menduplikasi penyerapan berikutnya ke dalam kontainer penyimpanan dan tinjau detail dan metadata penyerapan.

Proses pencernaan penuh dapat dipantau menggunakan metrik pencernaan dan log diagnostik. Kegagalan pencernaan dapat dipantau menggunakan IngestionResult metrik atau FailedIngestion log diagnostik. Perintah menunjukkan .show ingestion failures kegagalan penyerapan yang terkait dengan perintah manajemen penyerapan data, dan tidak disarankan untuk memantau kesalahan. Perintah menyediakan .dup-next-failed-ingest informasi tentang penyerapan gagal berikutnya dengan mengunggah file penyerapan dan metadata ke kontainer penyimpanan. Ini dapat berguna untuk memeriksa aliran penyerapan, meskipun tidak disarankan untuk pemantauan yang stabil.

Metrik yang menyertakan RetryAttemptsExceeded status metrik berkali-kali menunjukkan bahwa pencernaan melebihi batas percobaan coba ulang atau batas rentang waktu setelah kesalahan sementara yang berulang. Jika kesalahan ini juga muncul di log diagnostik dengan kode kesalahanGeneral_RetryAttemptsExceeded dan detail "Gagal mengakses penyimpanan dan mendapatkan informasi untuk blob," ini menunjukkan masalah akses penyimpanan beban tinggi. Selama pencernaan Azure Event Grid, Azure Data Explorer meminta detail blob dari akun penyimpanan. Ketika beban terlalu tinggi pada akun penyimpanan, akses penyimpanan mungkin gagal, dan informasi yang diperlukan untuk pencernaan tidak dapat diambil. Jika upaya melewati jumlah maksimum percobaan ulang yang ditentukan, Azure Data Explorer berhenti mencoba mencerna blob yang gagal. Untuk mencegah masalah beban, gunakan akun penyimpanan premium atau bagi data yang tercerna di lebih banyak akun penyimpanan. Untuk menemukan kesalahan terkait, periksa log diagnostik FailedIngestion untuk kode kesalahan dan untuk jalur blob yang gagal.

Untuk mencerna data historis dalam jumlah besar secara efisien, gunakan LightIngest. Untuk informasi selengkapnya, lihat menyerap data historis. Untuk meningkatkan performa untuk banyak file kecil, sesuaikan kebijakan batching, ubah kondisi batching, dan latensi alamat. Gunakan wizard kebijakan batching untuk mengubah pengaturan kebijakan dengan cepat. Untuk meningkatkan performa pencernaan saat mencerna file data yang sangat besar, gunakan Azure Data Factory (ADF), layanan integrasi data berbasis cloud.

Data salah bentuk, tidak dapat diurai, terlalu besar atau tidak sesuai dengan skema, mungkin gagal diserap dengan benar. Untuk informasi selengkapnya, lihat Penyerapan data yang tidak valid.

Saat mencerna melalui SDK, Anda dapat menggunakan pengaturan kebijakan batching pencernaan untuk meningkatkan kinerja. Coba kurangi secara bertahap ukuran data yang tercerna dalam tabel atau kebijakan batching database ke bawah menuju 250 MB dan periksa apakah ada peningkatan.

Pengguna Kafka Sink harus menyetel konektor untuk bekerja sama dengan kebijakan batching pencernaan dengan menyetel waktu batching, ukuran, dan nomor item.