Alma toplu işlemi ilkesi

Sürüm açılan listesini kullanarak hizmetler arasında geçiş yapın. Gezinti hakkında daha fazla bilgi edinin.
Şunlar için geçerlidir: ✅ Microsoft Fabric ✅ Azure Veri Gezgini

Kuyruğa alınan alma işlemi sırasında hizmet, alımdan önce küçük giriş veri öbeklerini birlikte toplu hale getirerek aktarım hızı için iyileştirmeler sağlar. Toplu işlem, kuyruğa alınan alma işlemi tarafından tüketilen kaynakları azaltır ve toplu işlenmemiş alım tarafından üretilen küçük veri parçalarını iyileştirmek için alım sonrası kaynakları gerektirmez.

Alma işleminden önce toplu işlem yapmanın dezavantajı zorlamalı gecikmedir. Bu nedenle, sorgu için hazır olan veriler daha büyük olana kadar uçtan uca veri alımını isteme süresi.

İlkeyi IngestionBatching tanımlarken aktarım hızını iyileştirme ile zaman gecikmesi arasında bir denge bulmanız gerekir. Bu ilke kuyruğa alınan alım için geçerlidir. Küçük blobları birlikte toplu olarak oluştururken izin verilen en yüksek zorlamalı gecikmeyi tanımlar. İlke komutlarını toplu olarak kullanma ve aktarım hızını iyileştirme hakkında daha fazla bilgi edinmek için bkz:

Toplu iş mühürleme

Toplu alım için yaklaşık 1 GB sıkıştırılmamış verinin en uygun boyutu vardır. Çok daha az veriye sahip blobların alınması yetersizdir, bu nedenle kuyruğa alınmış alımda hizmet küçük blobları birlikte işler.

Aşağıdaki listede, toplu işlemi mühürleyen temel toplu işlem ilkesi tetikleyicileri gösterilmektedir. İlk koşul karşılandığında bir toplu iş kapatılır ve alır:

  • Size: Toplu iş boyutu sınırına ulaşıldı veya aşıldı
  • Count: Toplu dosya numarası sınırına ulaşıldı
  • Time: Toplu işlem süresi doldu
  • FlushImmediatly: 'FlushImmediately' göstergesine sahip bir blob bir toplu işlemin mühürlenmiş olmasına neden oldu

İlke IngestionBatching veritabanlarında veya tablolarda ayarlanabilir. Varsayılan değerler şunlardır: en fazla 5 dakika gecikme süresi, 500 öğe, toplam boyut 1 GB.

Önemli

Bu ilkeyi çok küçük değerlere ayarlamanın etkisi, SGS'lerdeki (satılan malların maliyeti) ve performansın azalmasıdır. Buna ek olarak, toplu işlem ilkesi değerlerinin azaltılması, birden çok alım işlemini paralel olarak yönetme yükü nedeniyle etkin uçtan uca alım gecikme süresinin artmasına neden olabilir.

Aşağıdaki listede tek blob alımıyla ilgili toplu işleri mühürleme koşulları gösterilmektedir. Koşullar karşılandığında bir toplu iş kapatılır ve alınıyor:

SystemFlush Koşul ayarlanırsa, sistem temizleme tetiklendiğinde bir toplu iş kapatılır. Parametre kümesiyle SystemFlush sistem, örneğin veritabanı ölçeklendirmesi veya sistem bileşenlerinin iç sıfırlaması nedeniyle verileri temizler.

Varsayılanlar ve sınırlar

Tür Özellik Varsayılan Düşük gecikme süresi ayarı Minimum değer Maksimum değer
Madde sayısı MaximumNumberOfItems 500 500 1 25,000
Veri boyutu (MB) MaximumRawDataSizeMB 1024 1024 100 4096
Time (TimeSpan) MaximumBatchingTimeSpan 00:05:00 00:00:20 - 00:00:30 00:00:10 00:30:00

Alma toplu işlemi ilkesini kullanarak uçtan uca gecikme süresini denetlemenin en etkili yolu, daha yüksek gecikme süresi gereksinimlerine göre tablo veya veritabanı düzeyinde zaman sınırını değiştirmektir. Veritabanı düzeyi ilkesi, veritabanında tablo düzeyi ilkesi tanımlanmamış tüm tabloları ve yeni oluşturulan tabloları etkiler.

Önemli

Düşük giriş tablolarında Alma Toplu İşlem ilkesinin zaman sınırını çok düşük ayarlarsanız, veritabanı yeni oluşturulan veri parçalarını iyileştirmeye çalıştığından ek işlem ve depolama çalışmalarına neden olabilirsiniz. Veri parçaları hakkında daha fazla bilgi için bkz . kapsamlar.

Batch veri boyutu

Toplu işlem ilkesi veri boyutu sıkıştırılmamış veriler için ayarlanır. Parquet, AVRO ve ORC dosyaları için tahmin, dosya boyutuna göre hesaplanır. Sıkıştırılmış veriler için sıkıştırılmamış veri boyutu aşağıdaki gibi azalan doğruluk sırasına göre değerlendirilir:

  1. Alma kaynağı seçeneklerinde sıkıştırılmamış boyut sağlanırsa, bu değer kullanılır.
  2. SDK'lar kullanılarak yerel dosyalar alınırken zip arşivleri ve gzip akışları ham boyutlarını değerlendirmek için incelenir.
  3. Önceki seçenekler veri boyutu sağlamıyorsa sıkıştırılmamış veri boyutunu tahmin etmek için sıkıştırılmış veri boyutuna bir faktör uygulanır.

Toplu işlem gecikme süreleri

Gecikme süreleri, toplu işlem ilkesi ayarları kullanılarak giderilebilen birçok nedenden kaynaklanabilir.

Nedeni Çözüm
Veri gecikme süresi, veya time sınırına size ulaşamayacak count kadar az veriyle ayarla eşleşir Sınırı azaltma time
Çok fazla sayıda çok küçük dosya nedeniyle verimsiz toplu işlem Kaynak dosyaların boyutunu artırın. Kafka Havuzu kullanıyorsanız, verileri yaklaşık 100 KB veya daha yüksek öbekler halinde gönderecek şekilde yapılandırın. Çok sayıda küçük dosyanız varsa, veritabanında veya tablo alma ilkesinde (2000'e kadar) artırın count .
Büyük miktarda sıkıştırılmamış verileri toplu olarak oluşturma Bu, Parquet dosyalarını alırken sık karşılaşılan bir durumdur. Tablo veya veritabanı toplu işlem ilkesi için artımlı olarak 250 MB'a düşürerek size iyileştirme olup olmadığını denetleyin.
Veritabanı ölçeklendirildiği için kapsam Veritabanınızın ölçeğini genişletmek veya ölçeğini genişletmek için azure danışmanı önerilerini kabul edin. Alternatif olarak, kapsamın kapalı olup olmadığını görmek için veritabanınızı el ile ölçeklendirin. Bu seçenekler işe yaramazsa yardım için desteğe başvurun.
  • Last updated on