Sürekli veri dışa aktarmaya genel bakış

Sürüm açılan listesini kullanarak hizmetler arasında geçiş yapın. Gezinti hakkında daha fazla bilgi edinin.
Şunlar için geçerlidir: ✅ Microsoft Fabric ✅ Azure Veri Gezgini

Bu makalede, düzenli aralıklarla çalıştırılacak sorguyla verilerin Kusto'dan bir dış tabloya sürekli dışarı aktarıldığı açıklanmaktadır. Sonuçlar, Azure Blob Depolama gibi hedefi ve dışarı aktarılan verilerin şemasını tanımlayan dış tabloda depolanır. Bu işlem, bazı özel durumlar dışında tüm kayıtların "tam olarak bir kez" dışarı aktarıldığını garanti eder.

Varsayılan olarak, sürekli dışarı aktarma, tüm düğümlerin eşzamanlı olarak dışarı aktarıldığı dağıtılmış modda çalışır, bu nedenle yapıt sayısı düğüm sayısına bağlıdır. Sürekli dışarı aktarma, düşük gecikme süreli akış verileri için tasarlanmamıştır.

Sürekli veri dışarı aktarmayı etkinleştirmek için bir dış tablo oluşturun ve ardından dış tabloya işaret eden bir sürekli dışarı aktarma tanımı oluşturun.

İzinler

Tüm sürekli dışarı aktarma komutları en az Veritabanı Yöneticisi izinleri gerektirir.

Sürekli dışarı aktarma yönergeleri

• Çıkış şeması:

  • Dışarı aktarma sorgusunun çıkış şeması, dışarı aktardığınız dış tablonun şemasıyla eşleşmelidir.

• Sıklık:

  • Sürekli dışarı aktarma özelliğinde bunun için yapılandırılan süreye intervalBetweenRuns göre çalışır. Bu aralık için önerilen değer, kabul etmek istediğiniz gecikme sürelerine bağlı olarak en az birkaç dakikadır. Alım oranı yüksekse, zaman aralığı bir dakika kadar düşük olabilir.

    Not

    yalnızca intervalBetweenRuns bir öneri görevi görür ve kesin olması garanti edilmemektedir. Sürekli dışarı aktarma, düzenli aralıklarla toplamaları dışarı aktarmak için uygun değildir. Örneğin, intervalBetweenRuns=1h saatlik toplama (T | summarize by bin(Timestamp, 1h)) ile yapılandırması beklendiği gibi çalışmaz çünkü sürekli dışarı aktarma tam olarak saat içinde çalışmaz. Bu nedenle, her saatlik bölme dışarı aktarılan verilerde birden çok giriş alır.

• Dosya sayısı:

  • Her sürekli dışarı aktarma yinelemesinde dışarı aktarılan dosyaların sayısı, dış tablonun nasıl bölümlendiğine bağlıdır. Daha fazla bilgi için bkz . Dış tabloya aktarma komutu. Her sürekli dışarı aktarma yinelemesi her zaman yeni dosyalara yazılır ve hiçbir zaman mevcut dosyalara eklenmez. Sonuç olarak, dışarı aktarılan dosyaların sayısı sürekli dışarı aktarmanın çalışma sıklığına da bağlıdır. Frequency parametresidir intervalBetweenRuns.

• Dış tablo depolama hesapları:

  • En iyi performans için veritabanı ve depolama hesapları aynı Azure bölgesinde birlikte bulunmalıdır.
  • Sürekli dışarı aktarma, tüm düğümlerin eşzamanlı olarak dışarı aktarıldığı dağıtılmış bir şekilde çalışır. Büyük veritabanlarında ve dışarı aktarılan veri hacmi büyükse, bu durum depolama azaltmaya yol açabilir. Öneri, dış tablo için birden çok depolama hesabı yapılandırmaktır. Daha fazla bilgi için bkz.dışarı aktarma komutları sırasında depolama hataları .

Tam olarak bir kez dışarı aktarma

"Tam olarak bir kez" dışarı aktarmayı garanti etmek için, sürekli dışarı aktarma veritabanı imleçlerini kullanır. Sürekli dışarı aktarma sorgusu zaman damgası filtresi içermemelidir; veritabanı imleçleri mekanizması kayıtların birden çok kez işlenmemesini sağlar. Sorguya zaman damgası filtresi eklemek, dışarı aktarılan verilerde eksik verilere yol açabilir.

IngestionTime ilkesi , dışarı aktarmada "tam olarak bir kez" işlenmesi gereken sorguda başvuruda bulunulan tüm tablolarda etkinleştirilmelidir. İlke, yeni oluşturulan tüm tablolarda varsayılan olarak etkinleştirilir.

"Tam olarak bir kez" dışarı aktarma garantisi yalnızca dışarı aktarılan yapıtları göster komutunda bildirilen dosyalar içindir. Sürekli dışarı aktarma, her kaydın dış tabloya yalnızca bir kez yazıldığını garanti etmez. Dışarı aktarma başladıktan sonra bir hata oluşursa ve bazı yapıtlar zaten dış tabloya yazılmışsa, dış tablo yinelenenler içerebilir. Yazma işlemi tamamlanmadan önce durdurulduysa, dış tablo bozuk dosyalar içerebilir. Böyle durumlarda, yapıtlar dış tablodan silinmez, ancak dışarı aktarılan yapıtları göster komutubildirilir. Dışarı aktarılan dosyaları kullanarak kullanmak show exported artifacts command yineleme veya bozulma olmamasını garanti eder.

Olgu ve boyut tablolarından dışarı aktarma

Varsayılan olarak, dışarı aktarma sorgusunda başvurulan tüm tabloların olgu tabloları olduğu varsayılır. Bu nedenle, bunların kapsamı veritabanı imlecine göre belirlenmiş durumdadır. Söz dizimi, hangi tabloların kapsamı (olgu) olduğunu ve hangilerinin kapsamı (boyut) olmadığını açıkça bildirir. over Ayrıntılar için create komutundaki parametresine bakın.

Dışarı aktarma sorgusu yalnızca önceki dışarı aktarma yürütmeden sonra katılan kayıtları içerir. Dışarı aktarma sorgusu, boyut tablosunun tüm kayıtlarının tüm dışarı aktarma sorgularına dahil olduğu boyut tablolarını içerebilir. Sürekli dışarı aktarmada olgu ve boyut tabloları arasında birleştirmeler kullanılırken olgu tablosundaki kayıtların yalnızca bir kez işlendiğini unutmayın. Bazı anahtarlar için boyut tablolarındaki kayıtlar eksikken dışarı aktarma çalıştırılırsa, ilgili anahtarların kayıtları kaçırılır veya dışarı aktarılan dosyalardaki boyut sütunları için null değerler içerir. Yanıtsız veya null kayıtları döndürmek, sorgunun iç veya dış birleştirme kullanıp kullanmadığına bağlıdır. forcedLatency Sürekli dışarı aktarma tanımındaki özellik, olgu ve boyut tablolarının aynı zamanda eşleşen kayıtlar için alındığı durumlarda yararlı olabilir.

Not

Yalnızca boyut tablolarının sürekli dışarı aktarımı desteklenmez. Dışarı aktarma sorgusu en az bir olgu tablosu içermelidir.

Sürekli dışarı aktarmayı izleme

Aşağıdaki dışarı aktarma ölçümlerini kullanarak sürekli dışarı aktarma işlerinizin durumunu izleyin:

• Continuous export max lateness - Veritabanındaki sürekli dışarı aktarmaların en uzun gecikme süresi (dakika cinsinden). Bu, veritabanındaki tüm sürekli dışarı aktarma işlerinin şu an ile en az ExportedTo zamanı arasındaki süredir. Daha fazla bilgi için bkz .show continuous export . komut.
• Continuous export result - Her bir sürekli dışarı aktarma yürütmesinin başarılı/başarısız sonucu. Bu ölçüm, sürekli dışarı aktarma adıyla bölünebilir.

.show continuous export failures Sürekli dışarı aktarma işinin belirli hatalarını görmek için komutunu kullanın.

Uyarı

Kalıcı bir hata nedeniyle sürekli dışarı aktarma işlemi 7 günden fazla başarısız olursa, dışarı aktarma sistem tarafından otomatik olarak devre dışı bırakılır. Kalıcı hatalar şunlardır: dış tablo bulunamadı, sürekli dışarı aktarma sorgusu şeması ile dış tablo şeması arasındaki uyumsuzluk, depolama hesabına erişilemiyor. Hata düzeltildikten sonra komutunu kullanarak sürekli dışarı aktarmayı .enable continuous export yeniden etkinleştirebilirsiniz.

Kaynak kullanımı

• Sürekli dışarı aktarmanın veritabanındaki etkisi, sürekli dışarı aktarmanın çalıştığı sorguya bağlıdır. CPU ve bellek gibi kaynakların çoğu sorgu yürütmesi tarafından kullanılır.
• Eşzamanlı olarak çalışabilen dışarı aktarma işlemlerinin sayısı veritabanının veri dışarı aktarma kapasitesiyle sınırlıdır. Veritabanı tüm sürekli dışarı aktarmaları işlemek için yeterli kapasiteye sahip değilse, bazıları geride kalır.
• Kaynak tüketimini tahmin etmek için komutları ve sorguları göster komutu kullanılabilir.
  • Sürekli dışarı aktarma ile ilişkili komutları ve sorguları görüntülemek için filtreleyin | where ClientActivityId startswith "RunContinuousExports" .

Geçmiş verileri dışarı aktarma

Sürekli dışarı aktarma, verileri yalnızca oluşturma noktasından dışarı aktarmaya başlar. Bu süreden önce alınan kayıtlar, sürekli olmayan dışarı aktarma komutu kullanılarak ayrı olarak dışarı aktarılmalıdır. Geçmiş veriler tek bir dışarı aktarma komutunda dışarı aktarılamayacak kadar büyük olabilir. Gerekirse sorguyu birkaç küçük toplu iş halinde bölümleyin.

Sürekli dışarı aktarma tarafından dışarı aktarılan verilerle yinelemeleri önlemek için, sürekli dışarı aktarmayı göster komutuStartCursor Örneğin:

.show continuous-export MyExport | project StartCursor

StartCursor
636751928823156645

Ardından:

.export async to table ExternalBlob
<| T | where cursor_before_or_at("636751928823156645")

Satır Düzeyi Güvenliği olan bir tablodan sürekli dışarı aktarma

Satır düzeyi güvenlik ilkesine sahip bir tabloya başvuran bir sorguyla sürekli dışarı aktarma işi oluşturmak için şunları yapın:

• Verilerin dışarı aktarıldığı dış tablo için kimliğe bürünme kimlik doğrulamasını kullanın.

Delta tablosuna sürekli dışarı aktarma

Önemli

Delta tablosu bölümleme sürekli veri dışarı aktarmada desteklenmez.

Delta protokolü yazıcı sürümü 1'den yüksekse Kusto var olan delta tablolarına yazmaz.

Delta tablosuna sürekli dışarı aktarmayı tanımlamak için aşağıdaki adımları uygulayın:

1. Azure Depolama'da delta dış tabloları oluşturma ve değiştirme başlığında açıklandığı gibi bir dış delta tablosu oluşturun.

   Not

   Şema sağlanmadıysa Kusto, hedef depolama kapsayıcısında zaten tanımlanmış bir delta tablosu varsa bunu otomatik olarak çıkarsamayı dener.
   Delta tablosu bölümleme desteklenmez.

2. Sürekli dışarı aktarma oluşturma veya değiştirme başlığında açıklanan komutları kullanarak bu tabloya sürekli dışarı aktarma tanımlayın.

   Önemli

   Delta tablosunun şeması sürekli dışarı aktarma sorgusuyla eşitlenmiş olmalıdır. Temel delta tablosu değişirse dışarı aktarma işlemi beklenmeyen bir davranışla başarısız olabilir.

Sınırlamalar

Genel:

• Hedef tablolarda aşağıdaki biçimlere izin verilir: CSV, TSV, JSONve Parquet.
• Sürekli dışarı aktarma,gerçekleştirilmiş görünümler üzerinde çalışacak şekilde tasarlanmamıştır çünkü gerçekleştirilmiş bir görünüm güncelleştirilebilirken, depolama alanına aktarılan veriler her zaman eklenir ve hiçbir zaman güncelleştirilmez.
• İzleyici veritabanları salt okunur olduğundan ve sürekli dışarı aktarma için yazma işlemleri gerektiğinden, takipçi veritabanlarında sürekli dışarı aktarma oluşturulamaz.
• için Parquet sürekli dışarı aktarma, sütun başına kodlama ek yükünden dolayı çok sayıda sütuna sahip tablolarda düşük performansla karşılaşabilir.
• Kaynak tablodaki kayıtlar, güncelleştirme ilkesi kullanılarak veya sorgu komutlarından alınarak doğrudan tabloya alınmalıdır. Kayıtlar .move kapsamları kullanılarak veya .rename tablosu kullanılarak tabloya taşınırsa, sürekli dışarı aktarma bu kayıtları işlemeyebilir. Veritabanı İmleçleri sayfasında açıklanan sınırlamalara bakın.
• Sürekli dışarı aktarma tarafından kullanılan yapıtlar Event Grid bildirimlerini tetikleme amaçlıysa, Event Grid belgelerindeki bilinen sorunlar bölümüne bakın.

Veritabanları arası ve çapraz Eventhouse:

• Sürekli dışarı aktarma, Çapraz Eventhouse çağrılarını desteklemez.
• Sürekli dışarı aktarma yalnızca boyut tabloları için veritabanları arası çağrıları destekler. Tüm olgu tabloları yerel veritabanında bulunmalıdır. Olgu ve boyut tablolarından dışarı aktarma makalesindeki diğer ayrıntılara bakın.

İlkeler:

• Belirli koşullar karşılanmadığı sürece Satır Düzeyi Güvenlik ilkesi olan bir tabloda sürekli dışarı aktarma etkinleştirilemiyor. Daha fazla bilgi için bkz . Satır Düzeyi Güvenliği olan bir tablodan sürekli dışarı aktarma.
• Sürekli dışarı aktarma, kısıtlı görünüm erişim ilkesine sahip bir tabloda yapılandırılamaz.

İlgili içerik

• .create veya alter continuous-export
• Dış tabloları