Gerçek zamanlı mod kavramları

Gerçek zamanlı mod nedir?

Gerçek zamanlı mod, uçtan uca gecikme süresi beş milisaniyeye kadar düşük olan ultra düşük gecikme süresine sahip veri işlemeye olanak tanıyan Yapılandırılmış Akış için bir tetikleyici türüdür. Sahtekarlık algılama ve gerçek zamanlı kişiselleştirme gibi akış verilerine anında yanıt gerektiren operasyonel iş yükleri için gerçek zamanlı modu kullanın.

Gerçek zamanlı mod Lakeflow işlem hatlarında da kullanılabilir. Bkz. Lakeflow işlem hatlarında gerçek zamanlı modu kullanma.

Gerçek zamanlı mod düşük gecikme süresine nasıl ulaşır?

Gerçek zamanlı mod şu şekilde yürütme mimarisini geliştirir:

  • Sistemin, kaynakta veri kullanılabilir hale geldikçe işlediği, varsayılanı beş dakika olan uzun süreli toplu işlemleri yürütmesi.
  • Sorgunun tüm aşamalarını aynı anda zamanlama. Bu, kullanılabilir görev yuvalarının sayısının bir toplu işteki tüm aşamaların görev sayısına eşit veya daha fazla olmasını gerektirir.
  • Akış karıştırma kullanılarak üretildiği anda aşamalar arasında veri geçirme.

Toplu işlemler arasında Yapılandırılmış Akış denetim noktaları ilerleme durumu ve ölçümleri yayımlar. Toplu işlem süresi denetim noktası oluşturma sıklığını etkiler:

  • Daha uzun toplu işlemlerde denetim noktası oluşturma daha az sıklıkta gerçekleşir, bu da hata durumunda daha uzun süren yeniden yürütmeler ve gecikmeli ölçüm kullanılabilirliği anlamına gelir.
  • Daha kısa toplu işlemler için denetim noktası oluşturma işlemi daha sık gerçekleşir ve bu da gecikme süresini etkileyebilir.

Azure Databricks uygun tetikleyici aralığını bulmak için gerçek zamanlı modu hedef iş yükünüzle karşılaştırmanızı önerir.

Gerçek zamanlı mod ne zaman kullanılır?

Kullanım örneğiniz için gereken gerçek zamanlı modu seçin:

  • Saniye altı gecikme süresi: Verilere milisaniye içinde yanıt vermesi gereken uygulamalar. Örneğin, bir dolandırıcılık puanı olağan dışı konuma, büyük işlem boyutuna veya hızlı harcama düzenlerine göre eşiği aşarsa kredi kartı işlemini gerçek zamanlı olarak engelleme veya işaretleme.
  • operasyonel karar alma: Gelen verilere göre anında eylemleri tetikleyen sistemler. Örneğin, tıklama akışı verileri olduğunda promosyon iletisi teslim etmek, kullanıcının bir ürüne göz attığını gösterir ve sonraki 15 dakika içinde satın almaları durumunda indirim sunar.
  • Sürekli işleme: Verilerin düzenli toplu işlemler yerine en kısa sürede işlenmesi gereken iş yükleri.

Kullanım örneğiniz şunları gerektirdiğinde mikro toplu iş modunu (varsayılan Yapılandırılmış Akış tetikleyicisi) kullanın:

  • Analitik işleme: Gecikme süresi gereksinimlerinin saniye veya dakika cinsinden ölçüldüğü ETL işlem hatları, veri dönüşümleri ve madalyon mimari uygulamaları.
  • Maliyet iyileştirme: Gerçek zamanlı mod ayrılmış işlem kaynakları gerektirdiği için saniye alt gecikme süresinin gerekli olmadığı iş yükleri.
  • Daha hızlı kurtarma: Hatadan sonra yeniden yürütme süresini en aza indirmek için sık denetim noktalarına ihtiyaç duyan iş yükleri.

Özellik desteği ve sınırlamaları

Desteklenen ortamların, dillerin, işlem türlerinin, kaynakların, havuzların, işleçlerin ve bilinen sınırlamaların tam listesi için bkz. Gerçek zamanlı mod başvurusu.

Ek kaynaklar

  • Last updated on