Gerçek zamanlı mod sınırlamaları

Bu sayfada, Yapılandırılmış Akış'ta gerçek zamanlı mod için bilinen sınırlamalar açıklanmaktadır.

Kaynak sınırlamaları

Kinesis için gerçek zamanlı mod yoklama modunu desteklemez. Ayrıca sık yapılan yeniden bölümlemler gecikme süresini olumsuz etkileyebilir.

Birleşim sınırlamaları

Union işlecinin bazı sınırlamaları vardır:

• Kendi kendine birleşim desteklenmez:
  • Kafka için, aynı kaynak veri çerçevesi nesnesini ve birleşimden türetilmiş veri çerçevelerini kullanamazsınız. Geçici bir çözüm olarak, aynı kaynaktan okunan farklı DataFrame'ler kullanın.
  • Kinesis için, aynı Kinesis kaynağından türetilen veri çerçevelerini aynı yapılandırmayla ilişkilendiremezsiniz. Geçici bir çözüm olarak, farklı DataFrame'ler kullanmak yerine her DataFrame'e farklı consumerName bir seçenek atayabilirsiniz.
• Durum bilgisi olan işleçler (örneğin, aggregate, deduplicate, transformWithState) Birleşimden önce tanımlanamaz.
• Toplu kaynaklarla birleşim desteklenmez.

mapPartitions Sınırlama

Scala'da mapPartitions ve benzer Python API'leri (mapInPandas, mapInArrow) giriş bölümünün tamamını yineler ve giriş ile çıkış arasında rastgele eşleme ile çıkışın tamamının yineleyicisini oluşturur. Bu API'ler, çıkışın tamamını engelleyerek gerçek zamanlı modda performans sorunlarına neden olabilir ve bu da gecikme süresini artırır. Bu API'lerin semantiği filigran yayılımını iyi desteklemez.

Karmaşık veri türlerini dönüştürme ile birlikte skaler UDF'leri kullanın veya filter bunun yerine benzer işlevler elde edin.

transformWithStateInPandas desteklenmiyor

İşleç transformWithStateInPandas gerçek zamanlı modda desteklenmez. gerçek zamanlı modda Python özel durum bilgisi işlemeye ihtiyacınız varsa, bunun yerine satır tabanlı transformWithState API'sini kullanın. Satır tabanlı API, pandas DataFrames yerine nesneleri kullanarak Row durum bilgisi olan aynı işleme özelliklerini sağlar.

Gerçek zamanlı modda transformWithState davranışıyla ilgili ayrıntılar için gerçek zamanlı modda transformWithState bölümüne bakın ve satır tabanlı API'yi kullanan çalışan Python örneği için Real-time modu örnekleri.