Omezení režimu v reálném čase

Tato stránka popisuje známá omezení režimu v reálném čase ve strukturovaném streamování.

Omezení zdroje

U Kinesis režim v reálném čase nepodporuje režim dotazování. Časté předěly můžou mít také negativní dopad na latenci.

Omezení Unie

Operátor Unie má určitá omezení:

• Sjednocení sám se sebou není podporováno:
  • Pro Kafka nemůžete použít stejný zdrojový objekt datového rámce a sjednocovat odvozené datové rámce z něj. Jako alternativní řešení použijte různé datové rámce, které se čtou ze stejného zdroje.
  • U Kinesis nemůžete sjednocovat datové rámce odvozené ze stejného zdroje Kinesis se stejnou konfigurací. Alternativním řešením je místo použití různých datových rámců přiřadit k jednotlivým datovým rámcům jinou consumerName možnost.
• Stavové operátory (například aggregate, deduplicate, transformWithState) nelze definovat před Sjednocením.
• Sjednocení s dávkovými zdroji není podporováno.

mapPartitions Omezení

mapPartitions v rozhraních SCALA a podobných rozhraních API Python (mapInPandas, mapInArrow) přebírá iterátor celého vstupního oddílu a vytvoří iterátor celého výstupu s libovolným mapováním mezi vstupem a výstupem. Tato rozhraní API můžou způsobit problémy s výkonem v režimu v reálném čase tím, že zablokují celý výstup, což zvyšuje latenci. Sémantika těchto rozhraní API nepodporuje šíření vodoznaku dobře.

K dosažení podobných funkcí použijte skalární UDF v kombinaci s Transformace složitých datových typů nebo filter místo toho.

transformWithStateInPandas nepodporováno

Operátor transformWithStateInPandas není podporován v režimu v reálném čase. Pokud potřebujete vlastní stavové zpracování v Python s režimem v reálném čase, použijte místo toho rozhraní API založené na řádcích transformWithState. Rozhraní API založené na řádcích poskytuje stejné možnosti stavového zpracování pomocí Row objektů místo datových rámců pandas.

V transformWithState v režimu v reálném čase podrobnosti o chování transformWithState v režimu v reálném čase a příklady režimu Real-time pro funkční Python příklad s využitím rozhraní API založeného na řádcích.