Valós idejű mód korlátozásai

Ez a lap a strukturált streamelés valós idejű módjának ismert korlátait ismerteti.

Forráskorlátozások

Kinezis esetén a Databricks az Enhanced Fan-Out (EFO) módot ajánlja a legkisebb késleltetés érdekében. Emellett a gyakori újrapartíciók negatívan befolyásolhatják a késést.

Uniós korlátozások

Az uniós üzemeltetőnek van néhány korlátozása:

• Az önegyesítés nem támogatott:
  • A Kafka esetében nem használhatja ugyanazt a forrásadatkeret-objektumot és az egyesítő származtatott adatkereteket. Áthidaló megoldásként használjon különböző dataFrame-eket, amelyek ugyanabból a forrásból olvasnak.
  • A Kinesis esetében nem egyesítheti az azonos konfigurációjú Kinesis-forrásból származó adatkereteket. Áthidaló megoldásként a különböző DataFrame-ek használata helyett más-más consumerName lehetőséget rendelhet az egyes DataFrame-ekhez.
• Az állapotalapú operátorok (például aggregate, , deduplicate) transformWithStatenem határozhatók meg az Unió előtt.
• A kötegelt forrásokkal való egyesítés nem támogatott.

mapPartitions Korlátozás

mapPartitions a Scalában és a hasonló Python API-kban (mapInPandas, mapInArrow) a teljes bemeneti partíció iterátorát használja, és a teljes kimenet iterátorát állítja elő tetszőleges leképezéssel a bemenet és a kimenet között. Ezek az API-k valós idejű módban teljesítményproblémákat okozhatnak a teljes kimenet blokkolásával, ami növeli a késést. Ezeknek az API-knak a szemantikája nem támogatja jól a vízjelterjesztést.

Használjon skaláris UDF-eket összetett adattípusok átalakításával kombinálva, vagy érjen el hasonló funkcionalitást ahelyett filter.

transformWithStateInPandas nem támogatott

Az transformWithStateInPandas operátor nem támogatott valós idejű módban. Ha valós idejű Python egyéni állapotalapú feldolgozásra van szüksége, használja inkább a soralapú transformWithState API-t. A soralapú API ugyanazokat az állapotalapú feldolgozási képességeket biztosítja, mint a pandas DataFrame-eket használó Row objektumok.

A transformWithState valós idejű módban a transformWithState valós idejű viselkedésével, valamint a Real-time módú példákkal a soralapú API-val működő Python-példához.