Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Diese Seite beschreibt bekannte Einschränkungen für den Echtzeitmodus im strukturierten Streaming.
Quellbeschränkungen
Für Kinesis empfiehlt Databricks den Enhanced Fan-Out (EFO)-Modus für die geringste Latenz. Außerdem können sich häufige Neupartitionen negativ auf die Latenz auswirken.
Unionsbeschränkungen
Der Union-Betreiber hat einige Einschränkungen:
- Selbstvereinigung wird nicht unterstützt:
- Für Kafka können Sie nicht dasselbe Quelldatenframeobjekt und von der Union abgeleitete Datenframes verwenden. Verwenden Sie als Problemumgehung unterschiedliche DataFrames, die aus derselben Quelle gelesen werden.
- Für Kinesis können Sie datenframes, die von derselben Kinesis-Quelle mit derselben Konfiguration abgeleitet sind, nicht verknüpfen. Als Problemumgehung können Sie jedem DataFrame eine andere
consumerNameOption zuweisen, anstatt andere DataFrames zu verwenden.
- Staatliche Operatoren (z. B
aggregate. ,deduplicate,transformWithState) können nicht vor der Union definiert werden. - Union mit Batchquellen wird nicht unterstützt.
mapPartitions Einschränkung
Der Echtzeitmodus unterstützt mapPartitions in Scala oder ähnlichen Python-APIs (mapInPandas, mapInArrow). Sie nehmen einen Iterator der gesamten Eingangspartition und erzeugen einen Iterator des gesamten Outputs, der, wenn er nicht eifrig ausgeführt wird, den Ausgang blockieren und die Latenz erhöhen kann. Ihre Semantik unterstützt auch die Ausbreitung von Wasserzeichen nicht gut.
Verwenden Sie skalare UDFs in Kombination mit transformieren komplexer Datentypen oder filter, um ähnliche Funktionalität zu erzielen.
transformWithStateInPandas nicht unterstützt
Der transformWithStateInPandas Operator wird im Echtzeitmodus nicht unterstützt. Wenn Sie eine benutzerdefinierte Zustandsverarbeitung in Python im Echtzeitmodus benötigen, verwenden Sie stattdessen die zeilenbasierte transformWithState-API. Die zeilenbasierte API bietet die gleichen zustandsbehafteten Verarbeitungsfunktionen mithilfe von Row Objekten anstelle von Pandas DataFrames.
Einzelheiten zum Verhalten transformWithState im Echtzeitmodus finden Sie unter und transformWithState für ein funktionierendes Python Beispiel mithilfe der zeilenbasierten API.