Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
De @dp.foreach_sink() decorator definieert een ForEach sink, die een stroom rij voor rij verwerkt met aangepaste Python-logica. Je verwijst naar de sink als een target in een appendflow of een updateflow om de data te schrijven. Voor conceptuele richtlijnen, overwegingen en voorbeelden, zie Gebruik een ForEach sink om elke rij in pijplijnen te schrijven. Om elke microbatch als DataFrame te verwerken, zie foreach_batch_sink.
Syntax
Om een ForEach put uit een functie te definiëren, decoreer je de functie met @dp.foreach_sink():
from pyspark import pipelines as dp
@dp.foreach_sink(name="<name>")
def row_handler(row):
"""
Required:
- `row`: a Row that contains one record of the stream.
"""
# Your custom write logic here.
# This function runs on the executors, so import any libraries it uses inside the function.
Om een ForEach sink te definiëren vanuit een writer-object, roep dp.foreach_sink() en geef je het object met het argument writer door:
from pyspark import pipelines as dp
class RowWriter:
def open(self, partition_id, epoch_id):
# Optional. Return False to skip the rows of this partition.
return True
def process(self, row):
# Required. Called for each row.
...
def close(self, error):
# Optional. `error` is None if processing succeeded.
...
dp.foreach_sink(name="<name>", writer=RowWriter())
Je kunt ook een functie doorgeven aan dp.foreach_sink() met het func argument in plaats van de decorateur te gebruiken, bijvoorbeeld dp.foreach_sink(name="<name>", func=row_handler).
Parameters
| Parameter | Description |
|---|---|
| rij | Required. A Row die één record van de stream bevat. Je functie, of de process methode van je schrijver, krijgt één rij per aanroep. |
| name | Optional. Een unieke naam om de sink in de pijplijn te identificeren. Standaard wordt de naam van de functie gebruikt. Voor een writer-object wordt standaard de klassenaam in kleine letters gebruikt. |
| func | Optional. De functie die de pijplijn oproept voor elke rij. Gebruik func het wanneer je direct belt dp.foreach_sink() in plaats van als decorateur. Je kunt niet zowel func als writerslagen. |
| writer | Optional. Een object dat de process(row) methode implementeert, en optioneel de open(partition_id, epoch_id) en-methoden close(error) . Geef het aan als een trefwoordargument. Je kunt niet zowel func als writerslagen. |
Schrijversmethoden
Een writer-object gebruikt dezelfde methoden als de Apache Spark Structured Streaming foreach Writer. Voor elke partitie van elke microbatch roept opende pijplijn , vervolgens roept process voor elke rij als open retourneert True, en vervolgens roept close. Voor informatie over het schrijven van aangepaste uitvoer in Structured Streaming, zie Gebruik foreachBatch om naar willekeurige datasinks te schrijven.
| Method | Description |
|---|---|
open(partition_id, epoch_id) |
Optional. De pijplijn roept deze methode aan voordat hij de rijen van een partitie verwerkt voor een microbatch. Gebruik het om verbindingen te openen of transacties te starten. Keer terug True om de rijen van de partitie te verwerken, of False om ze over te slaan. Als de schrijver niet definieert open, verwerkt de pijplijn de rijen van elke partitie.
partition_id en epoch_id kan zich herhalen over flows die naar dezelfde sink schrijven en na een volledige verversing. Voordat je ze gebruikt om rijen te dedupliceren, zie Handle failures en duplicate rows. |
process(row) |
Required. De pijplijn roept deze methode aan voor elke rij. |
close(error) |
Optional. De pijplijn roept deze methode aan nadat de rijen van de partitie zijn verwerkt.
error is de uitzondering die optrad tijdens het verwerken van rijen, of None als de verwerking succesvol was. Gebruik het om verbindingen te sluiten. Als open een transactie is gestart, commit deze dan alleen wanneer error is None, en rol het anders terug. |