foreach_sink

De @dp.foreach_sink() decorator definieert een ForEach sink, die een stroom rij voor rij verwerkt met aangepaste Python-logica. Je verwijst naar de sink als een target in een appendflow of een updateflow om de data te schrijven. Voor conceptuele richtlijnen, overwegingen en voorbeelden, zie Gebruik een ForEach sink om elke rij in pijplijnen te schrijven. Om elke microbatch als DataFrame te verwerken, zie foreach_batch_sink.

Syntax

Om een ForEach put uit een functie te definiëren, decoreer je de functie met @dp.foreach_sink():

from pyspark import pipelines as dp

@dp.foreach_sink(name="<name>")
def row_handler(row):
    """
    Required:
      - `row`: a Row that contains one record of the stream.
    """
    # Your custom write logic here.
    # This function runs on the executors, so import any libraries it uses inside the function.

Om een ForEach sink te definiëren vanuit een writer-object, roep dp.foreach_sink() en geef je het object met het argument writer door:

from pyspark import pipelines as dp

class RowWriter:
    def open(self, partition_id, epoch_id):
        # Optional. Return False to skip the rows of this partition.
        return True

    def process(self, row):
        # Required. Called for each row.
        ...

    def close(self, error):
        # Optional. `error` is None if processing succeeded.
        ...

dp.foreach_sink(name="<name>", writer=RowWriter())

Je kunt ook een functie doorgeven aan dp.foreach_sink() met het func argument in plaats van de decorateur te gebruiken, bijvoorbeeld dp.foreach_sink(name="<name>", func=row_handler).

Parameters

Parameter Description
rij Required. A Row die één record van de stream bevat. Je functie, of de process methode van je schrijver, krijgt één rij per aanroep.
name Optional. Een unieke naam om de sink in de pijplijn te identificeren. Standaard wordt de naam van de functie gebruikt. Voor een writer-object wordt standaard de klassenaam in kleine letters gebruikt.
func Optional. De functie die de pijplijn oproept voor elke rij. Gebruik func het wanneer je direct belt dp.foreach_sink() in plaats van als decorateur. Je kunt niet zowel func als writerslagen.
writer Optional. Een object dat de process(row) methode implementeert, en optioneel de open(partition_id, epoch_id) en-methoden close(error) . Geef het aan als een trefwoordargument. Je kunt niet zowel func als writerslagen.

Schrijversmethoden

Een writer-object gebruikt dezelfde methoden als de Apache Spark Structured Streaming foreach Writer. Voor elke partitie van elke microbatch roept opende pijplijn , vervolgens roept process voor elke rij als open retourneert True, en vervolgens roept close. Voor informatie over het schrijven van aangepaste uitvoer in Structured Streaming, zie Gebruik foreachBatch om naar willekeurige datasinks te schrijven.

Method Description
open(partition_id, epoch_id) Optional. De pijplijn roept deze methode aan voordat hij de rijen van een partitie verwerkt voor een microbatch. Gebruik het om verbindingen te openen of transacties te starten. Keer terug True om de rijen van de partitie te verwerken, of False om ze over te slaan. Als de schrijver niet definieert open, verwerkt de pijplijn de rijen van elke partitie. partition_id en epoch_id kan zich herhalen over flows die naar dezelfde sink schrijven en na een volledige verversing. Voordat je ze gebruikt om rijen te dedupliceren, zie Handle failures en duplicate rows.
process(row) Required. De pijplijn roept deze methode aan voor elke rij.
close(error) Optional. De pijplijn roept deze methode aan nadat de rijen van de partitie zijn verwerkt. error is de uitzondering die optrad tijdens het verwerken van rijen, of None als de verwerking succesvol was. Gebruik het om verbindingen te sluiten. Als open een transactie is gestart, commit deze dan alleen wanneer error is None, en rol het anders terug.