Udostępnij przez


Ujścia w deklaratywnych przepływach Lakeflow Spark

Domyślnie podczas tworzenia przepływu potok zapisuje wynikowe zapytanie w tabeli delty, zazwyczaj zmaterializowany widok lub tabelę przesyłania strumieniowego. Pipelines udostępniają również funkcje umożliwiające zapisywanie w szerokim zakresie miejsc docelowych danych, a nawet programowe przetwarzanie i przesyłanie danych strumieniowo do dowolnego miejsca docelowego (lub obiektów docelowych), do którego można zapisywać dane w języku Python.

W poniższych tematach opisano funkcje ujścia w potokach.

Temat Description
Seksje Lakeflow Spark dla deklaratywnych potoków Użyj interfejsu sink API z przepływami, aby zapisywać rekordy przekształcone przez potok do obsługiwanego zewnętrznego ujścia danych. Zewnętrzne źródła danych obejmują zarządzane przez Unity Catalog i zewnętrzne tabele oraz usługi przesyłania strumieniowego zdarzeń, takie jak Apache Kafka lub Azure Event Hubs.
Ujścia niestandardowe języka Python Użyj interfejsu sink API z niestandardowym źródłem danych języka Python, aby zapisywać dane w dowolnym magazynie danych.
Punkty docelowe ForEachBatch Użyj interfejsu foreachBatch API, aby zapisywać dane w dowolnym magazynie danych i wykonywać inne transformacje danych lub zapisywać je w wielu ujściach w ramach jednego przepływu.

Więcej informacji