Penerimaan Data di Alur Deklaratif Lakeflow Spark

Secara default saat Anda membuat alur kerja, pipeline Anda menulis kueri yang dihasilkan ke tabel Delta, yang biasanya merupakan tampilan materialisasi atau tabel streaming. Alur juga menyediakan fungsionalitas untuk memungkinkan Anda menulis ke berbagai sink, atau bahkan secara terprogram mengubah dan mengalirkan data ke target (atau target) apa pun yang dapat Anda tulis dengan Python.

Topik berikut menjelaskan fungsionalitas sink dalam alur.

Topik Description
Penyimpanan Alur Deklaratif Lakeflow Spark Gunakan API sink dengan aliran untuk menulis rekaman yang diubah oleh pipeline ke sink data eksternal yang didukung. Pengalihan data eksternal mencakup tabel terkelola dan eksternal dalam Unity Catalog, serta layanan streaming acara seperti Apache Kafka atau Azure Event Hubs.
Sink khusus Python sink Gunakan API dengan sumber data kustom Python untuk menulis ke penyimpanan data arbitrer.
ForEachBatch sink foreachBatch Gunakan API untuk menulis ke penyimpanan data arbitrer dan melakukan tranformasi lain pada data atau menulis ke beberapa sink dalam satu alur.

Informasi selengkapnya