Potoki deklaratywne platformy Spark w usłudze Lakeflow

Potoki deklaratywne Lakeflow Spark (SDP) to framework do tworzenia potoków danych wsadowych i strumieniowych w językach SQL i Python. Lakeflow SDP rozszerza i współpracuje z potokami deklaratywnymi platformy Apache Spark, działając na platformie Databricks Runtime zoptymalizowanej pod kątem wydajności. Typowe przypadki użycia potoków obejmują pozyskiwanie danych ze źródeł, takich jak magazyn w chmurze (np. Amazon S3, Azure ADLS Gen2 i Google Cloud Storage) oraz magistrale komunikatów (takie jak Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub i Apache Pulsar) oraz transformacje batchowe i strumieniowe.

Uwaga / Notatka

Potoki Deklaratywne Lakeflow Spark wymagają planu Premium. Aby uzyskać więcej informacji, skontaktuj się z zespołem ds. kont usługi Databricks.

Ta sekcja zawiera szczegółowe informacje o korzystaniu z potoków. Poniższe tematy pomogą Ci rozpocząć pracę.

Temat	Description
Pojęcia dotyczące deklaratywnych potoków Lakeflow Spark	Poznaj ogólne pojęcia dotyczące protokołu SDP, w tym potoki, przepływy, tabele przesyłania strumieniowego i zmaterializowane widoki.
Samouczki	Postępuj zgodnie z samouczkami, aby uzyskać praktyczne doświadczenie w korzystaniu z potoków.
Opracowywanie pipeline'ów	Dowiedz się, jak opracowywać i testować potoki, które tworzą przepływy do pobierania i przekształcania danych.
Konfigurowanie potoków	Dowiedz się, jak konfigurować i planować pipeline'y.
Monitorowanie potoków	Dowiedz się, jak monitorować rury i rozwiązywać problemy z zapytaniami w rurach.
Deweloperzy	Dowiedz się, jak używać języków Python i SQL podczas tworzenia potoków.
Pipeline'y w usłudze Databricks SQL	Dowiedz się, jak korzystać z tabel strumieniowych i zmaterializowanych widoków w Databricks SQL.

Więcej informacji

• Ograniczenia potoku
• Dokumentacja dewelopera potoku