Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
A Lakeflow Spark deklaratív folyamatok (SDP) egy keretrendszer kötegelt és streaming adatfolyamok létrehozására SQL-ben és Pythonban. A Lakeflow SDP kiterjeszthető és együttműködik az Apache Spark Deklaratív folyamatokkal, miközben a teljesítményoptimalizált Databricks-futtatókörnyezetben fut. A folyamatok gyakori használati esetei közé tartozik az olyan forrásokból származó adatok betöltése, mint például a felhőtárhely (például az Amazon S3, az Azure ADLS Gen2 és a Google Cloud Storage) és az üzenetbuszok (például Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub és Apache Pulsar), valamint növekményes kötegelt és streamelési átalakítások.
Megjegyzés:
A Lakeflow Spark Deklaratív Pipelines használatához a Prémium terv szükséges. További információért forduljon a Databricks-fiók csapatához.
Ez a szakasz részletes információkat tartalmaz a csővezetékek használatáról. Az alábbi témakörök segítenek az első lépésekben.
| Téma | Description |
|---|---|
| A Lakeflow Spark deklaratív folyamataival kapcsolatos fogalmak | Ismerje meg az SDP magas szintű fogalmait, például a csővezetékrendszereket, az adatfolyamokat, a folyamattáblákat és a materializált nézeteket. |
| Oktatóanyagok | Kövesse az oktatóanyagokat, hogy gyakorlati tapasztalatot szerezzen a csővezetékek használatában. |
| Folyamatok fejlesztése | Megismerheti, hogyan fejleszthet és tesztelhet csatornákat, amelyek adatfolyamokat hoznak létre az adatok betöltéséhez és átalakításához. |
| Folyamatok konfigurálása | Megtudhatja, hogyan ütemezhet és konfigurálhat folyamatokat. |
| Folyamatok monitorozása | Megtudhatja, hogyan figyelheti a folyamatokat, és hogyan háríthatja el a folyamat lekérdezéseit. |
| Fejlesztők | Megtudhatja, hogyan használhatja a Pythont és az SQL-t folyamatok fejlesztésekor. |
| Adatcsatornák a Databricks SQL-ben | Megtudhatja, hogyan használhat streamelési táblákat és materializált nézeteket a Databricks SQL-ben. |
| Ajánlott eljárások | Ismerje meg a megbízható, hatékony és karbantartható folyamatok létrehozásához ajánlott mintákat. |