Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Az Apache Spark™ Declarative Pipelines egy deklaratív keretrendszer kötegelt és streaming adatfolyamatok SQL-ben és Pythonban történő létrehozásához. A Lakeflow-folyamatok kiterjeszthetők és együttműködnek a Spark Deklaratív folyamatokkal, miközben a teljesítményoptimalizált Databricks-futtatókörnyezetben futnak. A folyamatok gyakori használati esetei közé tartozik az olyan forrásokból származó adatok betöltése, mint például a felhőtárhely (például az Amazon S3, az Azure ADLS Gen2 és a Google Cloud Storage) és az üzenetbuszok (például Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub és Apache Pulsar), valamint növekményes kötegelt és streamelési átalakítások.
Megjegyzés:
A Lakeflow-folyamatokhoz prémium csomag szükséges. További információért forduljon a Databricks-fiók csapatához.
Ez a szakasz részletes információkat tartalmaz a csővezetékek használatáról. Az alábbi témakörök segítenek az első lépésekben.
| Téma | Description |
|---|---|
| Hogyan használjuk a Lakeflow vezetékeket | Kezdje itt. Értsd meg, hogyan használd a pipeline-eket az életciklusuk során, és miért, linkekkel a feladatokhoz minden szakaszban. |
| A pipeline alapfogalmai | Ismerje meg az adatfeldolgozási folyamatok alapfogalmait, beleértve az adatfolyamokat, a streaming táblákat és a materializált nézeteket. |
A pipeline-okról részletesebb információkért lásd:
| Téma | Description |
|---|---|
| Oktatóanyagok | Kövesse az oktatóanyagokat, hogy gyakorlati tapasztalatot szerezzen a csővezetékek használatában. |
| Folyamatok fejlesztése | Megismerheti, hogyan fejleszthet és tesztelhet csatornákat, amelyek adatfolyamokat hoznak létre az adatok betöltéséhez és átalakításához. |
| Folyamatok konfigurálása | Megtudhatja, hogyan ütemezhet és konfigurálhat folyamatokat. |
| Folyamatok monitorozása | Megtudhatja, hogyan figyelheti a folyamatokat, és hogyan háríthatja el a folyamat lekérdezéseit. |
| Fejlesztők | Megtudhatja, hogyan használhatja a Pythont és az SQL-t folyamatok fejlesztésekor. |
| Önálló pipeline-ok | Megtudhatja, hogyan hozhat létre önálló streamelési táblákat és materializált nézeteket a Databricks SQL-ben vagy Python. |
| Ajánlott eljárások | Ismerje meg a megbízható, hatékony és karbantartható folyamatok létrehozásához ajánlott mintákat. |