Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Lakeflow Spark Bildirimli İşlem Hatları (SDP), SQL ve Python'da toplu iş ve akış veri işlem hatları oluşturmaya yönelik bir çerçevedir. Lakeflow SDP, performans açısından geliştirilmiş Databricks Runtime üzerinde çalışırken Apache Spark Deklaratif İşlem Hatları ile uyumlu ve genişletilebilir şekilde çalışır. İşlem hatları için yaygın kullanım örnekleri arasında bulut depolama (Amazon S3, Azure ADLS 2. Nesil ve Google Cloud Storage gibi) ve ileti veri yollarından (Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub ve Apache Pulsar gibi) veri alımı ve artımlı toplu iş ve akış dönüşümleri yer alır.
Uyarı
Lakeflow Spark Deklaratif İşlem Hatları Premium planı gerektirir. Daha fazla bilgi için Databricks hesap ekibinize başvurun.
Bu bölümde işlem hatlarını kullanma hakkında ayrıntılı bilgi sağlanır. Aşağıdaki konular kullanmaya başlamanıza yardımcı olacaktır.
| Konu | Description |
|---|---|
| Lakeflow Spark Bildirimli İşlem Hatları kavramları | İşlem hatları, akışlar, akış tabloları ve gerçekleştirilmiş görünümler dahil olmak üzere SDP'nin üst düzey kavramları hakkında bilgi edinin. |
| Öğreticiler | Pipeline'ları kullanma konusunda uygulamalı deneyim sağlamak için eğitimleri takip edin. |
| İşlem hatları geliştirme | Verileri almak ve dönüştürmek için akışlar oluşturan işlem hatları geliştirmeyi ve test etmeyi öğrenin. |
| İşlem hatlarını yapılandırma | İşlem hatlarını zamanlamayı ve yapılandırmayı öğrenin. |
| İşlem hatlarını izleme | İşlem hatlarınızı izlemeyi ve işlem hattı sorgularında sorun gidermeyi öğrenin. |
| Geliştiriciler | İşlem hatları geliştirirken Python ve SQL kullanmayı öğrenin. |
| Databricks SQL'deki pipeline'lar | Databricks SQL'de akış tablolarını ve gerçekleştirilmiş görünümleri kullanma hakkında bilgi edinin. |