Azure Databricks'te yordamsal ve bildirim temelli veri işleme karşılaştırması

Bu makale, yordamsal ve bildirim temelli programlama ile Databricks'teki kullanımları arasındaki farkları kapsar.

Yordamsal ve bildirim temelli programlama, bilgisayar biliminde iki temel programlama paradigmasıdır. Her biri, yapılandırma ve yürütme yönergeleri için farklı bir yaklaşımı temsil eder.

• Yordamsal programlama ile açık işlem dizileri tanımlayarak görevlerin nasıl gerçekleştirileceğini belirtirsiniz.
• Bildirim temelli programlama, yapılması gerekenlere odaklanır ve görevi yürütmenin en iyi yolunu belirlemek için temel sistemi bırakır.

Veri işlem hatlarını tasarlarken mühendislerin yordamsal ve bildirim temelli veri işleme modelleri arasında seçim yapması gerekir. Bu karar iş akışı karmaşıklığını, sürdürülebilirliğini ve verimliliğini etkiler. Bu sayfada bu modellerin temel farklılıkları, avantajları ve zorlukları ve her yaklaşımın ne zaman kullanılacağı açıklanmaktadır.

Yordamsal veri işleme nedir?

Yordamsal veri işleme, verileri işlemek için açık adımların tanımlandığı yapılandırılmış bir yaklaşım izler. Bu model kesinlik temelli programlamayla yakından hizalanır ve verilerin nasıl işlenmesi gerektiğini belirten bir komut dizisi vurgulanır.

Yordamsal işlemenin özellikleri

Yordamsal işlemenin özellikleri şunlardır:

• Adım adım yürütme: Geliştirici işlemlerin sırasını açıkça tanımlar.
• Denetim yapılarının kullanımı: Döngüler, koşullular ve işlevler yürütme akışını yönetir.
• Ayrıntılı kaynak denetimi: Ayrıntılı iyileştirmeleri ve el ile performans ayarlamayı etkinleştirir.
• İlgili kavramlar: Yordamsal programlama, kesinlik temelli programlamanın alt sınıfıdır.

Yordamsal işleme için yaygın kullanım örnekleri

Yordamsal işleme için günlük kullanım örnekleri şunlardır:

• Yordamsal mantık gerektiren özel ETL işlem hatları.
• Toplu ve akış işlemlerinde düşük seviyeli performans optimizasyonları.
• Eski sistemler veya mevcut emredici skriptler.

Apache Spark ve Lakeflow İşleri ile prosedürel işleme

Apache Spark öncelikle veri işleme için yordamsal bir model izler. Dağıtılmış verilerde adım adım dönüştürmeleri ve eylemleri tanımlamak üzere açık yürütme mantığı eklemek için Lakeflow İşleri'ni kullanın.

Bildirim temelli veri işleme nedir?

Bildirim temelli veri işleme, nasıl yapıldığını soyutlar ve istenen sonucu tanımlamaya odaklanır. Geliştiriciler, adım adım yönergeler belirtmek yerine dönüştürme mantığını tanımlar ve sistem en verimli yürütme planını belirler.

Bildirim temelli işlemenin özellikleri

Bildirim temelli işlemenin özellikleri şunlardır:

• Yürütme ayrıntılarının soyutlanması: Kullanıcılar, elde etmek için gereken adımları değil, istenen sonucu açıklar.
• Otomatik iyileştirme: Sistem sorgu planlama ve yürütme ayarlaması uygular.
• Daha az karmaşıklık: Açık denetim yapılarına olan ihtiyacı ortadan kaldırarak bakımı artırır.
• İlgili kavramlar: Bildirim temelli programlama, etki alanına özgü ve işlevsel programlama paradigmalarını içerir.

Bildirim temelli işleme için yaygın kullanım örnekleri

Bildirim temelli işleme için yaygın kullanım örnekleri şunlardır:

• Toplu iş ve akış işlemlerinde SQL tabanlı dönüşümler.
• İşlem hatları gibi üst düzey veri işleme çerçeveleri.
• Otomatik iyileştirme gerektiren ölçeklenebilir, dağıtılmış veri iş yükleri.

İşlem hatları ile deklaratif işleme

Lakeflow Spark Bildirimli İşlem Hatları, güvenilir ve sürdürülebilir akış işleme işlem hatlarının oluşturulmasını basitleştirmek için tasarlanmış bildirim temelli bir çerçevedir. İşlem hatları, hangi verilerin alınacağını ve nasıl dönüştürüleceğini belirterek düzenleme, işlem yönetimi, izleme, veri kalitesi uygulama ve hata işleme dahil olmak üzere işleme yönetiminin önemli yönlerini otomatikleştirir.

Önemli farklar: yordamsal ve bildirim temelli işleme

Yüz	Yordamsal işleme	Bildirim temelli işleme
Kontrol	Yürütme üzerinde tam denetim	Sistem tarafından yönetilen yürütme
Karmaşıklık	Karmaşık ve detaylı olabilir	Genel olarak daha basit ve daha öz
Optimizasyon	El ile ayarlama gerektirir	Sistem optimizasyonu yönetir
Esneklik	Yüksek, ancak uzmanlık gerektirir	Daha düşük ama kullanımı daha kolay
Kullanım Örnekleri	Özel işlem hatları, performans ayarlama	SQL sorguları, yönetilen işlem hatları

Yordamsal veya bildirim temelli işlemenin ne zaman seçileceği

Aşağıdaki tabloda yordamsal ve bildirim temelli işlemeye yönelik bazı önemli karar noktaları özetlenmiştir:

Yordamsal işleme	Bildirim temelli işleme
Yürütme mantığı üzerinde ayrıntılı denetim gereklidir.	Basitleştirilmiş geliştirme ve bakım öncelikleridir.
Dönüşümler bildirim temelli olarak ifade etmek zor olan karmaşık iş kurallarını içerir.	SQL tabanlı dönüşümler veya yönetilen iş akışları yordam denetimi gereksinimini ortadan kaldırır.
Performans iyileştirmeleri el ile ayarlamayı gerektirmektedir.	İşlem hatları gibi veri işleme çerçeveleri yerleşik iyileştirmeler sağlar.