Yapılandırılmış Akış kavramları

Apache Spark Structured Streaming, toplu işleme için kullandığınız aynı Spark API'leriyle akış uygulamaları ve boru hatları oluşturmanızı sağlar. Azure Databricks'te iki işlem modu desteklenir:

• Gerçek zamanlı mod (RTM): Dolandırıcılık tespiti ve gerçek zamanlı kişiselleştirme gibi saniye altı operasyonel iş yükleri için tasarlanmıştır. RTM, kayıtları geldikçe işler, uçtan uca gecikme beş milisaniye kadar düşük olabilir. Gerçek zamanlı mod kavramlarına bakınız.
• Mikro grup modu: Analitik boru hatları ve çıkarma, dönüştürme ve yükleme (ETL) iş yükleri için tasarlanmıştır. Mikro toplu mod, akışları küçük partiler halinde işler, hesaplama maliyetini saniye veya dakika cinsinden ölçülen gecikme gereksinimleriyle dengeler. Mikro toplu işleme varsayılan moddur.

Her iki mod da aynı Yapılandırılmış Akış API'lerini kullanır. Her iki mod tarafından desteklenen sorgular için, trigger ve hesaplama yapılandırması üzerinden modları değiştirebilirsiniz. Bkz. Gerçek zamanlı modu ayarlama.

Structured Streaming ayrıca Apache Spark™ Declarative Pipelines üzerine inşa edilmiş Lakeflow pipelines'ta akışı destekliyor. Pipeline'lar orkestrasyon, kontrol noktaları ve kurtarmayı yönetir, dönüşümleri SQL veya Python'da tanımlarsınız.

Adım adım öğretici için bkz. İlk Yapılandırılmış Akış iş yükünüzü çalıştırma.

Veri akışından okuma

Desteklenen veri kaynaklarından artımlı olarak veri almak için Yapılandırılmış Akış'ı kullanın.

Özellik	Açıklama
Otomatik Yükleyici	Bulut depolama alanına ulaşan yeni veri dosyalarını artımlı ve verimli bir şekilde işleyin.
Delta Lake tablo akışı okuma ve yazma işlemleri	Delta Lake tablolarını akış kaynakları ve havuzları olarak tam olarak bir kez işleme garantisiyle kullanın.
SQL ve Spark API'leri	SQL ve Spark API'leri kullanarak mesaj yollarına, kuyruklara ve kurumsal uygulamalara bağlanın.
Mikro yığın boyutu	Tutarlı toplu iş boyutlarını korumak ve işleme gecikmelerini önlemek için giriş oranlarını sınırlayın.

Veri havuzuna yazma

Yapılandırılmış Akış'ın hedef sistemlere verileri nasıl teslim edeceklerini yapılandırın.

Özellik	Açıklama
denetim noktaları	Hataya dayanıklılık ve tam anlamıyla bir kez teslim semantiği sağlamak için işlem durumunu saklayın.
Çıkış modu	Durum bilgisi olan akış sorguları için ekleme, güncelleştirme ve tamamlama modları arasında seçim yapın.
Tetikleyici aralıkları	İşlem gereksinimlerinizin gecikme süresini ve maliyetini dengelemek için tetikleyici aralıkları ayarlayın.
Structured Streaming'de gerçek zamanlı mod	Uçtan uca gecikme süresi beş milisaniyeye kadar düşük olan gerçek zamanlı iş yükleri için verileri işleyin.

Durum bilgisi olan ve durum bilgisi olmayan işleme

Durum bilgisi olmayan sorgular, durumu korumadan satırları işler. Durum bilgisi olan sorgular toplamalar, birleştirmeler ve yinelenenleri kaldırma için ara durumu korur.

Özellik	Açıklama
Durum bilgisi olmayan akış sorguları	Ara durumu korumadan verileri işleyen sorguları iyileştirin.
Filigran	Yapılandırılmış Akış İşlemleri'nin durum bilgisi içeren işlemlerinde geç gelen verileri ne kadar süreyle bekleyeceğini denetleyin.
Durumlu akış	Durum bilgisi olan işleçleri kullanarak toplamaları, akış akış birleştirmelerini ve yinelenenleri kaldırmayı yönetin.

İzleme ve yönetme

Üretim Yapılandırılmış Akış iş yükleri için sorgu performansını izleyin, iyileştirmeler uygulayın ve veri erişimini idare edin.

Özellik	Açıklama
StreamingQueryListener ile izleme	Spark kullanıcı arabirimini ve dinleyici API'sini kullanarak sorgu ilerleme durumunu ve performans ölçümlerini izleyin.
Eğitim: StreamingQueryListener ile bir sorguyu izleyin	Bir dinleyici ekleyin ve sorgu ilerleme metriklerini Unity Kataloğu tablosuna kaydedin.
Unity Kataloğu ile yönet	İdare ve erişim denetimi ile akış iş yükleri için Unity Kataloğu'nu yapılandırın.