Aracılığıyla paylaş

İşlem hatlarında veri akışlarını kullanma

  • Makale

Birden çok veri akışıyla karmaşık işlem hatları oluştururken mantıksal akışınızın zamanlama ve maliyet üzerinde büyük etkisi olabilir. Bu bölüm, farklı mimari stratejilerinin etkisini kapsar.

Veri akışlarını paralel olarak yürütme

Birden çok veri akışını paralel olarak yürütürseniz, hizmet her etkinlik için ayrı Spark kümeleri oluşturur. Bu, her işin yalıtılmasını ve paralel olarak çalıştırılmasını sağlar, ancak aynı anda birden çok kümenin çalışmasına neden olur.

Veri akışlarınız paralel olarak yürütülürse, birden çok kullanılmayan sıcak havuza yol açtığından Azure IR süresini canlı özelliğe etkinleştirmemenizi öneririz.

Bahşiş

Her etkinlik için bir veri akışında aynı veri akışını birden çok kez çalıştırmak yerine, verilerinizi bir veri gölünde hazırlama ve joker karakter yollarını kullanarak verileri tek bir veri akışında işleme.

Veri akışlarını sıralı olarak yürütme

Veri akışı etkinliklerinizi sırayla yürütürseniz, Azure IR yapılandırmasında bir TTL ayarlamanız önerilir. Hizmet işlem kaynaklarını yeniden kullanır ve küme başlatma süresinin daha hızlı olmasına neden olur. Her etkinlik hala yalıtılmış durumdadır ve her yürütme için yeni bir Spark bağlamı alır.

Tek bir veri akışını aşırı yükleme

Tüm mantığınızı tek bir veri akışının içine koyarsanız, hizmet işin tamamını tek bir Spark örneğinde yürütür. Bu, maliyetleri azaltmanın bir yolu gibi görünse de, farklı mantıksal akışları bir araya getirerek izlemesi ve hatalarını ayıklaması zor olabilir. Bir bileşen başarısız olursa, işin diğer tüm bölümleri de başarısız olur. Veri akışlarının bağımsız iş mantığı akışlarına göre düzenlenmesi önerilir. Veri akışınız çok büyük hale gelirse, akışı ayrı bileşenlere bölmek izlemeyi ve hata ayıklamayı kolaylaştırır. Bir veri akışındaki dönüştürme sayısı üzerinde sabit bir sınır olmasa da, çok fazla olması işi karmaşık hale getirir.

Havuzları paralel olarak yürütme

Veri akışı havuzlarının varsayılan davranışı, her havuzu sırayla, seri bir şekilde yürütmek ve havuz içinde bir hatayla karşılaşıldığında veri akışının başarısız olmasıdır. Ayrıca, veri akışı özelliklerine gidip havuzlar için farklı öncelikler ayarlamadığınız sürece tüm havuzlar varsayılan olarak aynı gruba ayarlanır.

Veri akışları, havuzları kullanıcı arabirimi tasarımcısındaki veri akışı özellikleri sekmesinden gruplar halinde gruplandırmanıza olanak tanır. Hem havuzlarınızın yürütme sırasını hem de havuzları aynı grup numarasını kullanarak birlikte gruplandırabilirsiniz. Grupları yönetmeye yardımcı olmak için hizmetlerden havuzları aynı grupta çalıştırmasını ve paralel olarak çalışmasını isteyebilirsiniz.

İşlem hattında, "Havuz Özellikleri" bölümü altında veri akışı etkinliğini yürütme, paralel havuz yüklemesini açma seçeneğidir. "Paralel çalıştır" özelliğini etkinleştirdiğinizde, bağlı havuzlara yazılan veri akışlarını sıralı bir şekilde değil aynı anda yönergeli hale getirirsiniz. Paralel seçeneği kullanabilmek için havuzların birlikte gruplanması ve Yeni Dal veya Koşullu Bölme yoluyla aynı akışa bağlanması gerekir.

İşlem hatlarında Azure Synapse veritabanı şablonlarına erişme

İşlem hattına istekte bulunurken Azure Synapse veritabanı şablonu kullanabilirsiniz. Yeni bir veri akışı oluştururken kaynak veya havuz ayarlarında Çalışma Alanı VERITABANı'nı seçin. Veritabanı açılan listesinde, veritabanı şablonu aracılığıyla oluşturulan veritabanları listelenir. Çalışma Alanı VERITABANı seçeneği yalnızca yeni veri akışları için kullanılabilir; Synapse studio galerisinden mevcut bir işlem hattını kullandığınızda kullanılamaz.

İlgili içerik

Performansla ilgili diğer Veri Akışı makalelere bakın: