Azure Synapse Analytics'te veri akışları

Veri akışları nedir?

Veri akışları, Azure Synapse Analytics'te görsel olarak tasarlanmış veri dönüştürmeleridir. Veri akışları, veri mühendislerinin kod yazmadan veri dönüştürme mantığı geliştirmesine olanak tanır. Sonuçta elde edilen veri akışları, ölçeği genişletilmiş Apache Spark kümeleri kullanan Azure Synapse Analytics işlem hatlarında etkinlikler olarak yürütülür. Veri akışı etkinlikleri mevcut Azure Synapse Analytics zamanlama, denetim, akış ve izleme özellikleri kullanılarak kullanıma hazır hale getirilebilir.

Veri akışları, kodlama gerektirmeden tamamen görsel bir deneyim sağlar. Veri akışlarınız, ölçeği genişletilmiş veri işleme için Synapse tarafından yönetilen yürütme kümelerinde çalışır. Azure Synapse Analytics, veri akışı işlerinizin tüm kod çevirisini, yol iyileştirmesini ve yürütülmesini işler.

Başlarken

Veri akışları Synapse studio'daki Geliştirme bölmesinden oluşturulur. Veri akışı oluşturmak için Geliştir'in yanındaki artı işaretini ve ardından Veri Akışı'i seçin.

Bu eylem, dönüştürme mantığınızı oluşturabileceğiniz veri akışı tuvaline götürür. Kaynak dönüştürmenizi yapılandırmaya başlamak için Kaynak ekle'yi seçin. Daha fazla bilgi için bkz . Kaynak dönüştürme.

Veri akışları yazma

Veri akışı, derleme dönüştürme mantığını kolaylaştırmak için tasarlanmış benzersiz bir yazma tuvaline sahiptir. Veri akışı tuvali üç bölüme ayrılır: üst çubuk, grafik ve yapılandırma paneli.

Graf

Grafikte dönüştürme akışı görüntülenir. Bir veya daha fazla havuza akan kaynak veri kökenini gösterir. Yeni bir kaynak eklemek için Kaynak ekle'yi seçin. Yeni dönüşüm eklemek için, mevcut dönüşümün sağ alt kısmındaki artı işaretini seçin. Veri akışı grafını yönetme hakkında daha fazla bilgi edinin.

Yapılandırma paneli

Yapılandırma panelinde seçili durumdaki dönüştürmeye özgü ayarlar gösterilir. Hiçbir dönüştürme seçilmezse veri akışı gösterilir. Genel veri akışı yapılandırmasında Parametreler sekmesi aracılığıyla parametre ekleyebilirsiniz. Daha fazla bilgi için bkz . Veri akışı parametreleri.

Her dönüştürme en az dört yapılandırma sekmesi içerir.

Dönüştürme ayarları

Her dönüşümün yapılandırma bölmesindeki ilk sekme, bu dönüştürmeye özgü ayarları içerir. Daha fazla bilgi için bu dönüşümün belgeler sayfasına bakın.

İyileştirme

İyileştir sekmesi bölümleme düzenlerini yapılandırma ayarlarını içerir. Veri akışlarınızı iyileştirme hakkında daha fazla bilgi edinmek için eşleme veri akışı performans kılavuzuna bakın.

Incelemek

İncele sekmesi, dönüştürdüğünüz veri akışının meta verilerine ilişkin bir görünüm sağlar. Sütun sayılarını, değiştirilen sütunları, eklenen sütunları, veri türlerini, sütun sırasını ve sütun başvurularını görebilirsiniz. İncele , meta verilerinizin salt okunur bir görünümüdür. İncele bölmesinde meta verileri görmek için hata ayıklama modunu etkinleştirmeniz gerekmez.

Dönüştürmeler aracılığıyla verilerinizin şeklini değiştirdiğinizde, meta veri değişiklikleri akışını İncele bölmesinde görürsünüz. Kaynak dönüştürmenizde tanımlı bir şema yoksa, meta veriler İncele bölmesinde görünmez. Şema kayması senaryolarında meta veri eksikliği yaygındır.

Veri önizlemesi

Hata ayıklama modu açıksa , Veri Önizleme sekmesi size her dönüşümdeki verilerin etkileşimli bir anlık görüntüsünü verir. Daha fazla bilgi için bkz. Hata ayıklama modunda veri önizleme.

Üst çubuk

Üst çubuk, doğrulama ve hata ayıklama ayarları gibi veri akışının tamamını etkileyen eylemler içerir. Dönüştürme mantığınızın temel JSON kodunu ve veri akışı betiğini de görüntüleyebilirsiniz.

Kullanılabilir dönüştürmeler

Kullanılabilir dönüştürmelerin listesini almak için eşleme veri akışı dönüşümüne genel bakış'ı görüntüleyin.

Veri akışı etkinliği

Veri akışları, veri akışı etkinliği kullanılarak Azure Synapse Analytics işlem hatlarında kullanıma hazır hale getirilir. Kullanıcının tek yapması gereken, hangi tümleştirme çalışma zamanının kullanılacağını belirtmek ve parametre değerlerini geçirmektir. Daha fazla bilgi için Azure tümleştirme çalışma zamanı hakkında bilgi edinin.

Hata ayıklama modu

Hata ayıklama modu, veri akışlarınızı oluştururken ve hatalarını ayıklarken her dönüştürme adımının sonuçlarını etkileşimli olarak görmenizi sağlar. Hata ayıklama oturumu hem veri akışı mantığınızı oluştururken hem de veri akışı etkinlikleriyle işlem hattı hata ayıklama çalıştırmalarını çalıştırırken kullanılabilir. Daha fazla bilgi edinmek için hata ayıklama modu belgelerine bakın.

Veri akışlarını izleme

Veri akışı, mevcut Azure Synapse Analytics izleme özellikleriyle tümleşir. Veri akışı izleme çıkışını anlama hakkında bilgi edinmek için bkz. eşleme veri akışlarını izleme.

Azure Synapse Analytics ekibi, iş mantığınızı oluşturduktan sonra veri akışlarınızın yürütme süresini iyileştirmenize yardımcı olacak bir performans ayarlama kılavuzu oluşturmuştur.

Sonraki adımlar

• Kaynak dönüşümü oluşturmayı öğrenin.
• Hata ayıklama modunda veri akışlarınızı oluşturmayı öğrenin.