Azure Data Factory'de veri akışlarını eşleme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Veri akışlarını eşleme nedir?

Eşleme veri akışları, Azure Data Factory'de görsel olarak tasarlanmış veri dönüştürmeleridir. Veri akışları, veri mühendislerinin kod yazmadan veri dönüştürme mantığı geliştirmesine olanak tanır. Sonuçta elde edilen veri akışları, ölçeği genişletilmiş Apache Spark kümeleri kullanan Azure Data Factory işlem hatlarında etkinlikler olarak yürütülür. Veri akışı etkinlikleri mevcut Azure Data Factory zamanlama, denetim, akış ve izleme özellikleri kullanılarak kullanıma hazır hale getirilebilir.

Eşleme veri akışları, kodlama gerektirmeden tamamen görsel bir deneyim sağlar. Veri akışlarınız, ölçeği genişletilen veri işleme için ADF tarafından yönetilen yürütme kümelerinde çalışır. Azure Data Factory, veri akışı işlerinizin tüm kod çevirisini, yol iyileştirmesini ve yürütülmesini işler.

Başlarken

Veri akışları, işlem hatları ve veri kümeleri gibi fabrika kaynakları bölmesinden oluşturulur. Veri akışı oluşturmak için Fabrika Kaynakları'nın yanındaki artı işaretini ve ardından Veri Akışı'ı seçin.

Bu eylem, dönüştürme mantığınızı oluşturabileceğiniz veri akışı tuvaline götürür. Kaynak dönüştürmenizi yapılandırmaya başlamak için Kaynak ekle'yi seçin. Daha fazla bilgi için bkz . Kaynak dönüştürme.

Veri akışları yazma

Eşleme veri akışı, derleme dönüştürme mantığını kolaylaştırmak için tasarlanmış benzersiz bir yazma tuvaline sahiptir. Veri akışı tuvali üç bölüme ayrılır: üst çubuk, grafik ve yapılandırma paneli.

Graf

Grafik, dönüştürme akışını görüntüler. Bir veya daha fazla havuza akan kaynak verilerin kökenini gösterir. Yeni bir kaynak eklemek için Kaynak ekle'yi seçin. Yeni bir dönüşüm eklemek için var olan bir dönüşümün sağ alt kısmındaki artı işaretini seçin. Veri akışı grafını yönetme hakkında daha fazla bilgi edinin.

Yapılandırma paneli

Yapılandırma panelinde seçili durumdaki dönüştürmeye özgü ayarlar gösterilir. Hiçbir dönüştürme seçilmezse veri akışını gösterir. Genel veri akışı yapılandırmasında Parametreler sekmesi aracılığıyla parametre ekleyebilirsiniz. Daha fazla bilgi için bkz. Eşleme veri akışı parametreleri.

Her dönüştürme en az dört yapılandırma sekmesi içerir.

Dönüştürme ayarları

Her dönüşümün yapılandırma bölmesindeki ilk sekme, bu dönüştürmeye özgü ayarları içerir. Daha fazla bilgi için bu dönüşümün belgeler sayfasına bakın.

Optimize Et

İyileştir sekmesi bölümleme düzenlerini yapılandırma ayarlarını içerir. Veri akışlarınızı iyileştirme hakkında daha fazla bilgi edinmek için eşleme veri akışı performans kılavuzuna bakın.

İncele

İncele sekmesi, dönüştürdüğünüz veri akışının meta verilerine ilişkin bir görünüm sağlar. Sütun sayılarını, değişen sütunları, eklenen sütunları, veri türlerini, sütun sırasını ve sütun başvurularını görebilirsiniz. İnceleme , meta verilerinizin salt okunur bir görünümüdür. İncele bölmesinde meta verileri görmek için hata ayıklama modunu etkinleştirmeniz gerekmez.

Dönüştürmeler aracılığıyla verilerinizin şeklini değiştirdiğinizde, meta veri değişikliklerinin İncele bölmesinde akışını görürsünüz. Kaynak dönüştürmenizde tanımlı bir şema yoksa, meta veriler İncele bölmesinde görünmez. Şema kayması senaryolarında meta veri eksikliği yaygındır.

Veri önizleme

Hata ayıklama modu açıksa, Veri Önizleme sekmesi size her dönüşümdeki verilerin etkileşimli bir anlık görüntüsünü verir. Daha fazla bilgi için bkz . Hata ayıklama modunda veri önizleme.

Üst çubuk

Üst çubuk, kaydetme ve doğrulama gibi veri akışının tamamını etkileyen eylemler içerir. Dönüştürme mantığınızın temel JSON kodunu ve veri akışı betiğini de görüntüleyebilirsiniz. Daha fazla bilgi için veri akışı betiği hakkında bilgi edinin.

Kullanılabilir dönüştürmeler

Kullanılabilir dönüşümlerin listesini almak için eşleme veri akışı dönüşümüne genel bakış'ı görüntüleyin.

Veri akışı veri türleri

• dizi
• ikili
• boolean
• complex
• ondalık (duyarlık içerir)
• tarih
• kayan noktalı sayı
• integer
• uzun
• map
• short
• Dize
• timestamp

Veri akışı etkinliği

Eşleme veri akışları, veri akışı etkinliği kullanılarak ADF işlem hatlarında çalışır hale getirilir. Kullanıcının tek yapması gereken, hangi tümleştirme çalışma zamanının kullanılacağını belirtmek ve parametre değerlerini geçirmektir. Daha fazla bilgi için Azure tümleştirme çalışma zamanı hakkında bilgi edinin.

Hata ayıklama modu

Hata ayıklama modu, veri akışlarınızı oluştururken ve hatalarını ayıklarken her dönüştürme adımının sonuçlarını etkileşimli olarak görmenizi sağlar. Hata ayıklama oturumu hem veri akışı mantığınızı oluştururken hem de veri akışı etkinlikleriyle işlem hattı hata ayıklama çalıştırmalarını çalıştırırken kullanılabilir. Daha fazla bilgi edinmek için hata ayıklama modu belgelerine bakın.

Veri akışlarını izleme

Eşleme veri akışı mevcut Azure Data Factory izleme özellikleriyle tümleştirilmiştir. Veri akışı izleme çıkışını anlama hakkında bilgi edinmek için bkz . eşleme veri akışlarını izleme.

Azure Data Factory ekibi, iş mantığınızı oluşturduktan sonra veri akışlarınızın yürütme süresini iyileştirmenize yardımcı olacak bir performans ayarlama kılavuzu oluşturmuştur.

İlgili içerik

• Kaynak dönüşümü oluşturmayı öğrenin.
• Veri akışlarınızı hata ayıklama modunda oluşturmayı öğrenin.