Azure Data Factory'de veri akışlarını eşleme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Veri akışlarını eşleme nedir?

Eşleme veri akışları, Azure Data Factory'de görsel olarak tasarlanmış veri dönüştürmeleridir. Veri akışları, veri mühendislerinin kod yazmadan veri dönüştürme mantığı geliştirmesine olanak tanır. Sonuçta elde edilen veri akışları, ölçeği genişletilmiş Apache Spark kümeleri kullanan Azure Data Factory işlem hatlarında etkinlikler olarak yürütülür. Veri akışı etkinlikleri mevcut Azure Data Factory zamanlama, denetim, akış ve izleme özellikleri kullanılarak kullanıma hazır hale getirilebilir.

Eşleme veri akışları, kodlama gerektirmeden tamamen görsel bir deneyim sağlar. Veri akışlarınız, ölçeği genişletilen veri işleme için ADF tarafından yönetilen yürütme kümelerinde çalışır. Azure Data Factory, veri akışı işlerinizin tüm kod çevirisini, yol iyileştirmesini ve yürütülmesini işler.

Başlarken

Veri akışları, işlem hatları ve veri kümeleri gibi fabrika kaynakları bölmesinden oluşturulur. Veri akışı oluşturmak için Fabrika Kaynakları'nın yanındaki artı işaretini ve ardından Veri Akışı'ı seçin.

Bu eylem, dönüştürme mantığınızı oluşturabileceğiniz veri akışı tuvaline götürür. Kaynak dönüştürmenizi yapılandırmaya başlamak için Kaynak ekle'yi seçin. Daha fazla bilgi için bkz . Kaynak dönüştürme.

Veri akışları yazma

Eşleme veri akışı, derleme dönüştürme mantığını kolaylaştırmak için tasarlanmış benzersiz bir yazma tuvaline sahiptir. Veri akışı tuvali üç bölüme ayrılır: üst çubuk, grafik ve yapılandırma paneli.

Grafik

Grafik, dönüştürme akışını görüntüler. Bir veya daha fazla havuza akan kaynak verilerin kökenini gösterir. Yeni bir kaynak eklemek için Kaynak ekle'yi seçin. Yeni bir dönüşüm eklemek için var olan bir dönüşümün sağ alt kısmındaki artı işaretini seçin. Veri akışı grafını yönetme hakkında daha fazla bilgi edinin.

Yapılandırma paneli

Yapılandırma panelinde seçili durumdaki dönüştürmeye özgü ayarlar gösterilir. Hiçbir dönüştürme seçilmezse veri akışını gösterir. Genel veri akışı yapılandırmasında Parametreler sekmesi aracılığıyla parametre ekleyebilirsiniz. Daha fazla bilgi için bkz. Eşleme veri akışı parametreleri.

Her dönüştürme en az dört yapılandırma sekmesi içerir.

Dönüştürme ayarları

Her dönüşümün yapılandırma bölmesindeki ilk sekme, bu dönüştürmeye özgü ayarları içerir. Daha fazla bilgi için bu dönüşümün belgeler sayfasına bakın.

Optimize Et

İyileştir sekmesi bölümleme düzenlerini yapılandırma ayarlarını içerir. Veri akışlarınızı iyileştirme hakkında daha fazla bilgi edinmek için eşleme veri akışı performans kılavuzuna bakın.

İncele

İncele sekmesi, dönüştürdüğünüz veri akışının meta verilerine ilişkin bir görünüm sağlar. Sütun sayılarını, değişen sütunları, eklenen sütunları, veri türlerini, sütun sırasını ve sütun başvurularını görebilirsiniz. İnceleme , meta verilerinizin salt okunur bir görünümüdür. İncele bölmesinde meta verileri görmek için hata ayıklama modunu etkinleştirmeniz gerekmez.

Dönüştürmeler aracılığıyla verilerinizin şeklini değiştirdiğinizde, meta veri değişikliklerinin İncele bölmesinde akışını görürsünüz. Kaynak dönüştürmenizde tanımlı bir şema yoksa, meta veriler İncele bölmesinde görünmez. Şema kayması senaryolarında meta veri eksikliği yaygındır.

Veri önizleme

Hata ayıklama modu açıksa, Veri Önizleme sekmesi size her dönüşümdeki verilerin etkileşimli bir anlık görüntüsünü verir. Daha fazla bilgi için bkz . Hata ayıklama modunda veri önizleme.

Üst çubuk

Üst çubuk, kaydetme ve doğrulama gibi veri akışının tamamını etkileyen eylemler içerir. Dönüştürme mantığınızın temel JSON kodunu ve veri akışı betiğini de görüntüleyebilirsiniz. Daha fazla bilgi için veri akışı betiği hakkında bilgi edinin.

Kullanılabilir dönüştürmeler

Kullanılabilir dönüşümlerin listesini almak için eşleme veri akışı dönüşümüne genel bakış'ı görüntüleyin.

Veri akışı veri türleri

• dizi
• ikili
• boolean
• complex
• ondalık (duyarlık içerir)
• tarih
• kayan noktalı sayı
• integer
• uzun
• map
• short
• Dize
• timestamp

Veri akışı etkinliği

Eşleme veri akışları, veri akışı etkinliği kullanılarak ADF işlem hatlarında çalışır hale getirilir. Kullanıcının tek yapması gereken, hangi tümleştirme çalışma zamanının kullanılacağını belirtmek ve parametre değerlerini geçirmektir. Daha fazla bilgi için Azure tümleştirme çalışma zamanı hakkında bilgi edinin.

Hata ayıklama modu

Hata ayıklama modu, veri akışlarınızı oluştururken ve hatalarını ayıklarken her dönüştürme adımının sonuçlarını etkileşimli olarak görmenizi sağlar. Hata ayıklama oturumu hem veri akışı mantığınızı oluştururken hem de veri akışı etkinlikleriyle işlem hattı hata ayıklama çalıştırmalarını çalıştırırken kullanılabilir. Daha fazla bilgi edinmek için hata ayıklama modu belgelerine bakın.

Veri akışlarını izleme

Eşleme veri akışı mevcut Azure Data Factory izleme özellikleriyle tümleştirilmiştir. Veri akışı izleme çıkışını anlama hakkında bilgi edinmek için bkz . eşleme veri akışlarını izleme.

Azure Data Factory ekibi, iş mantığınızı oluşturduktan sonra veri akışlarınızın yürütme süresini iyileştirmenize yardımcı olacak bir performans ayarlama kılavuzu oluşturmuştur.

Kullanılabilen bölgeler

Eşleme veri akışları ADF'de aşağıdaki bölgelerde kullanılabilir:

Azure bölgesi	ADF'de veri akışları
Orta Avustralya
Orta Avustralya 2
Doğu Avustralya	✓
Güneydoğu Avustralya	✓
Güney Brezilya	✓
Orta Kanada	✓
Orta Hindistan	✓
Orta ABD	✓
Doğu Çin
Doğu Çin 2
Çin Bölgesel Olmayan
Kuzey Çin	✓
Kuzey Çin 2	✓
Kuzey Çin 3	✓
Doğu Asya	✓
Doğu ABD	✓
Doğu ABD 2	✓
Orta Fransa	✓
Güney Fransa
Almanya Orta (Bağımsız)
Almanya Bölgesel Olmayan (Bağımsız)
Almanya Kuzey (Genel)
Almanya Kuzeydoğu (Bağımsız)
Almanya Orta Batı (Genel)	✓
Doğu Japonya	✓
Batı Japonya	✓
Güney Kore - Orta	✓
Güney Kore - Güney
Orta Kuzey ABD	✓
Kuzey Avrupa	✓
Norveç Doğu	✓
Batı Norveç
Güney Afrika - Kuzey	✓
Güney Afrika Batı
Orta Güney ABD
Güney Hindistan	✓
Güneydoğu Asya	✓
İsviçre Kuzey	✓
Batı İsviçre
Orta BAE
Kuzey BAE	✓
Güney Birleşik Krallık	✓
Batı Birleşik Krallık
Orta US DoD
Doğu US DoD
US Gov Arizona	✓
US Gov Bölgesel Olmayanlar
US Gov Teksas
US Gov Virginia	✓
Orta Batı ABD
West Europe	✓
Batı Hindistan	✓
Batı ABD	✓
Batı ABD 2	✓
Batı ABD 3	✓

İlgili içerik

• Kaynak dönüşümü oluşturmayı öğrenin.
• Veri akışlarınızı hata ayıklama modunda oluşturmayı öğrenin.