Eşleme veri akışında şema kayması

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Data Factory'ye Microsoft Fabric'te Upgrade yapın.

Şema kayması, kaynaklarınızın meta verileri sıklıkla değiştirdiği durumdur. Alanlar, sütunlar ve türler anında eklenebilir, kaldırılabilir veya değiştirilebilir. Şema kaymasını işlemeden veri akışınız yukarı akış veri kaynağı değişikliklerine karşı savunmasız hale gelir. Tipik ETL desenleri, gelen sütunlar ve alanlar değiştiğinde başarısız olur çünkü bunlar bu kaynak adlara bağlı olma eğilimindedir.

Şema kaymasına karşı koruma sağlamak için, Veri Mühendisi olarak şunları yapmanızı sağlayan bir veri akışı aracında tesislerin olması önemlidir:

• Değiştirilebilir alan adları, veri türleri, değerler ve boyutlara sahip kaynakları tanımlama
• Sabit kodlanmış alanlar ve değerler yerine veri desenleriyle çalışabilecek dönüştürme parametrelerini tanımlama
• Adlandırılmış alanları kullanmak yerine gelen alanlarla eşleşecek desenleri anlayan ifadeler tanımlama

Azure Data Factory, veri akışlarınızı yeniden derlemeye gerek kalmadan genel veri dönüştürme mantığı oluşturabilmeniz için yürütmeden yürütmeye değişen esnek şemaları yerel olarak destekler.

Akışınızda şema kaymasını kabul etmek için veri akışınızda mimari bir karar vermeniz gerekir. Bunu yaptığınızda kaynaklardan gelen şema değişikliklerine karşı koruma sağlayabilirsiniz. Ancak, veri akışınızda sütunlarınızın ve tür tiplerinizin erken bağlanmasını kaybedersiniz. Azure Data Factory şema kayması akışlarını geç bağlama akışları olarak ele alır, bu nedenle dönüşümlerinizi oluşturduğunuzda, sürüklenen sütun adları akış genelindeki şema görünümlerinde kullanılamaz.

Bu video, veri akışının schema drift özelliğiyle Azure Data Factory veya Synapse Analytics işlem hatlarında kolayca oluşturabileceğiniz bazı karmaşık çözümlere giriş sağlar. Bu örnekte, esnek veritabanı şemalarını temel alarak yeniden kullanılabilir desenler oluşturacağız:

Kaynaktaki şema sapması

Kaynak tanımınızdan veri akışınıza gelen sütunlar, kaynak projeksiyonunuzda mevcut olmadığında "sürüklenmiş" olarak tanımlanır. Kaynak dönüştürmedeki projeksiyon sekmesinden kaynak projeksiyonunuzu görüntüleyebilirsiniz. Kaynağınız için bir veri kümesi seçtiğinizde, hizmet otomatik olarak veri kümesinden şemayı alır ve bu veri kümesi şema tanımından bir projeksiyon oluşturur.

Kaynak dönüştürmede şema kayması, veri kümesi şemanızda tanımlanmayan okuma sütunları olarak tanımlanır. Şema kaymasını etkinleştirmek için kaynak dönüştürmenizde şema kaymasına izin ver seçeneğini işaretleyin.

Şema kayması etkinleştirildiğinde, yürütme sırasında tüm gelen alanlar kaynağınızdan okunur ve akışın tamamı Havuza geçirilir. Varsayılan olarak, sürüklenen sütunlar olarak bilinen yeni algılanan tüm sütunlar dize veri türü olarak gelir. Veri akışınızın sürüklenen sütunların veri türlerini otomatik olarak tahmin etmesini istiyorsanız, kaynak ayarlarınızda Sürüklenen sütun türlerini çıkar seçeneğini işaretleyin.

Havuzdaki şema kayması

Havuz dönüşümünde, şema kayması, havuz veri şemasında tanımlananların üzerine ek sütunlar yazdığınız zamandır. Şema kaymasını etkinleştirmek için havuz dönüştürmenizde şema kaymasına izin ver'i işaretleyin.

Şema kaymasını etkinleştirdiyseniz Eşleme sekmesindeki Otomatik eşleme kaydırıcısının açık olduğundan emin olun. Bu kaydırma düğmesi açıkken, tüm gelen sütunlar varış noktanıza yazılır. Aksi takdirde, sürüklenen sütunlar yazmak için kural tabanlı eşleme kullanmanız gerekir.

Kaymış sütunları dönüştürme

Veri akışınızda sütunlar kaydığında, dönüşümlerinizde bunlara aşağıdaki yöntemlerle erişebilirsiniz:

• Bir sütuna adla veya konum numarasına göre açıkça başvurmak için byPosition ve byName ifadelerini kullanın.
• Türetilmiş Sütun veya Toplama dönüşümü içinde herhangi bir ad, akış, konum, kaynak veya tür bileşimiyle eşleşecek şekilde bir sütun deseni ekleyin.
• Select veya Sink dönüşümünde kaymış sütunları bir kalıp aracılığıyla sütun takma adlarıyla eşleştirmek için kural tabanlı eşleme ekleyin.

Sütun desenlerini uygulama hakkında daha fazla bilgi için, Eşleme veri akışında sütun desenleri bölümüne başvurun.

Sürüklenen sütunları eşleme hızlı işlemi

Sapmış sütunlara açıkça başvurmak için, veri önizleme hızlı eylemi aracılığıyla bu sütunlar için hızla eşlemeler oluşturabilirsiniz. Hata ayıklama modu açık olduğunda Veri Önizleme sekmesine gidin ve Veri önizlemesini getirmek için Yenile'ye tıklayın. Veri fabrikası sürüklenen sütunların mevcut olduğunu algılarsa, SürüklenenLeri Eşle'ye tıklayabilir ve şema görünümlerindeki tüm sürüklenen sütunlara başvurmanızı sağlayan türetilmiş bir sütun oluşturabilirsiniz.

Oluşturulan Türetilmiş Sütun dönüşümünde, sapma gösteren her sütun tespit edilen adı ve veri türü ile eşlenir. Yukarıdaki veri önizlemesinde 'movieId' sütunu tamsayı olarak algılanır. Harita Kaydı'ya tıklandıktan sonra movieId, Türetilmiş Sütun'da olarak toInteger(byName('movieId')) tanımlanır ve aşağı akış dönüşümlerinde şema görünümlerine eklenir.

İlgili içerik

Veri Akışı Expression Dili'nde, sütun desenleri ve şema kaymasını içeren "byName" ve "byPosition" gibi ek olanaklar bulacaksınız.