Veri akışlarını eşlemede sütun desenlerini kullanma

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Microsoft Fabric içindeki Data Factory'ye yükseltin

Çeşitli eşleme veri akışları dönüştürmeleri, sabit kodlanmış sütun adları yerine desenleri temel alan şablon sütunlarına başvurmanızı sağlar. Bu eşleştirme, sütun desenleri olarak bilinir. Tam alan adları gerektirmek yerine ad, veri türü, akış, kaynak veya konum temelinde sütunları eşleştirmek için desenler tanımlayabilirsiniz. Sütun desenlerinin yararlı olduğu iki senaryo vardır:

• Metin dosyalarındaki veya NoSQL veritabanlarındaki sütunları değiştirme gibi gelen kaynak alanlar sık sık değişiyorsa. Bu senaryo şema kayma olarak bilinir.
• Büyük bir sütun grubu üzerinde ortak bir işlem yapmak istiyorsanız. Örneğin, sütun adında 'total' bulunan her sütunu bir çifte dönüştürmeyi isteme.

Türetilmiş sütun ve birikimdeki sütun desenleri

Türetilmiş bir sütuna, toplamaya veya pencere dönüştürmeye sütun deseni eklemek için, sütun listesinin üstündeki Ekle'ye veya mevcut türetilmiş sütunun yanındaki artı simgesine tıklayın. Sütun deseni ekle'yi seçin.

Eşleşme koşulunu girmek için ifade oluşturucusunu kullanın. Sütunlar, name, type, stream, origin ve position öğelerine göre eşleşen bir boolean ifadesi oluşturun. Koşulun doğru değer döndürdüğü, sürüklenen veya tanımlanan tüm sütunları desen etkiler.

Yukarıdaki sütun deseni, çift türündeki her sütunla eşleşir ve her eşleşme için bir türetilmiş sütun oluşturur. Sütun adı alanı olarak belirterek $$ , eşleşen her sütun aynı adla güncelleştirilir. Her sütunun değeri, iki ondalık basameğe yuvarlanmış mevcut değerdir.

Eşleşen koşulunuzun doğru olduğunu doğrulamak için, İncele sekmesinde tanımlı sütunların çıkış şemasını doğrulayabilir veya Veri önizleme sekmesinde verilerin anlık görüntüsünü alabilirsiniz.

Hiyerarşik desen eşleştirme

Karmaşık hiyerarşik yapıların içinde desen eşleştirme de oluşturabilirsiniz. Veri akışınızdaki her hiyerarşiyle ilgili bilgilendirme yapılacağı bölümü Each MoviesStruct that matches genişletin. Ardından, seçilen hiyerarşideki özellikler için eşleşen desenler oluşturabilirsiniz.

Yapıların Düzleştirilmesi

Verileriniz diziler, hiyerarşik yapılar ve haritalar gibi karmaşık yapılandırmalara sahipse, dizileri açmak ve verilerinizi denormalize etmek için Flatten dönüşümünü kullanabilirsiniz. Yapılar ve haritalar için, hiyerarşileri düzleştirerek ilişkisel tablonuzu oluşturmak amacıyla sütun desenlerine sahip türetilmiş sütun dönüşümünü kullanın. Coğrafya hiyerarşisini ilişkisel bir tablo formuna dönüştüren bu örneğe benzer sütun desenlerini kullanabilirsiniz:

Seçme ve hedefte kural tabanlı eşleme

Kaynaktaki sütunları eşlerken ve dönüşümleri seçerken, sabit eşleme veya kural tabanlı eşlemeler ekleyebilirsiniz. Sütunların name, type, stream, origin ve position özelliklerine göre eşleştirin. Sabit ve kural tabanlı eşlemelerin herhangi bir birleşimine sahip olabilirsiniz. Varsayılan olarak, 50'den büyük sütuna sahip tüm projeksiyonlar, her sütunda eşleşen ve giriş yapılan adı veren kural tabanlı eşlemeye varsayılan olarak ayarlanır.

Kural tabanlı eşleme eklemek için Eşleme ekle'ye tıklayın ve Kural tabanlı eşleme'yi seçin.

Her kural tabanlı eşleme iki giriş gerektirir: hangi koşula göre eşleştirilir ve eşlenen her sütunun adı. her iki değer de ifade oluşturucusu aracılığıyla girilir. Sol ifade kutusuna boole eşleştirme koşulunuzu girin. Sağ ifade kutusunda, eşleşen sütunun hangi sütuna eşleneceğini belirtin.

Eşleşen bir sütunun giriş adına başvurmak için söz dizimini kullanın $$ . Yukarıdaki görüntüyü örnek olarak kullanarak, bir kullanıcının adları altı karakterden kısa olan tüm dize sütunlarında eşleştirmek istediğini söyleyebiliriz. Gelen bir sütun olarak adlandırılmışsa test, ifade $$ + '_short' sütununu test_shortyeniden adlandırır. Var olan tek eşleme buysa, koşulu karşılamayen tüm sütunlar çıktı verilerinden bırakılır.

Desenler hem kaydırılmış hem de tanımlanmış sütunlarla eşleşir. Bir kural tarafından eşlenen tanımlı sütunları görmek için kuralın yanındaki gözlük simgesine tıklayın. Veri önizlemesini kullanarak çıkışınızı doğrulayın.

Regex eşlemesi

Aşağı doğru köşeli çift ayraç simgesine tıklarsanız, bir regex eşleme koşulu belirtebilirsiniz. Bir regex eşleme koşulu, belirtilen regex koşuluyla eşleşen tüm sütun adlarla eşleşir. Bu, standart kural tabanlı eşlemelerle birlikte kullanılabilir.

Yukarıdaki örnek, regex deseni (r) veya küçük harf r içeren herhangi bir sütun adıyla eşleşir. Standart olan kural tabanlı eşlemeye benzer şekilde, eşleşen tüm sütunlar $$ söz dizimi ile sağdaki koşul tarafından değiştirilir.

Kural tabanlı hiyerarşiler

Tanımlı projeksiyonunuzun hiyerarşisi varsa, hiyerarşi alt sütunlarını eşlemek için kural tabanlı eşlemeyi kullanabilirsiniz. Eşleşen bir koşul ve alt sütunlarını eşlemek istediğiniz karmaşık sütunu belirtin. Eşleşen her alt sütun sağda belirtilen 'Ad olarak adlandır' kuralı kullanılarak çıkarılır.

Yukarıdaki örnek, karmaşık sütunun atüm alt sütunlarında eşleşir. a iki alt sütun b ve ciçerir. Çıkış şeması, 'Ad olarak' koşulu b olduğunda c ve $$ olmak üzere iki sütun içerecektir.

Örüntü eşleme ifade değerleri

• $$ çalışma zamanındaki her eşleşmenin adına veya değerine çevrilir. $$'yı this ile eşdeğer olarak düşün
• $0 skaler türler için çalışma zamanında geçerli sütun adı eşleşmesine çevirir. Hiyerarşik türler için, $0 geçerli eşleşen sütun hiyerarşi yolunu temsil eder.
• name gelen her sütunun adını temsil eder
• type gelen her sütunun veri türünü temsil eder. Veri akışları türü sistemindeki veri türlerinin listesi burada bulunabilir .
• stream her akışla ilişkili adı veya akışınızdaki dönüşümü temsil eder
• position veri akışınızdaki sütunların sıralı konumudur
• origin bir sütunun kaynaklandığı ya da en son güncellendiği yere dönüştürmedir.

İlgili içerik

• Veri dönüştürmeleri için eşleme veri akışları ifade dili hakkında daha fazla bilgi edinin
• Sink dönüşümünde sütun desenlerini kullanma ve kural tabanlı eşleme ile seçim dönüşümünü gerçekleştirme