Eşleme veri akışında vekil anahtar dönüşümü

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Veri akışları hem Azure Data Factory'de hem de Azure Synapse Pipelines'da kullanılabilir. Bu makale, eşleme veri akışları için geçerlidir. Dönüştürmeler hakkında yeniyseniz lütfen eşleme veri akışı kullanarak verileri dönüştürme başlıklı giriş makalesine bakın.

Her veri satırına artımlı anahtar değeri eklemek için vekil anahtar dönüştürmesini kullanın. Bu, yıldız şeması analitik veri modelinde boyut tabloları tasarlarken kullanışlıdır. Yıldız şemasında, boyut tablolarınızdaki her üye, iş olmayan bir anahtar olan benzersiz bir anahtar gerektirir.

Yapılandırma

Anahtar sütunu: Oluşturulan vekil anahtar sütununun adı.

Başlangıç değeri: Oluşturulacak en düşük anahtar değeri.

Mevcut kaynaklardan anahtarları artırma

Dizinizi bir kaynakta bulunan bir değerden başlatmak için, bu değeri kaydetmek için bir önbellek havuzu kullanmanız ve iki değeri birlikte eklemek için türetilmiş bir sütun dönüşümü kullanmanız önerilir. Çıktıyı almak ve oluşturulan anahtara eklemek için önbelleğe alınmış bir arama kullanın. Daha fazla bilgi için önbellek havuzları ve önbelleğe alınmış aramalar hakkında bilgi edinin.

Mevcut maksimum değerden artış

Anahtar değerini önceki en yüksek değerle görmek için kaynak verilerinizin bulunduğu yere göre kullanabileceğiniz iki teknik vardır.

Veritabanı kaynakları

Kaynağınızdan MAX() öğesini seçmek için bir SQL sorgu seçeneği kullanın. Örneğin, Select MAX(<surrogateKeyName>) as maxval from <sourceTable>.

Dosya kaynakları

Önceki maksimum değeriniz bir dosyadaysa, önceki maksimum değeri almak için toplama dönüştürmesindeki işlevini kullanın max() :

Her iki durumda da bir önbellek havuzuna yazmanız ve değeri aramanız gerekir.

Veri akışı betiği

Sözdizimi

<incomingStream> 
    keyGenerate(
        output(<surrogateColumnName> as long),
        startAt: <number>L
    ) ~> <surrogateKeyTransformationName>

Örnek

Yukarıdaki vekil anahtar yapılandırması için veri akışı betiği aşağıdaki kod parçacığındadır.

AggregateDayStats
    keyGenerate(
        output(key as long),
        startAt: 1L
    ) ~> SurrogateKey1

İlgili içerik

Bu örneklerde Birleştirme ve Türetilmiş Sütun dönüştürmeleri kullanılır.