Veri akışı eşlemesinde vekil anahtar dönüşümü

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Microsoft Fabric içindeki Data Factory'ye yükseltin

Veri akışları hem Azure Data Factory işlem hatlarında hem de Azure Synapse Analytics işlem hatlarında kullanılabilir. Bu makale, eşleme veri akışları için geçerlidir. Dönüştürmeler hakkında yeniyseniz , Eşleme veri akışlarını kullanarak verileri dönüştürme başlıklı giriş makalesine bakın.

İpucu

Veri Akışı 2. Nesil'deki eşdeğer dönüştürme (Dizin sütunu) için bkz. Veri akışı kullanıcılarını eşlemek için Veri Akışı 2. Nesil kılavuzu.

Her bir veri satırına artan bir anahtar değeri eklemek için vekil anahtar dönüşümünü kullanın. Bu, yıldız şeması analitik veri modelinde boyut tabloları tasarlarken kullanışlıdır. Yıldız şemasında, boyut tablolarınızdaki her üyenin, işle ilgili olmayan benzersiz bir anahtara ihtiyacı vardır.

Yapılandırma

Anahtar sütunu: Oluşturulan vekil anahtar sütununun adı.

Başlangıç değeri: Oluşturulan en düşük anahtar değeri.

Mevcut kaynaklardan anahtarları artır

Dizinizi bir kaynakta bulunan bir değerden başlatmak için, bu değeri kaydetmek için bir önbellek havuzu kullanmanızı ve iki değeri birlikte eklemek için türetilmiş bir sütun dönüştürmesi kullanmanızı öneririz. Çıktıyı almak ve oluşturulan anahtara eklemek için önbelleğe alınmış bir arama kullanın. Daha fazla bilgi için önbellek havuzları ve önbelleğe alınmış aramalar hakkında bilgi edinin.

Mevcut maksimum değerden artış

Anahtar değerini önceki maksimum değerle başlatmak için, kaynak verilerinizin bulunduğu yere bağlı olarak kullanabileceğiniz iki teknik vardır.

Veritabanı kaynakları

Kaynağınızdan MAX() öğesini seçmek için bir SQL sorgu seçeneği kullanın. Örneğin, Select MAX(<surrogateKeyName>) as maxval from <sourceTable>.

Dosya kaynakları

Önceki maksimum değeriniz bir dosyadaysa, önceki maksimum değeri almak için toplama dönüştürmesindeki max() işlevini kullanın.

Her iki durumda da bir önbellek havuzuna yazmanız ve değeri aramanız gerekir.

Veri akışı betiği

Sözdizimi

<incomingStream> 
    keyGenerate(
        output(<surrogateColumnName> as long),
        startAt: <number>L
    ) ~> <surrogateKeyTransformationName>

Örnek

Yukarıdaki vekil anahtar yapılandırması için veri akışı betiği aşağıdaki kod parçacığındadır.

AggregateDayStats
    keyGenerate(
        output(key as long),
        startAt: 1L
    ) ~> SurrogateKey1

İlgili içerik

Bu örneklerde Birleştirme ve Türetilmiş Sütun dönüştürmeleri kullanılır.