Transformasi kunci pengganti di aliran data pemetaan

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Aliran data tersedia di Alur Azure Data Factory dan Azure Synapse. Artikel ini berlaku untuk memetakan aliran data. Jika Anda baru mengenal transformasi, silakan lihat artikel pengantar Transformasi data menggunakan aliran data pemetaan.

Gunakan transformasi kunci pengganti untuk menambahkan nilai kunci bertahap ke setiap baris data. Langkah ini berguna saat mendesain tabel dimensi dalam model data analitis skema bintang. Dalam skema bintang, setiap anggota dalam tabel dimensi Anda memerlukan kunci unik yang merupakan kunci non-bisnis.

Konfigurasi

Kolom kunci: Nama kolom kunci pengganti yang dihasilkan.

Nilai awal: Nilai kunci terendah yang akan dihasilkan.

Kunci tahapan dari sumber yang ada

Untuk memulai urutan Anda dari nilai yang ada di sumber, kami sarankan untuk menggunakan sink cache untuk menyimpan nilai tersebut dan menggunakan transformasi kolom turunan untuk menambahkan dua nilai bersama-sama. Gunakan pencarian cache untuk mendapatkan output dan menambahkannya ke kunci yang dihasilkan. Untuk informasi selengkapnya, pelajari tentang sink cache dan pencarian cache.

Tahapan dari nilai maksimum yang ada

Untuk menyemai nilai kunci dengan maks sebelumnya, ada dua teknik yang dapat Anda gunakan berdasarkan di mana letak data sumber Anda berada.

Sumber database

Gunakan opsi kueri SQL untuk memilih MAX() dari sumber Anda. Contohnya,Select MAX(<surrogateKeyName>) as maxval from <sourceTable>.

Sumber file

Jika nilai maks Anda sebelumnya ada dalam file, gunakan fungsi max() dalam transformasi agregat untuk mendapatkan nilai maks sebelumnya:

Dalam kedua kasus tersebut, Anda harus menulis ke sink cache dan mencari nilainya.

Skrip aliran data

Sintaks

<incomingStream> 
    keyGenerate(
        output(<surrogateColumnName> as long),
        startAt: <number>L
    ) ~> <surrogateKeyTransformationName>

Contoh

Skrip aliran data untuk konfigurasi kunci pengganti di atas ada dalam cuplikan kode di bawah ini.

AggregateDayStats
    keyGenerate(
        output(key as long),
        startAt: 1L
    ) ~> SurrogateKey1

Konten terkait

Contoh ini menggunakan transformasi Gabung dan Kolom Turunan.