Transformasi pivot di pemetaan aliran data

BERLAKU UNTUK: Azure Data Factory Azure Synapse Analytics

Tip

Cobalah Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!

Aliran data tersedia di Alur Azure Data Factory dan Azure Synapse. Artikel ini berlaku untuk memetakan aliran data. Jika Anda baru mengenal transformasi, silakan lihat artikel pengantar Transformasi data menggunakan aliran data pemetaan.

Gunakan transformasi pivot untuk membuat beberapa kolom dari nilai baris unik dari satu kolom. Pivot merupakan transformasi agregasi tempat Anda memilih mengelompokkan menurut kolom dan menghasilkan kolom pivot menggunakan fungsi agregat.

Konfigurasi

Transformasi pivot memerlukan tiga input yang berbeda: mengelompokkan menurut kolom, kunci pivot, dan cara menghasilkan kolom yang dibuat pivot

Kelompokkan berdasarkan

Pilih kolom mana yang akan diagregatkan kolom yang dibuat pivot. Data output akan mengelompokkan semua baris dengan grup menurut nilai yang sama ke dalam satu baris. Agregasi yang dilakukan di kolom pivot akan muncul di setiap grup.

Bagian ini bersifat opsional. Jika tidak ada grup menurut kolom yang dipilih, seluruh aliran data akan diagregasi dan hanya satu baris yang akan dihasilkan.

Tombol pivot

Kunci pivot merupakan kolom yang nilai barisnya dibuat pivot ke kolom baru. Secara default, transformasi pivot akan membuat kolom baru untuk setiap nilai baris yang unik.

Di bagian berlabel Nilai, Anda dapat memasukkan nilai baris tertentu untuk dibuat pivot. Hanya nilai baris yang dimasukkan di bagian ini yang akan dibuat pivot. Mengaktifkan nilai Null akan membuat kolom pivot untuk nilai kosong dalam kolom.

Kolom dengan pivot

Untuk setiap nilai kunci pivot unik yang menjadi kolom, hasilkan nilai baris agregat untuk setiap grup. Anda dapat membuat beberapa kolom per tombol pivot. Setiap kolom pivot harus berisi setidaknya satu fungsi agregat.

Pola nama kolom: Pilih cara memformat nama kolom setiap kolom pivot. Nama kolom yang dihasilkan akan menjadi kombinasi dari nilai kunci pivot, awalan kolom, dan awalan opsional, akhiran, karakter tengah.

Susunan kolom: Jika Anda menghasilkan lebih dari satu kolom pivot per kunci pivot, pilih bagaimana Anda ingin kolom diurutkan.

Awalan kolom: Jika Anda menghasilkan lebih dari satu kolom pivot per kunci pivot, masukkan awalan kolom untuk setiap kolom. Pengaturan ini bersifat opsional jika Anda hanya memiliki satu kolom pivot.

Grafik bantuan

Grafik bantuan di bawah ini memperlihatkan bagaimana komponen pivot yang berbeda berinteraksi satu sama lain

Metadata pivot

Jika tidak ada nilai yang ditentukan dalam konfigurasi kunci pivot, kolom yang dibuat pivot akan dihasilkan secara dinamis pada waktu proses. Jumlah kolom pivot akan sama dengan jumlah nilai kunci pivot unik yang dikalikan dengan jumlah kolom pivot. Karena ini dapat menjadi angka yang berubah, UX tidak akan menampilkan metadata kolom di tab Inspeksi dan tidak akan ada propogasi kolom. Untuk mengubah kolom ini, gunakan kapabilitas pola kolom pemetaan aliran data.

Jika nilai kunci pivot tertentu diatur, kolom pivot akan muncul di metadata. Nama kolom akan tersedia untuk Anda di pemetaan Inspeksi dan Sink.

Hasilkan metadata dari kolom yang di-drift

Pivot menghasilkan nama kolom baru secara dinamis berdasarkan nilai baris. Anda dapat menambahkan kolom baru ini ke dalam metadata yang dapat dibuat referensinya nanti di aliran data Anda. Untuk melakukan ini, gunakan tindakan cepat yang di-drift peta di pratinjau data.

Menenggelamkan kolom yang dibuat pivot

Meskipun kolom yang dibuat pivot bersifat dinamis, kolom tersebut masih dapat ditulis ke dalam penyimpanan data tujuan Anda. Aktifkan Izinkan penyimpangan skema di pengaturan sink Anda. Hal ini akan memungkinkan Anda untuk menulis kolom yang tidak disertakan dalam metadata. Anda tidak akan melihat nama dinamis baru di metadata kolom Anda, tetapi opsi drift skema akan memungkinkan Anda untuk mendapatkan data.

Bergabung kembali dengan bidang asli

Transformasi pivot hanya akan memproyeksikan grup menurut dan kolom yang dibuat pivot. Jika Anda ingin data output Anda menyertakan kolom input lainnya, gunakan pola gabungan mandiri.

Skrip aliran data

Sintaks

<incomingStreamName>
    pivot(groupBy(Tm),
        pivotBy(<pivotKeyColumn, [<specifiedColumnName1>,...,<specifiedColumnNameN>]),
        <pivotColumnPrefix> = <pivotedColumnValue>,
        columnNaming: '< prefix >< $N | $V ><middle >< $N | $V >< suffix >',
        lateral: { 'true' | 'false'}
    ) ~> <pivotTransformationName

Contoh

Layar yang diperlihatkan di bagian konfigurasi, memiliki skrip aliran data berikut:

BasketballPlayerStats pivot(groupBy(Tm),
    pivotBy(Pos),
    {} = count(),
    columnNaming: '$V$N count',
    lateral: true) ~> PivotExample

Konten terkait

Cobalah transformasi yang tidak memiliki pivot untuk mengubah nilai kolom menjadi nilai baris.