Pemetaan aliran data dalam tutorial video

Azure Data Factory Azure Synapse Analytics

Petunjuk

Data Factory di Microsoft Fabric adalah generasi Azure Data Factory berikutnya, dengan arsitektur yang lebih sederhana, AI bawaan, dan fitur baru. Jika Anda baru menggunakan integrasi data, mulailah dengan Fabric Data Factory. Beban kerja ADF yang ada dapat ditingkatkan ke Fabric untuk mengakses kemampuan baru di seluruh ilmu data, analitik real time, dan pelaporan.

Di bawah ini adalah daftar video tutorial aliran data pemetaan yang dibuat oleh tim Azure Data Factory.

Karena pembaruan terus-menerus dilakukan pada produk, beberapa fitur telah menambahkan atau fungsionalitas yang berbeda dalam pengalaman pengguna Azure Data Factory saat ini.

Memulai

Mulai dengan pemetaan aliran data di Azure Data Factory

Men-debug dan mengembangkan aliran data pemetaan

Men-debug dan menguji aliran data pemetaan.

Eksplorasi data

Aksi cepat pratinjau data

Memantau dan mengelola performa aliran data pemetaan

Waktu tolok ukur

Men-debug alur kerja untuk aliran data

Tampilan pemantauan yang diperbarui

Ikhtisar transformasi

Transformasi agregat

Mengubah transformasi baris

Transformasi Kolom Turunan

Transformasi Gabungan

Pola swa-gabung

Transformasi pencarian

Tips & Pembaruan Transformasi Pencarian

Transformasi Pivot

Transformasi poros: memetakan kolom yang mengalami pergeseran

Pilih transformasi

Pilih transformasi: Pemetaan berbasis aturan

Pilih transformasi: Himpunan Data Besar

Transformasi kunci pengganti

Transformasi gabungan

Transformasi unpivot

Transformasi Jendela

Transformasi Filter

Transformasi Pemisahan Bersyarat

Transformasi Yang Ada

Gabungan Dinamis dan Pencarian Dinamis

Transformasi perataan

Alur

Transformasi menjadi string

Transformasi Panggilan Eksternal

Mengubah data hierarkis

Transformasi peringkat

Pemeriksaan cache

Konteks baris melalui transformasi Jendela

Transformasi pilah

Mentransformasi jenis data kompleks

Output ke aktivitas berikutnya

Transformasi menjadi string

Transformasi Panggilan Eksternal

Menyatakan transformasi

Baris kesalahan pernyataan log

Fuzzy Join

Sumber dan penampung

Membaca dan menulis JSON

File Parquet dan teks dengan pembatas

Konektor CosmosDB

Menyimpulkan jenis data dalam file teks yang dibatasi

Membaca dan menulis file yang dipartisi

Mentransformasi dan membuat beberapa tabel SQL

Bagilah file Anda di data lake

Pola pemuatan gudang data

Opsi file keluaran data lake

Mengoptimalkan aliran data pemetaan

Garis besar data

Iterasi berkas-berkas dengan parameter

Mengurangi waktu mulai

Kinerja DB SQL

Pencatatan dan audit

Mengoptimalkan ukuran kluster aliran data secara dinamis pada runtime

Mengoptimalkan waktu aktif mulai aliran data

Azure Integration Runtimes untuk Aliran Data

Waktu mulai cluster yang cepat dengan Azure IR

Skenario pemetaan aliran data

Pencarian fuzzy

Pola data pemanggungan

Pola alamat bersih

Deduplikasi

Gabungkan file

Dimensi yang berubah lambat tipe 1: timpa

Mengubah dimensi jenis 2 secara perlahan: riwayat

Pemuatan tabel fakta

Mentransformasi SQL Server di lokasi dengan pola pemuatan data delta

Parameterisasi

Baris unik & jumlah baris

Menangani kesalahan pemotongan

Pengarahan data cerdas

Masking data untuk data sensitif

Model Logika vs. Model Fisik

Mendeteksi perubahan data sumber

Jenis generik 2 mengubah dimensi secara perlahan

Hapus baris dalam target jika tidak ada di sumber

Muat data bertahap dengan Azure Data Factory dan Azure SQL DB

Mengubah data Avro dari Event Hubs menggunakan Parse dan Flatten

Ekspresi aliran data

Ekspresi Tanggal/Waktu

Memisahkan Array dan Pernyataan Kasus

Bersenang-senang dengan interpolasi dan parameter string

Data Flow Script Intro: Copy, Paste, Snippets

Ekspresi Kualitas Data

Mengumpulkan fungsi agregat

Ekspresi dinamis sebagai parameter

Fungsi yang ditentukan pengguna

Metadata

Aturan validasi metadata

  • Last updated on