Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Important
Transformasi aliran data pemetaan dalam dataflow Gen2 saat ini tersedia dalam pratinjau publik dan dapat berubah sewaktu-waktu.
Transformasi aliran data pemetaan (MDF) dalam aliran data gen2 memungkinkan Anda membuat, menjalankan, dan memantau transformasi data berbasis Spark secara langsung di Data Factory dalam Microsoft Fabric.
Transformasi MDF menghadirkan kapabilitas Azure Data Factory dan Azure Synapse Analytics Mapping Data Flows ke Microsoft Fabric melalui pengalaman penulisan visual low-code yang familier dan terintegrasi dengan dataflow gen2.
Dengan transformasi MDF, Anda dapat:
- Migrasikan alur Aliran Data pemetaan Azure Data Factory dan Azure Synapse Analytics yang ada ke dalam Fabric.
- Buat transformasi berbasis Spark baru langsung di Fabric.
- Jalankan transformasi MDF menggunakan alur data Fabric.
- Pantau eksekusi transformasi menggunakan pengalaman pemantauan terintegrasi.
- Lanjutkan menggunakan pola transformasi Data Flow Pemetaan yang sudah dikenal di dalam Fabric.
Apa itu transformasi aliran data pemetaan?
MDF memperluas dataflow Gen2 dengan kemampuan transformasi berbasis Spark untuk beban kerja penyiapan dan transformasi data skala besar.
Transformasi MDF menyediakan:
- Pengalaman penulisan visual kode rendah
- Eksekusi berbasis Spark
- Orkestrasi terintegrasi melalui alur Fabric
- Wawasan pemantauan dan eksekusi langsung di Fabric
Gunakan transformasi MDF untuk:
- Migrasikan alur Aliran Data Pemetaan Azure Data Factory atau Azure Synapse Analytics yang ada ke Fabric.
- Buat alur transformasi berbasis Spark baru secara asli di Fabric.
Transformasi MDF terintegrasi penuh dengan dataflow Gen2 dan menghadirkan pengalaman pembuatan yang familier, serupa dengan Azure Data Factory dan Azure Synapse Analytics Mapping Data Flows.
Skenario yang didukung
Transformasi MDF saat ini mendukung skenario berikut.
Memigrasikan Aliran Data Pemetaan yang ada
Anda dapat memigrasikan Aliran Data Pemetaan Azure Data Factory dan Azure Synapse Analytics yang ada ke Fabric menggunakan pengalaman migrasi bawaan Azure Data Factory/Synapse Analytics.
Selama migrasi:
- Alur Data Pemetaan diubah menjadi transformasi MDF di Dataflow Gen2.
- Alur dan logika transformasi dimigrasikan bersama-sama.
- Transformasi MDF dibuka di dalam kanvas transformasi yang disematkan dalam Dataflow Gen2.
- Logika transformasi yang ada dapat terus ditulis, divalidasi, dijalankan, dan dipantau dalam Fabric.
Membuat transformasi aliran data pemetaan baru di Fabric
Anda juga dapat membuat transformasi MDF baru secara langsung di aliran data gen2. Pengalaman ini memungkinkan Anda untuk:
- Bangun transformasi berbasis Spark menggunakan antarmuka visual.
- Gunakan kemampuan transformasi Data Flow Pemetaan yang sudah dikenal.
- Jalankan transformasi menggunakan alur data Fabric.
- Pantau eksekusi melalui pengalaman pemantauan terintegrasi.
Prasyarat
Sebelum Anda menggunakan transformasi MDF di dataflow Gen2, pastikan prasyarat berikut terpenuhi:
- Kapasitas Fabric.
- Kontributor atau izin yang lebih tinggi ke ruang kerja Fabric.
- Koneksi Fabric yang tersedia untuk sumber data yang didukung.
- (Opsional) Ruang kerja Azure Data Factory atau Azure Synapse Analytics yang sudah ada, jika Anda menggunakan skenario migrasi.
Keterbatasan
Kemampuan berikut saat ini tidak didukung dalam pratinjau publik:
| Wilayah | Batasan |
|---|---|
| Flowlets | Tidak didukung. |
| Pustaka Data Flow | Tidak didukung. |
| Fungsi yang ditentukan pengguna (UDF) | Tidak didukung. |
| Eksekusi aliran data | Transformasi MDF hanya dapat dijalankan melalui aktivitas Dataflow di pipeline. Eksekusi langsung dari Dataflow Gen2 saat ini tidak didukung. Hanya tindakan Simpan yang tersedia dari menu Simpan &jalankan . |
| Jaringan Virtual Terkelola | Dukungan untuk Managed Virtual Network (Managed VNet) tidak tersedia dalam versi pratinjau ini. |
| Eksekusi saat proses berjalan | Eksekusi transformasi MDF saat ini menggunakan runtime Synapse Spark yang mendasarinya, mirip dengan Azure Data Factory dan Azure Synapse Analytics Aliran Data Pemetaan. |
| Keseimbangan fitur | Tidak semua kemampuan Mapping Data Flow tersedia dalam versi pratinjau ini. |
Konektor yang didukung
Transformasi MDF mendukung konektor sumber dan sink yang paling umum digunakan yang tersedia di Aliran Data Pemetaan Azure Data Factory dan Azure Synapse Analytics.
Konektor berikut saat ini didukung:
| Kategori | Pusat penyimpanan data | Transformasi MDF dalam aliran data gen2 (sumber/sink) | Jenis Autentikasi yang Didukung |
|---|---|---|---|
| Azure | Azure Blob Storage | ✓/✓ | Dasar, Identitas Terkelola / Identitas Ruang Kerja, Prinsipal Layanan |
| Azure Cosmos DB for NoSQL | ✓/✓ | Basic | |
| Azure Data Explorer | ✓/✓ | Identitas Terkelola / Identitas Ruang Kerja | |
| Azure Data Lake Storage Gen1 | ✓/✓ | Dasar, Identitas Terkelola / Identitas Ruang Kerja, Prinsipal Layanan | |
| Azure Data Lake Storage Gen2 | ✓/✓ | Dasar, Identitas Terkelola / Identitas Ruang Kerja, Prinsipal Layanan | |
| Azure Database for MySQL | ✓/✓ | Basic | |
| Azure Database for PostgreSQL | ✓/✓ | Basic | |
| Azure Databricks Delta Lake | ✓/✓ Gunakan format delta | Basic | |
| Azure SQL Database | ✓/✓ | Dasar, Identitas Terkelola / Identitas Ruang Kerja, Prinsipal Layanan | |
| Azure SQL Managed Instance | ✓/✓ | Dasar, Identitas Terkelola / Identitas Ruang Kerja, Prinsipal Layanan | |
| Azure Synapse Analytics | ✓/✓ | Basic | |
| Database | Snowflake | ✓/✓ | Basic |
| File | Amazon S3 | ✓/✓ | Basic |
| SFTP | ✓/✓ | Basic | |
| REST Umum | ✓/✓ | Dasar, Prinsipal Layanan |
Selama penulisan:
- Koneksi Fabric yang ada dapat digunakan kembali.
- Koneksi baru dapat dibuat langsung dari pengalaman penulisan menggunakan pengalaman Dapatkan Data .
- Konfigurasi sumber dan sink mengikuti pola pemetaan Data Flow yang familier.
Transformasi yang didukung
Transformasi MDF memberikan pengalaman transformasi visual kode rendah yang akrab untuk membangun alur transformasi data berbasis Spark yang dapat diskalakan di Fabric.
Transformasi berikut saat ini didukung:
| Name | Kategori | Description |
|---|---|---|
| Aggregate | Pengubah skema | Tentukan agregasi seperti SUM, MIN, MAX, dan COUNT yang dikelompokkan berdasarkan kolom yang sudah ada atau dihitung. |
| Ubah baris | Pengubah baris | Atur kebijakan untuk menyisipkan, menghapus, memperbarui, dan menggabungkan atau memperbarui data pada baris. |
| Assert | Pengubah baris | Tentukan aturan pernyataan untuk baris dalam aliran data. |
| Cast | Pengubah skema | Ubah jenis data kolom dengan memeriksa tipe data. |
| Pemisahan bersyarat | Beberapa masukan/keluaran | Rutekan baris ke aliran yang berbeda berdasarkan kondisi yang cocok. |
| Kolom turunan | Pengubah skema | Buat kolom baru atau ubah bidang yang sudah ada menggunakan ekspresi. |
| Panggilan eksternal | Pengubah skema | Panggil endpoint eksternal secara inline untuk setiap baris. |
| Exists | Beberapa masukan/keluaran | Periksa apakah data ada di sumber atau aliran lain. |
| Filter | Pengubah baris | Memfilter baris berdasarkan kondisi. |
| Flatten | Pemformat | Meratakan struktur hierarkis seperti array JSON ke dalam baris. |
| Bergabung | Beberapa masukan/keluaran | Gabungkan data dari dua sumber atau aliran. |
| Lookup | Beberapa masukan/keluaran | Mereferensikan data dari sumber atau aliran lain. |
| Cabang baru | Beberapa masukan/keluaran | Terapkan beberapa jalur transformasi pada aliran yang sama. |
| Parse | Pemformat | Mengurai JSON, teks berbatas, atau string berformat XML. |
| Pivot | Pengubah skema | Ubah nilai baris yang berbeda menjadi kolom. |
| Rank | Pengubah skema | Hasilkan peringkat yang diurutkan berdasarkan kondisi pengurutan. |
| Select | Pengubah skema | Ganti nama, utas ulang, atau hapus kolom. |
| Sink | - | Tentukan tujuan untuk data yang diubah. |
| Sort | Pengubah baris | Urutkan baris dalam aliran data saat ini. |
| Source | - | Tentukan sumber untuk aliran data. |
| Stringify | Pemformat | Mengonversi jenis kompleks menjadi nilai string. |
| File Kunci Pengganti | Pengubah skema | Buat nilai kunci surrogate yang bertambah secara berurutan. |
| Union | Beberapa masukan/keluaran | Gabungkan beberapa aliran data secara vertikal. |
| Unpivot | Pengubah skema | Mengubah kolom menjadi nilai baris. |
| Window | Pengubah skema | Tentukan agregasi berbasis jendela melalui aliran data. |
Buat transformasi pemetaan aliran data di Dataflow Gen2
Untuk membuat transformasi MDF baru di Fabric:
Buka ruang kerja Fabric Anda.
Pilih Item baru.
Pilih Dataflow Gen2.
Berikan nama untuk item aliran data gen2 dan pilih Buat.
Di kanvas aliran data gen2, gunakan salah satu opsi berikut:
- Pilih Jalankan transformasi aliran data pemetaan dari grup tindakan Baru di pita Beranda aliran data Gen2.
- Pilih petak peta Jalankan transformasi aliran data Pemetaan (Aliran Data Pemetaan ADF) dari kanvas.
Tindakan transformasi MDF baru muncul di kanvas aliran data gen2 dan membuka pengalaman penulisan transformasi MDF yang disematkan.
Tip
Pengalaman penulisan transformasi MDF menggunakan antarmuka visual yang familier mirip dengan Azure Data Factory dan Azure Synapse Analytics Pemetaan Aliran Data.
Transformasi aliran data pemetaan penulis
Setelah Anda membuat transformasi MDF, Anda dapat mulai menulis logika transformasi.
Aktifkan mode debug
Untuk penulisan interaktif dan pratinjau data:
- Aktifkan tombol Debug aliran data dari toolbar mengambang.
- Tunggu hingga sesi debug diinisialisasi.
- Setelah diaktifkan, Anda dapat mempratinjau data sumber dan transformasi selama penulisan.
Note
Sesi debug mungkin memerlukan waktu beberapa menit untuk diinisialisasi tergantung pada ketersediaan runtime Spark.
Menambahkan sumber
Untuk mengonfigurasi sumber:
- Pilih Tambahkan sumber.
- Pilih jenis koneksi.
- Pilih koneksi Fabric yang sudah ada atau buat koneksi baru secara langsung melalui pengalaman Dapatkan Data jika diperlukan.
- Telusuri dan pilih file sumber, tabel, atau himpunan data.
Setelah Anda mengonfigurasi koneksi sumber dan himpunan data, gunakan tab Pratinjau data untuk memvalidasi dan mempratinjau data sumber selama penulisan interaktif.
Menambahkan transformasi
Untuk menambahkan transformasi:
- Pilih ikon di + samping sumber atau transformasi.
- Pilih jenis transformasi.
- Konfigurasikan pengaturan transformasi.
Anda dapat terus membangun logika transformasi menggunakan kanvas transformasi visual.
Mengonfigurasikan penyerap data
Setelah logika transformasi selesai:
- Tambahkan transformasi sink.
- Mengonfigurasi koneksi tujuan.
- Konfigurasikan pengaturan penulisan.
Memvalidasi dan menyimpan
Sebelum eksekusi:
Pilih Validasi pada toolbar transformasi MDF.
Atasi masalah validasi jika ada yang dilaporkan.
Pilih Simpan dari menu Simpan &jalankan .
Note
Hanya tindakan Simpan yang saat ini didukung untuk aliran data gen2 dengan transformasi MDF dalam pratinjau publik.
Menjalankan transformasi aliran data pemetaan menggunakan alur Fabric
Anda menjalankan transformasi MDF melalui alur data Fabric menggunakan aktivitas Aliran Data.
Untuk menjalankan transformasi MDF:
- Buat alur Fabric baru.
- Tambahkan aktivitas Aliran Data ke alur.
- Dalam aktivitas Pengaturan, pilih item dataflow gen2 yang berisi transformasi MDF.
- Pilih kueri transformasi MDF untuk dijalankan.
- Konfigurasikan pengaturan runtime Spark sesuai kebutuhan.
- Validasikan dan publikasikan alur.
- Jalankan alur secara manual atau konfigurasikan jadwal atau pemicu.
Konfigurasikan pengaturan runtime Spark
Transformasi MDF dijalankan menggunakan runtime Spark terkelola yang terintegrasi dengan Data Factory dalam Microsoft Fabric. Anda dapat mengonfigurasi pengaturan runtime Spark selama eksekusi alur, termasuk:
- Penentuan Ukuran Komputasi
- Properti penampung
Memantau pemetaan eksekusi transformasi aliran data
Anda dapat memantau eksekusi transformasi MDF melalui:
Panel output alur
Hub Pemantauan
Untuk melihat detail pemantauan:
- Buka detail eksekusi alur.
- Pilih aktivitas Aliran Data dari Eksekusi Aktivitas.
- Tinjau status eksekusi dan detail waktu proses.
