Tanya Jawab Umum Data Factory di Microsoft Fabric

Alur Azure Data Factory (ADF) dan Azure Synapse mempertahankan peta jalan Platform as a Service (PaaS) terpisah. Kedua solusi ini terus hidup berdampingan bersama Fabric Data Factory, yang berfungsi sebagai penawaran Software as a Service (SaaS). Alur ADF dan Synapse tetap didukung penuh, dan tidak ada rencana untuk penghentian. Penting untuk disorot bahwa, untuk proyek mendatang, saran kami adalah memulainya menggunakan Fabric Data Factory. Selain itu, kami memiliki strategi untuk memfasilitasi transisi alur ADF dan Synapse ke Fabric Data Factory, memungkinkan mereka untuk memanfaatkan fungsionalitas Fabric baru. Anda dapat mempelajari lebih lanjut hal ini di sini.

Saat kami berusaha untuk menjembatani kesenjangan fungsionalitas dan menggabungkan orkestrasi alur data dan kemampuan alur kerja yang kuat yang ditemukan dalam alur ADF / Azure Synapse ke dalam Fabric Data Factory, kami mengakui bahwa fitur tertentu yang ada dalam alur ADF / Synapse mungkin penting untuk kebutuhan Anda. Meskipun Anda dianjurkan untuk terus menggunakan alur ADF / Synapse jika fitur-fitur ini diperlukan, kami mendorong Anda untuk terlebih dahulu menjelajahi kemungkinan integrasi data baru Anda di Fabric. Umpan balik Anda tentang fitur mana yang sangat penting untuk kesuksesan Anda sangat berharga. Untuk memfasilitasi hal ini, kami secara aktif berupaya memperkenalkan kemampuan baru, memungkinkan migrasi pabrik data Anda yang ada dari Azure ke ruang kerja Fabric juga.

Kami tidak mem-backport fitur baru dari alur Fabric ke alur ADF / Synapse. Kami mempertahankan dua peta strategi terpisah untuk Fabric Data Factory dan ADF/ Synapse. Kami mengevaluasi permintaan backport sebagai respons terhadap umpan balik masuk.

Fungsi utama alur Fabric mirip dengan alur Azure Synapse, tetapi dengan menggunakan alur Fabric, pengguna dapat menerapkan semua kemampuan analitik data di platform Fabric. Perbedaan penting dan pemetaan fitur antara alur Fabric dan alur Azure Synapse dapat ditemukan di sini: Perbedaan antara Data Factory di Fabric dan Azure.

Data Factory membantu Anda memecahkan integrasi data yang kompleks dan skenario ETL dengan pergerakan data skala cloud dan layanan transformasi data sementara rekayasa data membantu Anda membuat rumah lake, menggunakan Apache Spark untuk mengubah dan menyiapkan data Anda. Perbedaan antara setiap terminologi/pengalaman Fabric tersedia di bawah terminologi Microsoft Fabric.

Pembaruan bulanan Fabric tersedia di Blog Microsoft Fabric.

Untuk memfasilitasi transisi pelanggan ke Microsoft Fabric dari Azure Data Factory (ADF), kami menawarkan berbagai fitur penting dan mekanisme dukungan. Pertama, kami memberikan dukungan komprehensif untuk sebagian besar aktivitas yang digunakan dalam ADF dalam Fabric, bersama dengan penambahan aktivitas baru yang disesuaikan untuk pemberitahuan, seperti fungsionalitas Teams dan Outlook. Pelanggan dapat mengakses daftar terperinci aktivitas yang tersedia di Data Factory dalam Fabric. Selain itu, kami telah memperkenalkan konektor Fabric Lakehouse / Warehouse di Azure Data Factory, memungkinkan integrasi data yang mulus ke lingkungan OneLake Fabric untuk pelanggan ADF. Kami juga menyediakan panduan untuk pelanggan ADF yang membantu memetakan transformasi aliran data pemetaan Anda yang ada ke transformasi Dataflow Gen2 baru. Ke depan, sebagai bagian dari peta strategi kami, kami menyertakan kemampuan untuk memasang sumber daya ADF ke Fabric, memungkinkan pelanggan untuk mempertahankan fungsionalitas alur ADF yang ada di Azure sambil menjelajahi Fabric dan merencanakan strategi peningkatan komprehensif. Kami berkolaborasi erat dengan pelanggan dan komunitas untuk menentukan cara paling efektif untuk mendukung migrasi alur data dari ADF ke Fabric. Sebagai bagian dari upaya ini, kami akan memberikan pengalaman peningkatan yang memberdayakan Anda untuk menguji alur data Anda saat ini di Fabric melalui proses pemasangan dan peningkatannya.

Admin kapasitas Microsoft Fabric dapat menggunakan aplikasi Metrik Kapasitas Microsoft Fabric, juga dikenal sebagai aplikasi metrik, untuk mendapatkan visibilitas ke sumber daya kapasitas. Aplikasi ini memungkinkan admin untuk melihat berapa banyak pemanfaatan CPU, waktu pemrosesan, dan memori yang digunakan oleh alur data, aliran data, dan item lain di ruang kerja yang mendukung kapasitas Fabric mereka. Dapatkan visibilitas ke dalam penyebab kelebihan beban, waktu permintaan puncak, konsumsi sumber daya, dan banyak lagi dan dengan mudah mengidentifikasi item yang paling menuntut atau paling populer.

Aktivitas Power Query dalam ADF berbagi kesamaan dengan Dataflow Gen2, tetapi memiliki fitur tambahan yang memungkinkan tindakan seperti menulis ke tujuan data tertentu, dll. Perbandingan ini lebih selaras dengan Aliran Data Gen1 (aliran data Power BI atau aliran data Power Apps). Lihat di sini untuk detail selengkapnya: Perbedaan antara Dataflow Gen1 dan Dataflow Gen2.

Dengan menggunakan Data Gateway lokal, pelanggan sekarang dapat terhubung ke sumber data lokal menggunakan aliran data dan alur data (pratinjau) dengan Data Factory di Microsoft Fabric. Untuk mempelajari lebih lanjut, lihat Cara mengakses sumber data lokal di Data Factory.

Saat ini, gateway VNet menawarkan metode injeksi untuk berintegrasi dengan mulus ke jaringan virtual Anda, menyediakan jalan yang kuat untuk menggunakan titik akhir privat untuk membuat koneksi aman ke penyimpanan data Anda. Penting untuk dicatat bahwa gateway VNet hanya mengakomodasi aliran data Fabric saat ini. Namun, inisiatif kami yang akan datang mencakup perluasan kemampuannya untuk mencakup alur Fabric.

Fabric Data Factory memungkinkan Anda mengembangkan alur yang memaksimalkan throughput pergerakan data untuk lingkungan Anda. Alur ini sepenuhnya menggunakan sumber daya berikut:

• Bandwidth jaringan antara penyimpanan data sumber dan tujuan
• Operasi input/output penyimpanan data sumber atau tujuan per detik (IOPS) dan bandwidth Pemanfaatan penuh ini berarti Anda dapat memperkirakan throughput keseluruhan dengan mengukur throughput minimum yang tersedia dengan sumber daya berikut:
• Penyimpanan data sumber
• Penyimpanan data tujuan
• Bandwidth jaringan di antara penyimpanan data sumber dan tujuan Sementara itu, kami terus berupaya melakukan inovasi untuk meningkatkan throughput terbaik yang dapat Anda capai. Saat ini, layanan dapat memindahkan himpunan data TPC-DI 1 TB (file parket) ke tabel Fabric Lakehouse dan Gudang Data dalam waktu 5 menit - memindahkan baris 1B di bawah 1 menit; Harap dicatat bahwa performa ini hanyalah referensi dengan menjalankan himpunan data pengujian di atas. Throughput aktual masih tergantung pada faktor-faktor yang tercantum sebelumnya. Selain itu, Anda selalu dapat mengalikan throughput Anda dengan menjalankan beberapa aktivitas salin secara paralel. Misalnya, menggunakan perulangan ForEach.

Anda dapat memisahkan berbagai beban kerja antara ruang kerja dan menggunakan peran seperti anggota dan penampil untuk memiliki ruang kerja untuk rekayasa data yang menyiapkan data untuk ruang kerja yang digunakan untuk laporan atau pelatihan AI. Dengan peran penampil, Anda kemudian dapat menggunakan data dari ruang kerja rekayasa data.

Fokus kami saat ini melibatkan pengembangan aktif kemampuan CDC dalam Data Factory In Fabric. Kemampuan yang akan datang ini memberdayakan Anda untuk memindahkan data di beberapa sumber data yang menggabungkan pola penyalinan yang berbeda termasuk pola salinan massal/batch, pola penyalinan bertahap/berkelanjutan (CDC) dan pola penyalinan real time ke dalam satu pengalaman 5x5.

Dalam pengalaman pengguna tertentu, Anda mungkin menemukan artefak sistem yang tidak ditujukan untuk interaksi. Yang terbaik adalah mengabaikan artefak ini, karena pada akhirnya akan dihapus dari pengalaman Dapatkan Data di masa depan.

Harga Data Factory di Microsoft Fabric menyediakan panduan komprehensif tentang bagaimana biaya dihitung untuk alur Data dan Dataflow Gen2. Ini termasuk beberapa skenario contoh harga untuk membantu Anda memahami model harga dengan lebih baik.

Apa yang baru dan direncanakan untuk Data Factory di Microsoft Fabric memberikan wawasan tentang fitur mendatang dan perkiraan garis waktu rilisnya selama beberapa bulan ke depan.

Langkah berikutnya

Pengantar - Tutorial Data Factory