Artikel ini menyediakan jawaban atas tanya jawab umum tentang Data Factory di Microsoft Fabric.
Data Factory di Fabric
Apa perbedaan antara pabrik data dan tab rekayasa data di Fabric?
Data Factory membantu Anda memecahkan integrasi data yang kompleks dan skenario ETL dengan pergerakan data skala cloud dan layanan transformasi data sementara rekayasa data membantu Anda membuat rumah lake, menggunakan Apache Spark untuk mengubah dan menyiapkan data Anda. Perbedaan antara setiap terminologi/pengalaman Fabric tersedia di bawah terminologi Microsoft Fabric.
Bagaimana cara melacak dan memantau kapasitas Fabric yang digunakan dengan alur?
Admin kapasitas Microsoft Fabric dapat menggunakan aplikasi Metrik Kapasitas Microsoft Fabric, juga dikenal sebagai aplikasi metrik, untuk mendapatkan visibilitas ke sumber daya kapasitas. Aplikasi ini memungkinkan admin untuk melihat berapa banyak pemanfaatan CPU, waktu pemrosesan, dan memori yang digunakan oleh alur data, aliran data, dan item lain di ruang kerja yang mendukung kapasitas Fabric mereka. Dapatkan visibilitas ke dalam penyebab kelebihan beban, waktu permintaan puncak, konsumsi sumber daya, dan banyak lagi dan dengan mudah mengidentifikasi item yang paling menuntut atau paling populer.
Pendekatan apa yang direkomendasikan untuk menetapkan peran dalam Data Factory di Fabric?
Anda dapat memisahkan berbagai beban kerja antara ruang kerja dan menggunakan peran seperti anggota dan penampil untuk memiliki ruang kerja untuk rekayasa data yang menyiapkan data untuk ruang kerja yang digunakan untuk laporan atau pelatihan AI. Dengan peran penampil, Anda kemudian dapat menggunakan data dari ruang kerja rekayasa data.
Apakah mungkin untuk terhubung ke sumber daya yang diaktifkan Titik Akhir Privat (PE) yang ada di Fabric Data Factory?
Saat ini, gateway jaringan virtual menawarkan metode injeksi untuk berintegrasi dengan mulus ke dalam jaringan virtual Anda, menyediakan jalan yang kuat untuk menggunakan titik akhir privat untuk membuat koneksi aman ke penyimpanan data Anda. Penting untuk dicatat bahwa gateway jaringan virtual hanya mengakomodasi aliran data Fabric saat ini. Namun, inisiatif kami yang akan datang mencakup perluasan kemampuannya untuk mencakup alur Fabric.
Bagaimana cara menyambungkan ke sumber data lokal di Fabric Data Factory?
Saat Anda menggunakan gateway data lokal, Anda sekarang dapat tersambung ke sumber data lokal menggunakan aliran data dan alur data (pratinjau) dengan Data Factory di Microsoft Fabric. Untuk mempelajari lebih lanjut, lihat Cara mengakses sumber data lokal di Data Factory.
Pembaruan dan harga rilis
Di mana saya dapat menemukan pembaruan bulanan yang tersedia di Fabric?
Pembaruan bulanan Fabric tersedia di Blog Microsoft Fabric.
Apa itu Model Harga / penagihan Fabric Data Factory?
Harga Data Factory di Microsoft Fabric menyediakan panduan komprehensif tentang bagaimana biaya dihitung untuk alur Data dan Dataflow Gen2. Ini termasuk beberapa skenario contoh harga untuk membantu Anda memahami model harga dengan lebih baik.
Di mana saya dapat menemukan informasi selengkapnya tentang fitur mendatang yang direncanakan untuk Data Factory di Microsoft Fabric?
Apa yang baru dan direncanakan untuk Data Factory di Microsoft Fabric memberikan wawasan tentang fitur mendatang dan perkiraan garis waktu rilisnya selama beberapa bulan ke depan.
Alur data
Seberapa cepat saya dapat menyerap data di Fabric Data Pipelines?
Fabric Data Factory memungkinkan Anda mengembangkan alur yang memaksimalkan throughput pergerakan data untuk lingkungan Anda. Alur ini sepenuhnya menggunakan sumber daya berikut:
- Bandwidth jaringan antara penyimpanan data sumber dan tujuan
- Operasi input/output penyimpanan data sumber atau tujuan per detik (IOPS) dan bandwidth Pemanfaatan penuh ini berarti Anda dapat memperkirakan throughput keseluruhan dengan mengukur throughput minimum yang tersedia dengan sumber daya berikut:
- Penyimpanan data sumber
- Penyimpanan data tujuan
- Bandwidth jaringan di antara penyimpanan data sumber dan tujuan Sementara itu, kami terus berupaya melakukan inovasi untuk meningkatkan throughput terbaik yang dapat Anda capai. Saat ini, layanan dapat memindahkan himpunan data TPC-DI 1-TB (file parket) ke tabel Fabric Lakehouse dan Gudang Data dalam waktu 5 menit - memindahkan baris 1B di bawah 1 menit; Perhatikan bahwa performa ini hanyalah referensi dengan menjalankan himpunan data pengujian di atas. Throughput aktual masih tergantung pada faktor-faktor yang tercantum sebelumnya. Selain itu, Anda selalu dapat mengalikan throughput Anda dengan menjalankan beberapa aktivitas salin secara paralel. Misalnya, menggunakan perulangan ForEach.
Apakah fitur CDC akan tersedia dalam Data Factory di Fabric?
Fokus kami saat ini melibatkan pengembangan aktif kemampuan CDC dalam Data Factory In Fabric. Kemampuan yang akan datang ini memberdayakan Anda untuk memindahkan data di beberapa sumber data yang menggabungkan pola penyalinan yang berbeda termasuk pola salinan massal/batch, pola penyalinan bertahap/berkelanjutan (CDC) dan pola penyalinan real time ke dalam satu pengalaman 5x5.
Aliran Data Gen2
Apakah Fabric Dataflow Gen2 mirip dengan Power Query yang disematkan di Azure Data Factory?
Aktivitas Power Query dalam ADF berbagi kesamaan dengan Dataflow Gen2, tetapi memiliki fitur tambahan yang memungkinkan tindakan seperti menulis ke tujuan data tertentu, dll. Perbandingan ini lebih selaras dengan Aliran Data Gen1 (aliran data Power BI atau aliran data Power Apps). Lihat di sini untuk detail selengkapnya: Perbedaan antara Dataflow Gen1 dan Dataflow Gen2.
Dalam Fabric DataFlow Gen2, saya kadang-kadang menemukan fitur seperti DataflowsStaginglakehouse / DataflowsStagingwarehouse. Apa saja fitur-fitur ini?
Dalam pengalaman pengguna tertentu, Anda mungkin menemukan artefak sistem yang tidak ditujukan untuk interaksi. Yang terbaik adalah mengabaikan artefak ini, karena pada akhirnya akan dihapus dari pengalaman Dapatkan Data di masa depan.
Refresh saya gagal dengan pesan kesalahan "Refresh aliran data gagal karena izin yang tidak mencukup untuk mengakses artefak penahapan." Apa yang harus saya lakukan?
Pesan kesalahan ini terjadi ketika pengguna yang membuat aliran data pertama di ruang kerja belum masuk ke Fabric selama lebih dari 90 hari atau telah meninggalkan organisasi. Untuk mengatasinya, pengguna yang disebutkan dalam pesan kesalahan harus masuk ke Fabric. Jika pengguna telah meninggalkan organisasi, buka tiket dukungan.
Dukungan dan jalur migrasi alur ADF/Synapse
Apa masa depan Azure Data Factory (ADF) dan Alur Synapse?
Alur Azure Data Factory (ADF) dan Azure Synapse mempertahankan peta jalan Platform as a Service (PaaS) terpisah. Kedua solusi ini terus hidup berdampingan bersama Fabric Data Factory, yang berfungsi sebagai penawaran Software as a Service (SaaS). Alur ADF dan Synapse tetap didukung penuh, dan tidak ada rencana untuk penghentian. Penting untuk disorot bahwa, untuk proyek mendatang, saran kami adalah memulainya menggunakan Fabric Data Factory. Selain itu, kami memiliki strategi untuk memfasilitasi transisi alur ADF dan Synapse ke Fabric Data Factory, memungkinkan mereka untuk memanfaatkan fungsionalitas Fabric baru. Anda dapat mempelajari lebih lanjut hal ini di sini.
Mengingat kesenjangan fungsionalitas di Data Factory untuk Fabric, apa alasan untuk memilihnya daripada alur ADF / Synapse?
Saat kami berusaha untuk menjembatani kesenjangan fungsionalitas dan menggabungkan orkestrasi alur data dan kemampuan alur kerja yang kuat yang ditemukan dalam alur ADF / Azure Synapse ke dalam Fabric Data Factory, kami mengakui bahwa fitur tertentu yang ada dalam alur ADF / Synapse mungkin penting untuk kebutuhan Anda. Meskipun Anda dianjurkan untuk terus menggunakan alur ADF / Synapse jika fitur-fitur ini diperlukan, kami mendorong Anda untuk terlebih dahulu menjelajahi kemungkinan integrasi data baru Anda di Fabric. Umpan balik Anda tentang fitur mana yang sangat penting untuk kesuksesan Anda sangat berharga. Untuk memfasilitasi hal ini, kami secara aktif berupaya memperkenalkan kemampuan baru, memungkinkan migrasi pabrik data Anda yang ada dari Azure ke ruang kerja Fabric juga.
Apakah fitur baru di Fabric Data Factory juga tersedia di ADF/Synapse?
Kami tidak mem-backport fitur baru dari alur Fabric ke alur ADF / Synapse. Kami mempertahankan dua peta strategi terpisah untuk Fabric Data Factory dan ADF/ Synapse. Kami mengevaluasi permintaan backport sebagai respons terhadap umpan balik masuk.
Apakah alur data Fabric sama dengan alur Azure Synapse?
Fungsi utama alur Fabric mirip dengan alur Azure Synapse, tetapi dengan menggunakan alur Fabric, pengguna dapat menerapkan semua kemampuan analitik data di platform Fabric. Perbedaan penting dan pemetaan fitur antara alur Fabric dan alur Azure Synapse dapat ditemukan di sini: Perbedaan antara Data Factory di Fabric dan Azure.
Bagaimana cara memigrasikan alur yang ada dari ruang kerja Azure Data Factory (atau) Azure Synapse ke Fabric Data Factory?
Untuk memfasilitasi transisi pelanggan ke Microsoft Fabric dari Azure Data Factory (ADF), kami menawarkan berbagai fitur penting dan mekanisme dukungan. Pertama, kami memberikan dukungan komprehensif untuk sebagian besar aktivitas yang digunakan dalam ADF dalam Fabric, bersama dengan penambahan aktivitas baru yang disesuaikan untuk pemberitahuan, seperti fungsionalitas Teams dan Outlook. Pelanggan dapat mengakses daftar terperinci aktivitas yang tersedia di Data Factory dalam Fabric. Selain itu, kami memperkenalkan konektor Fabric Lakehouse / Warehouse di Azure Data Factory, memungkinkan integrasi data yang mulus ke lingkungan OneLake Fabric untuk pelanggan ADF. Kami juga menyediakan panduan untuk pelanggan ADF yang membantu memetakan transformasi aliran data pemetaan Anda yang ada ke transformasi Dataflow Gen2 baru. Saat melihat ke depan, kami menyertakan kemampuan untuk memasang sumber daya ADF ke Fabric dalam peta strategi kami, yang akan memungkinkan pelanggan mempertahankan fungsionalitas alur ADF yang ada di Azure sambil menjelajahi Fabric dan merencanakan strategi peningkatan komprehensif. Kami berkolaborasi erat dengan pelanggan dan komunitas untuk menentukan cara paling efektif untuk mendukung migrasi alur data dari ADF ke Fabric. Sebagai bagian dari upaya ini, kami akan memberikan pengalaman peningkatan yang memberdayakan Anda untuk menguji alur data Anda saat ini di Fabric melalui proses pemasangan dan peningkatannya.