Apa yang baru dan direncanakan untuk Data Factory di Microsoft Fabric
Penting
Rencana rilis menjelaskan fungsionalitas yang mungkin atau mungkin belum dirilis. Garis waktu pengiriman dan fungsionalitas yang diproyeksikan dapat berubah atau mungkin tidak dikirim. Lihat kebijakan Microsoft untuk informasi selengkapnya.
Data Factory di Microsoft Fabric menggabungkan integrasi data warga dan kemampuan integrasi data pro ke dalam satu pengalaman integrasi data modern. Ini menyediakan konektivitas ke lebih dari 100 database relasional dan nonrelasional, lakehouse, gudang data, antarmuka generik seperti REST API, OData, dan banyak lagi.
Aliran data: Dataflow Gen2 memungkinkan Anda melakukan transformasi data skala besar, dan mendukung berbagai tujuan output yang menulis ke Azure SQL Database, Lakehouse, Gudang Data, dan banyak lagi. Editor aliran data menawarkan lebih dari 300 transformasi, termasuk opsi berbasis AI, dan memungkinkan Anda mengubah data dengan mudah dengan fleksibilitas yang lebih baik daripada alat lainnya. Baik Anda mengekstrak data dari sumber data yang tidak terstruktur seperti halaman web atau membentuk ulang tabel yang ada di editor Power Query, Anda dapat dengan mudah menerapkan Ekstraksi Data Menurut Contoh Power Query, yang menggunakan kecerdasan buatan (AI) dan menyederhanakan prosesnya.
Alur data: Alur data menawarkan kemampuan untuk membuat alur kerja orkestrasi data serbaguna yang menyatukan tugas seperti ekstraksi data, memuat ke penyimpanan data pilihan, eksekusi notebook, eksekusi skrip SQL, dan banyak lagi. Anda dapat dengan cepat membangun alur data berbasis metadata yang kuat yang mengotomatiskan tugas berulang. Misalnya, memuat dan mengekstrak data dari tabel yang berbeda dalam database, melakukan iterasi melalui beberapa kontainer di Azure Blob Storage, dan banyak lagi. Selain itu, dengan alur data, Anda dapat mengakses data dari Microsoft 365, menggunakan konektor Microsoft Graph Data Connection (MGDC).
Untuk mempelajari lebih lanjut, lihat dokumentasi.
Area investasi
Selama beberapa bulan ke depan, Data Factory di Microsoft Fabric akan memperluas opsi konektivitasnya dan terus menambahkan ke pustaka transformasi dan aktivitas alur data yang kaya. Selain itu, ini memungkinkan Anda untuk melakukan replikasi data berperforma tinggi secara real time dari database operasional, dan membawa data ini ke lake untuk analitik.
Salinan untuk Data Factory (Aliran Data)
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Ketersediaan umum
Copilot for Data Factory (Aliran Data) memberdayakan pelanggan untuk mengekspresikan persyaratan mereka menggunakan bahasa alami saat membuat solusi integrasi data dengan Dataflows Gen2.
Dukungan refresh bertahap di Dataflow Gen2
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Kami menambahkan dukungan refresh bertambah bertahap di Dataflow Gen2. Fitur ini memungkinkan Anda mengekstrak data secara bertahap dari sumber data, menerapkan transformasi Power Query, dan memuat ke berbagai tujuan output.
Dukungan alur data untuk Pekerjaan Azure Databricks
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Kami memperbarui alur data Data Factory aktivitas Azure Databricks untuk sekarang menggunakan API pekerjaan terbaru yang memungkinkan kemampuan alur kerja yang menarik seperti menjalankan pekerjaan DLT.
Dukungan alur data untuk DBT CLI
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Orkestrasi DBT CLI (Alat Build Data): Menggabungkan alat build data (dbt) untuk alur kerja transformasi data.
Dukungan Salinan Cepat di Dataflow Gen2
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Ketersediaan umum
Kami menambahkan dukungan untuk penyerapan data skala besar langsung dalam pengalaman Dataflow Gen2, menggunakan kemampuan Aktivitas Salin alur. Peningkatan ini secara signifikan meningkatkan kapasitas pemrosesan data Dataflow Gen2 yang menyediakan kemampuan ELT (Extract-Load-Transform) skala tinggi.
Salin Pekerjaan
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Copy Job menyederhanakan pengalaman bagi pelanggan yang perlu menyerap data, tanpa harus membuat alur Aliran Data atau Data. Copy Job mendukung salinan penuh dan bertahap dari sumber data apa pun ke tujuan data apa pun.
Manajemen identitas sumber data (Identitas Terkelola)
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Ini memungkinkan Identitas terkelola dikonfigurasi pada tingkat ruang kerja. Anda dapat menggunakan identitas terkelola Fabric untuk terhubung ke sumber data Anda dengan aman.
Manajemen identitas sumber data (Azure Key Vault)
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Dukungan untuk Azure Key Vault - Anda dapat menyimpan kunci dan rahasia Anda di Azure Key Vault dan menyambungkannya. Dengan cara ini, Anda dapat mengelola kunci Anda di satu tempat.
Salinan untuk Data Factory (Alur data)
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Copilot for Data Factory (Alur data) memberdayakan pelanggan untuk membangun alur data menggunakan bahasa alami dan memberikan panduan pemecahan masalah.
Pemberitahuan email yang disempurnakan untuk kegagalan Refresh
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Pemberitahuan email memungkinkan pembuat Dataflow Gen2 memantau hasil (berhasil/gagal) dari operasi refresh aliran data.
Dukungan untuk memanggil alur data lintas ruang kerja
Estimasi garis waktu rilis: Q3 2024
Jenis Rilis: Pratinjau publik
Memanggil pembaruan aktivitas Alur: Kami mengaktifkan beberapa pembaruan baru dan menarik untuk aktivitas Invoke Pipeline. Sebagai respons terhadap permintaan pelanggan dan komunitas yang luar biasa, kami memungkinkan menjalankan alur data di seluruh ruang kerja. Anda sekarang akan dapat memanggil alur dari ruang kerja lain yang dapat Anda akses untuk dijalankan. Ini akan memungkinkan pola alur kerja data yang sangat menarik yang dapat menggunakan kolaborasi dari tim rekayasa dan integrasi data Anda di seluruh ruang kerja dan di seluruh tim fungsi.
Memungkinkan pelanggan untuk membuat parameter koneksi mereka
Estimasi garis waktu rilis: Q4 2024
Jenis Rilis: Pratinjau publik
Koneksi menyediakan kerangka kerja umum untuk menentukan konektivitas dan autentikasi untuk penyimpanan data Anda. Koneksi ini dapat dibagikan di berbagai item. Dengan dukungan parameterisasi, Anda akan dapat membangun alur, notebook, aliran data, dan jenis item yang kompleks dan dapat digunakan kembali.
Fitur yang dikirim
Konektor baru untuk Aktivitas Salin
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Konektor baru akan ditambahkan untuk aktivitas Salin untuk memberdayakan pelanggan untuk menyerap dari sumber berikut, sambil memanfaatkan alur data: Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery.
Alur kerja data: Membangun alur data yang didukung oleh Apache Airflow
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Alur kerja data didukung oleh Apache Airflow dan menawarkan lingkungan runtime Apache Airflow terintegrasi, memungkinkan Anda menulis, menjalankan, dan menjadwalkan DAG Python dengan mudah.
Dukungan alur data untuk SparkJobDefinition
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Sekarang Anda dapat menjalankan kode Spark Anda, termasuk file JAR, langsung dari aktivitas alur. Cukup arahkan ke kode Spark Anda dan alur akan menjalankan pekerjaan pada kluster Spark Anda di Fabric. Aktivitas baru ini memungkinkan pola alur kerja data menarik yang memanfaatkan kekuatan mesin Spark Fabric sekaligus menyertakan aliran kontrol Data Factory dan kemampuan aliran data dalam alur yang sama dengan Pekerjaan Spark Anda.
Dukungan alur data untuk Azure HDInsight
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
HDInsight adalah layanan Azure PaaS untuk Hadoop yang memungkinkan pengembang membangun solusi big data yang sangat kuat di cloud. Aktivitas alur HDI baru akan memungkinkan aktivitas pekerjaan HDInsights di dalam alur data Data Factory Anda mirip dengan funkasi yang ada yang telah Anda analisa selama bertahun-tahun di alur ADF dan Synapse. Kami sekarang telah membawa kemampuan ini langsung ke dalam alur data Fabric.
Dukungan alur data untuk Pemicu Berbasis Peristiwa
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Kasus penggunaan umum untuk memanggil alur data Data Factory adalah memicu alur pada peristiwa file seperti kedatangan file dan penghapusan file. Bagi pelanggan yang berasal dari ADF atau Synapse ke Fabric, menggunakan peristiwa penyimpanan ADLS/Blog sangat umum sebagai cara untuk memberi sinyal untuk eksekusi alur baru atau untuk mengambil nama file yang dibuat. Pemicu di Fabric Data Factory memanfaatkan kemampuan platform Fabric termasuk pemicu EventStreams dan Reflex. Di dalam kanvas desain alur Fabric Data Factory, Anda akan memiliki tombol Pemicu yang dapat Anda tekan untuk membuat pemicu Reflex untuk alur Anda atau Anda dapat membuat pemicu langsung dari pengalaman Data Activator.
Default penahapan untuk tujuan Output Dataflow Gen 2
Dikirim (Q2 2024)
Jenis Rilis: Pratinjau publik
Dataflow Gen2 menyediakan kemampuan untuk menyerap data dari berbagai sumber data ke dalam Fabric OneLake. Setelah penahapan data ini, data dapat diubah pada skala tinggi yang memanfaatkan mesin Dataflows Gen2 Skala Tinggi (berdasarkan komputasi Fabric Lakehouse/Warehouse SQL).
Perilaku default untuk Dataflows Gen2 adalah mentahapkan data di OneLake untuk mengaktifkan transformasi data skala tinggi. Meskipun ini berfungsi dengan baik untuk skenario skala tinggi, ini tidak berfungsi juga untuk skenario yang melibatkan sejumlah kecil data yang diserap mengingat bahwa ia memperkenalkan hop tambahan (penahapan) untuk data sebelum akhirnya dimuat ke tujuan output aliran data.
Dengan peningkatan yang direncanakan, kami menyempurnakan perilaku Penahapan default untuk dinonaktifkan, untuk kueri dengan tujuan output yang tidak memerlukan penahapan (yaitu, Fabric Lakehouse dan Azure SQL Database).
Perilaku penahapan dapat dikonfigurasi secara manual per kueri melalui panel Pengaturan Kueri atau menu kontekstual kueri di panel Kueri.
Manajemen identitas sumber data (SPN)
Dikirim (Q2 2024)
Jenis Rilis: Ketersediaan umum
Perwakilan layanan - Untuk mengakses sumber daya yang diamankan oleh penyewa Azure AD, entitas yang memerlukan akses harus diwakili oleh perwakilan keamanan. Anda akan dapat terhubung ke sumber data Anda dengan perwakilan layanan.
Mendapatkan peningkatan pengalaman data (Telusuri Sumber Daya Azure)
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Menelusuri sumber daya Azure menyediakan navigasi yang mulus untuk menelusuri sumber daya Azure. Anda dapat dengan mudah menavigasi langganan Azure Anda dan menyambungkan ke sumber data Anda melalui antarmuka pengguna yang intuitif. Ini membantu Anda dengan cepat menemukan dan menyambungkan ke data yang Anda butuhkan.
Dukungan gateway data lokal (OPDG) ditambahkan ke alur data
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Fitur ini memungkinkan alur data menggunakan gateway data Fabric untuk mengakses data lokal dan di belakang jaringan virtual. Untuk pengguna yang menggunakan runtime integrasi yang dihost sendiri (SHIR), mereka akan dapat berpindah ke gateway data lokal di Fabric.
Dukungan Salinan Cepat di Dataflow Gen2
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Kami menambahkan dukungan untuk penyerapan data skala besar langsung dalam pengalaman Dataflow Gen2, menggunakan kemampuan Aktivitas Salin alur. Ini mendukung sumber seperti Azure SQL Database, CSV, dan file Parquet di Azure Data Lake Storage dan Blob Storage.
Peningkatan ini secara signifikan meningkatkan kapasitas pemrosesan data Dataflow Gen2 yang menyediakan kemampuan ELT (Extract-Load-Transform) skala tinggi.
Integrasi Git Data Factory untuk alur data
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Anda dapat terhubung ke repositori Git untuk mengembangkan alur data dengan cara yang kolaboratif. Integrasi alur data dengan kemampuan Application Lifecycle Management (ALM) platform Fabric memungkinkan kontrol versi, pencabangan, penerapan, dan permintaan pull.
Penyempurnaan tujuan output di Dataflow Gen2 (skema kueri)
Dikirim (Q1 2024)
Jenis Rilis: Pratinjau publik
Kami meningkatkan tujuan output di Dataflow Gen2 dengan kemampuan yang sangat diminta berikut:
- Kemampuan untuk menangani perubahan skema kueri setelah mengonfigurasi tujuan output.
- Pengaturan tujuan default untuk mempercepat pembuatan aliran data.
Untuk mempelajari selengkapnya, lihat Tujuan data Dataflow Gen2 dan pengaturan terkelola
Membatalkan dukungan refresh di Dataflow Gen2
Dikirim (Q4 2023)
Jenis Rilis: Pratinjau publik
Kami menambahkan dukungan untuk membatalkan refresh Dataflow Gen2 yang sedang berlangsung dari tampilan item ruang kerja.