Skenario end-to-end Data Factory: pengenalan dan arsitektur

Tutorial ini membantu Anda mempercepat proses evaluasi untuk Data Factory di Microsoft Fabric dengan memberikan panduan langkah demi langkah untuk skenario integrasi data lengkap dalam waktu satu jam. Pada akhir tutorial ini, Anda memahami nilai dan kemampuan utama Data Factory dan mengetahui cara menyelesaikan skenario integrasi data end-to-end yang umum.

Gambaran Umum: Mengapa Data Factory di Microsoft Fabric?

Bagian ini membantu Anda memahami peran Fabric umumnya, dan peran yang dimainkan Data Factory di dalamnya.

Memahami nilai Microsoft Fabric

Microsoft Fabric menyediakan toko serba ada untuk semua kebutuhan analitik untuk setiap perusahaan. Ini mencakup spektrum layanan lengkap termasuk pergerakan data, data lake, rekayasa data, integrasi data dan ilmu data, analitik real time, dan kecerdasan bisnis. Dengan Fabric, Anda tidak perlu menyatukan berbagai layanan dari beberapa vendor. Sebagai gantinya, pengguna Anda menikmati produk end-to-end, sangat terintegrasi, tunggal, dan komprehensif yang mudah dipahami, di-onboard, dibuat, dan dioperasikan.

Memahami nilai Data Factory di Microsoft Fabric

Data Factory in Fabric menggabungkan kemudahan penggunaan Power Query dengan skala dan kekuatan Azure Data Factory. Ini membawa yang terbaik dari kedua produk menjadi pengalaman terpadu. Tujuannya adalah untuk memastikan Integrasi Data di Factory berfungsi dengan baik untuk pengembang data warga negara dan profesional. Ini menyediakan pengalaman persiapan dan transformasi data berkode rendah dengan dukungan AI, transformasi skala petabyte, ratusan konektor dengan konektivitas hibrid, multicloud. Purview menyediakan tata kelola, dan layanan ini menampilkan komitmen Data/Op skala perusahaan, CI/CD, manajemen siklus hidup aplikasi, dan pemantauan.

Pengenalan - Memahami tiga fitur utama Data Factory

• Penyerapan data: Aktivitas Salin dalam alur memungkinkan Anda memindahkan data skala petabyte dari ratusan sumber data ke data Lakehouse Anda untuk diproses lebih lanjut.
• Transformasi dan persiapan data: Dataflow Gen2 menyediakan antarmuka kode rendah untuk mengubah data Anda menggunakan 300+ transformasi data, dengan kemampuan untuk memuat hasil yang diubah menjadi beberapa tujuan seperti database Azure SQL, Lakehouse, dan banyak lagi.
• Otomatisasi alur integrasi menyeluruh: Alur menyediakan orkestrasi aktivitas yang mencakup aktivitas Salin, Aliran Data, dan Notebook, dan banyak lagi. Ini memungkinkan Anda mengelola aktivitas di satu tempat. Aktivitas dalam alur dapat ditautkan bersama untuk beroperasi secara berurutan, atau dapat beroperasi secara independen secara paralel.

Dalam kasus penggunaan integrasi data end-to-end ini, Anda mempelajari:

• Cara menyerap data menggunakan asisten salinan dalam alur
• Cara mengubah data menggunakan aliran data baik dengan pengalaman tanpa kode, atau dengan menulis kode Anda sendiri untuk memproses data dengan aktivitas Skrip atau Buku Catatan
• Cara mengotomatiskan seluruh alur integrasi data end-to-end menggunakan alur dengan pemicu dan aktivitas alur kontrol yang fleksibel.

Arsitektur

Dalam 50 menit ke depan, Anda ditugaskan untuk menyelesaikan skenario integrasi data end-to-end. Ini termasuk menyerap data mentah dari penyimpanan sumber ke dalam tabel Perunggu Lakehouse, memproses semua data, memindahkannya ke tabel Emas data Lakehouse, mengirim email untuk memberi tahu Anda setelah semua pekerjaan selesai, dan akhirnya, menyiapkan seluruh alur untuk berjalan secara terjadwal.

Skenario dibagi menjadi tiga modul:

• Modul 1: Buat alur dengan Data Factory untuk menyerap data mentah dari penyimpanan Blob ke tabel Perunggu di data Lakehouse.
• Modul 2: Mengubah data dengan aliran data di Data Factory untuk memproses data mentah dari tabel Perunggu Anda dan memindahkannya ke tabel Gold di data Lakehouse.
• Modul 3: Selesaikan perjalanan integrasi data pertama Anda untuk mengirim email untuk memberi tahu Anda setelah semua pekerjaan selesai, dan akhirnya, siapkan seluruh alur untuk berjalan secara terjadwal.

Anda menggunakan himpunan data sampel NYC-Taxi sebagai sumber data untuk tutorial. Setelah selesai, Anda akan dapat memperoleh wawasan tentang diskon harian tentang tarif taksi untuk jangka waktu tertentu menggunakan Data Factory di Microsoft Fabric.

Konten terkait

Dalam pengantar tutorial end-to-end kami ini untuk integrasi data pertama Anda menggunakan Data Factory di Microsoft Fabric, Anda belajar:

• Nilai dan peran Microsoft Fabric
• Nilai dan peran Data Factory dalam Fabric
• Fitur utama Data Factory
• Apa yang akan Anda pelajari dalam tutorial ini

Lanjutkan ke bagian berikutnya sekarang untuk membuat alur data Anda.

Modul 1: Membuat alur dengan Data Factory