Apa itu Rekayasa data di Microsoft Fabric?

Rekayasa data di Microsoft Fabric memungkinkan pengguna merancang, membangun, dan memelihara infrastruktur dan sistem yang memungkinkan organisasi mereka mengumpulkan, menyimpan, memproses, dan menganalisis data dalam volume besar.

Microsoft Fabric menyediakan berbagai kemampuan rekayasa data untuk memastikan bahwa data Anda mudah diakses, terorganisir dengan baik, dan berkualitas tinggi. Dari beranda rekayasa data, Anda dapat:

• Membuat dan mengelola data Anda menggunakan lakehouse

• Merancang alur untuk menyalin data ke lakehouse Anda

• Menggunakan definisi kerja Spark untuk mengirimkan pekerjaan batch/streaming ke kluster Spark

• Menggunakan notebook untuk menulis kode untuk penyerapan, persiapan, dan transformasi data

  

Lakehouse

Lakehouse adalah arsitektur data yang memungkinkan organisasi untuk menyimpan dan mengelola data terstruktur dan tidak terstruktur dalam satu lokasi, menggunakan berbagai alat dan kerangka kerja untuk memproses dan menganalisis data tersebut. Alat dan kerangka kerja ini dapat mencakup kueri dan analitik berbasis SQL, serta pembelajaran mesin dan teknik analitik tingkat lanjut lainnya.

Definisi kerja Apache Spark

Definisi kerja Spark adalah serangkaian instruksi yang menentukan cara menjalankan pekerjaan pada kluster Spark. Ini termasuk informasi seperti sumber data input dan output, transformasi, dan pengaturan konfigurasi untuk aplikasi Spark. Definisi kerja Spark memungkinkan Anda mengirimkan pekerjaan batch/streaming ke kluster Spark, menerapkan logika transformasi yang berbeda ke data yang dihosting di lakehouse Anda bersama dengan banyak hal lainnya.

Notebook

Notebook adalah lingkungan komputasi interaktif yang memungkinkan pengguna membuat dan berbagi dokumen yang berisi kode langsung, persamaan, visualisasi, dan teks naratif. Mereka memungkinkan pengguna untuk menulis dan menjalankan kode dalam berbagai bahasa pemrograman, termasuk Python, R, dan Scala. Anda bisa menggunakan notebook untuk penyerapan data, persiapan, analisis, dan tugas terkait data lainnya.

Pipa data

Alur data adalah serangkaian langkah yang dapat mengumpulkan, memproses, dan mengubah data dari bentuk mentahnya menjadi format yang dapat Anda gunakan untuk analisis dan pengambilan keputusan. Mereka adalah komponen penting dari rekayasa data, karena menyediakan cara untuk memindahkan data dari sumbernya ke tujuannya dengan cara yang andal, dapat diskalakan, dan efisien.

Anda dapat menggunakan Rekayasa Data di Microsoft Fabric secara gratis saat mendaftar untuk uji coba Fabric. Anda juga dapat membeli kapasitas Microsoft Fabric atau kapasitas cadangan Fabric

Konten terkait

Mulai menggunakan pengalaman Rekayasa Data:

• Untuk mempelajari selengkapnya tentang lakehouse, lihat Apa itu lakehouse di Microsoft Fabric?
• Untuk mulai menggunakan lakehouse, lihat Membuat lakehouse di Microsoft Fabric.
• Untuk mempelajari selengkapnya tentang definisi kerja Apache Spark, lihat Apa itu definisi kerja Apache Spark?
• Untuk mulai menggunakan definisi kerja Apache Spark, lihat Cara membuat definisi kerja Apache Spark di Fabric.
• Untuk mempelajari selengkapnya tentang buku catatan, lihat Menulis dan menjalankan buku catatan.
• Untuk mulai menggunakan aktivitas penyalinan alur, lihat Cara menyalin data menggunakan aktivitas salin.