dokumentasi Rekayasa Data di Microsoft Fabric

Rekayasa data di Microsoft Fabric memungkinkan pengguna merancang, membangun, dan memelihara infrastruktur dan sistem yang memungkinkan organisasi mereka mengumpulkan, menyimpan, memproses, dan menganalisis data dalam volume besar.

Tentang Rekayasa Data

Gambaran Umum

• Apa itu Rekayasa data?
• Apa itu lakehouse?

Konsep

• Tabel Lakehouse dan Delta
• Peran dan izin ruang kerja
• Memilih penyimpanan data

Panduan Penggunaan

• Pengoptimalan Delta dan V-Order
• Muat ke tabel

Mulai menggunakan lakehouse

Mulai

• Membuat lakehouse
• Menavigasi penjelajah lakehouse

Panduan Penggunaan

• Mendapatkan data ke lakehouse menggunakan notebook

Tutorial

• Langkah 1 - Buat ruang kerja
• Langkah 2 - Membuat lakehouse
• Langkah 3 - Menyerap data ke lakehouse
• Langkah 4 - Mengubah data menjadi tabel delta
• Langkah 5 - Buat laporan
• Langkah 6 - Bersihkan sumber daya

Mulai menggunakan buku catatan

Mulai

• Membuat dan menggunakan buku catatan

Panduan Penggunaan

• Mengembangkan dan menjalankan buku catatan
• Menjelajahi data lakehouse dengan buku catatan
• Memvisualisasikan buku catatan
• Kontrol dan penyebaran sumber notebook
• Menulis dan menjalankan Buku Catatan T-SQL

Kueri dengan API untuk GraphQL

Gambaran Umum

• Apa itu Fabric API untuk GraphQL?

Mulai

• Membuat API untuk GraphQL dan menambahkan data

Panduan Penggunaan

• Kelola hubungan
• Menyambungkan ke aplikasi
• Mengkueri beberapa sumber data
• Kontrol sumber GraphQL dan alur penyebaran
• Dasbor pemantauan dan pengelogan (pratinjau)

Integrasi Visual Studio Code

Konsep

• Apa itu ekstensi Data Engineering VS Code?

Panduan Penggunaan

• Menggunakan buku catatan dari Visual Studio Code
• Menggunakan gambar kontainer dari Visual Studio Code
• Menggunakan definisi kerja Spark dari Visual Studio Code
• Jelajahi lakehouse dari VISUAL Code
• Mengembangkan notebook dari pengalaman web Visual Studio Code

Apache Spark untuk Rekayasa Data

Konsep

• Definisi kerja Apache Spark
• Apa itu penasihat Apache Spark?

Mulai

• Membuat definisi kerja Spark
• Membuat definisi kerja Spark dengan Fabric API
• Integrasi Git definisi kerja Spark

Panduan Penggunaan

• Menjadwalkan dan menjalankan definisi kerja Spark
• Mengelola pustaka Apache Spark
• Cara menggunakan Fabric MSSparkUtils

Mulai menggunakan lingkungan

Mulai

• Lingkungan Microsoft Fabric

Panduan Penggunaan

• Mengelola komputasi Spark di lingkungan
• Mengelola pustaka di lingkungan
• Alur integrasi dan penyebaran Git Lingkungan
• Mengelola lingkungan melalui API publik
• Mengelola pustaka di lingkungan yang diamankan oleh perlindungan akses keluar

Fabric Livy API

Gambaran Umum

• Apa itu LIVY API?

Mulai

• Membuat dan menjalankan pekerjaan Spark menggunakan LIVY API
• Mengirimkan pekerjaan sesi LIVY API
• Mengirimkan pekerjaan batch API Livy

Optimalkan dengan tampilan danau materialisasi

Gambaran Umum

• Apa itu pemandangan danau materialisasi?

Mulai

• Mulai mengaktifkan tampilan danau yang dimaterialisasi
• Menerapkan arsitektur Medallion dengan tampilan danau materialisasi
• Mengelola tampilan danau materialisasi