Dokumentasi Fabric Data Engineering

Fabric Data Engineering memungkinkan pengguna untuk merancang, membangun, dan memelihara infrastruktur dan sistem yang memungkinkan organisasi mereka mengumpulkan, menyimpan, memproses, dan menganalisis data dalam volume besar.

Tentang Rekayasa Data

Gambaran Umum

• Apa itu Rekayasa Data?
• Apa itu lakehouse?

Konsep

• Tabel Lakehouse dan Delta
• Peran dan izin ruang kerja
• Memilih penyimpanan data

Panduan Penggunaan

• Pengoptimalan Delta dan V-Order
• Muat ke tabel

Mulai menggunakan lakehouse

Mulai

• Membuat lakehouse
• Menavigasi penjelajah lakehouse

Panduan Penggunaan

• Memasukkan data ke dalam lakehouse menggunakan notebook

Tutorial

• Langkah 1 - Buat ruang kerja
• Langkah 2 - Membuat lakehouse
• Langkah 3 - Menyerap data ke lakehouse
• Langkah 4 - Mengubah data menjadi tabel delta
• Langkah 5 - Buat model semantik dan buat laporan
• Langkah 6 - Bersihkan sumber daya

Mulai menggunakan buku catatan

Mulai

• Membuat dan menggunakan buku catatan

Panduan Penggunaan

• Mengembangkan dan menjalankan buku catatan
• Menjelajahi data lakehouse dengan buku catatan
• Memvisualisasikan buku catatan
• Kontrol dan penyebaran sumber Notebook
• Menulis dan menjalankan Buku Catatan T-SQL

Kueri dengan API untuk GraphQL

Gambaran Umum

• Apa itu Fabric API untuk GraphQL?

Mulai

• Membuat API untuk GraphQL dan menambahkan data

Panduan Penggunaan

• Kelola hubungan
• Menyambungkan ke aplikasi
• Mengkueri beberapa sumber data
• Kontrol sumber GraphQL dan alur penyebaran
• Dasbor pemantauan dan pencatatan log (pratinjau)

Integrasi VS Code

Konsep

• Apa itu ekstensi VS Code untuk Data Engineering?

Panduan Penggunaan

• Menggunakan buku catatan dari Visual Studio Code
• Menggunakan gambar kontainer dari Visual Studio Code
• Menggunakan definisi kerja Spark dari Visual Studio Code
• Jelajahi lakehouse dari VS Code
• Mengembangkan notebook dari pengalaman web VS Code

Apache Spark untuk Rekayasa Data

Konsep

• Definisi kerja Apache Spark
• Apa itu penasihat Apache Spark?

Mulai

• Membuat definisi kerja Spark
• Membuat definisi kerja Spark dengan Fabric API
• Integrasi Git untuk definisi tugas Spark

Panduan Penggunaan

• Menjadwalkan dan menjalankan definisi tugas Spark
• Mengelola pustaka Apache Spark
• Cara menggunakan Fabric MSSparkUtils

Memulai dengan lingkungan

Mulai

• Lingkungan Jaringan Fabric

Panduan Penggunaan

• Mengelola komputasi Spark di lingkungan
• Mengelola pustaka di lingkungan
• Alur integrasi dan penyebaran Git Lingkungan
• Mengelola lingkungan melalui API publik
• Mengelola pustaka dengan akses jaringan terbatas di Fabric

Fabric Livy API

Gambaran Umum

• Apa itu LIVY API?

Mulai

• Membuat dan menjalankan pekerjaan Spark menggunakan LIVY API
• Kirimkan tugas sesi Livy API
• Mengirimkan pekerjaan batch API Livy

Tingkatkan efisiensi dengan tampilan danau termaterialisasi

Gambaran Umum

• Apa itu pemandangan danau materialisasi?

Mulai

• Mulai mengaktifkan tampilan danau yang dimaterialisasi
• Menerapkan arsitektur medallion dengan tampilan danau yang terwujud
• Mengelola tampilan danau materialisasi