Menyerap data ke dalam Katalog Unity
Menengah
Teknisi Data
Azure Databricks
Penyerapan data adalah kemampuan mendasar untuk platform data apa pun. Modul ini mengeksplorasi serangkaian teknik komprehensif yang tersedia di Azure Databricks untuk memuat data ke dalam tabel Unity Catalog. Anda akan mempelajari cara menggunakan konektor terkelola dengan Lakeflow Connect, menulis kode ingesti kustom di notebook, menerapkan perintah SQL untuk pemuatan batch file, memproses feed change data capture (CDC), mengonfigurasi ingesti streaming dari bus pesan, menyiapkan Auto Loader untuk deteksi file otomatis, dan mengatur alur kerja ingesti dengan pipeline Lakeflow.
Tujuan pembelajaran
Pada akhir modul ini, Anda akan dapat:
- Mengonfigurasi Lakeflow Connect untuk menyerap data dari sumber eksternal menggunakan konektor terkelola
- Menyerap data batch dan streaming menggunakan notebook dengan DataFrames dan Streaming Terstruktur
- Gunakan perintah SQL seperti COPY INTO dan CREATE TABLE AS SELECT untuk penyerapan berbasis file
- Proses mengubah umpan pengambilan data dengan API CDC OTOMATIS
- Mengonfigurasi Spark Structured Streaming untuk penyerapan data real time dari Kafka dan Event Hubs
- Menyiapkan Auto Loader untuk mendeteksi dan memproses file baru secara otomatis dengan evolusi skema
- Mengorkestrasi alur kerja penyerapan data menggunakan pipeline Lakeflow
Prasyarat
Prasyarat berikut harus diselesaikan:
- Pemahaman dasar tentang konsep Azure Databricks dan Unity Catalog
- Keakraban dengan pemrograman SQL dan Python
- Pengetahuan tentang konsep rekayasa data seperti pemrosesan batch dan streaming data