Menyiapkan dan memproses data dengan Azure Databricks

  • Jalur Pembelajaran
  • 4 Modul

Sekilas

Kuasai keterampilan penting untuk membangun solusi rekayasa data yang kuat dan dapat diskalakan dengan Azure Databricks dan Unity Catalog. Pelajari cara merancang model data yang efektif, menyerap data dari berbagai sumber, mengubah data mentah menjadi format siap analitik, dan memastikan kualitas data di seluruh arsitektur lakehouse Anda.

Dalam jalur pembelajaran ini, Anda akan mempelajari cara membuat alur kerja rekayasa data menggunakan Azure Databricks dan Unity Catalog. Dimulai dengan konsep pemodelan data dasar, Anda akan merancang skema dan strategi pemartisian yang dioptimalkan untuk beban kerja analitis. Anda kemudian akan menjelajahi beberapa pola penyerapan—dari konektor terkelola hingga alur streaming—untuk membawa data ke lakehouse Anda. Selanjutnya, Anda akan menerapkan teknik transformasi untuk membersihkan dan membentuk ulang data untuk penggunaan bisnis. Terakhir, Anda akan menerapkan kontrol kualitas untuk menjaga integritas data di seluruh alur Anda. Pada akhirnya, Anda akan memiliki keterampilan praktis untuk merancang dan membangun solusi data siap produksi di Unity Catalog.

Prasyarat

  • Pemahaman yang baik tentang ruang kerja Azure Databricks dan konsep Unity Catalog
  • Keakraban dengan pemrograman SQL dan Python
  • Pengetahuan tentang rekayasa data dasar dan konsep gudang data

Modul dalam jalur pembelajaran ini

Merancang dan menerapkan pemodelan data dengan Azure Databricks

Pemodelan data yang efektif membentuk fondasi platform data yang berkinerja dan dapat dipertahankan. Modul ini mengeksplorasi cara merancang logika penyerapan, memilih alat dan format tabel yang sesuai, menerapkan skema partisi, mengelola dimensi yang berubah perlahan, memilih granularitas data yang sesuai, dan mengoptimalkan performa tabel melalui strategi pengklusteran di Azure Databricks dengan Katalog Unity.

Menyerap data ke dalam Katalog Unity

Penyerapan data adalah kemampuan mendasar untuk platform data apa pun. Modul ini mengeksplorasi serangkaian teknik komprehensif yang tersedia di Azure Databricks untuk memuat data ke dalam tabel Unity Catalog. Anda akan mempelajari cara menggunakan konektor terkelola dengan Lakeflow Connect, menulis kode ingesti kustom di notebook, menerapkan perintah SQL untuk pemuatan file batch, memproses feed change data capture (CDC), mengonfigurasi ingesti streaming dari bus pesan, menyiapkan Auto Loader untuk deteksi file otomatis, dan mengatur alur kerja ingesti dengan pipeline Lakeflow.

Membersihkan, mengubah, dan memuat data ke dalam Katalog Unity

Rekayasa data memerlukan transformasi data mentah menjadi format yang bersih dan terstruktur dengan baik yang siap untuk analisis. Modul ini mengeksplorasi teknik untuk membuat profil kualitas data, memilih jenis kolom yang sesuai, menyelesaikan duplikat dan nilai null, menerapkan transformasi pemfilteran dan agregasi, menggabungkan himpunan data dengan operator gabungan dan set, membentuk ulang data melalui pivot dan denormalisasi, dan memuat data yang diubah menggunakan strategi penambahan, timpa, dan gabungkan.

Menerapkan dan mengelola batasan kualitas data dengan Azure Databricks

Modul ini mengeksplorasi strategi untuk mempertahankan kualitas data tinggi di Azure Databricks. Anda akan mempelajari cara menerapkan pemeriksaan validasi, memberlakukan skema, mengelola penyimpangan skema, dan menggunakan ekspektasi alur untuk memastikan integritas data di seluruh alur data Anda.

Mulai