Membersihkan, mengubah, dan memuat data ke dalam Katalog Unity
Menengah
Teknisi Data
Azure Databricks
Rekayasa data memerlukan transformasi data mentah menjadi format yang bersih dan terstruktur dengan baik yang siap untuk analisis. Modul ini mengeksplorasi teknik untuk membuat profil kualitas data, memilih jenis kolom yang sesuai, menyelesaikan duplikat dan nilai null, menerapkan transformasi pemfilteran dan agregasi, menggabungkan himpunan data dengan operator gabungan dan set, membentuk ulang data melalui pivot dan denormalisasi, dan memuat data yang diubah menggunakan strategi penambahan, timpa, dan gabungkan.
Tujuan pembelajaran
Pada akhir modul ini, Anda dapat:
- Data profil menggunakan perintah SQL dan fitur pembuatan profil data untuk menilai kualitas data
- Pilih jenis data kolom yang sesuai untuk mengoptimalkan penyimpanan dan memastikan integritas data
- Mengidentifikasi dan mengatasi nilai duplikat, hilang, dan null dalam himpunan data
- Menerapkan operasi pemfilteran, pengelompokan, dan agregasi untuk mengubah data
- Menggabungkan himpunan data menggunakan operator gabungan dan set seperti UNION, INTERSECT, dan EXCEPT
- Memformat ulang data menggunakan teknik denormalisasi, pivot, dan unpivot
- Muat data yang diubah menjadi tabel Unity Catalog menggunakan operasi INSERT, MERGE, dan overwrite
Prasyarat
Prasyarat berikut harus diselesaikan:
- Pemahaman dasar tentang konsep Azure Databricks dan Unity Catalog
- Keakraban dengan pemrograman SQL dan Python
- Pengetahuan tentang konsep rekayasa data seperti kualitas dan transformasi data