Merancang dan menerapkan pemodelan data dengan Azure Databricks
Menengah
Teknisi Data
Azure Databricks
Pemodelan data yang efektif membentuk fondasi platform data yang berkinerja dan dapat dipertahankan. Modul ini mengeksplorasi cara merancang logika penyerapan, memilih alat dan format tabel yang sesuai, menerapkan skema partisi, mengelola dimensi yang berubah perlahan, memilih granularitas data yang sesuai, dan mengoptimalkan performa tabel melalui strategi pengklusteran di Azure Databricks dengan Katalog Unity.
Tujuan pembelajaran
Pada akhir modul ini, Anda akan dapat:
- Mendesain logika penyerapan data dan mengonfigurasi koneksi sumber data
- Pilih alat penyerapan data yang sesuai untuk skenario Anda
- Pilih antara Delta Lake, Apache Iceberg, dan format tabel lainnya
- Merancang dan menerapkan skema pemartisian data yang efektif
- Pilih dan terapkan jenis dimensi yang berubah secara perlahan
- Merancang dan mengimplementasikan tabel temporal untuk pelacakan perubahan dan audit
- Pilih granularitas data yang sesuai untuk tabel fakta dan dimensi
- Merancang dan menerapkan strategi pengklusteran untuk pengoptimalan kueri
- Mengevaluasi kapan menggunakan tabel terkelola versus eksternal
Prasyarat
Prasyarat berikut harus diselesaikan:
- Pemahaman dasar tentang ruang kerja Azure Databricks dan Katalog Unity
- Keakraban dengan konsep SQL dan gudang data
- Pengetahuan tentang dasar-dasar Delta Lake