Pendahuluan
Organisasi Anda memproses jutaan transaksi setiap hari dari beberapa sistem sumber, dan pemangku kepentingan membutuhkan analitik andal yang mencerminkan operasi saat ini dan tren historis. Tim teknik data menghadapi keputusan penting: Bagaimana data harus mengalir dari sistem sumber ke lakehouse? Format tabel mana yang memberikan keseimbangan performa dan kompatibilitas yang tepat? Bagaimana Anda mempertahankan akurasi historis sambil menjaga pencarian tetap cepat?
Pemodelan data di Azure Databricks dengan Unity Catalog mengatasi tantangan ini melalui pilihan desain yang disarankan yang memengaruhi setiap konsumen hilir. Anda memilih pola penyerapan yang sesuai dengan persyaratan latensi Anda. Anda memilih format tabel seperti Delta Lake atau Apache Iceberg berdasarkan kebutuhan transaksi dan kompatibilitas lintas platform. Anda merancang skema partisi dan strategi pengklusteran yang selaras dengan cara analis mengkueri data.
Keputusan ini meningkat dari waktu ke waktu. Tabel yang salah dipartisi saat ini menciptakan masalah performa yang tumbuh dengan volume data. Tabel dimensi tanpa pelacakan perubahan yang tepat kehilangan konteks historis. Desain yang bijaksana sejak awal menciptakan fondasi yang dapat diukur secara efisien dan menjawab pertanyaan yang belum Anda antisipasi.
Modul ini memandu Anda melalui keputusan pemodelan data utama untuk lingkungan Azure Databricks. Anda akan belajar mendesain logika penyerapan, memilih alat yang tepat untuk setiap jenis sumber data, dan menerapkan strategi penyimpanan yang mengoptimalkan performa kueri. Anda akan menjelajahi dimensi yang berubah perlahan untuk akurasi historis dan memahami kapan tabel terkelola memberikan keuntungan daripada tabel eksternal.