Menerapkan arsitektur medallion dengan tampilan danau yang terwujud

Tutorial ini membimbing Anda untuk menerapkan arsitektur medallion dengan menggunakan tampilan danau terwujud di lakehouse Fabric. Pada akhirnya, Anda membuat aliran transformasi data otomatis dari perunggu ke lapisan perak ke emas. Tutorial ini bukan arsitektur referensi, panduan fitur lengkap, atau rekomendasi praktik terbaik preskriptif.

Prasyarat

Sebelum memulai, selesaikan prasyarat ini:

  1. Masuk ke akun Power BI Anda, atau daftar untuk uji coba jika Anda tidak memilikinya.
  2. Aktifkan Microsoft Fabric di penyewa Anda.
  3. Buat ruang kerja yang menggunakan Fabric.
  4. Buat Lakehouse dengan skema yang diaktifkan, dan beri nama SalesLakehouse.

Prasyarat ini digunakan sepanjang tutorial ini: ruang kerja dan SalesLakehouse diperlukan dalam tahapan lapisan perunggu, perak, dan emas, serta dalam pemantauan dan penjadwalan.

Gambaran umum skenario

Tutorial ini menggunakan organisasi ritel fiktif, Contoso, sebagai contoh skenario. Contoso mengatur data penjualan dalam arsitektur medali untuk meningkatkan hasil analitik dengan memisahkan data menjadi lapisan perunggu (mentah), perak (dibersihkan dan diperkaya), dan emas (agregat dan dianalisis).

Diagram berikut mewakili entitas yang berbeda di setiap lapisan arsitektur medali di SalesLakehouse:

Cuplikan layar memperlihatkan arsitektur medali.

Entitas utama dalam skenario

Entitas berikut sesuai dengan entitas yang diperlihatkan dalam diagram arsitektur medali di bagian sebelumnya.

  • Pesanan: Entitas ini mencakup detail tentang setiap pesanan pelanggan, seperti tanggal pesanan, detail pengiriman, kategori produk, dan subkategori. Wawasan dapat diperoleh untuk mengoptimalkan strategi pengiriman, mengidentifikasi kategori produk populer, dan meningkatkan pengelolaan pesanan.

  • Penjualan: Dengan menganalisis data penjualan, Contoso dapat menilai metrik utama seperti total pendapatan, margin laba, prioritas pesanan, dan diskon. Korelasi antara faktor-faktor ini memberikan pemahaman yang lebih jelas tentang perilaku pembelian pelanggan dan efisiensi strategi diskon.

  • Lokasi: Ini menangkap dimensi geografis penjualan dan pesanan, termasuk kota, negara bagian, wilayah, dan segmen pelanggan. Ini membantu Contoso mengidentifikasi wilayah berkinerja tinggi, mengatasi area berkinerja rendah, dan mempersonalisasi strategi untuk segmen pelanggan tertentu.

  • Agen: Dengan detail tentang agen yang mengelola transaksi, komisi, dan data penjualan mereka, Contoso dapat mengevaluasi performa agen individu, memberikan insentif kepada performa teratas, dan merancang struktur komisi yang efektif.

  • Komisi agen: Menggabungkan data komisi memastikan transparansi dan memungkinkan manajemen biaya yang lebih baik. Memahami korelasi antara tingkat komisi dan performa agen membantu menyempurnakan sistem insentif.

Contoh data dan buku catatan

Tutorial ini menggunakan himpunan data sampel dari repositori sampel Fabric. Unduh folder lengkap tutorial sebelum Melanjutkan.

Anda menggunakan aset ini untuk membangun lapisan perunggu terlebih dahulu, lalu membuat tampilan danau materialisasi perak dan emas.

Folder yang diunduh tutorial berisi:

  • Folder CSV: agent, agent_commissions, location, orders, dan sales.
  • File buku catatan: Notebook.

Membuat aliran data medali

Di bagian ini, Anda membuat lapisan perunggu, perak, dan emas untuk arsitektur medali di SalesLakehouse. Lapisan-lapisan ini menentukan aliran data berbasis silsilah untuk tampilan lake materialisasi Anda.

Langkah-langkah tingkat tinggi adalah sebagai berikut:

  1. Lapisan Perunggu: Mengimpor data mentah dalam bentuk file CSV ke lakehouse. Lihat Membuat lapisan perunggu arsitektur medali analitik penjualan.
  2. Lapisan Perak dan Emas: Membersihkan data dan mengkurasi data untuk analitik dan pelaporan menggunakan tampilan terwujud danau data. Lihat Buat lapisan perak dan emas pada arsitektur medali.

Nanti dalam tutorial ini, Anda menjadwalkan refresh untuk silsilah data ini sehingga alur berjalan secara otomatis.

Membuat lapisan perunggu untuk arsitektur medali analitik penjualan

Di bagian ini, Anda membuat lapisan perunggu dengan mengunggah konten folder yang diunduh tutorial ke SalesLakehouse. File-file ini sesuai dengan entitas yang dijelaskan sebelumnya dalam tutorial ini.

  1. Di ruang kerja Anda, buka SalesLakehouse dan buka bagian File .

  2. Unggah konten folder yang diunduh tutorial , mempertahankan struktur folder:

    • agent
    • agent_commissions
    • location
    • orders
    • sales

    Setelah diunggah, folder bernama tutorial dibuat di bawah File, dan berisi subfolder ini.

  3. Selanjutnya, buat pintasan ke sana dari bagian Tabel. Pilih ... di samping bagian Tabel, dan kemudian pilih Pintasan skema baru dan Microsoft OneLake. Pilih SalesLakehouse dari jenis sumber data. Perluas bagian File dan pilih folder tutorial dan pilih Buat. Anda juga dapat menggunakan opsi alternatif lainnya untuk memasukkan data ke Lakehouse.

    Cuplikan layar memperlihatkan cara membuat pintasan untuk memasukkan data ke dalam tabel.

  4. Dari bagian Tabel , ganti nama folder tutorial sebagai perunggu.

Membuat lapisan arsitektur medali dari perak dan emas

  1. Dari folder yang diunduh tutorial , unggah Notebook file ke ruang kerja Anda.

    Cuplikan layar menunjukkan pembuatan tampilan danau perak yang terwujud.

  2. Buka notebook yang diunggah dari SalesLakehouse. Untuk informasi selengkapnya, lihat Jelajahi data lakehouse dengan notebook.

  3. Jalankan semua sel notebook menggunakan Spark SQL untuk membuat tampilan materialisasi danau dengan batasan kualitas data.

  4. Setelah semua sel berhasil dijalankan, refresh SalesLakehouse untuk melihat tampilan danau terwujud baru di bawah skema perak dan emas.

    Cuplikan layar memperlihatkan notebook yang dijalankan.

Jadwalkan pembaruan

  1. Di SalesLakehouse, buka tab Tampilan materialisasi danau dan pilih Kelola untuk membuka garis keturunan data.

    Tampilan garis keturunan menunjukkan grafik ketergantungan yang dihasilkan secara otomatis, di mana setiap tampilan danau termaterialisasi dependen muncul sebagai simpul.

    Cuplikan layar memperlihatkan pembuatan silsilah data.

  2. Pilih Jadwalkan pada pita, lalu pilih Jadwal baru di panel jadwal.

  3. Aktifkan jadwal, berikan nama, dan pilih tampilan lake materialisasi untuk di-refresh.

  4. Atur frekuensi jadwal, lalu pilih Terapkan.

  5. Untuk segera menjalankan jadwal, pilih Jalankan pada jadwal yang dibuat.

    Cuplikan layar memperlihatkan pembuatan jadwal.

Pemantauan dan pemecahan masalah

  1. Di tab Eksekusi terbaru , tinjau status eksekusi.

  2. Pilih RUN ID untuk membuka detail untuk eksekusi tersebut.

    Cuplikan layar memperlihatkan pengoperasian terbaru.

  3. Di tab rincian eksekusi, tinjau panel rincian di sisi kanan dan panel aktivitas di bawah untuk status eksekusi.

  4. Pilih simpul tampilan lake materialisasi dalam silsilah data untuk melihat detail eksekusi, jalur ABFS-nya, dan tautan ke log terperinci.

  5. Jika status simpul Gagal, tinjau pesan kesalahan yang ditampilkan.

    Cuplikan layar memperlihatkan detail eksekusi.

  6. Pilih Log terperinci untuk membuka Monitor Hub dan tinjau log kesalahan Spark.

    Cuplikan layar menampilkan log spark.

  7. Pilih tab Laporan kualitas data dari tampilan Materialized lake untuk membuat atau melihat laporan kualitas data yang dibuat secara otomatis.

Konten terkait

  • Last updated on