Praktik terbaik untuk merancang dan mengembangkan aliran data yang kompleks

Jika aliran data yang Anda kembangkan semakin besar dan lebih kompleks, berikut adalah beberapa hal yang dapat Anda lakukan untuk meningkatkan desain asli Anda.

Memecahnya menjadi beberapa aliran data

Jangan lakukan semuanya dalam satu aliran data. Tidak hanya aliran data tunggal yang kompleks membuat proses transformasi data lebih lama, tetapi juga membuatnya lebih sulit untuk memahami dan menggunakan kembali aliran data. Memecah aliran data Anda menjadi beberapa aliran data dapat dilakukan dengan memisahkan tabel dalam aliran data yang berbeda, atau bahkan satu tabel menjadi beberapa aliran data. Anda dapat menggunakan konsep tabel terkomputasi atau tabel tertaut untuk membangun bagian dari transformasi dalam satu aliran data, dan menggunakannya kembali di aliran data lainnya.

Pisahkan aliran data transformasi data dari aliran data penahapan/ekstraksi

Memiliki beberapa aliran data hanya untuk mengekstrak data (seperti, aliran data penahapan) dan yang lain hanya untuk mengubah data sangat membantu, tidak hanya untuk membuat arsitektur berlapis-lapis, itu juga membantu untuk mengurangi kompleksitas aliran data. Beberapa langkah hanya mengekstrak data dari sumber data, seperti mendapatkan data, navigasi, dan perubahan jenis data. Dengan memisahkan aliran data penahapan dan aliran data transformasi, Anda membuat aliran data Anda lebih mudah dikembangkan.

Gambar menunjukkan data yang diekstrak dari sumber data ke aliran data sementara, di mana tabel dapat disimpan di Dataverse atau penyimpanan Azure Data Lake. Kemudian data dipindahkan ke aliran data transformasi tempat data diubah dan dikonversi ke struktur gudang data. Kemudian data dipindahkan ke model semantik.

Menggunakan fungsi kustom

Fungsi kustom sangat membantu dalam skenario di mana sejumlah langkah tertentu harus dilakukan untuk sejumlah kueri dari sumber yang berbeda. Fungsi kustom dapat dikembangkan melalui antarmuka grafis di Editor Power Query atau dengan menggunakan skrip M. Fungsi dapat digunakan kembali dalam aliran data dalam tabel sebanyak yang diperlukan.

Memiliki fungsi kustom membantu dengan hanya memiliki satu versi kode sumber, jadi Anda tidak perlu menduplikasi kode. Akibatnya, mempertahankan logika transformasi Power Query dan seluruh aliran data jauh lebih mudah. Untuk informasi selengkapnya, buka posting blog berikut: Fungsi Kustom Menjadi Mudah di Power BI Desktop.

Nota

Terkadang Anda mungkin menerima pemberitahuan yang memberi tahu Anda kapasitas premium diperlukan untuk me-refresh aliran data dengan fungsi kustom. Anda dapat mengabaikan pesan ini dan membuka kembali editor aliran data. Ini biasanya menyelesaikan masalah Anda kecuali fungsi Anda mengacu pada kueri "load enabled".

Menempatkan kueri ke dalam folder

Menggunakan folder untuk kueri membantu mengelompokkan kueri terkait bersama-sama. Saat mengembangkan aliran data, luangkan sedikit lebih banyak waktu untuk mengatur kueri di folder yang masuk akal. Dengan menggunakan pendekatan ini, Anda dapat menemukan kueri dengan lebih mudah di masa depan dan mempertahankan kode jauh lebih mudah.

Menggunakan tabel komputasi

Tabel komputasi tidak hanya membuat aliran data Anda lebih dapat dimengerti, tabel tersebut juga memberikan performa yang lebih baik. Saat Anda menggunakan tabel komputasi, tabel lain yang direferensikan dari tabel tersebut adalah mendapatkan data dari tabel "sudah diproses dan disimpan". Transformasinya jauh lebih sederhana dan lebih cepat.

Manfaatkan mesin komputasi yang ditingkatkan

Untuk aliran data yang dikembangkan di portal admin Power BI, pastikan Anda menggunakan mesin komputasi yang ditingkatkan dengan melakukan gabungan dan memfilter transformasi terlebih dahulu dalam tabel komputasi sebelum melakukan jenis transformasi lainnya.

Membagi langkah-langkah menjadi beberapa kueri

Sulit untuk melacak sejumlah besar langkah dalam satu tabel. Sebagai gantinya, Anda harus memecah sejumlah besar langkah menjadi beberapa tabel. Anda dapat menggunakan Aktifkan Muat untuk kueri lain dan menonaktifkannya jika kueri menengah, dan hanya memuat tabel akhir melalui aliran data. Saat Anda memiliki beberapa kueri dengan langkah-langkah yang lebih kecil di masing-masing, lebih mudah untuk menggunakan diagram dependensi dan melacak setiap kueri untuk penyelidikan lebih lanjut, daripada menggali ratusan langkah dalam satu kueri.

Tambah properti untuk kueri dan langkah

Dokumentasi adalah kunci untuk memiliki kode yang mudah dirawat. Di Power Query, Anda bisa menambahkan properti ke tabel dan juga ke langkah-langkah. Teks yang Anda tambahkan di properti muncul sebagai tipsalat saat Anda mengarahkan mouse ke atas kueri atau langkah tersebut. Dokumentasi ini membantu Anda mempertahankan model Anda di masa mendatang. Dengan melihat sekilas tabel atau langkah, Anda dapat memahami apa yang terjadi di sana, daripada memikirkan kembali dan mengingat apa yang telah Anda lakukan dalam langkah itu.

Pastikan kapasitas berada di wilayah yang sama

Aliran data saat ini tidak mendukung beberapa negara atau wilayah. Kapasitas Premium harus berada di wilayah yang sama dengan penyewa Power BI Anda.

Memisahkan sumber lokal dari sumber cloud

Kami menyarankan agar Anda membuat aliran data terpisah untuk setiap jenis sumber, seperti lokal, cloud, SQL Server, Spark, dan Dynamics 365. Memisahkan aliran data berdasarkan jenis sumber memfasilitasi pemecahan masalah cepat dan menghindari batas internal saat Anda me-refresh aliran data Anda.

Pisahkan aliran data berdasarkan refresh terjadwal yang diperlukan untuk tabel

Jika Anda memiliki tabel transaksi penjualan yang diperbarui dalam sistem sumber setiap jam dan Anda memiliki tabel pemetaan produk yang diperbarui setiap minggu, pecahkan kedua tabel ini menjadi dua aliran data dengan jadwal refresh data yang berbeda.

Hindari menjadwalkan refresh untuk tabel tertaut di ruang kerja yang sama

Jika Anda secara teratur diblokir dari aliran data Anda yang berisi tabel yang ditautkan, itu mungkin disebabkan oleh aliran data dependen yang sesuai di ruang kerja yang sama yang dikunci selama penyegaran aliran data. Penguncian tersebut memberikan akurasi transaksional dan memastikan bahwa kedua aliran data berhasil disegarkan, tetapi dapat memblokir Anda dari mengedit.

Jika Anda menyiapkan jadwal terpisah untuk aliran data tertaut, aliran data dapat disegarkan secara tidak perlu dan memblokir Anda mengedit aliran data. Ada dua rekomendasi untuk menghindari masalah ini:

• Jangan atur jadwal refresh untuk aliran data tertaut di ruang kerja yang sama dengan aliran data sumber.
• Jika Anda ingin mengonfigurasi jadwal penyegaran secara terpisah dan ingin menghindari perilaku penguncian, pindahkan aliran data ke ruang kerja yang terpisah.