Apa itu aliran data?
Tip
Cobalah Dataflow Gen2 di Data Factory di Microsoft Fabric, solusi analitik all-in-one untuk perusahaan. Microsoft Fabric mencakup semuanya mulai dari pergerakan data hingga ilmu data, analitik real time, kecerdasan bisnis, dan pelaporan. Pelajari cara memulai uji coba baru secara gratis!
Aliran data adalah teknologi persiapan data berbasis cloud, layanan mandiri. Aliran data memungkinkan pelanggan untuk menyerap, mengubah, dan memuat data ke lingkungan Microsoft Dataverse, ruang kerja Power BI, atau akun Azure Data Lake Storage organisasi Anda. Aliran data ditulis dengan menggunakan Power Query, konektivitas data terpadu dan pengalaman persiapan yang sudah ditampilkan di banyak produk Microsoft, termasuk Excel dan Power BI. Pelanggan dapat memicu aliran data untuk berjalan sesuai permintaan atau secara otomatis sesuai jadwal; data selalu diperbarui.
Aliran data dapat dibuat di beberapa produk Microsoft
Aliran data ditampilkan dalam beberapa produk Microsoft dan tidak memerlukan lisensi khusus aliran data untuk dibuat atau dijalankan. Aliran data tersedia di Power Apps, Power BI, dan Dynamics 365 Customer Insights. Kemampuan untuk membuat dan menjalankan aliran data dibundel dengan lisensi produk tersebut. Fitur aliran data sebagian besar umum di semua produk yang ditampilkan, tetapi beberapa fitur khusus produk mungkin ada dalam aliran data yang dibuat dalam satu produk versus produk lainnya.
Bagaimana fungsi aliran data?
Gambar sebelumnya menunjukkan tampilan keseluruhan tentang bagaimana aliran data ditentukan. Aliran data mendapatkan data dari sumber data yang berbeda (sudah lebih dari 80 sumber data yang didukung). Kemudian, berdasarkan transformasi yang dikonfigurasi dengan pengalaman penulisan Power Query, aliran data mengubah data dengan menggunakan mesin aliran data. Terakhir, data dimuat ke tujuan output, yang dapat menjadi lingkungan Microsoft Power Platform, ruang kerja Power BI, atau akun Azure Data Lake Storage organisasi.
Aliran data berjalan di cloud
Aliran data berbasis cloud. Saat aliran data ditulis dan disimpan, definisinya disimpan di cloud. Aliran data juga berjalan di cloud. Namun, jika sumber data lokal, gateway data lokal dapat digunakan untuk mengekstrak data ke cloud. Saat eksekusi aliran data dipicu, transformasi dan komputasi data terjadi di cloud, dan tujuannya selalu ada di cloud.
Aliran data menggunakan mesin transformasi yang kuat
Power Query adalah mesin transformasi data yang digunakan dalam aliran data. Mesin ini cukup mampu mendukung banyak transformasi canggih. Ini juga menggunakan antarmuka pengguna grafis yang mudah namun kuat yang disebut Editor Power Query. Anda dapat menggunakan aliran data dengan editor ini untuk mengembangkan solusi integrasi data Anda lebih cepat dan lebih mudah.
Integrasi aliran data dengan Microsoft Power Platform dan Dynamics 365
Karena aliran data menyimpan tabel yang dihasilkan dalam penyimpanan berbasis cloud, layanan lain dapat berinteraksi dengan data yang dihasilkan oleh aliran data.
Misalnya, aplikasi Power BI, Power Apps, Power Automate, Power Virtual Agents, dan Dynamics 365 bisa mendapatkan data yang dihasilkan oleh aliran data dengan menyambungkan ke Dataverse, konektor aliran data Power Platform, atau langsung melalui lake, tergantung pada tujuan yang dikonfigurasi pada waktu pembuatan aliran data.
Manfaat aliran data
Daftar berikut menyoroti beberapa manfaat menggunakan aliran data:
Aliran data memisahkan lapisan transformasi data dari lapisan pemodelan dan visualisasi dalam solusi Power BI.
Kode transformasi data dapat berada di lokasi pusat, aliran data, daripada tersebar di antara beberapa artefak.
Pembuat aliran data hanya memerlukan keterampilan Power Query. Dalam lingkungan dengan beberapa pembuat, pembuat aliran data dapat menjadi bagian dari tim yang bersama-sama membangun seluruh solusi BI atau aplikasi operasional.
Aliran data bersifat agnostik produk. Ini bukan komponen Power BI saja; Anda bisa mendapatkan datanya di alat dan layanan lain.
Aliran data memanfaatkan Power Query, pengalaman transformasi data mandiri yang canggih, grafis.
Aliran data berjalan sepenuhnya di cloud. Tidak diperlukan infrastruktur tambahan.
Anda memiliki beberapa opsi untuk mulai bekerja dengan aliran data, menggunakan lisensi untuk Power Apps, Power BI, dan Customer Insights.
Meskipun aliran data mampu melakukan transformasi tingkat lanjut, aliran data dirancang untuk skenario layanan mandiri dan tidak memerlukan latar belakang IT atau pengembang.
Skenario kasus penggunaan untuk aliran data
Anda dapat menggunakan aliran data untuk banyak tujuan. Skenario berikut memberikan beberapa contoh kasus penggunaan umum untuk aliran data.
Migrasi data dari sistem warisan
Dalam skenario ini, keputusan telah dibuat oleh organisasi untuk menggunakan Power Apps untuk pengalaman antarmuka pengguna baru daripada sistem lokal warisan. Power Apps, Power Automate, dan AI Builder semuanya menggunakan Dataverse sebagai sistem penyimpanan data utama. Data saat ini dalam sistem lokal yang ada dapat dimigrasikan ke Dataverse dengan menggunakan aliran data, lalu produk ini dapat menggunakan data tersebut.
Menggunakan aliran data untuk membangun gudang data
Anda dapat menggunakan aliran data sebagai pengganti alat ekstrak, transformasi, pemuatan (ETL) lainnya untuk membangun gudang data. Dalam skenario ini, teknisi data perusahaan memutuskan untuk menggunakan aliran data untuk membangun gudang data yang dirancang skema bintang mereka, termasuk tabel fakta dan dimensi di Data Lake Storage. Kemudian Power BI digunakan untuk menghasilkan laporan dan dasbor dengan mendapatkan data dari aliran data.
Menggunakan aliran data untuk membangun model dimensi
Anda dapat menggunakan aliran data sebagai pengganti alat ETL lainnya untuk membangun model dimensi. Misalnya, teknisi data perusahaan memutuskan untuk menggunakan aliran data untuk membangun model dimensi yang dirancang skema bintang, termasuk tabel fakta dan dimensi di Azure Data Lake Storage Gen2. Kemudian Power BI digunakan untuk menghasilkan laporan dan dasbor dengan mendapatkan data dari aliran data.
Memusatkan persiapan data dan menggunakan kembali model semantik di beberapa solusi Power BI
Jika beberapa solusi Power BI menggunakan versi tabel yang ditransformasi yang sama, proses untuk membuat tabel akan diulang beberapa kali. Ini meningkatkan beban pada sistem sumber, mengonsumsi lebih banyak sumber daya, dan membuat data duplikat dengan beberapa titik kegagalan. Sebagai gantinya, satu aliran data dapat dibuat untuk menghitung data untuk semua solusi. Power BI kemudian dapat menggunakan kembali hasil transformasi di semua solusi. Aliran data, jika digunakan dengan cara seperti itu, dapat menjadi bagian dari arsitektur implementasi Power BI yang kuat yang menghindari duplikat kode Power Query dan mengurangi biaya pemeliharaan lapisan integrasi data.
Langkah berikutnya
Artikel berikut ini menyediakan materi studi lebih lanjut untuk aliran data.
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk