Aliran data streaming (pratinjau)

Organisasi ingin bekerja dengan data saat data masuk, bukan hari atau minggu kemudian. Visi Power BI sederhana: perbedaan antara batch, real-time, dan streaming harus hilang. Pengguna harus dapat bekerja dengan semua data segera setelah tersedia. Analis biasanya memerlukan bantuan teknis untuk menangani sumber data streaming, persiapan data, operasi berbasis waktu yang kompleks, dan visualisasi data real-time. Departemen TI sering mengandalkan sistem yang dibuat khusus, dan kombinasi teknologi dari berbagai vendor, untuk melakukan analisis tepat waktu pada data. Tanpa kompleksitas ini, mereka tidak dapat memberikan informasi kepada pembuat keputusan dalam waktu dekat secara real time.

Aliran data streaming memungkinkan penulis untuk menyambungkan, menyerap, mengolah, memodelkan, dan membuat laporan berdasarkan streaming dalam data mendekati real-time langsung di layanan Power BI. Layanan ini memungkinkan pengalaman seret dan letakkan tanpa kode. Anda dapat mencampur dan mencocokkan data streaming dengan data batch jika Perlu melalui antarmuka pengguna (UI) yang menyertakan tampilan diagram untuk mashup data yang mudah. Item akhir yang dihasilkan adalah aliran data, yang dapat dikonsumsi secara real time untuk membuat pelaporan yang sangat interaktif dan hampir real-time. Semua kemampuan visualisasi data dalam Power BI berfungsi dengan data streaming, seperti halnya dengan data batch.

Penting

Aliran data streaming telah dihentikan, dan tidak lagi tersedia. Azure Stream Analytics telah menggabungkan fungsionalitas aliran data streaming. Untuk informasi selengkapnya tentang penghentian aliran data streaming, lihat pengumuman penghentian. Pengguna dapat melakukan operasi persiapan data seperti gabungan dan filter. Mereka juga dapat melakukan agregasi jendela waktu (seperti jendela tumbling, hopping, dan session) untuk operasi kelompok demi grup. Aliran data streaming di Power BI memberdayakan organisasi untuk:

• Membuat keputusan yang percaya diri mendekati real time. Organisasi bisa lebih cepat dan mengambil tindakan yang bermakna berdasarkan wawasan terbaru.
• Demokratisasi data streaming. Organisasi dapat membuat data lebih mudah diakses dan lebih mudah ditafsirkan dengan solusi tanpa kode, dan aksesibilitas ini mengurangi sumber daya TI.
• Mempercepat waktu untuk wawasan dengan menggunakan solusi analitik streaming end-to-end dengan penyimpanan data terintegrasi dan kecerdasan bisnis.

Aliran data streaming mendukung DirectQuery dan refresh halaman otomatis/deteksi perubahan. Dukungan ini memungkinkan pengguna untuk membuat laporan yang diperbarui hampir secara real time, hingga setiap detik, dengan menggunakan visual apa pun yang tersedia di Power BI.

Persyaratan

Sebelum membuat aliran data streaming pertama, pastikan Anda memenuhi semua persyaratan berikut:

• Untuk membuat dan menjalankan aliran data streaming, Anda memerlukan ruang kerja yang merupakan bagian dari kapasitas Premium atau lisensi Premium Per Pengguna (PPU).

  Penting

  Jika Anda menggunakan lisensi PPU dan ingin pengguna lain menggunakan laporan yang dibuat dengan aliran data streaming yang diperbarui secara real time, mereka juga memerlukan lisensi PPU. Mereka kemudian dapat menggunakan laporan dengan frekuensi refresh yang sama dengan yang Anda siapkan, jika refresh tersebut lebih cepat dari setiap 30 menit.

• Aktifkan aliran data untuk penyewa Anda. Untuk informasi selengkapnya, lihat Mengaktifkan aliran data di Power BI Premium.

• Untuk memastikan aliran data streaming berfungsi dalam kapasitas Premium Anda, mesin komputasi yang ditingkatkan perlu diaktifkan. Mesin dinyalakan secara default, tetapi admin kapasitas Power BI dapat mematikannya. Jika demikian, hubungi admin Anda untuk mengaktifkannya.

  Mesin komputasi yang ditingkatkan hanya tersedia di Premium P atau A3 Tersemat dan kapasitas yang lebih besar. Untuk menggunakan aliran data streaming, Anda memerlukan PPU, kapasitas Premium P dengan ukuran apa pun, atau A3 Tersemat atau kapasitas yang lebih besar. Untuk informasi selengkapnya tentang SKU Premium dan spesifikasinya, lihat Kapasitas dan SKU di Power BI analitik yang disematkan.

• Untuk membuat laporan yang diperbarui secara real time, pastikan admin Anda (kapasitas atau Power BI untuk PPU) telah mengaktifkan refresh halaman otomatis. Pastikan juga bahwa admin telah mengizinkan interval refresh minimum yang sesuai dengan kebutuhan Anda. Untuk informasi selengkapnya, lihat Refresh halaman otomatis di Power BI.

Membuat aliran data streaming

Aliran data streaming, seperti relatif aliran datanya, adalah kumpulan entitas (tabel) yang dibuat dan dikelola di ruang kerja di layanan Power BI. Tabel adalah sekumpulan bidang yang digunakan untuk menyimpan data, sama seperti tabel dalam database.

Anda dapat menambahkan dan mengedit tabel di aliran data streaming langsung dari ruang kerja tempat aliran data Anda dibuat. Perbedaan utama dengan aliran data reguler adalah Anda tidak perlu khawatir tentang refresh atau frekuensi. Karena sifat data streaming, ada aliran berkelanjutan yang masuk. Refresh bersifat konstan atau tak terbatas kecuali Anda menghentikannya.

Catatan

Anda hanya dapat memiliki satu jenis aliran data per ruang kerja. Jika Anda sudah memiliki aliran data reguler di ruang kerja Premium, Anda tidak akan dapat membuat aliran data streaming (dan sebaliknya).

Membuat aliran data streaming:

1. Buka layanan Power BI di browser, lalu pilih ruang kerja yang diaktifkan Premium. (Aliran data streaming, seperti aliran data reguler, tidak tersedia di Ruang Kerja Saya.)

2. Pilih menu dropdown Baru, lalu pilih Aliran aliran data.

   

3. Di panel samping yang terbuka, Anda harus memberi nama aliran data streaming Anda. Masukkan nama dalam kotak Nama (1), lalu pilih Buat (2).

   

   Tampilan diagram kosong untuk aliran data streaming muncul.

Cuplikan layar berikut menunjukkan aliran data yang sudah selesai. Ini menyoroti semua bagian yang tersedia untuk Anda untuk penulisan di antarmuka aliran data streaming.

1. Pita: Pada pita, bagian mengikuti urutan proses analitik "klasik": input (juga dikenal sebagai sumber data), transformasi (operasi ETL streaming), output, dan tombol untuk menyimpan kemajuan Anda.

2. Tampilan diagram: Tampilan ini adalah representasi grafis dari aliran data Anda, dari input hingga operasi hingga output.

3. Panel samping: Bergantung pada komponen mana yang Anda pilih dalam tampilan diagram, Anda memiliki pengaturan untuk mengubah setiap input, transformasi, atau output.

4. Tab untuk pratinjau data, kesalahan penulisan, dan kesalahan runtime: Untuk setiap kartu yang ditampilkan, pratinjau data menunjukkan hasil untuk langkah tersebut (langsung untuk input dan sesuai permintaan untuk transformasi dan output).

   Bagian ini juga meringkas kesalahan penulisan atau peringatan yang mungkin Anda miliki di aliran data Anda. Memilih setiap kesalahan atau peringatan akan memilih transformasi tersebut. Selain itu, Anda memiliki akses ke kesalahan runtime setelah aliran data berjalan, seperti pesan yang dihilangkan.

   Anda selalu dapat meminimalkan bagian aliran data streaming ini dengan memilih panah di sudut kanan atas.

Aliran data streaming dibangun di atas tiga komponen utama: input streaming, transformasi, dan output. Anda dapat memiliki komponen sebanyak yang diinginkan, termasuk beberapa input, cabang paralel dengan beberapa transformasi, dan beberapa output.

Menambahkan input streaming

Untuk menambahkan input streaming, pilih ikon pada pita dan berikan informasi yang diperlukan di panel samping untuk menyiapkannya. Pada Juli 2021, pratinjau aliran data streaming mendukung Azure Event Hubs dan Azure IoT Hub sebagai input.

Layanan Azure Event Hubs dan Azure IoT Hub dibangun di atas arsitektur umum untuk memfasilitasi penyerapan dan konsumsi peristiwa yang cepat dan dapat diskalakan. Azure IoT Hub secara khusus dirancang sebagai hub pesan pusat untuk komunikasi dua arah antara aplikasi IoT dan perangkat terlampirnya.

Azure Event Hubs

Azure Event Hubs adalah platform streaming data besar dan layanan penyerapan peristiwa. Layanan ini dapat menerima dan memproses jutaan peristiwa per detik. Data yang dikirim ke pusat aktivitas dapat diubah dan disimpan dengan menggunakan penyedia analitik real time, atau Anda dapat menggunakan adaptor batching atau penyimpanan.

Untuk mengonfigurasi pusat aktivitas sebagai input untuk aliran data streaming, pilih ikon Pusat Aktivitas. Kartu muncul dalam tampilan diagram, termasuk panel samping untuk konfigurasinya.

Anda memiliki opsi untuk menempelkan string koneksi Azure Event Hubs. Aliran data streaming mengisi semua informasi yang diperlukan, termasuk grup konsumen opsional (yang secara default $Default). Jika Anda ingin memasukkan semua bidang secara manual, Anda dapat mengaktifkan tombol entri manual untuk menampilkannya. Untuk mempelajari selengkapnya, lihat Mendapatkan string koneksi Azure Event Hubs.

Setelah menyiapkan informasi masuk Azure Event Hubs dan memilih Sambungkan, Anda dapat menambahkan bidang secara manual menggunakan + Tambahkan bidang jika Anda mengetahui nama bidang. Atau, Anda dapat mendeteksi bidang dan jenis data secara otomatis berdasarkan sampel pesan masuk, pilih Bidang autodetect. Memilih ikon gigi memungkinkan Anda mengedit kredensial jika diperlukan.

Saat aliran data streaming mendeteksi bidang, Anda dapat melihatnya dalam daftar. Ada juga pratinjau langsung pesan masuk dalam tabel Pratinjau Data di bawah tampilan diagram.

Anda selalu bisa mengedit nama bidang, atau menghapus atau mengubah tipe data, dengan memilih opsi lainnya (...) di samping setiap bidang. Anda juga dapat memperluas, memilih, dan mengedit bidang berlapis apa pun dari pesan masuk, seperti yang ditunjukkan pada gambar berikut.

Azure IoT Hub

IoT Hub adalah layanan terkelola yang dihosting di cloud. Azure IoT Hub bertindak sebagai hub pesan pusat untuk komunikasi dua arah antara aplikasi IoT dan perangkat terlampirnya. Anda dapat menghubungkan jutaan perangkat dan solusi backend mereka dengan andal dan aman. Hampir semua perangkat dapat tersambung ke IoT Hub.

Konfigurasi IoT Hub mirip dengan konfigurasi Azure Event Hubs karena arsitektur umumnya. Namun terdapat beberapa perbedaan, termasuk tempat menemukan string koneksi yang kompatibel dengan Azure Event Hubs untuk titik akhir bawaan. Untuk mempelajari selengkapnya, lihat Membaca pesan perangkat ke cloud dari titik akhir bawaan.

Setelah Anda menempelkan string koneksi untuk titik akhir bawaan, semua fungsionalitas untuk memilih, menambahkan, mengotomatiskan, dan mengedit bidang yang masuk dari IoT Hub sama seperti di Azure Event Hubs. Anda juga dapat mengedit kredensial dengan memilih ikon gigi.

Tip

Jika Anda memiliki akses ke Azure Event Hubs atau IoT Hub di portal Azure organisasi Anda, dan Anda ingin menggunakannya sebagai input untuk aliran data streaming, Anda dapat menemukan string koneksi di lokasi berikut:

Untuk Azure Event Hubs:

1. Di bagian Analitik, pilih Semua Layanan>Azure Event Hubs.
2. Pilih Namespace Azure Event Hubs>Entities/Azure Event Hubs, lalu pilih nama pusat aktivitas.
3. Di daftar Kebijakan Akses Bersama, pilih kebijakan.
4. Pilih Salin ke clipboard di samping bidang Kunci utama string koneksi.

Untuk IoT Hub:

1. Di bagian Internet of Things, pilih Semua Layanan>IoT Hubs.
2. Pilih hub IoT yang ingin Anda sambungkan, lalu pilih Titik akhir bawaan.
3. Pilih Salin ke clipboard di samping titik akhir yang kompatibel dengan Azure Event Hubs.

Saat menggunakan data streaming dari Azure Event Hubs atau IoT Hub, Anda memiliki akses ke bidang waktu metadata berikut dalam aliran data streaming Anda:

• EventProcessedUtcTime: Tanggal dan waktu peristiwa diproses.
• EventEnqueuedUtcTime: Tanggal dan waktu peristiwa diterima.

Tidak satu pun dari bidang ini muncul di pratinjau input. Anda perlu menambahkannya secara manual.

Penyimpanan Blob

Penyimpanan Azure Blob adalah solusi penyimpanan objek Microsoft untuk cloud. Penyimpanan Blob dioptimalkan untuk menyimpan sejumlah besar data yang tidak terstruktur. Data tidak terstruktur adalah data yang tidak mematuhi model atau definisi data tertentu, seperti data teks atau biner.

Anda dapat menggunakan Azure Blobs sebagai input streaming atau referensi. Blob streaming diperiksa setiap detik untuk pembaruan. Tidak seperti blob streaming, blob referensi hanya dimuat di awal refresh. Ini adalah data statis yang tidak diharapkan berubah, dan batas yang disarankan untuk data statis adalah 50 MB atau kurang.

Power BI mengharapkan blob referensi digunakan bersama sumber streaming, misalnya, melalui JOIN. Oleh karena itu, aliran data streaming dengan blob referensi juga harus memiliki sumber streaming.

Konfigurasi untuk Azure Blobs sedikit berbeda dengan simpul Azure Event Hubs. Untuk menemukan string koneksi Azure Blob Anda, lihat Menampilkan kunci akses akun.

Setelah memasukkan string koneksi Blob, Anda perlu memberikan nama kontainer Anda. Anda juga perlu memasukkan pola jalur dalam direktori Anda untuk mengakses file yang ingin Anda tetapkan sebagai sumber untuk aliran data Anda.

Untuk blob streaming, pola jalur direktori diharapkan menjadi nilai dinamis. Tanggal diperlukan untuk menjadi bagian dari jalur file untuk blob – dirujuk sebagai {date}. Selain itu, tanda bintang (*) dalam pola jalur, seperti {date}/{time}/*.json, tidak didukung.

Misalnya, jika Anda memiliki blob yang disebut ExampleContainer bahwa Anda menyimpan file .json berlapis di dalamnya, di mana tingkat pertama adalah tanggal pembuatan dan tingkat kedua adalah jam pembuatan (yyyy-mm-dd/hh), maka input Kontainer Anda adalah "ExampleContainer". Pola jalur Direktori adalah "{date}/{time}" di mana Anda dapat mengubah pola tanggal dan waktu.

Setelah blob Anda tersambung ke titik akhir, semua fungsionalitas untuk memilih, menambahkan, mengotomatiskan, dan mengedit bidang yang masuk dari Azure Blob sama seperti di Azure Event Hubs. Anda juga dapat mengedit kredensial dengan memilih ikon gigi.

Seringkali, saat bekerja dengan data real time, data dikondensasi, dan Pengidentifikasi digunakan untuk mewakili objek. Kemungkinan kasus penggunaan untuk blob juga bisa sebagai data referensi untuk sumber streaming Anda. Data referensi memungkinkan Anda menggabungkan data statis ke data streaming untuk memperkaya aliran Anda untuk analisis. Contoh cepat kapan fitur ini akan membantu adalah jika Anda menginstal sensor di department store yang berbeda untuk mengukur berapa banyak orang yang memasuki toko pada waktu tertentu. Biasanya, ID sensor perlu digabungkan ke tabel statis untuk menunjukkan department store mana dan lokasi sensor berada. Sekarang dengan data referensi, dimungkinkan untuk menggabungkan data ini selama fase penyerapan untuk memudahkan untuk melihat penyimpanan mana yang memiliki output pengguna tertinggi.

Catatan

Pekerjaan Aliran Data Streaming menarik data dari penyimpanan Azure Blob atau input ADLS Gen2 setiap detik jika file blob tersedia. Jika file blob tidak tersedia, ada backoff eksponensial dengan penundaan waktu maksimum 90 detik.

Jenis data

Jenis data yang tersedia untuk bidang aliran data streaming meliputi:

• DateTime: Bidang tanggal dan waktu dalam format ISO
• Float: Angka desimal
• Int: Bilangan bulat
• Rekaman: Objek berlapis dengan beberapa rekaman
• String: Teks

Penting

Jenis data yang dipilih untuk input streaming memiliki implikasi penting di hilir untuk aliran data streaming Anda. Pilih jenis data sedini mungkin di aliran data Anda untuk menghindari harus menghentikannya nanti untuk pengeditan.

Menambahkan transformasi data streaming

Transformasi data streaming secara inheren berbeda dari transformasi data batch. Hampir semua data streaming memiliki komponen waktu yang memengaruhi tugas persiapan data apa pun yang terlibat.

Untuk menambahkan transformasi data streaming ke aliran data Anda, pilih ikon transformasi pada pita untuk transformasi tersebut. Kartu masing-masing muncul dalam tampilan diagram. Setelah Anda memilihnya, Anda akan melihat panel sisi transformasi tersebut untuk mengonfigurasinya.

Pada Juli 2021, aliran data streaming mendukung transformasi streaming berikut.

Filter

Gunakan transformasi Filter untuk memfilter peristiwa berdasarkan nilai bidang dalam input. Bergantung pada jenis data (angka atau teks), transformasi mempertahankan nilai yang cocok dengan kondisi yang dipilih.

Catatan

Di dalam setiap kartu, Anda akan melihat informasi tentang apa lagi yang diperlukan agar transformasi siap. Misalnya, saat menambahkan kartu baru, Anda akan melihat pesan "Perlu disiapkan". Jika Anda kehilangan konektor simpul, Anda akan melihat pesan "Kesalahan" atau "Peringatan".

Mengelola Bidang

Transformasi Kelola bidang memungkinkan Anda menambahkan, menghapus, atau mengganti nama bidang yang masuk dari input atau transformasi lain. Pengaturan di panel sisi memberi Anda opsi untuk menambahkan bidang baru dengan memilih Tambahkan bidang atau menambahkan semua bidang sekaligus.

Tip

Setelah Anda mengonfigurasi kartu, tampilan diagram memberi Anda gambaran sekilas tentang pengaturan dalam kartu itu sendiri. Misalnya, di area Kelola bidang pada gambar sebelumnya, Anda dapat melihat tiga bidang pertama yang sedang dikelola dan nama baru ditetapkan untuk bidang-bidang tersebut. Setiap kartu memiliki informasi yang relevan dengannya.

Agregat

Anda dapat menggunakan transformasi Agregat untuk menghitung agregasi (Jumlah, Minimum, Maksimum, atau Rata) setiap kali peristiwa baru terjadi selama periode waktu tertentu. Operasi ini juga memungkinkan Anda untuk memfilter atau memisahkan agregasi berdasarkan dimensi lain dalam data Anda. Anda dapat memiliki satu atau beberapa agregasi dalam transformasi yang sama.

Untuk menambahkan agregasi, pilih ikon transformasi. Kemudian sambungkan input, pilih agregasi, tambahkan dimensi filter atau ipotong apa pun, dan pilih periode waktu saat Anda ingin menghitung agregasi. Contoh ini menghitung jumlah nilai tol berdasarkan status tempat kendaraan berasal dari selama 10 detik terakhir.

Untuk menambahkan agregasi lain ke transformasi yang sama, pilih Tambahkan fungsi agregat. Perlu diingat bahwa filter atau ikatan berlaku untuk semua agregasi dalam transformasi.

Bergabung

Gunakan transformasi Gabungan untuk menggabungkan peristiwa dari dua input berdasarkan pasangan bidang yang Anda pilih. Jika Anda tidak memilih pasangan bidang, gabungan didasarkan pada waktu secara default. Defaultnya membuat transformasi ini berbeda dari batch satu.

Seperti halnya gabungan reguler, Anda memiliki opsi yang berbeda untuk logika gabungan Anda:

• Gabungan dalam: Hanya sertakan rekaman dari kedua tabel tempat pasangan cocok. Dalam contoh ini, di situlah plat nomor cocok dengan kedua input.
• Gabungan luar kiri: Sertakan semua rekaman dari tabel kiri (pertama) dan hanya rekaman dari kedua yang cocok dengan sepasang bidang. Jika tidak ada kecocokan, bidang dari input kedua diatur kosong.

Untuk memilih jenis gabungan, pilih ikon untuk jenis pilihan di panel samping.

Terakhir, pilih selama periode waktu apa Anda ingin gabungan dihitung. Dalam contoh ini, gabungan terlihat pada 10 detik terakhir. Perlu diingat bahwa semakin lama periodenya, semakin jarang output—dan semakin banyak sumber daya pemrosesan yang Anda gunakan untuk transformasi.

Secara default, semua bidang dari kedua tabel disertakan. Awalan kiri (node pertama) dan kanan (node kedua) dalam output membantu Anda membedakan sumbernya.

Kelompokkan berdasarkan

Gunakan transformasi Group by untuk menghitung agregasi di semua peristiwa dalam rentang waktu tertentu. Anda dapat mengelompokkan menurut nilai dalam satu atau beberapa bidang. Ini mirip dengan transformasi Agregat tetapi menyediakan lebih banyak opsi untuk agregasi. Ini juga mencakup opsi rentang waktu yang lebih kompleks. Juga mirip dengan Agregat, Anda dapat menambahkan lebih dari satu agregasi per transformasi.

Agregasi yang tersedia dalam transformasi ini adalah: Rata-rata, Hitungan, Maksimum, Minimum, Persentil (berkelanjutan dan diskrit), Standar Deviasi, Jumlah, dan Varians.

Untuk mengonfigurasi transformasi ini:

1. Pilih agregasi pilihan Anda.
2. Pilih bidang yang ingin Anda agregat.
3. Pilih bidang grup menurut opsional jika Anda ingin mendapatkan perhitungan agregat atas dimensi atau kategori lain (misalnya, Status).
4. Pilih fungsi Anda untuk jendela waktu.

Untuk menambahkan agregasi lain ke transformasi yang sama, pilih Tambahkan fungsi agregat. Perlu diingat bahwa bidang Kelompokkan menurut dan fungsi windowing berlaku untuk semua agregasi dalam transformasi.

Stempel waktu untuk akhir jendela waktu disediakan sebagai bagian dari output transformasi untuk referensi.

Bagian selanjutnya dalam artikel ini menjelaskan setiap jenis jendela waktu yang tersedia untuk transformasi ini.

Union

Gunakan transformasi Union untuk menyambungkan dua atau lebih input guna menambahkan peristiwa dengan bidang bersama (dengan nama dan jenis data yang sama) ke dalam satu tabel. Bidang yang tidak cocok dihilangkan dan tidak disertakan dalam output.

Menyiapkan fungsi jendela waktu

Jendela waktu adalah salah satu konsep paling kompleks dalam data streaming. Konsep ini berada di inti analitik streaming.

Dengan aliran data streaming, Anda dapat menyiapkan jendela waktu saat menggabungkan data sebagai opsi untuk transformasi Kelompokkan menurut.

Catatan

Perlu diingat bahwa semua hasil output untuk operasi jendela dihitung di akhir jendela waktu. Output dari jendela akan menjadi satu peristiwa berdasarkan fungsi agregat yang digunakan. Peristiwa ini akan memiliki tanda waktu akhir jendela dan semua fungsi jendela ditentukan dengan panjang tetap.

Ada lima jenis jendela waktu yang dapat dipilih: tumbling, hopping, sliding, session, dan snapshot.

Jendela tumbling

Tumbling adalah jenis jendela waktu yang paling umum. Karakteristik utama jendela tumbling adalah bahwa jendela tersebut berulang, memiliki panjang waktu yang sama, dan tidak tumpang tindih. Peristiwa tidak boleh masuk ke dalam lebih dari satu jendela tumbling.

Saat menyiapkan jendela tumbling dalam aliran data streaming, Anda perlu memberikan durasi jendela (sama untuk semua jendela dalam kasus ini). Anda juga dapat memberikan offset opsional. Secara default, jendela tumbling menyertakan akhir jendela serta mengecualikan bagian awal. Anda dapat menggunakan parameter ini untuk mengubah perilaku ini dan menyertakan peristiwa di awal jendela dan mengecualikan yang pada akhirnya.

Jendela hopping

Jendela hopping “melompat” maju dalam waktu dengan periode tetap. Anda dapat menganggapnya sebagai jendela tumbling yang dapat tumpang tindih serta muncul lebih sering dari ukuran jendela. Peristiwa dapat berada di lebih dari satu kumpulan hasil untuk jendela hopping. Membuat jendela hopping sama dengan jendela tumbling, Anda dapat menentukan ukuran hop yang sama dengan ukuran jendela.

Saat menyiapkan jendela hopping di aliran data streaming, Anda perlu memberikan durasi jendela (sama seperti jendela jatuh). Anda juga perlu memberikan ukuran hop, yang memberi tahu aliran data streaming seberapa sering Anda ingin agregasi dihitung selama durasi yang ditentukan.

Parameter offset juga tersedia di jendela hopping karena alasan yang sama seperti di jendela tumbling. Ini mendefinisikan logika untuk menyertakan dan mengecualikan peristiwa untuk awal dan akhir jendela hopping.

Jendela sliding

Jendela sliding, tidak seperti jendela tumbling atau hopping, menghitung agregasi hanya untuk titik waktu saat konten jendela benar-benar berubah. Saat peristiwa masuk atau keluar dari jendela, agregasi akan dihitung. Jadi, setiap jendela memiliki setidaknya satu peristiwa. Sama seperti jendela hopping, peristiwa dapat berada di lebih dari satu jendela sliding.

Satu-satunya parameter yang Anda butuhkan untuk jendela sliding adalah durasi, karena peristiwa itu sendiri menentukan kapan jendela akan dimulai. Tidak diperlukan logika offset.

Jendela sesi

Jendela session adalah jenis yang paling kompleks. Jendela session akan mengelompokkan peristiwa yang tiba pada waktu yang sama, memfilter periode waktu jika tidak ada data. Untuk jendela ini, perlu untuk menyediakan:

• Waktu habis: berapa lama menunggu jika tidak ada data baru.
• Durasi maksimum: waktu terpanjang yang dihitung agregasi jika data terus datang.

Anda juga dapat menentukan partisi, jika mau.

Anda menyiapkan jendela session secara langsung di panel samping untuk transformasi. Jika Anda menyediakan partisi, agregasi hanya akan mengelompokkan peristiwa bersama-sama untuk kunci yang sama.

Jendela snapshot

Rekam jepret peristiwa grup windows yang memiliki stempel waktu yang sama. Tidak seperti jendela lain, snapshot tidak memerlukan parameter apa pun karena menggunakan waktu dari sistem.

Tentukan output

Setelah menyiapkan input dan transformasi, saatnya untuk menentukan satu atau beberapa output. Pada Juli 2021, aliran data streaming mendukung tabel Power BI sebagai satu-satunya jenis output.

Output ini adalah tabel aliran data (yaitu, entitas) yang bisa Anda gunakan untuk membuat laporan di Power BI Desktop. Anda perlu menggabungkan simpul dari langkah sebelumnya dengan output yang Anda buat untuk membuatnya berfungsi. Setelah itu, beri nama tabel.

Setelah Anda tersambung ke aliran data, tabel ini akan tersedia bagi Anda untuk membuat visual yang diperbarui secara real time untuk laporan Anda.

Kesalahan dan pratinjau data

Aliran data streaming menyediakan alat untuk membantu Anda menulis, memecahkan masalah, dan mengevaluasi performa alur analitik Anda untuk data streaming.

Pratinjau data langsung untuk input

Saat Anda menyambungkan ke pusat aktivitas atau hub IoT dan memilih kartunya dalam tampilan diagram ( tab Pratinjau Data), Anda mendapatkan pratinjau langsung data yang masuk jika semua hal berikut ini benar:

• Data sedang didorong.
• Input dikonfigurasi dengan benar.
• Bidang telah ditambahkan.

Seperti yang ditunjukkan pada cuplikan layar berikut, jika ingin melihat atau menelusuri sesuatu yang spesifik, Anda dapat menjeda pratinjau (1). Atau Anda dapat memulainya lagi jika sudah selesai.

Anda juga dapat melihat detail rekaman tertentu ("sel" dalam tabel) dengan memilihnya lalu memilih Perlihatkan detail atau Sembunyikan detail (2). Tangkapan layar menunjukkan detail tampilan dari objek berlapis dalam rekaman.

Pratinjau statik untuk transformasi dan output

Setelah Anda menambahkan dan menyiapkan langkah apa pun dalam tampilan diagram, Anda dapat menguji perilakunya dengan memilih tombol data statis .

Setelah Anda melakukannya, aliran data streaming mengevaluasi semua transformasi dan output yang dikonfigurasi dengan benar. Aliran data streaming kemudian menampilkan hasilnya dalam pratinjau data statis, seperti yang ditunjukkan pada gambar berikut.

Anda dapat me-refresh pratinjau dengan memilih Refresh pratinjau statik (1). Saat Anda melakukan ini, aliran data streaming mengambil data baru dari input dan mengevaluasi semua transformasi dan output lagi dengan pembaruan apa pun yang mungkin Anda lakukan. Opsi Tampilkan atau Sembunyikan detail juga tersedia (2).

Kesalahan penulisan

Jika Anda memiliki kesalahan penulisan atau peringatan, tab Kesalahan penulisan (1) mencantumkannya, seperti yang ditunjukkan pada cuplikan layar berikut. Daftar ini mencakup detail kesalahan atau peringatan, jenis kartu (input, transformasi, atau output), tingkat kesalahan, dan deskripsi kesalahan atau peringatan (2). Saat Anda memilih salah satu kesalahan atau peringatan, masing-masing kartu dipilih dan panel sisi konfigurasi terbuka bagi Anda untuk membuat perubahan yang diperlukan.

Kesalahan runtime

Tab terakhir yang tersedia dalam pratinjau adalah Kesalahan runtime (1), seperti yang ditunjukkan pada cuplikan layar berikut. Tab ini mencantumkan kesalahan apa pun dalam proses penyerapan dan analisis aliran data streaming setelah Anda memulainya. Misalnya, Anda mungkin mendapatkan kesalahan runtime jika pesan masuk rusak, dan aliran data tidak dapat menyerapnya dan melakukan transformasi yang ditentukan.

Karena aliran data mungkin berjalan untuk jangka waktu yang lama, tab ini menawarkan opsi untuk memfilter menurut rentang waktu dan mengunduh daftar kesalahan dan merefreshnya jika diperlukan (2).

Mengubah pengaturan untuk aliran data streaming

Seperti halnya aliran data reguler, pengaturan untuk aliran data streaming dapat dimodifikasi bergantung pada kebutuhan pemilik dan penulis. Pengaturan berikut ini unik untuk aliran data streaming. Untuk pengaturan lainnya, karena infrastruktur bersama antara dua jenis aliran data, Anda dapat mengasumsikan bahwa penggunaannya sama.

• Riwayat refresh: Karena aliran data streaming berjalan terus menerus, riwayat refresh hanya menampilkan informasi tentang kapan aliran data dimulai, saat dibatalkan, atau ketika gagal (dengan detail dan kode kesalahan saat berlaku). Informasi ini mirip dengan apa yang muncul untuk aliran data reguler. Anda dapat menggunakan informasi ini untuk memecahkan masalah atau memberikan dukungan Power BI dengan detail yang diminta.

• Kredensial sumber data: Pengaturan ini menunjukkan input yang telah dikonfigurasi untuk aliran data streaming tertentu.

• Pengaturan mesin komputasi yang disempurnakan: Aliran data streaming memerlukan mesin komputasi yang ditingkatkan untuk menyediakan visual real-time, sehingga pengaturan ini diaktifkan secara default dan tidak dapat diubah.

• Durasi retensi: Pengaturan ini khusus untuk aliran data streaming. Di sini Anda dapat menentukan berapa lama Anda ingin menyimpan data real-time untuk divisualisasikan dalam laporan. Data historis disimpan secara default di Azure Blob Storage. Pengaturan ini khusus untuk sisi real time data Anda (penyimpanan panas). Nilai minimum adalah 1 hari atau 24 jam.

  Penting

  Jumlah data panas yang disimpan oleh durasi retensi ini secara langsung memengaruhi performa visual real-time saat Anda membuat laporan di atas data ini. Semakin banyak retensi yang Anda miliki di sini, semakin banyak visual real-time Anda dalam laporan dapat dipengaruhi oleh performa rendah. Jika Anda perlu melakukan analisis historis, Anda harus menggunakan penyimpanan dingin yang disediakan untuk aliran data streaming.

Menjalankan dan mengedit aliran data streaming

Setelah Anda menyimpan dan mengonfigurasi aliran data streaming, semuanya siap untuk Anda jalankan. Anda kemudian dapat mulai menyerap data ke dalam Power BI dengan logika analitik streaming yang telah Anda tentukan.

Menjalankan aliran data streaming Anda

Untuk memulai aliran data streaming Anda, pertama-tama simpan aliran data Anda dan buka ruang kerja tempat Anda membuatnya. Arahkan mouse ke atas aliran data streaming dan pilih tombol putar yang muncul. Pesan pop-up memberi tahu Anda bahwa aliran data streaming sedang dimulai.

Catatan

Mungkin perlu waktu hingga lima menit agar data mulai diserap dan bagi Anda untuk melihat data yang masuk untuk membuat laporan dan dasbor di Power BI Desktop.

Mengedit aliran data streaming Anda

Saat aliran data streaming berjalan, aliran data tidak dapat diedit. Namun Anda dapat masuk ke aliran data streaming dalam keadaan berjalan dan melihat logika analitik tempat aliran data dibangun.

Saat Anda masuk ke aliran data streaming yang sedang berjalan, semua opsi edit dinonaktifkan dan pesan ditampilkan: "Aliran data tidak dapat diedit saat sedang berjalan. Hentikan aliran data jika Anda ingin melanjutkan." Pratinjau data juga dinonaktifkan.

Untuk mengedit aliran data streaming, Anda harus menghentikannya. Aliran data yang dihentikan menghasilkan data yang hilang.

Satu-satunya pengalaman yang tersedia saat aliran data streaming berjalan adalah tab Kesalahan runtime, di mana Anda dapat memantau perilaku aliran data Anda untuk pesan yang dihilangkan dan situasi serupa.

Pertimbangkan penyimpanan data saat mengedit aliran data Anda

Saat mengedit aliran data, Anda perlu mempertimbangan lain. Mirip dengan perubahan apa pun dalam skema untuk aliran data reguler, jika Anda membuat perubahan pada tabel output, Anda kehilangan data yang telah didorong dan disimpan ke Power BI. Antarmuka memberikan informasi yang jelas tentang konsekuensi dari salah satu perubahan ini dalam aliran data streaming Anda, bersama dengan pilihan untuk perubahan yang Anda buat sebelum menyimpan.

Pengalaman ini lebih baik ditampilkan dengan contoh. Cuplikan layar berikut menunjukkan pesan yang Anda dapatkan saat menambahkan kolom ke satu tabel, mengubah nama untuk tabel kedua, dan membiarkan tabel ketiga sama seperti sebelumnya.

Dalam contoh ini, data yang sudah disimpan di kedua tabel yang memiliki skema dan perubahan nama dihapus jika Anda menyimpan perubahan. Untuk tabel yang tetap sama, Anda mendapatkan opsi untuk menghapus data lama apa pun dan mulai dari awal, atau menyimpannya untuk analisis nanti bersama dengan data baru yang masuk.

Ingatlah nuansa ini saat mengedit aliran data streaming Anda, terutama jika Anda memerlukan data historis yang tersedia nanti untuk analisis lebih lanjut.

Membuat aliran data streaming

Setelah aliran data streaming berjalan, Anda siap untuk mulai membuat konten di atas data streaming Anda. Tidak ada perubahan struktural dibandingkan dengan apa yang harus Anda lakukan untuk membuat laporan yang diperbarui secara real time. Ada beberapa nuansa dan pembaruan yang perlu dipertimbangkan sehingga Anda dapat memanfaatkan jenis persiapan data baru ini untuk data streaming.

Penyimpanan data

Seperti yang kami sebutkan sebelumnya, aliran data streaming menyimpan data di dua lokasi berikut. Penggunaan sumber-sumber ini tergantung pada jenis analisis apa yang coba Anda lakukan.

• Penyimpanan panas (analisis real time): Saat data masuk ke Power BI dari aliran data streaming, data disimpan di lokasi panas untuk Anda akses dengan visual real-time. Berapa banyak data yang disimpan dalam penyimpanan ini bergantung pada nilai yang Anda tentukan untuk durasi Retensi dalam pengaturan aliran data streaming. Default (dan minimum) adalah 24 jam.
• Penyimpanan dingin (analisis historis): Setiap periode waktu yang tidak termasuk dalam periode yang Anda tentukan untuk durasi Retensi disimpan dalam penyimpanan dingin (blob) dalam Power BI untuk Anda konsumsi jika diperlukan.

Catatan

Terdapat tumpang tindih antara kedua lokasi penyimpanan data ini. Jika Anda perlu menggunakan kedua lokasi bersamaan (misalnya, perubahan persentase sehari-hari), Anda mungkin harus mendeduplikasi catatan Anda. Ini tergantung pada perhitungan inteligensi waktu yang Anda buat dan kebijakan retensi.

Sambungkan ke aliran data dari Power BI Desktop

Power BI Desktop menawarkan konektor yang disebut Aliran Data untuk Anda gunakan. Sebagai bagian dari konektor ini untuk aliran data streaming, Anda akan melihat dua tabel yang cocok dengan penyimpanan data yang dijelaskan sebelumnya.

Untuk menyambungkan ke data Anda untuk aliran data streaming:

1. Buka Dapatkan Data, pilih Power Platform, lalu pilih konektor Aliran Data.

   

2. Masuk dengan kredensial Power BI Anda.

3. Pilih ruang kerja. Cari salah satu yang berisi aliran data streaming Anda dan pilih aliran data tersebut. (Dalam contoh ini, aliran data streaming disebut Tol.)

4. Perhatikan bahwa semua tabel output Anda muncul dua kali: satu untuk data streaming (panas) dan satu untuk data yang diarsipkan (dingin). Anda dapat membedakannya dengan label yang ditambahkan setelah nama tabel dan oleh ikon.

   

5. Koneksi ke data streaming. Kasus data yang diarsipkan sama, hanya tersedia dalam mode impor. Pilih tabel yang menyertakan label Streaming dan Panas, lalu pilih Muat.

   

6. Saat Anda diminta untuk memilih mode penyimpanan, pilih DirectQuery jika tujuan Anda adalah membuat visual real-time.

   

Sekarang Anda dapat membuat visual, pengukuran, dan lainnya, dengan menggunakan fitur yang tersedia di Power BI Desktop.

Catatan

Konektor aliran data Power BI reguler masih tersedia dan akan berfungsi dengan aliran data streaming dengan dua peringatan:

• Ini hanya memungkinkan Anda untuk terhubung ke penyimpanan panas.
• Pratinjau data di konektor tidak berfungsi dengan aliran data streaming.

Mengaktifkan refresh halaman otomatis untuk visual real-time

Setelah laporan siap dan Anda telah menambahkan semua konten yang ingin Anda bagikan, satu-satunya langkah yang tersisa adalah memastikan visual Anda diperbarui secara real time. Anda dapat menggunakan fitur yang disebut refresh halaman otomatis. Fitur ini memungkinkan Anda me-refresh visual dari sumber DirectQuery sesering satu detik.

Untuk informasi selengkapnya tentang fitur ini, lihat Refresh halaman otomatis di Power BI. Artikel tersebut menyertakan informasi tentang cara menggunakannya, cara menyiapkannya, dan cara menghubungi admin jika Anda mengalami masalah. Berikut ini adalah dasar-dasar tentang cara menyiapkannya:

1. Buka halaman laporan di mana Anda ingin visual diperbarui secara real time.

2. Hapus visual apa pun di halaman. Jika memungkinkan, pilih latar belakang halaman.

3. Buka panel format (1) dan aktifkan Refresh halaman (2).

   

4. Siapkan frekuensi yang Anda inginkan (hingga setiap detik jika admin Anda telah mengizinkannya).

   

5. Untuk membagikan laporan real-time, pertama-tama terbitkan kembali ke layanan Power BI. Kemudian Anda dapat menyiapkan kredensial aliran data untuk model semantik dan berbagi.

Tip

Jika laporan Anda tidak diperbarui secepat yang Anda butuhkan atau secara real time, periksa dokumentasi untuk refresh halaman secara otomatis. Ikuti FAQ dan instruksi pemecahan masalah untuk mengetahui mengapa masalah ini mungkin terjadi.

Pertimbangan dan batasan

Batasan umum

• Langganan Power BI Premium (kapasitas atau PPU) diperlukan untuk membuat dan menjalankan aliran data streaming.
• Hanya satu jenis aliran data yang diizinkan per ruang kerja.
• Menautkan aliran data reguler dan streaming tidak dimungkinkan.
• Kapasitas yang lebih kecil dari A3 tidak mengizinkan penggunaan aliran data streaming.
• Jika aliran data atau mesin penghitungan yang ditingkatkan tidak diaktifkan di penyewa, Anda tidak dapat membuat atau menjalankan aliran data streaming.
• Ruang kerja yang tersambung ke akun penyimpanan tidak didukung.
• Setiap aliran data streaming dapat menyediakan throughput hingga 1 MB per detik.

Ketersediaan

Pratinjau aliran data streaming tidak tersedia di wilayah berikut:

• India Tengah
• Jerman Utara
• Norwegia Timur
• Norwegia Barat
• UAE Tengah
• Afrika Selatan Utara
• Afrika Selatan Barat
• Swiss Utara
• Swiss Barat
• Brasil Tenggara

Pelisensian

Jumlah aliran data streaming yang diizinkan per penyewa bergantung pada lisensi yang digunakan:

• Untuk kapasitas reguler, gunakan rumus berikut untuk menghitung jumlah maksimum aliran data streaming yang diizinkan dalam kapasitas:

  Jumlah maksimum aliran data streaming per kapasitas = vCore dalam kapasitas x 5

  Misalnya, P1 memiliki 8 vCore: 8 * 5 = 40 aliran data streaming.

• Untuk Premium Per Pengguna, satu aliran data streaming diizinkan per pengguna. Jika pengguna lain ingin menggunakan aliran data streaming di ruang kerja PPU, mereka juga memerlukan lisensi PPU.

Penulisan aliran data

Saat Anda menulis aliran data streaming, perhatikan pertimbangan berikut:

• Pemilik aliran data streaming hanya dapat melakukan modifikasi, dan mereka hanya dapat melakukan modifikasi jika aliran data tidak berjalan.
• Aliran data streaming tidak tersedia di Ruang Kerja Saya.

Menyambungkan dari Power BI Desktop

Anda hanya dapat mengakses penyimpanan dingin dengan menggunakan konektor Aliran Data yang tersedia mulai pembaruan Power BI Desktop Juli 2021. Konektor aliran data Power BI sebelumnya hanya memungkinkan koneksi untuk streaming penyimpanan data (panas). Pratinjau data konektor tidak berfungsi.

Konten terkait

Artikel ini memberikan gambaran umum tentang persiapan data streaming layanan mandiri dengan menggunakan aliran data streaming. Artikel berikut ini menyediakan informasi tentang cara menguji kemampuan ini dan cara menggunakan fitur data streaming lainnya di Power BI:

• Membangun solusi IoT dengan menggunakan Azure Stream Analytics
• Menyambungkan simulator online Raspberry Pi ke Azure IoT Hub (Node.js)
• Streaming real time di Power BI
• Refresh halaman otomatis di Power BI