Menambahkan tujuan lakehouse ke eventstream

Artikel ini menunjukkan kepada Anda cara menambahkan lakehouse sebagai tujuan ke eventstream Microsoft Fabric.

Prasyarat

Sebelum memulai, Anda harus menyelesaikan prasyarat berikut:

• Dapatkan akses ke ruang kerja premium dengan izin Kontributor atau di atas tempat eventstream Anda berada.
• Dapatkan akses ke ruang kerja premium dengan izin Kontributor atau di atas tempat lakehouse Anda berada.

Catatan

• Jumlah maksimum sumber dan tujuan untuk satu eventstream adalah 11.
• Retensi data peristiwa dalam eventstream adalah 1 hari, dengan potensi untuk memperluasnya dan membuatnya dapat dikonfigurasi di masa mendatang.

Menambahkan lakehouse sebagai tujuan

Jika Anda memiliki lakehouse yang dibuat di ruang kerja Anda, ikuti langkah-langkah ini untuk menambahkan lakehouse ke eventstream Anda sebagai tujuan:

1. Pilih Tujuan baru pada pita atau "+" di kanvas editor utama lalu pilih Lakehouse. Layar konfigurasi tujuan Lakehouse muncul.

2. Masukkan nama untuk tujuan eventstream dan lengkapi informasi tentang lakehouse Anda.

   

   1. Lakehouse: Pilih lakehouse yang ada dari ruang kerja yang Anda tentukan.

   2. Tabel Delta: Pilih tabel delta yang sudah ada atau buat tabel baru untuk menerima data.

      Catatan

      Saat menulis data ke tabel lakehouse, ada penegakan Skema. Ini berarti semua penulisan baru ke tabel harus kompatibel dengan skema tabel target pada waktu tulis, memastikan kualitas data.

      Semua rekaman data output diproyeksikan ke skema tabel yang ada. Saat menulis output ke tabel delta baru, skema tabel dibuat berdasarkan rekaman pertama. Jika data masuk memiliki kolom tambahan dibandingkan dengan skema tabel yang ada, data tersebut menulis ke tabel tanpa menyertakan kolom tambahan. Sebaliknya, jika data masuk kehilangan kolom dibandingkan dengan skema tabel yang ada, data tersebut menulis ke tabel dengan nilai kolom yang diatur ke null.

   3. Format data input: Pilih format untuk data (data input) yang dikirim ke lakehouse Anda.

      Catatan

      Format data peristiwa input yang didukung adalah JSON, Avro, dan CSV (dengan header).

   4. Pemrosesan peristiwa: Anda dapat menggunakan editor pemrosesan peristiwa untuk menentukan bagaimana data harus diproses sebelum dikirim ke lakehouse Anda. Pilih Buka prosesor peristiwa untuk membuka editor pemrosesan peristiwa. Untuk mempelajari selengkapnya tentang pemrosesan real-time menggunakan prosesor peristiwa, lihat Memproses data peristiwa dengan editor prosesor peristiwa. Setelah selesai dengan editor, pilih Selesai untuk kembali ke layar konfigurasi tujuan Lakehouse .

      

3. Dua mode penyerapan tersedia untuk tujuan lakehouse. Pilih salah satu mode ini untuk mengoptimalkan cara fitur streaming peristiwa Fabric menulis ke lakehouse berdasarkan skenario Anda.

   1. Baris per file – Jumlah minimum baris yang diserap Lakehouse dalam satu file. Semakin kecil jumlah baris minimum, semakin banyak file yang dibuat Lakehouse selama penyerapan. Minimum adalah 1 baris. Maksimum adalah baris 2M per file.

   2. Durasi – Durasi maksimum yang akan diambil Lakehouse untuk menyerap satu file. Semakin lama durasinya, semakin banyak baris yang diserap dalam file. Minimum adalah 1 menit dan maksimum adalah 2 jam.

      

4. Pilih Tambahkan untuk menambahkan tujuan lakehouse.

5. Pintasan pengoptimalan tabel tersedia di dalam tujuan lakehouse. Solusi ini memfasilitasi Anda dengan meluncurkan pekerjaan Spark dalam Notebook, yang mengonsolidasikan file streaming kecil ini dalam tabel Lakehouse target.

   

6. Tujuan lakehouse muncul di kanvas, dengan indikator status berputar. Sistem membutuhkan waktu beberapa menit untuk mengubah status menjadi Penyerapan.

   

Mengelola tujuan

Edit/hapus: Anda dapat mengedit atau menghapus tujuan eventstream baik melalui panel navigasi atau kanvas.

Saat Anda memilih Edit, panel edit terbuka di sisi kanan editor utama. Anda dapat mengubah konfigurasi sesuai keinginan, termasuk logika transformasi peristiwa melalui editor prosesor peristiwa.

Konten terkait

Untuk mempelajari cara menambahkan tujuan lain ke eventstream, lihat artikel berikut ini:

• KQL Database
• Refleks
• Aplikasi kustom

Untuk menambahkan tujuan ke eventstream, lihat artikel berikut ini:

• Menambahkan dan mengelola sumber ke eventstream
• Membuat dan mengelola eventstream