Dataflow Gen2 tujuan data dan pengaturan terkelola

Setelah membersihkan dan menyiapkan data dengan Dataflow Gen2, Anda harus menyimpannya di tempat yang berguna. Dataflow Gen2 memungkinkan Anda memilih dari beberapa tujuan, seperti Azure SQL, Fabric Lakehouse, dan lainnya. Setelah Anda memilih tujuan, Dataflow Gen2 menulis data Anda di sana, dan Anda dapat menggunakannya untuk analisis dan pelaporan.

Daftar berikut berisi tujuan data yang didukung:

• Azure SQL Database
• Azure Data Explorer (Kusto)
• Azure Datalake Gen2
• Tabel Fabric Lakehouse
• File Fabric Lakehouse
• Gudang Kain
• Database Fabric KQL
• SQL Database Fabric
• SharePoint File
• Database Snowflake

Catatan

Untuk memuat data Anda ke Fabric Warehouse, Anda dapat menggunakan konektor Azure Synapse Analytics (SQL DW) dengan mendapatkan string koneksi SQL. Informasi selengkapnya: Konektivitas ke pergudangan data di Microsoft Fabric

Titik masuk

Setiap kueri data di Dataflow Gen2 Anda bisa memiliki tujuan data. Anda hanya dapat menerapkan tujuan ke kueri tabular—fungsi dan daftar tidak didukung. Anda bisa mengatur tujuan data untuk setiap kueri satu per satu, dan Anda bisa menggunakan tujuan yang berbeda dalam aliran data yang sama.

Ada tiga cara untuk menyiapkan tujuan data:

• Melalui pita atas.

  

• Melalui pengaturan konfigurasi kueri.

  

• Melalui tampilan diagram.

  

Hubungkan ke tujuan data

Menyambungkan ke tujuan data berfungsi seperti menyambungkan ke sumber data. Anda dapat menggunakan koneksi untuk membaca dan menulis data Anda, selama Anda memiliki izin yang tepat pada sumber data. Anda harus membuat koneksi baru atau memilih koneksi yang sudah ada, lalu pilih Berikutnya.

Menyiapkan tujuan berbasis file

Saat Anda memilih tujuan berbasis file (misalnya, SharePoint), Anda harus mengonfigurasi pengaturan berdasarkan format file yang Anda pilih.

Format teks dibatasi

Saat Anda memilih Teks berbatas sebagai format file, konfigurasikan pengaturan ini:

• Nama file: Nama file yang dibuat di tujuan. Secara default, nama file cocok dengan nama kueri Anda.
• Asal file: Pengodean yang digunakan untuk membuat file di tujuan. Secara default, ini diatur ke 65001: Unicode (UTF-8).
• Pembatas: Pemisah yang digunakan untuk memisahkan nilai dalam file. Opsinya meliputi:
  • Titik dua
  • Koma (default)
  • Tanda sama dengan
  • Titik koma
  • Space
  • Tab

Format Excel (Pratinjau)

Catatan

Format Excel untuk tujuan berbasis file saat ini dalam pratinjau.

Saat Anda memilih Excel sebagai format file, Anda memiliki tiga opsi format: Lembar tunggal, Multi lembar, dan Tingkat Lanjut.

Format lembar tunggal

Format lembar tunggal menulis data Anda ke satu lembar dalam file Excel. Konfigurasikan pengaturan ini:

• Nama file: Nama file Excel yang dibuat di tujuan. Secara default, nama file cocok dengan nama kueri Anda dengan .xlsx ekstensi.
• Jenis output: Pilih bagaimana data Anda diwakili dalam lembar:
  • Lembar: Output data sebagai tabel Excel standar.
  • Bagan: Menghasilkan data sebagai bagan. Saat Anda memilih Bagan, Anda perlu mengonfigurasi pengaturan tambahan:
    • Nama lembar: Nama lembar tempat bagan dibuat.
    • Jenis bagan: Jenis bagan yang ingin dibuat (misalnya, Area).
    • Kolom sumbu: Kolom yang digunakan untuk sumbu bagan.
    • Kolom nilai: Kolom yang digunakan untuk nilai bagan.
    • Kolom sumbu utama: Kolom yang akan digunakan sebagai sumbu utama (opsional).
• Nama lembar: Nama lembar tempat data ditulis (saat Jenis output adalah Lembar).

Format multi lembar

Format multi lembar mempartisi data Anda di beberapa lembar berdasarkan nilai kolom. Konfigurasikan pengaturan ini:

• Nama file: Nama file Excel yang dibuat di tujuan.
• Kolom partisi lembar: Kolom yang digunakan untuk mempartisi data di beberapa lembar. Setiap nilai unik dalam kolom ini membuat lembar terpisah.

Format tingkat lanjut

Format tingkat lanjut menyediakan kontrol lebih besar atas output Excel, memungkinkan Anda membuat buku kerja kompleks dengan beberapa lembar, bagan, dan pemformatan yang dikustomisasi menggunakan tabel navigasi. Untuk informasi selengkapnya, lihat Tujuan Data Tingkat Lanjut Excel.

Membuat tabel baru atau memilih tabel yang sudah ada

Saat memuat ke tujuan data, Anda dapat membuat tabel baru atau memilih tabel yang sudah ada.

Membuat tabel baru

Saat Anda memilih untuk membuat tabel baru, Dataflow Gen2 membuat tabel baru di tujuan data Anda selama refresh. Jika tabel dihapus nanti (jika Anda masuk secara manual ke tujuan dan menghapusnya), aliran data membuat ulang tabel selama refresh berikutnya.

Secara default, nama tabel Anda cocok dengan nama kueri Anda. Jika nama tabel Anda memiliki karakter apa pun yang tidak didukung tujuan, nama tabel akan disesuaikan secara otomatis. Misalnya, banyak tujuan tidak mendukung spasi atau karakter khusus.

Selanjutnya, Anda perlu memilih kontainer tujuan. Jika Anda memilih salah satu tujuan data Fabric, Anda dapat menggunakan navigator untuk memilih item Fabric tempat Anda ingin memuat data Anda. Untuk tujuan Azure, Anda dapat menentukan database selama pembuatan koneksi, atau memilih database dari pengalaman navigator.

Menggunakan tabel yang sudah ada

Untuk memilih tabel yang sudah ada, gunakan tombol di bagian atas navigator. Saat memilih tabel yang ada, Anda perlu memilih item/database Fabric dan tabel menggunakan navigator.

Saat Anda menggunakan tabel yang sudah ada, tabel tidak dapat dibuat ulang dalam skenario apa pun. Jika Anda menghapus tabel secara manual dari tujuan data, Dataflow Gen2 tidak akan membuat ulang tabel pada refresh berikutnya.

File atau Tabel Lakehouse

Untuk Lakehouse, Anda memiliki opsi untuk membuat file atau tabel di lakehouse Anda. Ini unik karena sebagian besar tujuan hanya mendukung satu atau yang lain. Ini memberikan fleksibilitas yang lebih besar dalam menyusun data di lakehouse Anda.

Untuk beralih antara file dan tabel, Anda dapat menggunakan tombol saat menelusuri lakehouse Anda.

Pengaturan terkelola untuk tabel baru

Saat Anda memuat ke tabel baru, pengaturan otomatis diaktifkan secara default. Jika Anda menggunakan pengaturan otomatis, Dataflow Gen2 mengelola pemetaan untuk Anda. Berikut apa yang dilakukan oleh pengaturan otomatis:

• Ganti metode pembaruan: Data diganti di setiap refresh aliran data. Data apa pun di tujuan dihapus. Data di tujuan diganti dengan data output aliran data.

• Pemetaan terkelola: Pemetaan dikelola untuk Anda. Saat Anda perlu membuat perubahan pada data/kueri Anda untuk menambahkan kolom lain atau mengubah tipe data, pemetaan akan disesuaikan secara otomatis untuk perubahan ini saat Anda menerbitkan ulang aliran data Anda. Anda tidak perlu masuk ke pengalaman tujuan data setiap kali Anda membuat perubahan pada aliran data Anda, yang membuat perubahan skema menjadi mudah saat Anda menerbitkan ulang aliran data.

• Jatuhkan dan buat ulang tabel: Untuk memungkinkan perubahan skema ini, tabel akan dihilangkan dan dibuat ulang pada setiap refresh aliran data. Refresh aliran data Anda dapat menyebabkan penghapusan hubungan atau pengukuran yang ditambahkan sebelumnya ke tabel Anda.

Catatan

Saat ini, pengaturan otomatis hanya didukung untuk database Lakehouse dan Azure SQL sebagai tujuan data.

Pengaturan manual

Dengan menonaktifkan Gunakan pengaturan otomatis, Anda mendapatkan kontrol penuh atas cara memuat data Anda ke tujuan data. Anda dapat membuat perubahan apa pun pada pemetaan kolom dengan mengubah jenis sumber atau mengecualikan kolom apa pun yang tidak Anda butuhkan di tujuan data Anda.

Memperbarui metode

Sebagian besar tujuan mendukung penambah dan penggantian sebagai metode pembaruan. Namun, database Fabric KQL dan Azure Data Explorer tidak mendukung penggantian sebagai metode pembaruan.

• Ganti: Pada setiap refresh aliran data, data Anda akan dihilangkan dari tujuan dan digantikan oleh data output aliran data.

• Tambahkan: Pada setiap refresh aliran data, data output dari aliran data ditambahkan ke data yang ada di tabel tujuan data.

Opsi skema saat menerbitkan

Opsi skema pada publikasi hanya berlaku ketika metode pembaruan diganti. Saat Anda menambahkan data, perubahan pada skema tidak dimungkinkan.

• Skema dinamis: Saat memilih skema dinamis, Anda mengizinkan perubahan skema di tujuan data saat Anda menerbitkan ulang aliran data. Karena Anda tidak menggunakan pemetaan terkelola, Anda masih perlu memperbarui pemetaan kolom di wizard tujuan aliran data saat Anda membuat perubahan apa pun pada kueri Anda. Saat refresh mendeteksi perbedaan antara skema tujuan dan skema yang diharapkan, tabel akan dihilangkan lalu dibuat ulang untuk menyelaraskan dengan skema yang diharapkan. Refresh aliran data Anda dapat menyebabkan penghapusan hubungan atau pengukuran yang ditambahkan sebelumnya ke tabel Anda.

• Skema tetap: Saat Anda memilih skema tetap, perubahan skema tidak dimungkinkan. Saat aliran data di-refresh, hanya baris dalam tabel yang dihilangkan dan diganti dengan data output dari aliran data. Hubungan atau ukuran apa pun pada tabel tetap utuh. Jika Anda membuat perubahan pada kueri Anda dalam aliran data, penerbitan aliran data gagal jika mendeteksi bahwa skema kueri tidak cocok dengan skema tujuan data. Gunakan pengaturan ini saat Anda tidak berencana untuk mengubah skema dan memiliki hubungan atau pengukuran yang ditambahkan ke tabel tujuan Anda.

Catatan

Saat memuat data ke gudang, hanya skema tetap yang didukung. Saat memuat data ke database Snowflake, hanya skema tetap yang didukung. Jika Anda mengubah skema kueri sumber, Anda perlu mengonfigurasi ulang pemetaan tujuan secara manual.

Parameterisasi

Parameter adalah fitur inti dalam Dataflow Gen2. Setelah parameter dibuat atau Anda menggunakan pengaturan Selalu izinkan , widget input menjadi tersedia untuk menentukan tabel atau nama file untuk tujuan Anda.

Catatan

Parameter di tujuan data juga dapat diterapkan langsung melalui skrip M yang dibuat untuk kueri yang terkait dengannya. Anda dapat mengubah skrip kueri tujuan data Anda secara manual untuk menerapkan parameter untuk memenuhi kebutuhan Anda. Namun, antarmuka pengguna saat ini hanya mendukung parameterisasi untuk bidang nama tabel atau file.

Skrip Mashup untuk kueri tujuan data

Saat menggunakan fitur tujuan data, pengaturan yang ditentukan untuk memuat data ke tujuan Anda ditentukan dalam dokumen mashup Aliran Data Anda. Aplikasi Dataflow pada dasarnya membuat dua komponen:

• Kueri yang berisi langkah-langkah navigasi ke tujuan Anda. Ini mengikuti pola nama kueri awal Anda dengan akhiran _DataDestination. Contohnya:

shared #"Orders by Region_DataDestination" = let
  Pattern = Lakehouse.Contents([CreateNavigationProperties = false, EnableFolding = false]),
  Navigation_1 = Pattern{[workspaceId = "cfafbeb1-8037-4d0c-896e-a46fb27ff229"]}[Data],
  Navigation_2 = Navigation_1{[lakehouseId = "b218778-e7a5-4d73-8187-f10824047715"]}[Data],
  TableNavigation = Navigation_2{[Id = "Orders by Region", ItemKind = "Table"]}?[Data]?
in
  TableNavigation;

• Rekaman atribut DataDestinations untuk kueri yang berisi logika yang akan digunakan untuk cara memuat data ke tujuan Anda. Rekaman memiliki penunjuk ke kueri yang berisi langkah-langkah navigasi ke tujuan Anda dan pengaturan tujuan keseluruhan seperti metode pembaruan, opsi skema, dan jenis target tujuan seperti Tabel atau jenis lainnya. Contohnya:

[DataDestinations = {[Definition = [Kind = "Reference", QueryName = "Orders by Region_DataDestination", IsNewTarget = true], Settings = [Kind = "Automatic", TypeSettings = [Kind = "Table"]]]}]

Potongan skrip M ini tidak terlihat di dalam aplikasi Aliran Data, tetapi Anda dapat mengakses informasi ini melalui:

• Fabric REST API untuk definisi GET Dataflow
• Dokumen Mashup.pq saat menggunakan integrasi Git

Jenis sumber data yang didukung per tujuan

Jenis data yang didukung per lokasi penyimpanan	DataflowStagingLakehouse	Azure DB (SQL) Keluaran	Keluaran Azure Data Explorer	Keluaran Fabric Lakehouse (LH)	Output Gudang Kain (WH)	Database SQL Fabric (SQL) Keluaran	Snowflake Keluaran
Perbuatan	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak
Apa saja	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak
Biner	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak
Mata Uang	Ya	Ya	Ya	Ya	Tidak	Ya	Ya
Zona Tanggal Waktu	Ya	Ya	Ya	Tidak	Tidak	Ya	Tidak
Durasi	Tidak	Tidak	Ya	Tidak	Tidak	Tidak	Tidak
Fungsi	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak
Tidak	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak
Nol	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak
Waktu	Ya	Ya	Tidak	Tidak	Tidak	Ya	Ya
Jenis	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak
Terstruktur (Daftar, Catatan, Tabel)	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak	Tidak

Saat bekerja dengan jenis data seperti mata uang atau persentase, kami biasanya mengonversinya ke setara desimalnya untuk sebagian besar tujuan. Namun, saat menyambungkan kembali ke tujuan ini dan mengikuti jalur tabel yang ada, Anda mungkin mengalami kesulitan dalam memetakan, misalnya, mata uang ke dalam kolom desimal. Dalam kasus seperti itu, coba ubah jenis data di editor menjadi desimal, karena ini akan memfasilitasi pemetaan yang lebih mudah ke tabel dan kolom yang ada.

Topik tingkat lanjut

Menggunakan penahapan sebelum memuat ke tujuan

Untuk meningkatkan performa pemrosesan kueri, penahapan dapat digunakan dalam Dataflow Gen2 untuk menggunakan komputasi Fabric untuk menjalankan kueri Anda.

Saat penahapan diaktifkan pada kueri Anda (perilaku default), data Anda akan dimuat ke lokasi penahapan, yang merupakan Lakehouse internal yang hanya dapat diakses oleh aliran data itu sendiri.

Menggunakan lokasi penahapan dapat meningkatkan performa dalam beberapa kasus di mana melipat kueri ke titik akhir analitik SQL lebih cepat daripada pemrosesan dalam memori.

Saat Anda memuat data ke Lakehouse atau tujuan selain gudang, kami secara default menonaktifkan fitur penahapan untuk meningkatkan performa. Saat Anda memuat data ke tujuan data, data akan ditulis langsung ke tujuan data tanpa menggunakan penahapan. Jika Anda ingin menggunakan tahapan untuk kueri, Anda bisa mengaktifkannya lagi.

Untuk mengaktifkan penahapan, klik kanan pada kueri dan aktifkan penahapan dengan memilih tombol Aktifkan penahapan . Kueri Anda kemudian berubah menjadi biru.

Batasan fitur pratinjau di Snowflake

Snowflake sebagai tujuan data memiliki batasan yang diketahui berikut:

• Skema dinamis tidak didukung. Jika Anda mengubah kolom dalam kueri sumber Anda (menambahkan, mengganti nama, atau menghapus kolom), Anda perlu mengonfigurasi ulang pemetaan tujuan secara manual. Tujuan lain seperti Fabric Lakehouse mendukung skema dinamis, tetapi Snowflake belum.
• Tujuan default hanya berfungsi untuk tabel baru. Saat menggunakan pengalaman tujuan default dengan Snowflake, itu membuat tabel baru pada refresh pertama. Namun, jika nanti Anda mengubah skema aliran data Anda, skema tujuan tidak diperbarui secara otomatis.
• Gateway tidak didukung. Snowflake sebagai tujuan data saat ini hanya tersedia untuk aliran data berbasis cloud. Dukungan gateway akan segera hadir.

Memuat data ke gudang

Saat Anda mengunggah data ke Gudang, penahapan diperlukan sebelum operasi tulis ke tujuan penyimpanan data. Persyaratan ini meningkatkan performa. Saat ini, hanya pemuatan ke dalam ruang kerja yang sama dengan dataflow yang didukung. Pastikan staging diaktifkan untuk semua kueri yang dimuat ke dalam gudang data.

Saat penahapan dinonaktifkan, dan Anda memilih Gudang sebagai tujuan output, Anda mendapatkan peringatan untuk mengaktifkan penahapan terlebih dahulu sebelum Anda dapat mengonfigurasi tujuan data.

Jika Anda sudah memiliki gudang sebagai tujuan dan mencoba menonaktifkan penahapan, akan muncul peringatan. Anda dapat menghapus gudang penyimpanan sebagai tujuan atau membatalkan tindakan penahapan.

Dukungan skema untuk database Lakehouse, Warehouse, dan SQL

Database Lakehouse, Warehouse, dan SQL di Microsoft Fabric semuanya mendukung kemampuan untuk membuat skema untuk data Anda. Ini berarti Anda dapat menyusun data Anda dengan cara yang memudahkan pengelolaan dan kueri. Agar dapat menulis ke skema di tujuan ini, Anda perlu mengaktifkan opsi Navigasi menggunakan hierarki penuh di bawah opsi tingkat lanjut saat Anda menyiapkan koneksi Anda. Jika Anda tidak mengaktifkan opsi ini, Anda tidak akan dapat memilih atau melihat skema di tujuan. Batasan pratinjau untuk mengaktifkan fitur Navigasi menggunakan hierarki penuh adalah bahwa fungsi salinan cepat mungkin tidak bekerja dengan baik. Untuk menggunakan fitur ini bersama gateway, kami memerlukan gateway versi 3000.310 atau yang lebih baru.

Sinkronisasi metadata otomatis untuk titik akhir analitik SQL pada destinasi Lakehouse

Saat pemutakhiran Dataflow Gen2 menulis data ke tabel tujuan Lakehouse, metadata endpoint analitik SQL secara otomatis disinkronkan sebagai bagian dari pemutakhiran tersebut. Ini berarti data Anda segera dapat dikueri melalui titik akhir analitik SQL setelah refresh berhasil, tanpa tindakan tambahan atau panggilan API terpisah yang diperlukan.

Perilaku ini dikontrol oleh opsi Sinkronkan metadata Titik Akhir SQL Analytics , yang berada di bawah Opsi tingkat lanjut di pengaturan koneksi Lakehouse (terlihat saat Anda membuat atau mengedit koneksi tujuan data Lakehouse). Opsi diatur ke True secara default.

Dalam kebanyakan skenario, Anda harus membiarkan opsi ini diaktifkan sehingga konsumen hilir (Power BI model semantik, notebook, kueri SQL) selalu melihat data terbaru setelah refresh aliran data.

Anda dapat mengatur opsi ini ke False dalam kasus tepi di mana:

• Anda tidak mengkueri Lakehouse melalui titik akhir analitik SQL dan tidak memerlukan sinkronisasi metadata.
• Anda melihat waktu refresh yang jauh lebih lama yang disebabkan oleh tumpukan log delta besar di Lakehouse tujuan, dan Anda ingin melewati langkah sinkronisasi sampai backlog diatasi (misalnya, melalui pemeliharaan tabel dan membersihkan).

Saat opsi diatur ke False, metadata titik akhir analitik SQL tidak di-refresh oleh aliran data, dan konsumen titik akhir SQL hilir mungkin melihat data kedaluarsa hingga sinkronisasi berikutnya (manual atau terjadwal) terjadi.

Aktifkan kompresi V-Order pada tujuan Lakehouse

Catatan

Opsi tingkat lanjut ini saat ini dalam pratinjau.

Saat refresh Dataflow Gen2 menulis data ke tujuan tabel Fabric Lakehouse, Anda dapat mengontrol apakah data ditulis menggunakan kompresi V-Order. V-Order adalah optimasi saat penulisan untuk format file Parquet yang meningkatkan performa pembacaan untuk mesin Fabric downstream seperti endpoint analitik SQL, model semantik Direct Lake, dan Spark, dengan konsekuensi penggunaan CPU tambahan saat penulisan. Untuk informasi latar belakang dan panduan lintas mesin, lihat pengoptimalan tabel Delta Lake dan V-Order dan pemeliharaan dan pengoptimalan tabel lintas beban kerja.

Perilaku ini dikontrol oleh opsi Aktifkan penggunaan kompresi V-Order , yang berada di bawah Opsi tingkat lanjut di pengaturan koneksi Lakehouse (terlihat saat Anda membuat atau mengedit koneksi tujuan data Lakehouse). Opsi diatur ke True secara default.

Kapan harus mengaktifkan atau menonaktifkan V-Order untuk tujuan

Pilih pengaturan Anda berdasarkan cara tabel Lakehouse tujuan akan digunakan:

• Nonaktifkan V-Order (peningkatan performa tulis) saat tabel dibaca hanya beberapa kali. Ini khas untuk tabel perantara dalam arsitektur medali (misalnya, tabel perunggu yang diubah sekali menjadi tabel perak) atau untuk tabel yang dikonsumsi terutama melalui Spark, yang tidak mendapat manfaat dari V-Order. Melewati V-Order mengurangi penggunaan CPU saat penulisan dan mempersingkat durasi refresh, terutama untuk penulisan dalam jumlah besar.
• Aktifkan V-Order (peningkatan performa baca) saat tabel dibaca beberapa kali, atau saat tabel digunakan oleh engine Fabric yang mendapatkan manfaat dari V-Order, seperti model semantik Power BI Direct Lake atau Fabric Warehouse. V-Order meningkatkan performa pembacaan sekitar 10% untuk endpoint analitik SQL dan Warehouse, serta merupakan format penulisan yang direkomendasikan untuk konsumsi Direct Lake.

Jika Anda tidak yakin, aturan praktisnya adalah: data yang dibaca sekali lebih diuntungkan jika V-Order dinonaktifkan, dan data yang dibaca berkali-kali lebih diuntungkan jika V-Order diaktifkan. Untuk matriks terperinci metode tulis dan mesin baca, lihat Pemeliharaan dan pengoptimalan tabel lintas beban kerja.

Catatan

Opsi tingkat tujuan Aktifkan penggunaan kompresi V-Order mengontrol operasi tulis ke Lakehouse tujuan. Untuk mengontrol kompresi V-Order untuk Lakehouse staging yang digunakan selama eksekusi dataflow, gunakan opsi tingkat dataflow Aktifkan kompresi V-Order pada tab Skala. Untuk informasi selengkapnya, lihat Opsi data staging untuk Dataflow Gen2.

Menyedot data tujuan Lakehouse Anda

Saat menggunakan Lakehouse sebagai tujuan Untuk Dataflow Gen2 di Microsoft Fabric, penting untuk melakukan pemeliharaan rutin untuk menjaga performa optimal dan manajemen penyimpanan yang efisien. Salah satu tugas pemeliharaan penting adalah membersihkan destinasi data Anda. Proses ini membantu menghapus file lama yang tidak lagi direferensikan oleh log tabel Delta, yang mengoptimalkan biaya penyimpanan dan mempertahankan integritas data Anda.

Mengapa menyedot debu itu penting

1. Pengoptimalan Penyimpanan: Seiring waktu, tabel Delta mengumpulkan file lama yang tidak lagi diperlukan. Menyedot debu membantu membersihkan file-file ini, membebaskan ruang penyimpanan dan mengurangi biaya.
2. Peningkatan Performa: Menghapus file yang tidak perlu dapat meningkatkan performa kueri dengan mengurangi jumlah file yang perlu dipindai selama operasi baca.
3. Integritas Data: Memastikan bahwa hanya file yang relevan yang dipertahankan membantu menjaga integritas data Anda, mencegah potensi masalah dengan file yang belum dikomit yang dapat menyebabkan kegagalan pembaca data atau kerusakan tabel.

Cara menyedot data tujuan Anda

Untuk membersihkan tabel Delta Anda di Lakehouse, ikuti langkah-langkah berikut:

1. Masuk ke Lakehouse Anda: Dari akun Microsoft Fabric Anda, buka Lakehouse yang Anda inginkan.
2. Pemeliharaan tabel akses: Di penjelajah Lakehouse, klik kanan pada tabel yang ingin Anda pertahankan atau gunakan elipsis untuk mengakses menu kontekstual.
3. Pilih opsi pemeliharaan: Pilih entri menu Pemeliharaan dan pilih opsi Vakum .
4. Jalankan perintah vakum: Atur ambang retensi (defaultnya adalah tujuh hari) dan jalankan perintah vakum dengan memilih Jalankan sekarang.

Praktik terbaik

• Periode retensi: Atur interval retensi setidaknya tujuh hari untuk memastikan bahwa rekam jepret lama dan file yang tidak dikomit tidak dihapus sebelumnya, yang dapat mengganggu pembaca dan penulis tabel bersamaan.
• Pemeliharaan rutin: Jadwalkan vakum reguler sebagai bagian dari rutinitas pemeliharaan data Anda untuk menjaga tabel Delta Anda tetap optimal dan siap untuk analitik.
• Refresh inkremental: Jika Anda menggunakan refresh inkremental, pastikan bahwa vakum dimatikan karena dapat mengganggu proses refresh bertahap.

Dengan menggabungkan proses pembersihan ke dalam strategi pemeliharaan data Anda, Anda dapat memastikan bahwa Lakehouse yang Anda gunakan tetap efisien, hemat biaya, dan dapat diandalkan untuk operasi arus data Anda.

Untuk informasi selengkapnya tentang pemeliharaan tabel di Lakehouse, lihat dokumentasi pemeliharaan tabel Delta.

Dapat bernilai null

Dalam beberapa kasus ketika Anda memiliki kolom yang dapat bernilai null, kolom tersebut terdeteksi oleh Power Query sebagai tidak bernilai null, dan ketika menulis ke tujuan data, tipe kolomnya tidak bernilai null. Selama refresh, kesalahan berikut terjadi:

E104100 Couldn't refresh entity because of an issue with the mashup document MashupException.Error: DataFormat.Error: Error in replacing table's content with new data in a version: #{0}., InnerException: We can't insert null data into a non-nullable column., Underlying error: We can't insert null data into a non-nullable column. Details: Reason = DataFormat.Error;Message = We can't insert null data into a non-nullable column.; Message.Format = we can't insert null data into a non-nullable column.

Untuk memaksa kolom nullable, Anda bisa mencoba langkah-langkah berikut:

1. Hapus tabel dari tujuan data.

2. Hapus tujuan data dari aliran data.

3. Masuk ke aliran data dan perbarui tipe data dengan menggunakan kode Power Query berikut:

   Table.TransformColumnTypes(
      #"PREVIOUS STEP", {
         {"COLLUMNNAME1", type nullable text}, 
         {"COLLUMNNAME2", type nullable Int64.Type}
      }
   ) 
   

4. Tambahkan tujuan data.

Konversi jenis data dan peningkatan skala

Dalam beberapa kasus, jenis data dalam aliran data berbeda dari apa yang didukung di tujuan data. Di bawah ini adalah beberapa konversi default yang kami tempatkan untuk memastikan Anda masih bisa mendapatkan data Anda di tujuan data:

Tujuan	Tipe Data Alur Data	Jenis Data Tujuan
Gudang Kain	Int8.Type	Int16.Type