Bagikan melalui

Ketersediaan Eventhouse OneLake

Anda dapat membuat salinan logis data database KQL di eventhouse dengan mengaktifkan ketersediaan OneLake. Mengaktifkan Ketersediaan OneLake berarti Anda dapat melakukan kueri pada data dalam database KQL Anda dalam format Delta Lake melalui mesin Fabric lainnya seperti mode Direct Lake di Power BI, Gudang, Lakehouse, Notebooks, dan banyak lagi.

Delta Lake adalah format tabel data lake terpadu yang mencapai akses data tanpa hambatan di semua mesin komputasi di Microsoft Fabric. Untuk informasi selengkapnya tentang Delta Lake, lihat Apa itu Delta Lake?.

Dalam artikel ini, Anda mempelajari cara mengaktifkan ketersediaan data database KQL di OneLake.

Cara kerjanya

Anda dapat mengaktifkan ketersediaan OneLake pada tingkat database atau tabel. Saat diaktifkan di tingkat database, semua tabel baru dan datanya tersedia di OneLake. Saat mengaktifkan fitur, Anda juga dapat memilih untuk menerapkan opsi ini ke tabel yang sudah ada dengan memilih opsi Terapkan ke tabel yang ada, untuk menyertakan isi ulang historis. Mengaktifkan fitur pada tingkat tabel hanya membuat tabel tersebut dan datanya dapat diakses di OneLake. Kebijakan penyimpanan data database KQL Anda juga diterapkan ke data di OneLake. Data yang dihapus dari database KQL Anda di akhir periode retensi juga dihapus dari OneLake. Jika Anda menonaktifkan ketersediaan OneLake, data akan dihapus secara sementara dari OneLake.

Saat ketersediaan OneLake diaktifkan, Anda tidak dapat melakukan tugas berikut:

  • Mengganti nama tabel
  • Mengubah skema tabel
  • Menerapkan Keamanan Tingkat Baris ke tabel
  • Data tidak dapat dihapus, dipotong, atau dihapus menyeluruh

Jika Anda perlu melakukan salah satu tugas ini, gunakan langkah-langkah berikut:

Penting

Menonaktifkan ketersediaan OneLake menghapus data Anda dari OneLake. Ketika Anda mengaktifkan kembali ketersediaan, semua data tersedia di OneLake, termasuk pengisian ulang data yang bersifat historis.

  1. Nonaktifkan ketersediaan OneLake.

  2. Lakukan tugas yang diinginkan.

  3. Aktifkan ketersediaan OneLake.

Penting

Untuk informasi selengkapnya tentang waktu yang diperlukan agar data muncul di OneLake, lihat perilaku adaptif .

Tidak ada biaya penyimpanan tambahan untuk mengaktifkan ketersediaan OneLake. Untuk informasi selengkapnya, lihat konsumsi sumber daya.

Prasyarat

Mengaktifkan ketersediaan OneLake

Anda dapat mengaktifkan ketersediaan OneLake baik pada database atau tabel KQL.

  1. Untuk mengaktifkan ketersediaan OneLake, pilih database atau tabel.

  2. Di panel detail bagian OneLake , atur Ketersediaan ke Diaktifkan.

    Cuplikan layar bagian OneLake dari panel Detail database yang memperlihatkan opsi Ketersediaan yang disorot.

  3. Di jendela Aktifkan Ketersediaan Onelake, pilih Aktifkan.

    Cuplikan layar jendela Aktifkan Ketersediaan Onelake memperlihatkan opsi Terapkan ke tabel yang sudah ada.

  4. Detail database atau tabel diperbarui secara otomatis.

    Cuplikan layar detail bagian OneLake setelah Ketersediaan diatur ke Diaktifkan. Opsi untuk mengekspos data ke OneLake diaktifkan.

Dengan ketersediaan OneLake di database atau tabel KQL Anda diaktifkan, Anda sekarang dapat mengakses semua data di jalur OneLake yang diberikan dalam format Delta Lake. Anda juga dapat membuat pintasan OneLake dari Lakehouse, Gudang Data, atau mengkueri data secara langsung melalui mode Power BI Direct Lake.

Perilaku adaptif

Eventhouse menawarkan mekanisme kuat yang secara cerdas mengumpulkan aliran data masuk ke dalam satu atau beberapa file Parquet, yang disusun untuk analisis. Memproses aliran data secara kelompok penting saat berhadapan dengan aliran data yang sedikit atau lambat. Menulis banyak file Parquet kecil ke dalam danau dapat tidak efisien sehingga menghasilkan biaya yang lebih tinggi dan performa yang buruk.

Mekanisme adaptif Eventhouse dapat menunda operasi penulisan jika tidak ada cukup data untuk membuat file Parquet yang optimal. Perilaku ini memastikan file Parquet berukuran optimal dan mematuhi praktik terbaik Delta Lake. Mekanisme adaptif Eventhouse memastikan bahwa file Parquet siap untuk analisis dan menyeimbangkan kebutuhan ketersediaan data yang cepat dengan pertimbangan biaya dan performa.

Catatan

  • Secara default, operasi tulis dapat memakan waktu hingga 3 jam atau hingga file dengan ukuran yang cukup (biasanya 200-256 MB) dibuat.
  • Anda dapat menyesuaikan penundaan ke nilai antara 5 menit dan 3 jam.

Misalnya, gunakan perintah berikut untuk mengatur penundaan menjadi 5 menit:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Perhatian

Menyesuaikan penundaan ke periode yang lebih singkat dapat mengakibatkan tabel delta suboptimal dengan sejumlah besar file kecil, yang dapat menyebabkan performa kueri yang tidak efisien. Tabel yang dihasilkan di OneLake bersifat baca-saja dan tidak dapat dioptimalkan setelah pembuatan.

Anda dapat memantau kapan data baru ditambahkan di danau dengan memeriksa latensi data Anda menggunakan perintah .show table mirroring operations.

Hasil diukur dari terakhir kali data ditambahkan. Ketika Latensi menghasilkan 00:00:00, semua data dalam database KQL tersedia di OneLake.

Tampilkan file

Saat Anda mengaktifkan ketersediaan OneLake pada tabel, folder log delta dibuat bersama dengan file JSON dan Parquet yang sesuai. Anda dapat melihat file yang tersedia di OneLake dan propertinya sambil tetap berada dalam Real-Time Intelligence.

  • Untuk menampilkan file, arahkan mouse ke atas tabel di panel Explorer lalu pilih menu Lainnya [...]>Lihat file.

    Cuplikan layar panel Explorer memperlihatkan menu dropdown Lainnya dari tabel.

  • Untuk melihat properti folder log delta atau file individual, arahkan mouse ke folder atau file lalu pilih menu Lainnya [...]>Properti.

  • Untuk melihat file di folder log delta:

    1. Pilih folder _delta_log.
    2. Pilih file untuk melihat metadata dan skema tabel. Editor yang terbuka dalam format baca-saja.

Mengakses kebijakan pencerminan

Secara bawaan, ketika ketersediaan OneLake diaktifkan, kebijakan pencerminan diberlakukan. Anda dapat menggunakan kebijakan untuk memantau latensi data atau mengubahnya menjadi tabel delta partisi.

Catatan

Jika Anda menonaktifkan ketersediaan OneLake, properti kebijakan IsEnabled pencerminan diatur ke false (IsEnabled=false).

Tabel delta partisi

Anda dapat mempartisi tabel delta Anda untuk meningkatkan kecepatan kueri. Untuk informasi tentang kapan harus mempartisi file OneLake Anda, lihat Kapan harus mempartisi tabel. Setiap partisi direpresentasikan sebagai kolom terpisah menggunakan PartitionName yang tercantum dalam daftar Partisi. Ini berarti salinan OneLake Anda memiliki lebih banyak kolom daripada tabel sumber Anda.

Untuk mempartisi tabel delta Anda, gunakan perintah pencerminan kebijakan tabel .alter-merge.

Kueri tabel delta

Anda dapat menggunakan Fabric Notebook untuk membaca data OneLake menggunakan cuplikan kode berikut.

Dalam cuplikan kode, ganti <workspaceGuid>, <workspaceGuid>, dan <tableName> dengan nilai Anda sendiri.

delta_table_path = 'abfss://`<workspaceGuid>`@onelake.dfs.fabric.microsoft.com/`<eventhouseGuid>`/Tables/`<tableName>`'

df = spark.read.format("delta").load(delta_table_path)

df.show()

Catatan

Untuk database Azure Data Explorer, gunakan kode ini:

delta_table_path = 'abfss://`<workspaceName>`@onelake.dfs.fabric.microsoft.com/`<itemName>`.KustoDatabase/Tables/`<tableName>`'

Konten terkait