Bagikan melalui

Membuat Azure Synapse Tautan untuk Dataverse dengan Azure Data Lake

  • Artikel

Anda dapat menggunakan Azure Synapse Tautan untuk menyambungkan data Anda Microsoft Dataverse ke Azure Data Lake Storage Gen2 untuk mengaktifkan berbagai skenario analitik. Artikel ini menunjukkan bagaimana Anda akan melakukan tugas-tugas berikut:

  1. Hubungkan data Anda Dataverse ke akun Gen2 Anda Azure Data Lake Storage dengan Azure Synapse layanan Link.
  2. Kelola Dataverse tabel yang disertakan dalam Azure Synapse Tautan.
  3. Pantau Tautan Anda Azure Synapse .
  4. Putuskan tautan tautan Anda Azure Synapse .
  5. Tautkan ulang Tautan Anda Azure Synapse .
  6. Lihat data Anda di Azure Data Lake dan pahami struktur file.

Catatan

Azure Synapse Link for Dataverse sebelumnya dikenal sebagai Ekspor ke danau data. Layanan berganti nama menjadi efektif Mei 2021 dan akan terus mengekspor data ke Azure Data Lake dan Azure Synapse Analytics.

Prasyarat

  • Azure Data Lake Storage Gen2: Anda harus memiliki Azure Data Lake Storage akun Gen2 dan akses peran Kontributor Data Blob Pemilik dan Penyimpanan. Akun penyimpanan Anda harus mengaktifkan namespace Hierarkis untuk penyiapan awal dan sinkronisasi delta. Izinkan akses kunci akun penyimpanan hanya diperlukan untuk penyiapan awal.

Catatan

  • Akun penyimpanan harus dibuat di penyewa yang sama Microsoft Entra dengan penyewa Anda Power Apps .
  • Untuk mengatur Diaktifkan dari jaringan virtual dan alamat IP yang dipilih untuk akun penyimpanan tertaut untuk memberikan akses dari alamat IP yang dipilih, Anda harus membuat Tautan Azure Synapse dengan identitas terkelola.Gunakan identitas terkelola untuk Azure dengan penyimpanan Azure data lake Anda (tanpa identitas terkelola disiapkan, Anda harus mengaktifkan akses jaringan publik untuk sumber daya Azure untuk penyiapan awal dan sinkronisasi delta.)
  • Kami sangat menyarankan agar Anda mengaktifkan fitur penghapusan sementara pada akun penyimpanan yang dipilih untuk tujuan ini. Mengaktifkan penghapusan sementara memungkinkan Anda memulihkan dari penghapusan data yang tidak disengaja dengan lebih cepat.
  • Anda harus memiliki akses peran Pembaca ke grup sumber daya dengan akun penyimpanan.
  • Untuk menghubungkan lingkungan ke Azure Data Lake Storage Gen2, Anda harus memiliki peran keamanan administrator sistem Dataverse.
  • Hanya tabel yang telah mengaktifkan pelacakan perubahan dapat diekspor.
  • Pembuatan Azure Synapse profil Tautan di bawah satu Dataverse lingkungan dibatasi hingga maksimum 10.

Menghubungkan Dataverse ke Azure Data Lake Storage Gen2

  1. Masuk ke dan Power Apps pilih lingkungan pilihan Anda.

  2. Di panel navigasi kiri, pilih Azure Synapse Tautan. Jika Azure Synapse Tautan tidak terlihat di panel panel samping, pilih ... Lainnya dan pilih Temukan semua. Azure Synapse Tautan ada di bagian Manajemen Data.

  3. Pada bilah perintah, pilih + Tautan baru ke data lake.

  4. Pilih akun Langganan, Grup sumber daya, dan Penyimpanan. Pastikan bahwa akun penyimpanan memenuhi persyaratan yang ditentukan di bagian Prasyarat . Pilih Selanjutnya.

    Catatan

    Sebagai bagian dari menautkan lingkungan ke data lake, Anda memberikan Azure Synapse akses layanan Tautan ke akun penyimpanan Anda. Pastikan Anda mengikuti prasyarat membuat dan mengonfigurasi akun penyimpanan Azure data lake, dan memberi diri Anda peran pemilik pada akun penyimpanan. Selain itu, Anda memberikan akses layanan aliran data Power Platform ke akun penyimpanan Anda. Informasi selengkapnya: Persiapan data layanan mandiri dengan aliran data.

  5. Tambahkan tabel yang ingin Anda ekspor, lalu pilih Simpan. Hanya tabel yang telah mengaktifkan pelacakan perubahanlah yang dapat diekspor. Informasi lebih lanjut: Aktifkan pelacakan perubahan.

    Pilih tabel untuk ekspor.

Anda dapat mengikuti langkah-langkah dalam artikel ini untuk membuat tautan dari satu lingkungan ke beberapa danau data Azure di langganan Azure Anda. Demikian pula, Anda dapat membuat tautan dari beberapa lingkungan ke Azure Data Lake yang sama, Semua dalam penyewa yang sama.

Catatan

Azure Synapse Link untuk Dataverse layanan terintegrasi dengan mulus ke dalam fitur Power Platform out-of-the-box. Ini memenuhi standar keamanan dan tata kelola yang ditetapkan untuk Power Platform penyimpanan dan tata kelola data. Informasi lebih lanjut: Penyimpanan dan tata kelola data

Data yang diekspor oleh Azure Synapse layanan Link dienkripsi saat transit menggunakan Transport Layer Security(TLS) 1.2 atau yang lebih tinggi dan dienkripsi saat tidak aktif di Azure Data Lake Storage Gen2. Selain itu, data sementara di penyimpanan Blob juga dienkripsi saat istirahat. Enkripsi di Azure Data Lake Storage Gen2 akan membantu Anda melindungi data, menerapkan kebijakan keamanan perusahaan, dan memenuhi persyaratan kepatuhan terhadap peraturan. Informasi selengkapnya: Azure Data Encryption-at-Rest

Mengelola data tabel ke data lake

Setelah menyiapkan Azure Synapse Tautan, Anda dapat mengelola tabel yang diekspor dengan salah satu dari dua cara:

  • Pada Power Apps area Tautan Azure Synapse portal pembuat , pilih Kelola tabel pada bilah perintah untuk menambahkan atau menghapus satu atau beberapa tabel tertaut.

  • Pada Power Apps area Tabel portal pembuat , pilih ... di samping tabel, lalu pilih data lake tertaut tempat Anda ingin mengekspor data tabel.

    Pilih tabel untuk ekspor.

Setelah Anda menyiapkan Azure Synapse Tautan, Anda dapat memantau Tautan di Azure Synapse bawah tab Tabel .

Azure Synapse Pemantauan tautan

  • Akan ada daftar tabel yang merupakan bagian dari Tautan yang dipilih Azure Synapse .
  • Ada berbagai tahapan yang dilalui status sinkronisasi. NotStarted menunjukkan bahwa tabel sedang menunggu untuk disinkronkan. Setelah sinkronisasi awal tabel Selesai , ada tahap pasca pemrosesan di mana pembaruan bertahap tidak akan terjadi. Proses ini mungkin memakan waktu beberapa jam tergantung pada ukuran data Anda. Saat pembaruan inkremental mulai dilakukan, tanggal sinkronisasi terakhir akan diperbarui secara teratur.
  • Kolom Count menunjukkan baris nomor yang ditulis. Ketika Tambahkan saja diatur ke Tidak, ini adalah jumlah total rekaman. Ketika Tambahkan Hanya diatur ke Ya, ini adalah jumlah total perubahan.
  • Kolom Strategi Tambahkan saja dan Partisi menunjukkan penggunaan konfigurasi lanjutan yang berbeda.

  1. Pilih Tautan yang diinginkan Azure Synapse untuk dibatalkan tautannya.

  2. Pilih Putuskan tautan data lake dari bilah perintah.

  3. Untuk menghapus kedua sistem file data lake, pilih Hapus sistem file data lake.

  4. Pilih Ya, dan tunggu beberapa menit agar semuanya dibatalkan tautannya dan dihapus.

Jika Anda menghapus sistem file saat membatalkan tautan, ikuti langkah-langkah di atas untuk menautkan ulang data lake yang sama. Jika Anda tidak menghapus sistem file saat membatalkan tautan, Anda harus menghapus data untuk ditautkan ulang:

  1. Buka Azure Data Lake.

  2. Hapus wadah Dataverse.

  3. Buka Power Apps, lalu tautkan ulang Data Lake.

Lihat data Anda di Azure Data Lake Storage Gen2

  1. Pilih Tautan yang diinginkan Azure Synapse , lalu pilih Buka Azure data lake dari panel atas.

  2. Perluas Sistem File, lalu pilih dataverse-environmentName- organizationUniqueName.

File model.json, bersama dengan nama dan versinya, menyediakan daftar tabel yang telah diekspor ke data lake. File model.JSON juga mencakup status sinkronisasi awal dan waktu penyelesaian sinkronisasi.

Folder yang mencakup file snapshot koma (format CSV) ditampilkan untuk setiap tabel yang diekspor ke data lake. Tabel data di data lake.

  1. Di bilah alamat browser web, tambahkan ?athena.updateLake=true ke alamat web yang diakhiri dengan exporttodatalake.

  2. Pilih profil yang ada dari area Tautan Azure Synapse , lalu pilih opsi yang diperluas.

  3. Pilih Tautkan ke Azure Synapse Analytics Ruang Kerja dan tunggu beberapa menit agar semuanya ditautkan.

Pembaruan snapshot terus-menerus

data Microsoft Dataverse dapat terus berubah terus-menerus melalui membuat, memperbarui, dan menghapus transaksi. Snapshot menyediakan salinan data snapshot hanya baca yang diperbarui pada interval yang teratur, dalam hal ini setiap jam. Hal ini memastikan bahwa pada titik mana pun, konsumen analisis data dapat secara andal mengkonsumsi data di danau.

Pembaruan snapshot berkelanjutan.

Bila tabel ditambahkan sebagai bagian dari ekspor awal, data tabel akan ditulis ke file table.csv di dalam folder yang terkait di data lake. Ini adalah interval T1, di mana file baca-saja rekam jepret bernama table-T1.csv—misalnya, Account-T1.csv atau Contacts-T1.csv—dibuat. Selain itu, file model.JSON diperbarui untuk menunjuk ke file snapshot ini. Membuka model.JSON, Anda dapat melihat rincian snapshot.

Berikut adalah contoh dari file Account.csv yang dipartisi dan folder snapshot data lake.

Cuplikan tabel akun.

Perubahan di Dataverse akan terus didorong ke file CSV terkait menggunakan mesin umpan tetesan. Ini adalah interval T2, tempat snapshot lain diambil. table-T2.csv—misalnya, Accounts-T2.csv atau Contacts-T2.csv (dengan asumsi ada perubahan untuk tabel) —dan model.json diperbarui ke file rekam jepret baru. Setiap orang baru yang melihat data snapshot dari T2 dan seterusnya diarahkan ke file snapshot yang lebih baru. Dengan cara ini, penampil snapshot asli dapat terus bekerja pada file T1snapshot lama sementara pemirsa yang lebih baru dapat membaca pembaruan terbaru. Hal ini berguna dalam skenario yang memiliki proses hilir berjalan lebih lama.

Catatan

File rekam jepret baru dibuat hanya jika ada pembaruan data. Hanya lima file snapshot terbaru yang dipertahankan. Data yang stagnan secara otomatis dihapus dari akun Gen 2 Anda Azure Data Lake Storage .

Berikut adalah contoh file model.JSON, yang selalu mengarah ke file snapshot akun cap waktu terbaru.

Contoh file model.json rekam jepret.

Apa berikutnya?

Setelah berhasil menggunakan Azure Synapse Tautan untuk Dataverse layanan, temukan bagaimana Anda dapat menganalisis dan menggunakan data Anda dengan Discover Hub. Untuk mengakses Discover Hub, buka Power Apps>Azure Synapse Tautan. Pilih layanan tertaut Anda, lalu pilih tab Temukan Hub . Di sini Anda dapat menemukan alat yang direkomendasikan dan dokumentasi yang dikurasi untuk membantu Anda mendapatkan nilai maksimal dari data Anda. Temukan Hub.

Baca juga

Analisis Dataverse data di data lake dengan Power BI

Menyerap Dataverse data di data lake dengan Azure Data Factory

Azure Synapse Tautan untuk Dataverse Konfigurasi Lanjutan

Azure Synapse FAQ Tautan