Buat Azure Synapse Link for Dataverse dengan Azure Data Lake

Artikel
05/14/2024

Anda dapat menggunakan Azure Synapse Link untuk menghubungkan data Microsoft Dataverse Anda ke Azure Data Lake Storage Gen2 untuk mengaktifkan berbagai skenario analitik. Artikel ini menunjukkan bagaimana Anda akan melakukan tugas-tugas berikut:

Sambungkan data Dataverse Anda ke akun Azure Data Lake Storage Gen2 dengan layanan Azure Synapse Link.
Mengelola tabel Dataverse yang tercakup di Azure Synapse Link.
Pantau Azure Synapse Link Anda.
Batalkan tautan Azure Synapse Link.
Tautkan ulang Azure Synapse Link.
Lihat data Anda di Azure Data Lake dan pahami struktur file.

Catatan

Azure Synapse Link for Dataverse untuk sebelumnya dikenal sebagai Ekspor ke data lake. Layanan berganti nama menjadi efektif Mei 2021 dan akan terus mengekspor data ke Azure Data Lake dan Azure Synapse Analytics.

Prasyarat

Azure Data Lake Storage Gen2: Anda harus memiliki akun Azure Data Lake Storage Gen2 dan akses peran Pemilik dan kontributor data Blob Penyimpanan. Akun penyimpanan Anda harus mengaktifkan namespace hierarki untuk penyiapan awal dan sinkronisasi delta. Izinkan akses kunci akun penyimpanan hanya diperlukan untuk penyiapan awal.

Catatan

Akun penyimpanan harus dibuat di penyewa yang sama Microsoft Entra dengan penyewa Anda Power Apps .
Untuk mengatur Diaktifkan dari jaringan virtual dan alamat IP yang dipilih untuk akun penyimpanan tertaut untuk memberikan akses dari alamat IP yang dipilih, Anda harus membuat dengan Azure Synapse Link identitas terkelola.Gunakan identitas terkelola untuk Azure dengan penyimpanan Azure data lake Anda (tanpa identitas terkelola disiapkan, Anda harus mengaktifkan akses jaringan publik untuk sumber daya Azure untuk penyiapan awal dan sinkronisasi delta.)
Anda harus memiliki akses peran Pembaca ke grup sumber daya dengan akun penyimpanan.
Untuk menghubungkan lingkungan ke Azure Data Lake Storage Gen2, Anda harus memiliki peran keamanan administrator sistem Dataverse.
Hanya tabel yang telah mengaktifkan pelacakan perubahan dapat diekspor.
Pembuatan Azure Synapse Link profil di bawah satu Dataverse lingkungan dibatasi hingga maksimum 10.

Menghubungkan Dataverse ke Azure Data Lake Storage Gen2

Masuk ke Power Apps dan pilih lingkungan yang diinginkan.
Di panel navigasi kiri, pilih Azure Synapse Link. Jika Azure Synapse Link tidak terlihat di panel samping panel, pilih ... Lainnya dan pilih Temukan semua. Azure Synapse Link ada di bagian Manajemen data .
Pada bilah perintah, pilih + tautkan baru ke data lake.
Pilih langganan, Grup sumber daya Akun penyimpanan. Pastikan akun penyimpanan memenuhi persyaratan yang ditentukan di bagian Prasyarat. Pilih Selanjutnya.

Catatan

Sebagai bagian dari menghubungkan lingkungan dengan data lake, Anda memberikan akses layanan Azure Synapse Link ke akun penyimpanan Anda. Pastikan anda mengikuti prasyarat pembuatan dan konfigurasi akun Azure Data Lake Storage, dan pemberian peran pemilik pada akun penyimpanan. Selain itu, Anda memberikan akses layanan aliran data Power Platform ke akun penyimpanan Anda. Informasi lebih lanjut: Persiapan data layanan mandiri dengan aliran data.
Tambahkan tabel yang ingin Anda ekspor, lalu pilih Simpan. Hanya tabel yang telah mengaktifkan pelacakan perubahanlah yang dapat diekspor. Informasi selengkapnya: Mengaktifkan pelacakan perubahan.

Anda dapat mengikuti langkah-langkah dalam artikel ini untuk membuat tautkan dari satu lingkungan ke beberapa danau data Azure di langganan Azure Anda. Demikian pula, Anda dapat membuat tautan dari beberapa lingkungan ke Azure Data Lake yang sama, Semua dalam penyewa yang sama.

Catatan

Layanan ini Azure Synapse Link for Dataverse terintegrasi dengan mulus ke dalam fitur Power Platform out-of-the-box. Ini memenuhi standar keamanan dan tata kelola yang ditetapkan untuk Power Platform penyimpanan dan tata kelola data. Informasi lebih lanjut: Penyimpanan dan tata kelola data

Data yang diekspor oleh Azure Synapse Link layanan dienkripsi saat transit menggunakan Transport lapisan Security(TLS) 1.2 atau yang lebih tinggi dan dienkripsi saat tidak aktif di Azure Data Lake Storage Gen2. Selain itu, data sementara di penyimpanan Blob juga dienkripsi saat istirahat. Enkripsi di Azure Data Lake Storage Gen2 akan membantu Anda melindungi data, menerapkan kebijakan keamanan perusahaan, dan memenuhi persyaratan kepatuhan terhadap peraturan. Informasi lebih lanjut: enkripsi data Azure saat istirahat

Mengelola data tabel ke data lake

Setelah menyiapkan Azure Synapse Link, Anda dapat mengelola tabel yang diekspor dengan salah satu dari dua cara:

Pada area Azure Synapse Link portal pembuat Power Apps, pilih Kelola tabel pada bilah perintah untuk menambahkan atau menghilangkan satu atau beberapa tabel tertaut.
Di area tabel pembuat portal Power Apps, pilih ... Di sebelah tabel, lalu pilih data lake tertaut yang akan mengekspor data tabel.

pantau Azure Synapse Link Anda

Setelah Anda mengatur Azure Synapse Link, Anda dapat memantau di Azure Synapse Link bawah tab Tabel .

Azure Synapse Link Pemantauan

Akan ada daftar tabel yang merupakan bagian dari Azure Synapse Link yang dipilih.
Ada berbagai tahapan yang dilalui status sinkronisasi. NotStarted menunjukkan bahwa tabel menunggu untuk disinkronisasi. Setelah sinkronisasi awal tabel Selesai, ada tahap pasca pemrosesan di mana pembaruan bertahap tidak akan terjadi. Proses ini mungkin memakan waktu beberapa jam tergantung pada ukuran data Anda. Saat pembaruan inkremental mulai dilakukan, tanggal sinkronisasi terakhir akan diperbarui secara teratur.
Kolom Hitung menampilkan baris angka yang ditulis. Bila Lampirkan saja diatur ke Tidak, ini adalah jumlah total rekaman. Bila Lampirkan saja diatur ke Ya, ini adalah jumlah total perubahan.
Kolom Lampirkan saja dan Strategi partisi menunjukkan penggunaan konfigurasi lanjutan yang berbeda.

Membatalkan tautan Azure Synapse Link

Pilih Azure Synapse Link yang diinginkan untuk membatalkan tautan.
Pilih Batalkan tautan data lake dari bilah perintah.
Untuk menghapus sistem file data lake, pilih hapus sistem file data lake.
Pilih Ya, lalu izinkan beberapa menit hingga semua tautan dilepas dan dihapus.

Menautkan ulang Azure Synapse Link

Jika Anda menghapus sistem file saat membatalkan tautan, ikuti langkah-langkah di atas untuk menautkan ulang data lake yang sama. Jika Anda tidak menghapus sistem file saat membatalkan tautan, Anda harus menghapus data untuk ditautkan ulang:

Buka Azure Data Lake.
Hapus wadah Dataverse.
Buka Power Apps, lalu tautkan ulang Data Lake.

Lihat data Anda di Azure Data Lake Storage Gen2

Pilih Azure Synapse Link yang diinginkan, lalu pilih Buka Azure data lake dari panel atas.
Perluas Sistem File, lalu pilih dataverse-environmentName-organizationUniqueName.

File model.json, bersama dengan nama dan versinya, menyediakan daftar tabel yang telah diekspor ke data lake. File model.JSON juga mencakup status sinkronisasi awal dan waktu penyelesaian sinkronisasi.

Folder yang mencakup file snapshot koma (format CSV) ditampilkan untuk setiap tabel yang diekspor ke data lake. data tabel di data lake.

Tautkan ruang kerja Synapse ke profil yang ada Azure Synapse Link hanya dengan data lake

Di bilah alamat browser web, tambahkan ?athena.updateLake=true ke alamat web yang diakhiri dengan exporttodatalake.
Pilih profil yang ada dari area tersebut Azure Synapse Link , lalu pilih opsi yang diperluas.
Pilihtautkan ke Azure Synapse Analytics Ruang Kerja dan tunggu beberapa menit agar semuanya ditautkan.

Pembaruan snapshot terus-menerus

data Microsoft Dataverse dapat terus berubah terus-menerus melalui membuat, memperbarui, dan menghapus transaksi. Snapshot menyediakan salinan data snapshot hanya baca yang diperbarui pada interval yang teratur, dalam hal ini setiap jam. Hal ini memastikan bahwa pada titik mana pun, konsumen analisis data dapat secara andal mengkonsumsi data di danau.

Pembaruan snapshot terus-menerus.

Bila tabel ditambahkan sebagai bagian dari ekspor awal, data tabel akan ditulis ke file table.csv di dalam folder yang terkait di data lake. Ini adalah interval T1, dengan file baca-saja yang dinamai tabel-T1.csv—misalnya, account-T1.csv atau Contacts-T1.csv—dibuat. Selain itu, file model.JSON diperbarui untuk menunjuk ke file snapshot ini. Membuka model.JSON, Anda dapat melihat rincian snapshot.

Berikut adalah contoh dari file Account.csv yang dipartisi dan folder snapshot data lake.

Snapshot tabel akun.

Perubahan di Dataverse akan terus didorong ke file CSV terkait menggunakan mesin umpan tetesan. Ini adalah interval T2, tempat snapshot lain diambil. tabel-T2.csv—misalnya,Accounts-T2.csv atau Contacts-T2.csv (dengan asumsi ada perubahan untuk tabel) —dan model.json diperbarui ke file snapshot baru. Setiap orang baru yang melihat data snapshot dari T2 dan seterusnya diarahkan ke file snapshot yang lebih baru. Dengan cara ini, penampil snapshot asli dapat terus bekerja pada file T1snapshot lama sementara pemirsa yang lebih baru dapat membaca pembaruan terbaru. Hal ini berguna dalam skenario yang memiliki proses hilir berjalan lebih lama.

Catatan

File snapshot baru dibuat hanya jika ada pembaruan data. Hanya lima file snapshot terbaru yang akan dipertahankan. Data yang stagnan akan secara otomatis dihapus dari akun Gen 2 Anda Azure Data Lake Storage .

Berikut adalah contoh file model.JSON, yang selalu mengarah ke file snapshot akun cap waktu terbaru.

Contoh file snapshot model.JSON.

Apa berikutnya?

Setelah berhasil menggunakan layanan Azure Synapse Link for Dataverse, temukan cara menganalisis dan menggunakan data dengan Discover Hub. Untuk mengakses Discover Hub, buka Power Apps > Azure Synapse Link. Pilih layanan yang ditautkan, lalu pilih tab temukan hub. Di sini Anda dapat menemukan alat yang direkomendasikan dan dokumentasi yang dikurasi untuk membantu Anda mendapatkan nilai maksimal dari data Anda. Temukan hub.