Opsi konfigurasi lanjutan di Azure Synapse Link
Azure Synapse Link menawarkan beberapa cara untuk menulis dan membaca data Anda agar sesuai dengan berbagai skenario analitik. Bergantung pada skenario analitik Anda, Anda dapat memilih konfigurasi tertentu dari opsi di bawah ini.
| Skenario | Berlaku untuk | Opsi konfigurasi yang tersedia |
|---|---|---|
| Pelaporan operasional | Dataverse tabel, tabel dan entitas keuangan dan operasi | Synapse Analytics dengan opsi Delta lake memberikan waktu respons kueri yang lebih baik terutama yang berlaku untuk mengkueri data dalam jumlah besar. Informasi lebih lanjut: Synapse tautkan dengan opsi danau Delta |
| Pelaporan operasional | Dataverse Tabel saja | Synapse tautkan dengan opsi konfigurasi "Pembaruan di tempat" menyediakan file CSV di danau data Anda yang diperbarui hampir secara real time Ini adalah opsi warisan yang tersedia untuk Dataverse tabel. Opsi ini tidak didukung untuk tabel dari aplikasi keuangan dan operasi |
| Integrasi Data | Dataverse tabel dan tabel dan entitas keuangan dan operasi | "Opsi hanya tambahkan menyediakan file CSV yang berisi data tambahan. Anda dapat membangun alur yang menggunakan data inkremental dan mengisi sistem hilir Fitur partisi data yang ditentukan pengguna memungkinkan memilih strategi partisi data kustom khusus untuk Dataverse tabel. Data tabel keuangan dan operasi dipartisi oleh sistem berdasarkan strategi partisi yang sesuai. Opsi ini tidak tersedia untuk aplikasi keuangan dan operasi |
Catatan
Azure Synapse Link for Dataverse sebelumnya dikenal sebagai Ekspor ke Data Lake. Layanan ini berganti nama efektif Mei 2021 dan akan terus mengekspor data ke Azure Data Lake Storage as. Azure Synapse Analytics Mulai September-2023, Azure Synapse Link juga memungkinkan Anda memilih data dari aplikasi keuangan dan operasi Dynamics 365. Tidak semua pola integrasi didukung dengan aplikasi keuangan dan operasi. Untuk panduan tentang transisi dari fitur Ekspor ke Data Lake di aplikasi keuangan dan operasi ke Synapse tautkan, buka Panduan transisi.
Artikel ini membahas pengaturan konfigurasi lanjutan yang tersedia untuk Dataverse tabel. Opsi ini tidak tersedia untuk aplikasi keuangan dan operasi.
- Pembaruan di Tempat vs. Penulisan Hanya Lampirkan
- Sekat data yang Ditentukan Pengguna.
Pembaruan di Tempat vs. Penulisan Hanya Lampirkan
Saat menulis Dataverse data tabel ke data lake Azure, berdasarkan createdOn nilai, yang merupakan tanggal dan waktu saat rekaman dibuat, ada dua pengaturan berbeda untuk dipilih. Mereka adalah, Pembaruan di tempat dan Tambahkan saja.
Pengaturan default (untuk tabel yang tersedia createdOn ) adalah melakukan pembaruan di tempat atau upsert (memperbarui atau menyisipkan) data inkremental di tujuan. Jika perubahan adalah baru dan baris yang sesuai tidak ada di lake, dalam kasus pembuatan, file tujuan akan dipindai, dan perubahan dimasukkan ke dalam partisi file yang terkait di lake. Jika perubahan merupakan pembaruan dan baris ada di lake, maka file yang terkait di lake akan diperbarui, dan bukan dimasukkan dengan data tambahan. Dengan kata lain, pengaturan default untuk semua perubahan CUD (buat, perbarui, hapus) dalam Dataverse tabel, jika createdOn tersedia, adalah melakukan pembaruan di tempat di tujuan, di danau data Azure.
Anda dapat mengalihkan perilaku default pembaruan di tempat dengan menggunakan setelan opsional yang disebut Hanya Tambahkan Tambahan. Alih-alih pembaruan Di tempat, dalam mode Tambahkan saja , data tambahan dari Dataverse tabel ditambahkan ke partisi file yang sesuai di lake. Ini adalah pengaturan per tabel dan tersedia sebagai kotak centang di bawah Pengaturan konfigurasi> lanjutan Tampilkan Lanjutan. Untuk Dataverse tabel dengan Tambahkan saja diaktifkan, semua perubahan CUD ditambahkan secara bertahap ke file tujuan yang sesuai di danau. Saat Anda memilih opsi ini, strategi partisi default ke Tahun dan ketika data ditulis ke data lake, data akan dipartisi setiap tahun. Tambahkan saja juga merupakan pengaturan default untuk Dataverse tabel yang tidak memiliki createdOn nilai.
Tabel ini menjelaskan bagaimana baris ditangani di danau terhadap peristiwa CUD untuk setiap opsi penulisan data.
| Aktivitas | Pembaruan di tempat | Khusus lampirkan |
|---|---|---|
| Buat | Baris disisipkan dalam file partisi dan didasarkan pada createdOn nilai pada baris. |
Baris ditambahkan ke akhir file partisi dan didasarkan pada createdOn nilai rekaman. |
| Update | Jika baris ada dalam file partisi, maka baris akan menggantikan atau diperbarui dengan data yang diperbarui. Jika tidak ada, maka file akan disisipkan ke dalam file. | Baris, bersama dengan versi yang diperbarui, ditambahkan ke akhir file partisi. |
| Delete | Jika baris ada dalam file partisi, maka baris akan dihilangkan dari file. | Baris ditambahkan ke akhir file partisi dengan IsDelete column = True. |
Catatan
Untuk Dataverse tabel di mana Tambahkan saja diaktifkan, menghapus baris di sumber tidak akan menghapus atau menghapus baris di danau. Sebagai gantinya, baris yang dihapus ditambahkan sebagai baris baru di danau dan isDeleted kolom diatur ke True.
Baca kotor (ALLOW_INCONSISTENT_READS) untuk tanpa server diaktifkan untuk mode hanya menambahkan. ALLOW_INCONSISTENT_READS berarti bahwa pengguna dapat membaca file yang dapat terus dimodifikasi saat SELECT kueri berjalan. Hasil akan konsisten dan setara dengan membaca snapshot file. (Ini tidak setara dengan isolasi snapshot database karena waktu pembuatan snapshot yang berbeda.)
Tidak semua perubahan CUD hanya akan ditangkap dalam append: Synapse tautkan memproses perubahan data dalam grup atau "batch" sebelum menerbitkannya ke data lake. Akibatnya, jika pengguna membuat perubahan dalam interval waktu yang singkat, tidak semua perubahan CUD akan ditangkap di data lake.
Berikut adalah beberapa rincian lainnya mengenai waktu penggunaan salah satu pilihan.
- Pembaruan di tempat: Opsi ini adalah pengaturan default dan direkomendasikan hanya jika Anda ingin terhubung langsung ke data di lake dan memerlukan status saat ini (bukan riwayat atau perubahan bertahap). File berisi file himpunan data dan dapat dimanfaatkan melalui Power BI atau dengan menyalin seluruh rangkaian data untuk alur ETL (Ekstrak, Transfer, Beban).
- Tambahkan saja: Pilih opsi ini jika Anda tidak langsung menyambungkan ke data di lake dan ingin menyalin data secara bertahap ke target lain menggunakan alur ETL. Pilihan ini memberikan riwayat perubahan untuk mengaktifkan skenario AI dan ML.
Anda dapat mengalihkan Tampilkan pengaturan konfigurasi lanjutan di bawah Tingkat Lanjut untuk Azure Synapse Link for Dataverse menyesuaikan strategi partisi data Anda dan memilih opsi untuk menulis ke Azure data lake.
Pemartisian data
Saat Anda menulis Dataverse data tabel ke penyimpanan Azure data lake menggunakan Azure Synapse Link, tabel dipartisi (bukan satu file) di lake berdasarkan createdOn nilai pada setiap baris di sumber. Strategi partisi default berdasarkan bulan dan data dipartisi dalam Azure data Lake secara bulanan.
Berdasarkan volume tabel Dataverse dan distribusi data, Anda dapat memilih untuk mem-partisi data berdasarkan tahun. Dengan opsi ini, ketika Dataverse data tabel ditulis ke data lake Azure, data akan dipartisi setiap tahun berdasarkan createdOn nilai pada setiap baris di sumber. Untuk tabel tanpa createdOn kolom, baris data dipartisi ke dalam file baru setiap catatan 5,000,000. Ini adalah pengaturan per tabel dan tersedia sebagai kotak centang di bawah Pengaturan konfigurasi> lanjutan Tampilkan Lanjutan.
Rincian lainnya dengan contoh cara penanganan data di lake dengan strategi partisi tahunan atau bulanan:
