Menyinkronkan data di seluruh lingkungan Dataverse menggunakan Power Platform

Arsitektur referensi ini menunjukkan cara menyinkronkan data master antara dua lingkungan Dataverse dengan menggunakan Power Automate dan aliran data di Power Platform. Ini menunjukkan pola sinkronisasi satu-ke-satu di mana satu lingkungan bertindak sebagai sumber otoritatif dan yang lain menerima data.

Tip

Artikel ini menyediakan contoh skenario dan arsitektur contoh umum untuk menggambarkan cara mempertahankan data master di satu lingkungan Dataverse dan menyinkronkan ke lingkungan lain. Contoh arsitektur yang dapat dimodifikasi untuk berbagai skenario dan industri.

Diagram arsitektur

Alur kerja

Langkah-langkah berikut menjelaskan alur kerja yang diperlihatkan dalam contoh diagram arsitektur:

1. sinkronisasi berbasis Event melalui Power Automate

   • Operasi CRUD (buat, baca, perbarui, hapus) di lingkungan Dataverse utama memicu alur Power Automate.

   • Sinkronisasi berbasis peristiwa menggunakan rantai alur dua langkah:

     1. Alur cloud mengirimkan HTTP POST ke titik akhir yang diterbitkan.
     2. Alur cloud pelanggan dipicu oleh webhook, memproses payload, dan menerapkan pembaruan di lingkungan Dataverse sekunder mendekati real-time.

   • Titik akhir diparameterkan untuk manajemen siklus hidup aplikasi (ALM) dan grup keamanan mengelola akses.

2. Sinkronisasi massal melalui aliran data

   • Lingkungan Dataverse sekunder berisi aliran data.

   • Setiap aliran data tersambung ke lingkungan Dataverse utama sebagai sumber datanya.

   • Aliran data berjalan pada jadwal tetap (misalnya, setiap malam atau setelah aliran data lain berhasil berjalan) atau sesuai permintaan (misalnya, untuk penyiapan awal).

   • Operasi upsert dilakukan dengan menggunakan kunci alternatif untuk menghindari terjadinya data duplikat. Metode ini memperbarui data yang ada dan menyisipkan rekaman baru ketika tidak ada kecocokan.

   • Bidang status dikelola melalui kolom "status sinkronisasi" khusus. Alur Power Automate memperbarui bidang status aktual dengan tepat. Alur ini berjalan setelah aliran data dan diperlukan karena aliran data tidak dapat mengubah status baris atau menghapus rekaman yang dihapus (tidak ada) di lingkungan Dataverse utama.

3. Penanganan kesalahan dan rekonsiliasi

   • Alur data malam di lingkungan sekunder memperbaiki pembaruan berbasis peristiwa yang terlewat atau gagal.

   • Intervensi manual mungkin diperlukan untuk masalah kualitas data (misalnya, kunci yang hilang).

Komponen

• Microsoft Dataverse: Mendukung persyaratan dua lingkungan.

• Aliran data untuk Power Platform: Ideal untuk operasi massal, seperti populasi dan sinkronisasi data awal. Gunakan ekstraksi, transformasi, dan pemuatan (ETL) massal untuk sinkronisasi terjadwal, yang telah dikonfigurasi di lingkungan sekunder.

• Alur cloud Power Automate: Menyediakan pembaruan khusus rekaman yang cepat dan mengompensasi batasan alur data. Alur cloud dapat memicu aliran data ketika aliran data lain berhasil diselesaikan (seperti ketika satu tabel berisi bidang pencarian ke bidang lain, dan rekaman yang direferensikan tersebut harus sudah ada di lingkungan Dataverse sekunder), mengirim pesan kesalahan saat aliran data gagal, memperbarui status rekaman, dan menghapus rekaman.

• Grup keamanan dan akun layanan: Menyediakan manajemen akses dan kepemilikan.

Detail skenario

Arsitektur ini dirancang untuk hubungan satu-ke-satu: satu lingkungan manajemen data master (MDM) yang ditautkan ke lingkungan tunggal lainnya. Skenario di mana satu lingkungan master harus disinkronkan dengan beberapa lingkungan lain memerlukan solusi yang lebih dapat diskalakan atau didistribusikan.

Masalah bisnis

Solusi ini mengatasi tantangan sinkronisasi beberapa tabel antara dua lingkungan Dataverse yang berbeda. Lingkungan utama bertindak sebagai sumber otoritatif, sementara lingkungan sekunder berisi tabel yang ada yang harus Anda isi dan perbarui dengan data master.

Menggunakan tabel virtual tidak layak ketika tabel sistem sekunder sudah ada dan memerlukan keamanan tingkat baris.

Contoh kasus penggunaan

Organisasi rekreasi dan perhotelan mengelola data intinya, seperti hotel dan inventarisasi kamar, di lingkungan Dataverse khusus. Lingkungan utama mencakup aplikasi berbasis model yang digunakan oleh tim manajemen data master khusus untuk mempertahankan informasi operasional yang akurat dan mutakhir.

Departemen terpisah dalam organisasi yang sama bertanggung jawab atas beberapa proses keuangan dan rekonsiliasi. Untuk menyederhanakan proses ini, departemen ingin membangun aplikasi berbasis modelnya sendiri di lingkungan Dataverse yang terisolasi. Namun, aplikasi mereka masih memerlukan akses ke data master dasar seperti detail hotel dan kamar.

Tim menolak tabel virtual karena tim keuangan perlu memperkaya rekaman dengan atribut khusus departemen yang diatur oleh keamanan tingkat baris yang ketat.

Menyematkan aplikasi keuangan di dalam lingkungan MDM utama juga bukan pilihan. Mengizinkan pembuat keuangan atau administrator ke lingkungan MDM mengekspos konektor, solusi, izin API, dan data sensitif yang harus tetap dibatasi untuk tim pengembangan MDM.

Persyaratan ini menyebabkan organisasi mengadopsi arsitektur sinkronisasi yang dijelaskan dalam artikel ini.

Nilai yang dihasilkan

Arsitektur ini memberikan solusi yang kuat dan dapat dipertahankan untuk menyinkronkan data master antara dua lingkungan Dataverse saat tabel virtual bukan pilihan. Mengisi dan memperbarui tabel yang ada secara langsung di lingkungan sekunder memastikan konsistensi data dan keandalan operasional.

Pendekatan ini hanya menggunakan komponen Power Platform, seperti aliran data dan Power Automate, menghasilkan solusi yang mudah disebarkan, mudah dikelola, dan menghindari kompleksitas yang tidak perlu.

Karena arsitektur disesuaikan untuk hubungan lingkungan satu-ke-satu, arsitektur ini meminimalkan overhead dan memaksimalkan transparansi. Ini ideal untuk organisasi yang membutuhkan sinkronisasi data master yang mudah dan dapat diandalkan tanpa manajemen multi-lingkungan berskala besar.

Considerations

Pertimbangan ini mengimplementasikan pilar Power Platform Well-Architected, seperangkat prinsip panduan yang meningkatkan kualitas beban kerja. Pelajari lebih lanjut di Microsoft Power Platform Well-Architected.

Reliability

• Aliran data per malam memastikan konsistensi.

• Alur berbasis peristiwa memberikan pembaruan cepat.

• Pemantauan manual mendeteksi masalah kualitas data.

Keamanan

• Akun layanan dan grup keamanan untuk kontrol akses. Saat menggunakan aliran data, Anda tidak dapat menetapkan perwakilan layanan sebagai pemilik.

• Titik akhir HTTP berparameter untuk kompatibilitas ALM.

• Aliran data dalam solusi terisolasi untuk menghindari pekerjaan manual yang tidak perlu. Ada alasan khusus untuk mengisolasi aliran data dalam solusi khusus: setelah setiap penyebaran, Anda harus membuat ulang koneksi aliran data secara manual. Dengan menempatkan aliran data dalam solusi terpisah yang Anda sebarkan hanya ketika Anda mengubah aliran data, Anda menghindari pekerjaan manual yang tidak perlu saat menyebarkan komponen lain dari solusi utama.

Keunggulan Operasi

• Penjadwalan otomatis dan orkestrasi aliran data.

• Pemantauan dan peringatan untuk sinkronisasi yang tidak berhasil.

Efisiensi Performa

• Aliran data yang dioptimalkan untuk operasi massal.

• Alur Power Automate berbasis peristiwa meminimalkan latensi untuk pembaruan tingkat catatan yang bersifat kritis. Saat merancang alur yang digerakkan oleh peristiwa, pastikan volume tindakan dan kesamaan eksekusi tetap dalam batas layanan Power Automate. Aktivitas CRUD frekuensi tinggi dapat memicu pembatasan, terutama dalam skenario dengan alur menjalankan puluhan ribu tindakan per hari. Untuk integrasi bisnis penting atau throughput tinggi, terapkan lisensi Power Automate yang sesuai untuk meningkatkan batas throughput dan menghindari pembatasan tak terduga.. Pendekatan ini mengurangi risiko eskalasi dan memastikan performa yang dapat diprediksi.

Pengoptimalan Pengalaman

• Membutuhkan intervensi manual minimal.

• Memisahkan sinkronisasi massal dan berbasis peristiwa dengan jelas.

Kontributor

Microsoft mempertahankan artikel ini. Kontributor berikut menulis artikel ini.

Penulis utama:

• Lothar van Diessen, Arsitek Solusi

Sumber daya terkait

• Apa itu aliran data?
• Templat Power Automate untuk konektor alur data
• Dataverse sebagai sistem data master
• Memahami batas platform dan menghindari pembatasan akses
• Migrasi data CRM ke Dataverse: Wawasan utama dan praktik terbaik
• Migrasi data di antara lingkungan Microsoft Dataverse menggunakan konektor OData alur data