Bagikan melalui

Mereplikasi data ke Microsoft Azure SQL Database menggunakan Layanan Ekspor Data

Catatan

Pusat Power Platform admin yang baru dan ditingkatkan sekarang dalam pratinjau publik! Kami merancang pusat admin baru agar lebih mudah digunakan, dengan navigasi berorientasi tugas yang membantu Anda mencapai hasil tertentu dengan lebih cepat. Kami akan menerbitkan dokumentasi baru dan yang diperbarui saat pusat admin baru Power Platform beralih ke ketersediaan umum.

Catatan

Mulai November 2021, Layanan Ekspor Data tidak digunakan lagi. Layanan Ekspor Data masih dapat digunakan dan akan didukung sepenuhnya hingga mencapai akhir masa dukungan dan akhir masa berlaku pada November 2022. Informasi lebih lanjut: https://aka.ms/DESDeprecationBlog

Layanan Ekspor Data adalah add-on yang disediakan pada Microsoft AppSource yang menambahkan kemampuan mereplikasi data dari database Microsoft Dataverse ke penyimpanan Azure SQL Database pada langganan Azure milik pelanggan. Tujuan target yang didukung adalah Azure SQL Database dan SQL Server di komputer virtual Azure. Layanan Ekspor Data secara cerdas menyinkronkan seluruh data di awal, kemudian menyinkronkan secara terus-menerus saat perubahan terjadi (perubahan delta) di sistem. Proses ini membantu mengaktifkan beberapa skenario analitik dan pelaporan terhadap data dengan layanan data dan analitik Azure, serta membuka kemungkinan baru bagi pelanggan dan mitra untuk membangun solusi kustom.

Catatan

Sangat disarankan agar Anda mengekspor data ke Dataverse Azure Synapse Analytics dan/atau Azure Data Lake Gen2 dengan Azure Synapse Tautan untuk Dataverse. Informasi lebih lanjut: Mempercepat waktu untuk mendapatkan wawasan dengan Azure Synapse Link untuk Dataverse

Amda dapat menggunakan Layanan Ekspor Data dengan aplikasi keterlibatan pelanggan (Dynamics 365 Sales, Dynamics 365 Customer Service, Dynamics 365 Field Service, Dynamics 365 Marketing, dan Dynamics 365 Project Service Automation).

Untuk mendapatkan informasi tentang antarmuka programatik untuk mengelola konfigurasi dan administrasi Layanan Ekspor Data, lihat Layanan Ekspor Data di panduan pengembang.

Prasyarat untuk menggunakan Layanan Ekspor Data

Untuk mulai menggunakan Layanan Ekspor Data, prasyarat berikut diperlukan.

Layanan Azure SQL Database

  • Langganan Azure SQL Database milik pelanggan. Langganan ini harus memungkinkan volume data yang disinkronisasi.

  • Pengaturan firewall. Kami merekomendasikan bahwa Anda mematikan Izinkan akses ke layanan Azure dan menentukan alamat IP klien yang sesuai yang tercantum dalam topik ini. Informasi lebih lanjut: alamat IP statis database Azure SQL yang digunakan oleh layanan ekspor Data

    Atau, Anda dapat mengaktifkan Izinkan akses ke layanan Azure untuk memungkinkan semua akses layanan Azure.

    Untuk SQL Server di Azure VM, pilihan "Hubungkan ke SQL Server melalui Internet" harus diaktifkan. Informasi lebih lanjut: Azure: menyambung ke SQL Server Virtual Machine di Azure

    Selain itu, konfigurasikan aturan firewall untuk memungkinkan komunikasi antara layanan ekspor data dan SQL Server.

  • Database pengguna harus memiliki izin pada tingkat database dan skema sesuai dengan tabel berikut. Pengguna database digunakan dalam string koneksi ekspor data.

    Izin basis data yang diperlukan.

    Kode jenis izin Nama izin
    CRTB MEMBUAT TABLE
    CRTY MEMBUAT TIPE
    CRVW MEMBUAT TAMPILAN
    CRPR MEMBUAT PROSEDUR
    ALUS MENGUBAH SETIAP PENGGUNA
    VWDS LIHAT STATUS DATABASE

    Izin skema yang diperlukan.

    Kode jenis izin Nama izin
    AL UBAH
    IN SISIPKAN
    DL HAPUS
    SL PILIH
    UP PEMBARUAN
    EX EKSEKUSI
    RF REFERENSI

Layanan Azure Key Vault

  • Langganan Key Vault yang dimiliki pelanggan, yang digunakan untuk menjaga string koneksi database dengan aman.

  • Berikan izin PermissionsToSecrets ke aplikasi dengan id "b861dbcc-a7ef-4219-a005-0e4de4ea7dcf". Hal ini dapat dilakukan dengan menjalankan perintah AzurePowerShell di bawah ini dan digunakan untuk mengakses Key Vault yang berisi rahasia string koneksi. Informasi selengkapnya: Cara mengatur Azure Key Vault

  • Rahasia di dalam Key Vault harus ditandai dengan organisasi (OrgId) dan id penyewa (TenantId). Hal ini dapat dilakukan dengan menjalankan perintah AzurePowerShell di bawah ini. Informasi selengkapnya: Cara mengatur Azure Key Vault

  • Konfigurasikan aturan firewall untuk memungkinkan komunikasi antara layanan ekspor data dan Azure Key Vault.

Aplikasi keterlibatan pelanggan

  • Lingkungan versi 9.0 atau versi yang lebih baru.

  • Solusi Layanan Ekspor Data harus diinstal.

    • Buka Pengaturan>Microsoft AppSource> cari atau telusuri Microsoft Dynamics 365 - Layanan Ekspor Data, lalu pilih Dapatkan sekarang.
    • Atau, temukan di Microsoft AppSource.

  • Entitas yang akan ditambahkan ke Profil Ekspor harus diaktifkan dengan pelacakan perubahan. Untuk memastikan entitas standar atau kustom dapat disinkronkan, buka Penyesuaian>Sesuaikan Sistem, lalu pilih entitas. Pada tab umum pastikan opsi pelacakan perubahan di bawah bagian Layanan Data diaktifkan.

  • Anda harus memiliki peran Administrator sistem keamanan dalam lingkungan.

Browser web

Aktifkan pop-up untuk domain https://discovery.crmreplication.azure.net/ di browser web Anda. Hal ini diperlukan untuk masuk otomatis ketika Anda menavigasi ke pengaturan > Ekspor Data.

Layanan, kredensial, dan hak-hak istimewa yang diperlukan

Untuk menggunakan fitur Layanan Ekspor Data, Anda harus memiliki layanan, kredensial, dan hak istimewa berikut.

  • Sebuah langganan. Hanya pengguna yang ditetapkan Peran keamanan Administrator sistem dapat mengatur atau membuat perubahan profil Ekspor.

  • Langganan Azure yang mencakup layanan berikut.

    • Azure SQL Database atau AzureSQL Server di komputer virtual Azure.

    • Azure Key Vault.

Penting

Untuk menggunakan Layanan Ekspor Data, aplikasi keterlibatan pelanggan, dan layanan Azure Key Vault harus beroperasi di bawah penyewa yang sama dan dalam ID yang sama Microsoft Entra . Informasi selengkapnya: Integrasi Azure dengan Microsoft 365

Layanan Azure SQL Database bisa berada di penyewa yang sama atau berbeda dengan layanan.

Apa yang harus Anda ketahui sebelum menggunakan Data Export Service

  • Profil ekspor harus dapat dihapus dan kemudian dibuat kembali setiap kali Anda melakukan salah satu tindakan berikut pada lingkungan.

    • Pulihkan lingkungan.
    • Salinan (lengkap atau minimal) lingkungan.
    • Atur ulang lingkungan.
    • Memindahkan lingkungan ke negara atau kawasan berbeda.

    Untuk melakukan ini, Hapus Profil Ekspor di tampilan PROFIL EKSPOR, lalu Hapus tabel dan prosedur unit tersimpan, dan kemudian buat profil baru. Informasi selengkapnya: Cara menghapus semua tabel Profil Ekspor Data dan prosedur tersimpan

  • Layanan Ekspor Data tidak dapat digunakan untuk kotak pasir atau lingkungan produksi yang dikonfigurasi dengan mode Aktifkan administrasi diaktifkan. Informasi lebih lanjut: mode administrasi.

  • Layanan Ekspor Data tidak mengeluarkan (menghapus) tabel, kolom, atau objek prosedur tersimpan yang terkait di Azure SQL Database tujuan apabila tindakan berikut terjadi.

Profil Ekspor

Untuk mengekspor data dari aplikasi keterlibatan pelanggan, administrator membuat Profil Ekspor. Beberapa profil dapat dibuat dan diaktifkan untuk mensinkronisasi data ke database tujuan yang berbeda secara bersamaan.

Profil Ekspor adalah konsep inti dari Layanan Ekspor Data. Profil Ekspor mengumpulkan informasi pengaturan dan konfigurasi untuk menyinkronkan data dengan database tujuan. Sebagai bagian dari Profil Ekspor, administrator menyediakan daftar entitas untuk diekspor ke database tujuan. Sekali diaktifkan, Profil Ekspor memulai otomatis sinkronisasi data. Pada awalnya, semua data yang terkait dengan setiap entitas yang dipilih akan diekspor. Setelah itu, hanya perubahan data saat terjadi ke rekaman entitas atau metadata dalam aplikasi keterlibatan pelanggan yang disinkronisasi secara terus menggunakan mekanisme dorong nyaris secara real time. Oleh karena itu, Anda tidak perlu mengatur jadwal untuk mengambil data dari aplikasi keterlibatan pelanggan.

Hanya entitas yang telah mengaktifkan pelacakan perubahan dapat ditambahkan ke Profil Ekspor. Perhatikan bahwa, sebagian besar standar entitas yang menangkap data akan mengaktifkan pelacakan perubahan. Entitas kustom harus diaktifkan secara eksplisit untuk melacak perubahan sebelum Anda dapat menambahkannya ke Profil Ekspor. Informasi selengkapnya: Aktifkan pelacakan perubahan untuk mengontrol sinkronisasi data

Layanan Ekspor Data melakukan sinkronisasi metadata dan juga data. Setiap entitas diterjemahkan ke dalam satu tabel, dan masing-masing bidang diterjemahkan ke dalam kolom dalam tabel database tujuan. Tabel dan nama kolom menggunakan nama skema metadata.

Sekali diaktifkan, Profil Ekspor mengumpulkan statistik untuk sinkronisasi data yang membantu dalam visibilitas operasional dan diagnostik data yang diekspor.

Sinkronisasi data tersedia dengan sebuah profil ekspor

Kategori Fitur Jenis data yang didukung
Sinkronisasi awal Metadata - Tipe Data dasar Bilangan, Floating Point Number, angka desimal, baris tunggal teks, teks Multi baris, jenis data tanggal dan waktu.
Sinkronisasi awal Metadata - Tipe Data tingkat lanjut Pilihan mata uang, PartyList, Set, Status, alasan status, Lookup (termasuk pelanggan dan lookup jenis mengenai). PartyList ini hanya tersedia untuk versi ekspor 8.1 dan di atasnya.
Sinkronisasi awal Data - Tipe dasar Semua Tipe Data dasar
Sinkronisasi awal Data - Tipe tingkat lanjut Semua Tipe Data tingkat lanjut
Sinkronisasi Delta Mengubah skema - tipe dasar Tambahkan atau modifikasi perubahan bidang, semua jenis data dasar.
Sinkronisasi Delta Mengubah skema - tipe tingkat lanjut Tambahkan atau modifikasi perubahan bidang, semua jenis data lanjutan.
Sinkronisasi Delta Mengubah Data - tipe dasar Semua Tipe Data dasar
Sinkronisasi Delta Mengubah Data - Tipe tingkat lanjut Semua jenis data lanjutan, seperti PartyList.

Buat Profil Ekspor

Pastikan bahwa persyaratan berikut terpenuhi sebelum membuat Profil Ekspor.

  • Solusi Layanan Ekspor Data diinstal di lingkungan Anda.

  • Kelola string koneksi SQL Database di Key Vault, lalu salin URL Key Vault untuk dicantumkan dalam Profil Ekspor. Informasi lebih lanjut: Azure: memulai dengan Azure Key Vault

  • Entitas yang akan ditambahkan ke Profil Ekspor diaktifkan untuk pelacakan perubahan. Informasi selengkapnya: Aktifkan pelacakan perubahan untuk mengontrol sinkronisasi data

  • Layanan SQL Database Anda memiliki ruang penyimpanan yang cukup untuk menyimpan data.

  • Anda adalah seorang Administrator sistem di lingkungan.

  1. Buka Pengaturan>Ekspor Data.

  2. Baca pemberitahuannya, lalu pilih Lanjutkan atau Batalkan jika Anda tidak ingin mengekspor data.

  3. Pilih Baru untuk membuat Profil Ekspor baru.

  4. Pada langkah Properti, masukkan informasi berikut, kemudian pilih Berikutnya untuk melanjutkan tanpa terhubung ke Key Vault. Memilih Validasi akan menggunakan URL Key Vault yang Anda berikan untuk terhubung ke Key Vault.

    • Nama. Nama unik profil. Bidang ini wajib.

    • URL koneksi Key Vault. URL Key Vault yang mengarah ke string koneksi disimpan dengan kredensial yang digunakan untuk menghubungkan ke database tujuan. Bidang ini wajib. Informasi selengkapnya: Cara mengatur Azure Key Vault

      Penting

      URL sambungan penyimpanan kunci bersifat peka besar huruf. Masukkan URL Koneksi Key Vault persis seperti yang ditampilkan setelah Anda menjalankan perintah Windows PowerShell dalam topik ini.

    • Skema. Nama untuk skema database alternatif. Hanya karakter alfanumerik yang berlaku. Bidang ini opsional. Secara default, dbo adalah skema yang digunakan untuk SQL Database tujuan.

    • Awalan. Prefiks digunakan untuk nama tabel yang dibuat dalam database tujuan. Ini akan membantu Anda dengan mudah mengidentifikasi tabel yang dibuat untuk Profil Ekspor dalam database tujuan. Bila ditentukan, pastikan bahwa prefiks adalah kurang dari 15 karakter. Field ini sifatnya opsional dan hanya karakter alfanumerik yang diperbolehkan.

    • Jumlah coba lagi. Jumlah kali catatan dicoba lagi jika terjadi kegagalan untuk memasukkan atau memperbarui di tabel tujuan. Bidang ini wajib. Nilai-nilai yang dapat diterima adalah 0-20 dan default adalah 12.

    • Interval coba lagi. Jumlah detik menunggu sebelum coba lagi jika terjadi kegagalan. Bidang ini wajib. Nilai-nilai yang dapat diterima adalah 0-3600 dan default adalah 5.

    • Tulis Log Hapus. Pengaturan opsional untuk mencatat rekaman yang dihapus.

    Tab Properti di kotak dialog Buat Profil Ekspor.

  5. Pada langkah Pilih Entitas, pilih entitas yang ingin Anda ekspor ke SQL Database tujuan, lalu pilih Berikutnya.

    Pilih tab Entitas di kotak dialog Buat Profil Ekspor.

  6. Dalam langkah pilih hubungan, Anda dapat mensinkronisasi relasi M:N (banyak-ke-banyak) yang ada dengan entitas yang Anda pilih pada langkah sebelumnya. Pilih Selanjutnya.

    Buat Profil Ekspor - Kelola Hubungan - Pilih Hubungan.

  7. Pada langkah Ringkasan, pilih Buat dan Aktifkan untuk membuat rekaman profil dan terhubung ke Key Vault, yang akan memulai proses sinkronisasi. Jika tidak, pilih Buat untuk menyimpan Profil Ekspor dan mengaktifkannya di lain waktu.

    Ringkasan tab di kotak dialog Buat Profil Ekspor.

Memodifikasi profil ekspor yang ada

Anda dapat menambahkan atau menghapus entitas dan hubungan dalam Profil Ekspor yang ada yang ingin Anda tiru.

  1. Buka Pengaturan>Ekspor Data.

  2. Di tampilan Semua Data profil ekspor, pilih Profil Ekspor yang ingin Anda ubah.

    Pilih Profil Ekspor.

  3. Di toolbar Tindakan, pilih KELOLA ENTITAS untuk menambahkan atau menghapus entitas ekspor data. Untuk menambah atau menghapus relasi entitas, pilih KELOLA RELASI.

    Mengelola entitas atau hubungan entitas.

  4. Pilih entitas atau relasi entitas yang ingin Anda tambahkan atau hapus.

    Pilih entitas atau hubungan entitas untuk ditambahkan atau dihapus.

  5. Pilih Perbarui untuk mengirimkan perubahan ke Profil Ekspor.

Penting

Ketika Anda menghapus sebuah entitas atau relasi entitas dari Profil Ekspor, itu tidak menghasilkan tabel yang sesuai dalam database tujuan. Sebelum Anda dapat menambahkan entitas yang telah dihapus, Anda harus menghasilkan tabel yang sesuai dalam database tujuan. Untuk mengeluarkan tabel entitas, lihat Bagaimana menghapus tabel profil Ekspor Data dan prosedur unit tersimpan untuk entitas tertentu.

Rincian tabel database Azure SQL tujuan

Layanan Ekspor Data membuat tabel untuk metadata dan data. Tabel dibuat untuk setiap entitas dan relasi M:N yang disinkronisasi.

Setelah Profil Ekspor diaktifkan, tabel ini dibuat dalam database tujuan. Ini adalah tabel sistem dan akan tidak menambahkan bidang SinkCreatedTime dan SinkModifiedTime.

nama tabel Dibuat
<Awalan>_GlobalOptionsetMetadata Saat aktivasi Profil Ekspor.
<Awalan>_OptionsetMetadata Saat aktivasi Profil Ekspor.
<Awalan>_StateMetadata Saat aktivasi Profil Ekspor.
<Awalan>_StatusMetadata Saat aktivasi Profil Ekspor.
<Awalan>_TargetMetadata Saat aktivasi Profil Ekspor.
<Awalan>_AttributeMetadata Saat aktivasi Profil Ekspor.
<Awalan>_DeleteLog Saat aktivasi Profil Ekspor bila pilihan hapus log diaktifkan.

Memecahkan masalah sinkronisasi

Bahkan setelah beberapa upaya ulangan, kegagalan sinkronisasi rekaman dapat timbul dari kendala penyimpanan Database, atau penguncian tabel karena kueri yang lama berjalan. Untuk mengatasi kegagalan ini, Anda dapat memaksa resinkronisasi hanya rekaman yang gagal atau resinkronisasi semua data.

  1. Lihat profil ekspor untuk mencari apapun yang memiliki kegagalan sinkronisasi rekaman. Anda melakukannya dengan melihat profil data di area Sinkronisasi atau dengan membuka Profil Ekspor, seperti profil ini yang memiliki kegagalan sinkronisasi rekaman entitas kontak.

    DataExport_failed_records_exist.

  2. Periksa sumber gangguan sinkronisasi dan selesaikan. Informasi selengkapnya: Penanganan dan pemantauan kesalahan

  3. Setelah masalah ini telah diselesaikan, sinkronisasi ulang rekaman yang gagal.

    Catatan

    Sinkronisasi rekaman gagal adalah fitur pratinjau publik.

    • Fitur pratinjau tidak dibuat untuk penggunaan produksi dan mungkin memiliki fungsionalitas yang dibatasi. Fitur ini tersedia sebelum rilis resmi agar pelanggan bisa memperoleh akses awal dan memberikan tanggapan.
      • Kami mengharapkan perubahan pada fitur ini, karena itu Anda tidak harus menggunakannya dalam produksi. Gunakan hanya dalam lingkungan tes dan pengembangan.
      • Microsoft tidak memberikan dukungan untuk fitur pratinjau ini. Dukungan Teknis Microsoft Dynamics 365 tidak dapat membantu masalah dan pertanyaan Anda. Fitur pratinjau tidak dibuat untuk penggunaan produksi dan diatur dalam persyaratan penggunaan tambahan terpisah.

    1. Masuklah ke lingkungan Anda dan pergi ke pengaturan>Ekspor Data.

    2. Buka Profil Ekspor yang mencakup kegagalan sinkronisasi rekaman.

    3. Di toolbar Profil Ekspor, pilih SINKRONKAN ULANG REKAMAN YANG GAGAL.

    4. Pilih Ok pada dialog konfirmasi setelah berhasil menyinkronkan ulang rekaman yang gagal.

    Pemberitahuan sinkronisasi ulang yang berhasil.

    1. Verifikasi bahwa Profil Ekspor tidak berisi pemberitahuan rekaman yang gagal dengan membuka profil ekspor data dan melihat penghitung Pemberitahuan Gagal pada tab PROPERTIES & OVERVIEW , yang seharusnya 0 . Pilih REFRESH di toolbar Profil Ekspor untuk memastikan nilai Pemberitahuan Gagal menunjukkan nilai terbaru.

    Nol catatan gagal indikasi.

  4. Jika kegagalan sinkronisasi rekaman terus terjadi setelah Anda mencoba resynchronizing dengan mengikuti langkah-langkah sebelumnya, hubungi layanan dukungan pelanggan Microsoft.

Penanganan dan pemantauan kesalahan

Untuk melihat status sinkronisasi Profil Ekspor, pergi ke pengaturan>Ekspor Data dan buka Profil Ekspor. Pada tab ENTITAS, status Sinkronisasi ditampilkan termasuk kolom rekaman gagal untuk rekaman yang tidak dapat disinkronisasi. Daftar rekaman yang gagal, termasuk alasan statusnya, dapat diunduh dengan memilih REKAMAN GAGAL pada baris perintah.

Bilah perintah Ekspor Profil - tombol Catatan Gagal.

Di Export Profile Anda dapat memilih PROPERTIES & OVERVIEW untuk menampilkan properti profil. Pilih RELASI untuk melihat status relasi sinkronisasi.

Bagaimana untuk melihat informasi rinci tentang rekaman yang gagal untuk disinkronisasi

Melihat log rekaman gagal dapat membantu Anda menentukan penyebab gangguan sinkronisasi. Untuk melihat rekaman gagal dalam database tujuan Azure tujuan, gunakan Azure Storage Explorer, aplikasi mandiri gratis yang memungkinkan Anda untuk dengan mudah bekerja dengan data Azure Storage. Informasi selengkapnya: Azure Storage Explorer.

  1. Buka Pengaturan>Ekspor Data.

  2. Di tampilan dalam Semua Data profil ekspor, pilih Profil Ekspor yang memiliki pemberitahuan gagal.

    Notifikasi gagal.

  3. Di toolbar Tindakan, pilih REKAMAN GAGAL.

    Tombol toolbar rekaman yang gagal.

  4. Di kotak dialog Unduh Rekaman yang Gagal, pilih Salin URL Blob, lalu pilih Ok.

    Kotak dialog Unduh rekaman yang gagal.

    Catatan

    URL blob ini berlaku hingga 24 jam. Jika URL melebihi periode 24 Jam, ulangi langkah-langkah yang dijelaskan sebelumnya untuk menghasilkan URL blob baru.

  5. Mulai Azure Storage Explorer.

  6. Di Azure Storage Explorer, pilih Hubungkan ke Azure Storage.

  7. Tempel URL dari clipboard Anda ke kotak Hubungkan ke Azure Storage, lalu pilih Berikutnya.

  8. Di halaman Ringkasan Koneksi, pilih Hubungkan.

  9. Azure Storage Explorer terhubung ke database tujuan. Jika ada rekaman gagal untuk Profil Ekspor, Azure Storage Explorer menampilkan folder sinkronisasi rekaman yang gagal.

Bagaimana untuk melihat informasi rinci tentang rekaman yang gagal untuk disinkronisasi (pratinjau)

Anda dapat mengunduh rekaman yang gagal secara langsung dari dalam antarmuka pengguna Layanan Ekspor Data. Fitur ini saat ini dalam pratinjau dan akan bagus jika Anda menguji dan memberikan tanggapan.

Langkah-langkah untuk mengunduh catatan yang gagal:

  1. Identifikasikan profil dengan rekaman gagal.

    Profil ekspor data.

  2. Pilih profil, lalu pilih Unduh rekaman gagal (pratinjau) dari bilah menu atas.

    Unduh rekaman yang gagal (pratinjau).

  3. Di Unduh rekaman gagal kotak dialog, Anda akan melihat daftar diurutkan terakhir 20 file blob (maks). Pilih yang ingin diunduh, lalu pilih OK.

    Unduh catatan yang gagal.

  4. Setelah diunduh, buka file dalam editor teks pilihan Anda (misalnya, Notepad) dan melihat rincian untuk kegagalan.

    Contoh log kesalahan.

File log dan struktur folder sinkronisasi rekaman gagal

URL Penyimpanan blob Azure rekaman gagal mengarah ke lokasi yang memiliki struktur folder berikut:

  • data. Folder ini berisi pemberitahuan data yang gagal dan JSON terkait untuk data rekaman.

  • metadata. Folder ini berisi pemberitahuan metadata yang gagal dan JSON terkait untuk metadata.

  • failurelog. Folder ini berisi log yang menyediakan informasi tentang gangguan sinkronisasi dan alasan kegagalan terjadi.

  • forcerefreshfailurelog yang dihapus. Folder ini berisi kesalahan dari eksekusi terakhir perintah Rekaman Gagal Layanan Ekspor Data yang digunakan untuk menyinkronkan ulang rekaman yang gagal.

  • tidak dapat diproses. Folder ini berisi pemberitahuan data yang tidak diolah baik karena penghapusan data atau metadata dan JSON terkait.

    Folder failurelog dan forcerefreshfailurelog dibuat dengan struktur Tahun\Bulan\Tanggal\Jam sehingga Anda dapat dengan cepat menemukan kegagalan terbaru. Semua rekaman kegagalan yang lebih tua dari 30 hari akan dihapus.

    Berikut adalah contoh file log yang menunjukkan kegagalan sinkronisasi rekaman entitas kontak.

Entity: contact, RecordId: 459d1d3e-7cc8-e611-80f7-5065f38bf1c1, NotificationTime: 12/28/2016 12:32:39 AM, ChangeType: Update, FailureReason: The database 'tempdb' has reached its size quota. Partition or delete data, drop indexes, or consult the documentation for possible resolutions.  
The statement has been terminated.

Alasan umum untuk gangguan sinkronisasi rekaman

Berikut adalah beberapa alasan mengapa gangguan sinkronisasi rekaman dapat terjadi.

  • Penyimpanan tidak mencukupi untuk database tujuan. Sebelum mencoba menyinkronkan ulang rekaman yang gagal, tingkatkan atau kosongkan sebagian penyimpanan Azure SQL Database sesuai kebutuhan. Ketika masalah ini terjadi, sebuah pesan yang mirip dengan ini dicatatkan ke log kegagalan.

    Database 'databasename' telah mencapai kuota ukurannya. Partisi atau hapus data, keluarkan indeks, atau Periksa dokumentasi untuk kemungkinan resolusi.

  • Timeout sinkronisasi dengan Azure SQL Database. Hal ini dapat terjadi selama sinkronisasi awal profil ekspor data ketika sejumlah besar data diproses pada satu waktu. Ketika masalah ini terjadi, sinkronisasi ulang rekaman gagal. Menyelesaikan masalah sinkronisasi

Praktik terbaik ketika menggunakan Azure SQL Database dengan Ekspor Data

  • Untuk menghindari kesalahan sinkronisasi karena pembatasan sumber daya, kami menganjurkan Anda untuk memiliki Azure SQL Database Premium P1 atau skema yang lebih baik apabila Anda menggunakan Layanan Ekspor Data. Informasi selengkapnya: Batas sumber daya Azure SQL Database dan Harga SQL Database

  • Atur Azure SQL Database agar menggunakan Read Committed Snapshot Isolation (RCSI) untuk beban kerja yang berjalan secara bersamaan pada database tujuan yang menjalankan kueri baca yang berjalan lama, seperti pekerjaan pelaporan dan ETL. Hal ini mengurangi terjadinya kesalahan timeout yang dapat terjadi pada Layanan Ekspor Data karena konflik baca\tulis.

  • Untuk membantu meningkatkan kinerja kueri, sebaiknya paralelisme maksimum (MAXDOP) untuk database Layanan Ekspor Data diatur ke 1. Informasi lebih lanjut: MSDN: opsi memori Server

  • Sering-seringlahlah melakukan penilaian jumlah fragmentasi, dan bila perlu, bangun ulang indeks di database Layanan Ekspor Data. Informasi lebih lanjut: reorganisasi dan membangun kembali indeks

  • Perbarui secara berkala statistik database terkait tabel dan tampilan terindeks di database Layanan Ekspor Data. Informasi lebih lanjut: Perbarui Statistik

  • Pantau pemanfaatan database Layanan Ekspor Data. Informasi lebih lanjut: Pemantauan perf

Tentang latensi sinkronisasi data

Layanan Ekspor Data dirancang untuk menyinkronkan perubahan data ke database tujuan menggunakan mekanisme dorong dengan mendengarkan perubahan saat terjadi di aplikasi keterlibatan pelanggan. Layanan berupaya mendorong data dalam beberapa menit, namun ada beberapa faktor yang dapat mempengaruhi latensi end-to-end sinkronisasi.

Faktor yang mempengaruhi durasi sinkronisasi mencakup berikut:

  • Beban kerja saat ini pada aplikasi keterlibatan pelanggan.
  • Tingkat perubahan data di aplikasi keterlibatan pelanggan.
  • Beberapa entitas yang ditambahkan ke setiap profil ekspor dan atribut mereka.
  • Kinerja SQL Server. Contoh:
    • Waktu konfigurasi koneksi SQL.
    • Waktu eksekusi pernyataan SQL.

Berdasarkan pemantauan kami tentang Layanan, telah diamati bahwa sebagian besar sinkronisasi delta terus-menerus selesai dalam 15 menit saat Layanan beroperasi dalam kondisi berikut:

  • Sinkronisasi yang terjadi adalah sinkronisasi delta dan bukan sinkronisasi awal. Sinkronisasi Delta tersebut hanya untuk operasi perubahan data, yang mencakup rekaman membuat, memperbarui, dan menghapus transaksi. Perlu diketahui bahwa sinkronisasi delta dimulai setelah sinkronisasi awal telah diselesaikan.
  • Tingkat perubahan data maksimum di aplikasi keterlibatan pelanggan untuk semua entitas di profil ekspor adalah kurang dari 3000 rekaman per jam. Peningkatan tiba-tiba apa pun dalam tingkat perubahan data karena perubahan massal rekaman yang melebihi tingkat perubahan maksimum akan menyebabkan latensi tambahan.
  • Setiap entitas yang ditambahkan ke profil ekspor memiliki kurang dari 150 atribut.
  • Koneksi database atau eksekusi pernyataan SQL selesai di kurang dari 10 detik. Jika batas ini terlampaui akan mengakibatkan latensi tambahan.
  • Tidak ada koneksi database tujuan atau kesalahan eksekusi SQL yang terjadi selama sinkronisasi.

Ketika kondisi di atas terpenuhi, 15 menit adalah latensi umum sinkronisasi. Microsoft tidak menyediakan perjanjian tingkat layanan (SLA) untuk Layanan Ekspor Data dan tidak membuat jaminan atau komitmen mengenai waktu latensi sinkronisasi.

Cara mengatur Azure Key Vault

Jalankan skrip Windows PowerShell yang dijelaskan di sini sebagai administrator akun Azure untuk memberikan izin bagi fitur Layanan Ekspor Data agar dapat mengakses Azure Key Vault Anda. Script ini menampilkan URL key vault yang diperlukan untuk membuat Profil Ekspor yang digunakan untuk mengakses string koneksi.

Sebelum menjalankan script, Ubah placeholder untuk variabel berikut.

  • $subscriptionId. Grup sumber daya Key Vault yang akan digunakan. Jika resource group belum ada, yang baru dengan nama yang Anda tentukan akan dibuat. Dalam contoh ini, ContosoResourceGroup1 digunakan.

  • $location. Tentukan lokasi grup sumber daya terletak, atau seharusnya, terletak, seperti West US.

  • $connectionString. String koneksi ke Azure SQL Database. Anda dapat menggunakan string koneksi ADO.NET sebagaimana yang ditampilkan di dasbor Azure Anda.

  • $organizationIdList = Daftar dipisah koma yang berisi organisasi yang diperbolehkan, dicantumkan menurut ID organisasi (organizationId), yang akan diaktifkan untuk Layanan Ekspor Data. Untuk menemukan sebuah Id organisasi, pergi ke pengaturan>penyesuaian>sumber daya pengembang. Id Organisasi ada di bawah informasi referensi lingkungan.

  • $tenantId. Tentukan ID penyewa Azure Active Directory untuk langganan Key Vault.

Penting

Langganan Azure dapat memiliki beberapa ID penyewa Azure Active Directory. Pastikan Anda memilih ID penyewa Azure Active Directory yang benar dan terkait dengan lingkungan yang akan Anda gunakan untuk ekspor data.

Catatan

Pastikan ID Pengguna yang dirujuk dalam $connectionString memiliki izin yang sesuai ke database Azure SQL Database target.

# -------------------------------------------------------------------------------- #
    #  Provide the value for the following parameters before executing the script
$subscriptionId = 'ContosoSubscriptionId'    
$keyvaultName = 'ContosoKeyVault'
    $secretName = 'ContosoDataExportSecret'
    $resourceGroupName = 'ContosoResourceGroup1'
    $location = 'West US'
    $connectionString = 'AzureSQLconnectionString'
$organizationIdList = 'ContosoSalesOrg1_id, ContosoSalesOrg2_id'
$tenantId = 'tenantId'
    # -------------------------------------------------------------------------------- #

# Login to Azure account, select subscription and tenant Id
Connect-AzAccount -Tenant $tenantId -Subscription $subscriptionId

# Create new resource group if not exists.
$rgAvail = Get-AzResourceGroup -Name $resourceGroupName -Location $location -ErrorAction SilentlyContinue
if(!$rgAvail){
    New-AzResourceGroup -Name $resourceGroupName -Location $location
}

# Create new key vault if not exists.
$kvAvail = Get-AzKeyVault -VaultName $keyvaultName -ResourceGroupName $resourceGroupName -ErrorAction SilentlyContinue
if(!$kvAvail){
    New-AzKeyVault -VaultName $keyvaultName -ResourceGroupName $resourceGroupName -Location $location
    # Wait few seconds for DNS entry to propagate
    Start-Sleep -Seconds 15
}

# Create tags to store allowed set of Organizations.
$secretTags = @{}
foreach ($orgId in $organizationIdList.Split(',')) {
    $secretTags.Add($orgId.Trim(), $tenantId)
}

# Add or update a secret to key vault.
$secretValue = ConvertTo-SecureString $connectionString -AsPlainText -Force
$secret = Set-AzKeyVaultSecret -VaultName $keyvaultName -Name $secretName -SecretValue $secretValue -Tags $secretTags

# Authorize application to access key vault.
$servicePrincipal = 'b861dbcc-a7ef-4219-a005-0e4de4ea7dcf'
Set-AzKeyVaultAccessPolicy -VaultName $keyvaultName -ServicePrincipalName $servicePrincipal -PermissionsToSecrets get

# Display secret url.
Write-Host "Connection key vault URL is "$secret.id.TrimEnd($secret.Version)""

Bagaimana menghapus semua tabel profil Ekspor Data dan prosedur unit tersimpan

Penting

Sebelum menjalankan pernyataan SQL ini, pastikan Anda telah menentukan dengan benar nilai @prefix dan @schema dalam pernyataan. Profil Ekspor akan perlu kembali dibuat setelah Anda menjalankan pernyataan SQL ini.

-----------------------------------------------------------------
-- Provide the value for the following parameters
DECLARE @prefix nvarchar(32) =''
DECLARE @schema nvarchar(32) ='dbo'
-----------------------------------------------------------------

DECLARE @sql nvarchar(max) = '';

SELECT @sql += 'DROP TABLE ' + QUOTENAME([TABLE_SCHEMA]) + '.' + QUOTENAME([TABLE_NAME]) + ';'
FROM [INFORMATION_SCHEMA].[TABLES]
WHERE [TABLE_TYPE] = 'BASE TABLE' AND [TABLE_NAME] like @prefix + '_%' AND [TABLE_SCHEMA]= @schema;

PRINT @sql
EXEC SP_EXECUTESQL @sql;

PRINT 'Finished dropping all tables. Starting to drop all stored procedures now.'

SELECT @sql='';
SELECT @sql += 'DROP PROCEDURE ' + QUOTENAME([ROUTINE_SCHEMA]) + '.' + QUOTENAME([ROUTINE_NAME]) + ';'
FROM [INFORMATION_SCHEMA].[ROUTINES]
WHERE [ROUTINE_TYPE] = 'PROCEDURE' AND [ROUTINE_NAME] like @prefix + '_%' AND [ROUTINE_SCHEMA]= @schema;
PRINT @sql
EXEC SP_EXECUTESQL @sql;

PRINT 'Finished dropping all stored procedures. Starting to drop all types now.'

SELECT @sql=''; 
SELECT @sql += 'DROP TYPE ' + QUOTENAME(SCHEMA_NAME([SCHEMA_ID])) + '.' +  QUOTENAME([NAME]) + ';'
FROM SYS.TYPES
WHERE is_user_defined = 1 AND [NAME] LIKE @prefix + '_%' AND [SCHEMA_ID]=SCHEMA_ID(@schema);

PRINT @sql
EXEC SP_EXECUTESQL @sql;

Bagaimana menghapus tabel profil Ekspor Data dan prosedur unit tersimpan untuk entitas tertentu

Penting

Sebelum menjalankan pernyataan SQL ini, pastikan Anda telah menentukan dengan benar nilai @prefix, @schema, dan @entityName dalam pernyataan. Dalam contoh ini, prospek entitas tabel, jenis, dan prosedur unit tersimpan dikeluarkan.

-----------------------------------------------------------------
-- Provide the value for the following parameters
DECLARE @prefix nvarchar(32) ='crm'
DECLARE @schema nvarchar(32) ='dbo'
DECLARE @entityName nvarchar(32) ='lead'
-----------------------------------------------------------------
DECLARE @sql nvarchar(max) = '';

IF @prefix != '' 
BEGIN
       SET @prefix = @prefix + '_'
END

SELECT @sql += 'DROP TABLE ' + QUOTENAME([TABLE_SCHEMA]) + '.' + QUOTENAME([TABLE_NAME]) + ';'
FROM [INFORMATION_SCHEMA].[TABLES]
WHERE [TABLE_TYPE] = 'BASE TABLE' AND [TABLE_NAME] like @prefix + @entityName  AND [TABLE_SCHEMA]= @schema;
PRINT @sql
EXEC SP_EXECUTESQL @sql;
PRINT 'Finished dropping the entity. Starting to drop the types associated with the entity'

SELECT @sql='';
SELECT @sql += 'DROP TYPE ' + QUOTENAME(SCHEMA_NAME([SCHEMA_ID])) + '.' + QUOTENAME([NAME]) + ';'
FROM SYS.TYPES
WHERE
  is_user_defined = 1
  AND (
    [NAME] LIKE @prefix + @entityName +'Type' 
    OR [NAME] LIKE @prefix + @entityName +'IdType'
  )
  AND [SCHEMA_ID] = SCHEMA_ID(@schema);
PRINT @sql
EXEC SP_EXECUTESQL @sql;

Cara menghapus instalan Layanan Ekspor Data dari Mengelola Power Platform

  1. Buka pengaturan Tingkat Lanjut.
  2. Pilih Pengaturan > Penyesuaian, lalu pilih Solusi.
  3. Pilih DataExportService yang dipublikasikan oleh Microsoft Dynamics 365, lalu pilih Hapus.

Temukan Microsoft Entra Id penyewa untuk penyewa Anda

  1. Masuk ke Azure portal.
  2. Dalam Layanan Azure pilih properti penyewa.
  3. Pilih nilai pada bidang id penyewa.

alamat IP statis database Azure SQL yang digunakan oleh layanan ekspor Data

Di Azure SQL Database, pilih Atur firewall server, ubah Izinkan akses ke layanan Azure ke MATI, pilih Tambahkan IP klien, lalu tambahkan alamat IP yang sesuai untuk wilayah lingkungan Anda. Informasi selengkapnya: Azure: Mengonfigurasi aturan firewall tingkat server Azure SQL Database menggunakan Azure Portal

Wilayah Alamat IP baru Alamat IP lama
AS Barat 20.245.127.60 13.64.148.9
AS Timur 172.174.41.63 20.228.153.81
Asia Timur 20.239.192.9 104.208.84.217
Asia Tenggara 20.24.15.60 20.205.153.14
India Tengah 20.219.158.75 20.198.113.107
India Selatan 52.140.54.95 104.211.204.18
Eropa Barat 20.126.43.104 40.68.244.253
Eropa Utara 20.166.94.137 20.238.83.32
Jepang Barat Tidak ada perubahan 104.214.144.93
Jepang Timur 52.253.104.175 20.89.138.246
Brasil Selatan 4.228.211.102 20.197.186.17
Australia Tenggara Tidak ada perubahan 20.70.112.80
Australia Timur 20.5.88.96 20.213.58.3
Kanada Tengah 20.220.227.230 20.151.173.107
Kanada Timur 40.86.216.207 52.229.109.91
Kerajaan Inggris Bersatu Barat 51.142.173.150 20.68.113.18
Kerajaan Inggris Bersatu Selatan 20.117.159.198 20.117.89.184

Catatan

Pelanggan Amerika Utara harus menambahkan alamat IP ke daftar yang disetujui untuk AS Timur dan AS Barat.

Untuk mencegah gangguan pada sinkronisasi data, pelanggan harus menyimpan alamat IP baru dan alamat IP lama.

Masalah yang diketahui

Rekaman yang dihapus mungkin dimasukkan kembali ke dalam tabel entitas setelah gangguan sinkronisasi

Ketika Anda pulih dari gangguan sinkronisasi, rekaman yang sebelumnya telah dihapus mungkin dimasukkan kembali ke dalam tabel entitas awal. Untuk mengatasi masalah ini ketika terjadi gangguan sinkronisasi, ikuti langkah berikut.

  1. Buat profil ekspor dengan Tulis Hapus Log diaktifkan. Buat lagi profil ekspor yang ada bila tidak mengaktifkan Tulis Hapus Log.

  2. Buat dan jalankan query SQL untuk database Azure SQL tujuan yang mencari rekaman dalam tabel DeleteLog. Jika satu atau lebih rekaman ditemukan, itu menunjukkan adanya rekaman dihapus.

  3. Jika ada satu atau beberapa rekaman dalam tabel DeleteLog, buat dan jalankan kueri SQL yang dapat mendeteksi lingkungan tempat Id rekaman untuk rekaman yang ditemukan dalam tabel DeleteLog sesuai dengan Id rekaman untuk rekaman di tabel EntityName dan versionNumber di deleteLog lebih besar dari versionNumber pada rekaman di tabel EntityName. Ketika Id rekaman cocok, hapus rekaman dari tabel EntityName. Misalnya, jika Id rekaman di kolom AccountId tabel DeleteLog cocok dengan Id rekaman kolom AccountId dari tabel entitas AccountBase dan versionNumber di DeleteLog lebih besar dari versionNumber di tabel Account, hapus rekaman dari tabel entitas AccountBase.

    Penting

    Tergantung pada kebutuhan bisnis dan persyaratan, sebaiknya Anda sering menjalankan kueri SQL untuk penghapusan rekaman, tetapi selama jam non-operasional.

    Contoh kueri untuk penghapusan rekaman entitas.

DELETE A FROM [dbo].[prefix_account] A
WHERE id IN (SELECT CONVERT(uniqueidentifier, recordid) FROM [dbo].[prefix_DeleteLog] DL WHERE DL.entityname ='account'
AND DL.VersionNumber > A.VersionNumber)

Entitas yang tidak mendukung ekspor data

Entitas yang tercantum di sini, meskipun mereka mendukung pelacakan perubahan, tidak didukung untuk ekspor data menggunakan Layanan Ekspor Data.

Entitas Nama Tabel Solusi
Aktivitas ActivityPointerBase Pilih entitas aktivitas spesifik untuk ekspor, seperti panggilan telepon, janji temu, Email, dan tugas.

Tidak dapat membuat baris yang lebih besar dari ukuran baris maksimum yang diizinkan (8K)

Jika log kesalahan Anda menampilkan "tidak dapat membuat baris ukuran (ukuran) yang lebih besar dari ukuran baris maksimum yang diizinkan 8060", Anda mendapatkan masalah melampaui batas ukuran maksimum baris yang dibolehkan. Layanan Ekspor Data tidak mendukung ukuran baris yang lebih besar dari ukuran maksimum baris yang dibolehkan 8k. Untuk mengatasi ini, Anda harus memastikan bahwa Anda menghormati batas ukuran baris.

Panjang string dalam sumber lebih panjang dari skema tujuan untuk ColumnName

Jika log kesalahan Anda menampilkan "panjang String dalam sumber lebih dari skema tujuan untuk [ColumnName, MaxDataLength]" Anda mendapatkan masalah panjang string data sumber lebih panjang dari tujuan. Jika panjang string data sumber lebih panjang dari tujuan, menulis ke tujuan akan gagal. Untuk mengatasi masalah ini, Anda akan perlu untuk mengurangi ukuran data atau meningkatkan panjang kolom, lebih besar dari MaxLength secara manual dalam DB.

Tidak ada dukungan untuk lampiran

Mengekspor lampiran seperti documentbody pada tabel Anotasi tidak didukung.

Pemberitahuan privasi

Dengan menggunakan Layanan Ekspor Data, saat Anda mengaktifkan profil ekspor data dari dalam Dynamics 365, data entitas yang ditambahkan ke profil akan dikirim ke Azure. Sinkronisasi awal menyertakan semua data terkait dengan entitas yang ditambahkan ke profil ekspor, namun setelahnya sinkronisasi hanya menyertakan perubahan baru, yang secara kontinu dikirim ke Layanan Ekspor Data. Data yang dikirim ke Layanan Ekspor Data disimpan sementara dalam Azure Service Bus dan Azure Storage, diproses di Azure Service Fabric, dan akhirnya disinkronkan (dimasukkan, diperbarui, atau dihapus) ke database tujuan yang ditentukan dalam langganan Azure Anda. Setelah disinkronkan, data akan dihapus dari Azure Service Bus dan Azure Storage. Jika ada kegagalan selama sinkronisasi data, data minimal yang sesuai dengan jenis entitas, ID rekaman, dan label waktu sinkronisasi akan disimpan dalam Azure Storage untuk memungkinkan pengunduhan daftar rekaman yang tidak diperbarui.

Administrator dapat menonaktifkan profil ekspor data kapan pun untuk menghentikan sinkronisasi data. Selain itu, administrator dapat menghapus profil ekspor untuk menghapus log rekaman yang gagal dan menghapus instalan solusi Layanan Ekspor Data agar berhenti menggunakan Layanan Ekspor Data.

Sinkronisasi data terjadi secara terus-menerus antara Dynamics 365 dan Layanan Ekspor Data dengan cara yang aman. Data dienkripsi selagi ditransmisikan secara terus-menerus antara Dynamics 365 dan Layanan Ekspor Data.

Komponen dan layanan Azure yang terlibat dengan Layanan Ekspor Data diuraikan dalam bagian berikut.

Microsoft Azure Pusat Kepercayaan

Azure Service Fabric

Layanan ini menyediakan API dan melakukan komputasi Azure VM untuk memproses pemberitahuan sinkronisasi rekaman yang diterima dari Dynamics 365, lalu memprosesnya untuk memasukkan, memperbarui, atau menghapus data rekaman dalam database tujuan. Layanan mikro yang disebarkan pada komputer virtual yang dikelola oleh runtime Azure Service Fabric menangani semua layanan penghitung terkait dengan sinkronisasi data.

Bus Layanan Azure

Layanan ini menyediakan bus pesan tempat Dynamics 365 memasukkan pesan pemberitahuan sinkronisasi yang diproses oleh node komputasi di Azure Service Fabric. Setiap pesan menyimpan informasi seperti ID organisasi dan rekaman yang digunakan untuk menyinkronkan data. Data dalam Azure Service Bus terenkripsi saat sedang tidak aktif dan hanya dapat diakses dengan Layanan Ekspor Data.

Azure Blob Storage

Data disimpan sementara di Azure Blob Storage untuk berjaga-jaga apabila ukuran data pemberitahuan sinkronisasi rekaman terlalu besar untuk disimpan dalam pesan atau jika terjadi kegagalan sementara saat memproses pemberitahuan sinkronisasi. Blob ini dienkripsi dengan memanfaatkan fitur terbaru di Azure Storage SDK,, yang menyediakan integrasi dan dukungan enkripsi simetris dan asimetris dengan Azure Key Vault.

Azure SQL

Azure SQL Database menyimpan konfigurasi profil ekspor data dan metrik sinkronisasi data.

Baca juga

Gambaran umum hubungan entitas
Layanan Ekspor Data
Blog Tim: Pengantar Layanan Ekspor Data