Artikel ini menyediakan maklumat tentang soalan lazim tentang mengeksport data jadual Microsoft Dataverse ke Azure Synapse Analytics dan Azure Data Lake.
Bolehkah saya melaksanakan tugas secara manual seperti mencipta, mengemas kini, memadam atau menetapkan dasar autodelete untuk fail data dalam storan Azure yang disambungkan?
Fail data tidak boleh diubah suai oleh pelanggan dan tiada fail pelanggan harus diletakkan dalam folder data.
Nota
Untuk menggugurkan data basi dan bertakung dalam tasik data tanpa memecahkan Azure Synapse Link, pertimbangkan untuk menggunakan ciri Pertanyaan dan analisis kemas kini tambahan
Bagaimanakah saya boleh mengakses perhubungan jadual saya?
Untuk mengakses perhubungan banyak kepada banyak, perhubungan tersedia sebagai jadual untuk dipilih daripada halaman Tambah jadual untuk pautan baharu dan daripada Urus jadual untuk pautan sedia ada.
Nota
Semua data perhubungan berada dalam mod Tambah sahaja secara lalai apabila ditulis dalam format CSV.
Bagaimanakah saya boleh mendapatkan anggaran kos sebelum menambah Azure Synapse Link?
Azure Synapse Link ialah ciri percuma dengan Dataverse. Menggunakan Azure Synapse Link for Dataverse tidak dikenakan caj tambahan di bawah Dataverse. Walau bagaimanapun, pertimbangkan kos yang berpotensi untuk perkhidmatan Azure:
- Penyimpanan data dalam Azure Data Lake Storage Gen2: Harga Azure Storage Data Lake Gen2 | Microsoft Azure
- Kos penggunaan data (seperti Synapse Workspace): Harga - Azure Synapse Analytics | Microsoft Azure Untuk maklumat Pengurusan Kos Microsoft yang komprehensif, pergi ke: Merancang untuk mengurus kos Azure - Pengurusan Kos Microsoft | Microsoft Learn
Apakah yang berlaku apabila saya menambah lajur?
Apabila anda menambah lajur baharu pada jadual dalam sumber, ia juga ditambah pada penghujung fail dalam destinasi dalam partition fail yang sepadan. Walaupun baris yang wujud sebelum penambahan lajur tidak ditunjukkan dalam lajur baharu, baris baharu atau dikemas kini menunjukkan lajur yang baru ditambah.
Apakah yang berlaku apabila saya memadamkan lajur?
Apabila anda memadamkan lajur daripada jadual dalam sumber, lajur tidak digugurkan daripada destinasi. Sebaliknya, baris tidak lagi dikemas kini dan ditandakan sebagai nol sambil mengekalkan baris sebelumnya.
Apakah yang berlaku jika saya menukar jenis data lajur?
Menukar jenis data lajur adalah perubahan yang merosakkan dan anda perlu menyahpaut dan memaut semula.
Apakah yang berlaku apabila saya memadamkan baris?
Memadamkan baris dikendalikan secara berbeza berdasarkan pilihan penulisan data yang anda pilih:
- Kemas kini di tempat dengan format CSV: Ini ialah mod lalai. Apabila anda memadamkan baris jadual dalam mod ini, baris juga dipadamkan daripada partition data yang sepadan dalam Azure Data Lake. Dalam erti kata lain, data dipadamkan keras daripada destinasi.
- Tambah sahaja dengan format CSV dan kemas kini folder tambahan: Dalam mod ini, apabila baris jadual Dataverse dipadamkan, ia tidak dipadamkan keras daripada destinasi. Sebaliknya, baris ditambah dan ditetapkan kepada
isDeleted=Truefail dalam partition data yang sepadan dalam Azure Data Lake. - Eksport ke format tasik Delta: Azure Synapse Link melakukan pemadaman lembut pada data semasa kitaran penyegerakan delta seterusnya, diikuti dengan pemadaman keras selepas 30 hari.
Mengapakah saya tidak melihat pengepala lajur dalam fail yang dieksport?
Azure Synapse Link mengikut Model Data Biasa untuk membolehkan data dan maknanya dikongsi merentas aplikasi dan proses perniagaan seperti Microsoft Power Apps, Power BI, Dynamics 365 dan Azure. Dalam setiap folder CDM, metadata seperti pengepala lajur disimpan dalam fail model.json. Maklumat lanjut: Model Data Biasa dan Azure Data Lake Storage Gen2 | Microsoft Learn
Mengapakah fail Model.json bertambah atau berubah panjang untuk jenis data dan tidak menyimpan apa yang ditakrifkan dalam Dataverse?
Model.json mengekalkan panjang pangkalan data untuk saiz lajur. Dataverse mempunyai konsep panjang pangkalan data untuk setiap lajur. Jika anda mencipta lajur dengan saiz 200 dan kemudian mengurangkannya kepada 100, Dataverse masih membenarkan data sedia ada anda hadir dalam Dataverse. Ia melakukannya dengan mengekalkan DBLength 200 dan MaxLength 100. Apa yang anda lihat dalam Model.json ialah DBLength dan jika anda menggunakannya untuk proses hiliran, anda tidak akan menyediakan ruang yang lebih rendah untuk lajur Dataverse anda.
Nota
Medan memo ditakrifkan sebagai varchar(max) dengan panjang maksimum lalai 9999.
Apakah format tarikh dan masa yang boleh dijangkakan dalam jadual Dataverse yang dieksport?
Terdapat tiga format tarikh dan masa yang boleh dijangkakan dalam jadual Dataverse yang dieksport.
| Nama Lajur | Format | Jenis Data | Contoh |
|---|---|---|---|
| SinkCreatedOn dan SinkModifiedOn | M/d/yyyy H:mm:ss tt | tarikhmasa | 6/28/2021 4:34:35 PM |
| Dicipta Pada | yyyy-MM-dd'T'HH:mm:ss.ssssXXX | datetimeOffset | 2018-05-25T16:21:09.0000000+00:00 |
| Semua Lajur Lain | yyyy-MM-dd'T'HH:mm:ss'Z' | tarikhmasa | 2021-06-25T16:21:12Z |
Nota
Jenis data CreatedOn ditukar daripada datetime kepada datetimeOffset pada 29/07/2022. Untuk mengedit format jenis data bagi jadual yang dicipta sebelum perubahan, gugurkan dan tambah semula jadual.
Anda boleh memilih tingkah laku lajur yang berbeza untuk lajur Tarikh dan Masa dalam Dataverse, yang mengemas kini format jenis data. Maklumat lanjut: Tingkah laku dan format lajur Tarikh dan Masa
Mengapakah saya melihat nama fail 1.csv atau 1_001.csv dan bukannya nama fail yang dibahagikan tarikh masa biasa untuk sesetengah jadual Dataverse?
Tingkah laku ini dijangka apabila anda memilih mod eksport tambahan sahaja dan mempunyai jadual tanpa lajur CreatedOn yang sah. Blob disusun ke dalam fail seperti 1.csv, 2.csv (menggunakan pembahagian tersuai kerana ketiadaan tarikh penciptaan yang sah). Apabila mana-mana partition menghampiri 95% MaxBlockPerBlobLimit, sistem secara automatik menjana fail baharu—digambarkan di sini sebagai 1_001.csv.
Bilakah saya perlu menggunakan strategi partition tahunan atau bulanan?
Untuk jadual Dataverse yang volum data tinggi dalam tempoh setahun, kami mengesyorkan anda menggunakan partition bulanan. Melakukannya menghasilkan fail yang lebih kecil dan prestasi yang lebih baik. Selain itu, jika baris dalam jadual Dataverse dikemas kini dengan kerap, pembahagian kepada berbilang fail yang lebih kecil membantu meningkatkan prestasi dalam kes senario kemas kini di tempat. Delta Lake hanya tersedia dengan partition tahunan kerana prestasinya yang unggul berbanding format CSV.
Apakah mod tambah sahaja dan apakah perbezaan antara mod tambah sahaja dan kemas kini di tempat?
Dalam mod tambah sahaja, data tambahan daripada jadual Dataverse ditambahkan pada partition fail yang sepadan dalam tasik. Untuk maklumat lanjut: Opsyen Konfigurasi Lanjutan dalam Azure Synapse Link
Bilakah saya boleh menggunakan mod tambah sahaja untuk pandangan sejarah perubahan?
Tambah sahaja mod ialah pilihan yang disyorkan untuk menulis data jadual Dataverse ke tasik, terutamanya apabila volum data tinggi dalam partition dengan data yang kerap berubah. Sekali lagi, ini adalah pilihan yang biasa digunakan dan sangat disyorkan untuk pelanggan perusahaan. Selain itu, anda boleh memilih untuk menggunakan mod ini untuk senario di mana niatnya adalah untuk menyemak perubahan secara berperingkat daripada Dataverse dan memproses perubahan untuk senario ETL, AI dan ML. Mod tambah sahaja menyediakan sejarah perubahan, bukannya perubahan terkini atau kemas kini di tempat dan mendayakan beberapa siri masa daripada senario AI, seperti ramalan atau ramalan analitik berdasarkan nilai sejarah.
Bagaimanakah cara saya mendapatkan semula baris -date paling up-tobagi setiap rekod dan mengecualikan baris yang dipadamkan apabila saya mengeksport data dalam mod tambah sahaja?
Dalam mod tambah sahaja, anda harus mengenal pasti versi terkini rekod dengan ID yang sama menggunakan VersionNumber dan SinkModifiedOn kemudian memohon isDeleted=0 pada versi terkini.
Mengapakah saya melihat nombor versi pendua apabila saya mengeksport data menggunakan mod tambah sahaja?
Untuk mod tambah sahaja, jika Azure Synapse Link for Dataverse tidak mendapat pengakuan daripada tasik data Azure bahawa data telah komited atas sebarang sebab seperti kelewatan rangkaian, Azure Synapse Link mencuba semula dalam senario tersebut dan melakukan data sekali lagi. Penggunaan hiliran harus dibuat berdaya tahan terhadap senario ini dengan menapis data menggunakan SinkModifiedOn.
Mengapakah saya melihat perbezaan dalam lajur Sinkmodifiedon dan Modifiedon?
Ia dijangkakan.
Modifiedon ialah tarikhmasa rekod itu diubah dalam Dataverse; Sinkmodifiedon ialah tarikh dan masa rekod diubah suai dalam tasik data.
Jadual Dataverse manakah yang tidak disokong untuk eksport?
Mana-mana jadual yang tidak mendayakan penjejakan perubahan tidak disokong sebagai tambahan kepada jadual sistem berikut:
- Lampiran
- Calendar
- Peraturan Kalendar
Jadual Dataverse tertentu, seperti postcomment, postregarding, postlike, post dan postrole, tidak tersedia untuk pelanggan mendayakan penyegerakan melalui Azure Synapse Link.
Dalam sesetengah kes, jadual ini mungkin muncul apabila pengekalan jangka panjang Dataverse didayakan. Jika itu berlaku, subset atau semua rekod daripada jadual ini mungkin dieksport. Ini adalah tingkah laku yang dijangkakan untuk senario pengekalan jangka panjang.
Penting
- Jadual ini tidak boleh dipilih untuk penyegerakan.
- Kehadiran mereka tidak menunjukkan sokongan penuh untuk penyegerakan tambahan.
Nota
Anda boleh menambah jadual audit untuk eksport menggunakan Azure Synapse Link for Dataverse. Walau bagaimanapun, eksport jadual audit hanya disokong dengan profil Delta Lake.
Saya menggunakan ciri eksport ke tasik delta, bolehkah saya menghentikan kerja Apache Spark atau menukar masa pelaksanaan?
Kerja penukaran Delta Lake dicetuskan apabila terdapat perubahan data dalam selang masa yang dikonfigurasikan. Tiada pilihan untuk menghentikan atau menjeda kolam Apache Spark. Walau bagaimanapun, anda boleh mengubah suai selang masa selepas penciptaan pautan di bawah Urus jadual > Selang masa lanjutan.
Adakah Azure Synapse Link menyokong lajur carian?
Lajur carian terdiri daripada ID dan nilai. Nilai carian hanya berubah pada jadual akar. Untuk mencerminkan nilai lajur carian dengan lebih baik, kami mengesyorkan anda menyertai jadual akar asal untuk mendapatkan nilai terkini.
Adakah Azure Synapse Link menyokong lajur terkira?
Dalam Dataverse, lajur terhitung hanya menyimpan maklumat formula dan nilai sebenar bergantung pada lajur jadual asas. Oleh itu, lajur terhitung hanya disokong apabila semua lajur terletak dalam jadual yang dieksport yang sama.
Jadual Dataverse manakah yang menggunakan mod tambah sahaja secara lalai?
Semua jadual yang tidak mempunyai medan createdOn disegerakkan menggunakan mod tambah sahaja secara lalai. Ini termasuk jadual perhubungan dan jadual ActivityParty.
Mengapa saya melihat mesej ralat - Kandungan direktori di laluan tidak boleh disenaraikan?
- Data Dataverse disimpan dalam bekas storan yang disambungkan. Anda memerlukan peranan "Penyumbang Data Blob Storan" dalam akaun storan yang dipautkan untuk melaksanakan operasi membaca dan pertanyaan melalui Synapse Workspace.
- Jika anda memilih untuk mengeksport data dengan format Delta Lake, fail CSV anda akan dibersihkan selepas penukaran Delta Lake. Anda perlu menanyakan data dengan jadual non_partitioned melalui Synapse Workspace.
Mengapakah saya melihat mesej ralat - tidak boleh dimuatkan secara pukal kerana fail tidak lengkap atau tidak dapat dibaca (fail CSV sahaja)?
Data Dataverse boleh berubah secara berterusan melalui penciptaan, pengemaskinian dan pemadaman transaksi. Ralat ini disebabkan oleh fail asas yang diubah apabila anda membaca data daripadanya. Jadi, untuk jadual dengan perubahan berterusan, tukar saluran paip penggunaan anda untuk menggunakan data syot kilat (jadual berpartition) untuk digunakan. Maklumat lanjut: Selesaikan masalah kumpulan SQL tanpa pelayan
Bagaimanakah saya boleh menggunakan Azure Synapse Link untuk mengarkibkan data kritikal?
Azure Synapse Link for Dataverse direka bentuk untuk tujuan analisis. Kami mengesyorkan pelanggan menggunakan pengekalan jangka panjang untuk tujuan arkib. Maklumat lanjut: Gambaran keseluruhan pengekalan data jangka panjang Dataverse
Mengapakah saya tidak melihat sebarang perubahan data dalam tasik data apabila rekod telah dipadamkan dalam Dataverse?
Untuk sebarang panggilan SQL langsung untuk mengalih keluar rekod, perkhidmatan Azure Synapse Link for Dataverse tidak dicetuskan kerana BPO. Padam tidak dipanggil. Untuk ciri sampel, pergi ke Cara membersihkan akses yang diwarisi.