Σύνδεση Azure Synapse για Συνήθεις ερωτήσεις για το Dataverse

Αυτό το άρθρο παρέχει πληροφορίες σχετικά με συνήθεις ερωτήσεις σχετικά με την εξαγωγή δεδομένων πίνακα του Microsoft Dataverse στο Azure Synapse Analytics και το Azure Data Lake.

Μπορώ να εκτελέσω εργασίες με μη αυτόματο τρόπο, όπως δημιουργία, ενημέρωση, διαγραφή ή ρύθμιση πολιτικών αυτόματης διαγραφής για αρχεία δεδομένων στον συνδεδεμένο χώρο αποθήκευσης Azure;

Τα αρχεία δεδομένων δεν πρέπει να τροποποιούνται από έναν πελάτη και δεν πρέπει να τοποθετούνται αρχεία πελατών στους φακέλους δεδομένων.

Σημείωμα

Για να αποθέσετε μη ενημερωμένα και στάσιμα δεδομένα στη λίμνη δεδομένων χωρίς να διακόψετε τη σύνδεση Azure Synapse, εξετάστε τη χρήση της δυνατότητας Ερώτημα και αναλύστε τις επαυξητικές ενημερώσεις

Πώς μπορώ να αποκτήσω πρόσβαση στις σχέσεις πινάκων μου;

Για πρόσβαση σε σχέσεις πολλά-προς-πολλά, η σχέση είναι διαθέσιμη ως πίνακας για επιλογή από τη σελίδα Προσθήκη πινάκων για μια νέα σύνδεση και από τη Σύνδεση διαχείρισης πινάκων για μια σύνδεση που προϋπάρχει.

Σημείωμα

Όλα τα δεδομένα σχέσεων είναι σε λειτουργία μόνο προσάρτησης από προεπιλογή, όταν συντάσσονται σε μορφή CSV.

Πώς μπορώ να λάβω το εκτιμώμενο κόστος πριν από την προσθήκη της Σύνδεσης Azure Synapse;

Η Σύνδεση Azure Synapse είναι μια δωρεάν δυνατότητα με το Dataverse. Η χρήση της σύνδεσης Azure Synapse για Dataverse δεν επιβαρύνεται με πρόσθετες χρεώσεις στο Dataverse. Ωστόσο, εξετάστε το ενδεχόμενο κόστος για την υπηρεσία Azure:

• Χώρος αποθήκευσης δεδομένων στο Azure Data Lake Storage Gen2: Azure Storage Data Lake Gen2 Pricing | Microsoft Azure
• Κόστος κατανάλωσης δεδομένων (όπως Χώρος εργασίας Synapse): Τιμολόγηση - Azure Synapse Analytics | Microsoft Azure Για αναλυτικές πληροφορίες διαχείρισης κόστους της Microsoft, μεταβείτε στο θέμα: Σχεδιασμός για τη διαχείριση του κόστους Azure - Διαχείριση κόστους Microsoft | Microsoft Learn

Τι συμβαίνει όταν προσθέτω μια στήλη;

Όταν προσθέτετε μια νέα στήλη σε έναν πίνακα στην προέλευση, προστίθεται επίσης στο τέλος του αρχείου στον προορισμό στο αντίστοιχο διαμέρισμα αρχείου. Παρόλο που οι γραμμές που υπήρχαν πριν από την προσθήκη της στήλης δεν εμφανίζονται στη νέα στήλη, οι νέες ή ενημερωμένες γραμμές εμφανίζουν τη στήλη που προστέθηκε πρόσφατα.

Τι συμβαίνει όταν διαγράφω μια στήλη;

Όταν διαγράφετε μια στήλη από έναν πίνακα στην προέλευση, η στήλη δεν καταργείται από τον προορισμό. Αντίθετα, οι γραμμές δεν ενημερώνονται πλέον και επισημαίνονται ως null ενώ διατηρούνται οι προηγούμενες γραμμές.

Τι θα συμβεί εάν αλλάξω τον τύπο δεδομένων μιας στήλης;

Η αλλαγή του τύπου δεδομένων μιας στήλης είναι μια καταστροφική αλλαγή και απαιτείται να αποσυνδέσετε και να επανασυνδέσετε.

Τι συμβαίνει όταν διαγράφω μια γραμμή;

Η διαγραφή μιας γραμμής αντιμετωπίζεται διαφορετικά με βάση τις επιλογές εγγραφής δεδομένων που επιλέγετε:

• Επιτόπου ενημέρωση με μορφή CSV: Αυτή είναι η προεπιλεγμένη λειτουργία. Όταν διαγράφετε μια γραμμή πίνακα σε αυτήν τη λειτουργία, η γραμμή διαγράφεται επίσης από το αντίστοιχο διαμέρισμα δεδομένων στο Azure Data Lake. Με άλλα λόγια, τα δεδομένα διαγράφονται οριστικά από τον προορισμό.
• Προσάρτηση μόνο με μορφή CSV και επαυξητική ενημέρωση φακέλου: Σε αυτήν τη λειτουργία, όταν διαγράφεται μια γραμμή πίνακα Dataverse, δεν διαγράφεται οριστικά από τον προορισμό. Αντί για αυτό, προστίθεται μια γραμμή και ορίζεται ως isDeleted=True προς το αρχείο στο αντίστοιχο διαμέρισμα δεδομένων στο Azure Data Lake.
• Εξαγωγή σε μορφή λίμνης Delta: Το Azure Synapse Link εκτελεί μια προσωρινή διαγραφή των δεδομένων κατά τη διάρκεια του επόμενου κύκλου συγχρονισμού δέλτα, ακολουθούμενη από μια σκληρή διαγραφή μετά από 30 ημέρες.

Γιατί δεν βλέπω μια κεφαλίδα στήλης στο εξαγόμενο αρχείο;

Η Σύνδεση Azure Synapse ακολουθεί το Common Data Model για να επιτρέπει την κοινή χρήση δεδομένων και τη σημασία τους σε εφαρμογές και επιχειρηματικές διαδικασίες όπως το Microsoft Power Apps, το Power BI, το Dynamics 365 και το Azure. Σε κάθε φάκελο CDM, τα μετα-δεδομένα όπως μια κεφαλίδα στήλης αποθηκεύονται στο αρχείο model.json. Περισσότερες πληροφορίες: Common Data Model και Azure Data Lake Storage Gen2 | Microsoft Learn

Γιατί το Model.json αρχείο αυξάνεται ή αλλάζει σε μήκος για τους τύπους δεδομένων και δεν διατηρεί αυτό που έχει οριστεί στο Dataverse;

Model.json διατηρεί το μήκος της βάσης δεδομένων για το μέγεθος της στήλης. Το Dataverse έχει μια έννοια μήκους βάσης δεδομένων για κάθε στήλη. Εάν δημιουργήσετε μια στήλη με μέγεθος 200 και αργότερα τη μειώσετε σε 100, το Dataverse εξακολουθεί να επιτρέπει την παρουσία των υπαρχόντων δεδομένων σας στο Dataverse. Το κάνει αυτό κρατώντας DBLength στο 200 και MaxLength στο 100. Αυτό που βλέπετε στο Model.json είναι DBLength και αν το χρησιμοποιήσετε για κατάντη διεργασίες δεν θα παρέχετε ποτέ μικρότερο χώρο για τις στήλες σας Dataverse.

Σημείωμα

Τα πεδία υπομνήματος ορίζονται με varchar(max) προεπιλεγμένο μέγιστο μήκος 9999.

Ποιες μορφές ημερομηνίας και ώρας μπορούν να αναμένονται στους εξαγόμενους πίνακες Dataverse;

Υπάρχουν τρεις μορφές ημερομηνίας και ώρας που μπορούν να αναμένονται στους πίνακες Dataverse που έχουν εξαχθεί.

Όνομα στήλης	Μορφή	Τύπος δεδομένων	Παράδειγμα
SinkCreatedOn και SinkModifiedOn	M/d/yyyy H:mm:ss tt	datetime	28/6/2021 4:34:35 μ.μ.
ΔημιουργήθηκεΣτις	yyyy-MM-dd'T'HH:mm:ss.sssssXXX	datetimeOffset	2018-05-25T16:21:09.0000000+00:00
Όλες οι άλλες στήλες	yyyy-MM-dd'T'HH:mm:ss'Z'	datetime	2021-06-25T16:21:12Z

Σημείωμα

Ο τύπος δεδομένων CreatedOn άλλαξε από datetime σε datetimeOffset 29/07/2022. Για να επεξεργαστείτε τη μορφή τύπου δεδομένων για έναν πίνακα που δημιουργήθηκε πριν από την αλλαγή, αποθέστε και διαβάστε τον πίνακα.

Μπορείτε να επιλέξετε διαφορετικές συμπεριφορές στήλης για μια στήλη Ημερομηνία και ώρα στο Dataverse, το οποίο ενημερώνει τη μορφή τύπου δεδομένων. Περισσότερες πληροφορίες: Συμπεριφορά και μορφή της στήλης Ημερομηνία και ώρα

Γιατί βλέπω 1.csv ή 1_001.csv ονόματα αρχείων αντί για τα κανονικά ονόματα αρχείων που διαμερώνονται κατά την ημερομηνία/ώρα για ορισμένους πίνακες Dataverse;

Αυτή η συμπεριφορά αναμένεται όταν επιλέγετε λειτουργία εξαγωγής μόνο προσάρτησης και έχετε πίνακες χωρίς έγκυρη στήλη CreatedOn . Τα blob οργανώνονται σε αρχεία όπως 1.csv, 2.csv (χρησιμοποιώντας προσαρμοσμένο διαμερισμό λόγω απουσίας μιας έγκυρης ημερομηνίας δημιουργίας). Όταν οποιοδήποτε διαμέρισμα προσεγγίζει το 95% του MaxBlockPerBlobLimit, το σύστημα δημιουργεί αυτόματα ένα νέο αρχείο, το οποίο παρουσιάζεται εδώ ως 1_001.csv.

Πότε πρέπει να χρησιμοποιήσω μια στρατηγική ετήσιας ή μηνιαίας διαμερίσματος;

Για πίνακες Dataverse όπου ο όγκος των δεδομένων είναι μεγάλος μέσα σε ένα έτος, συνιστούμε να χρησιμοποιείτε μηνιαία διαμερίσματα. Αυτή η ενέργεια έχει ως αποτέλεσμα μικρότερα αρχεία και καλύτερες επιδόσεις. Επιπλέον, εάν οι γραμμές σε πίνακες Dataverse ενημερώνονται συχνά, η διαίρεση σε πολλαπλά μικρότερα αρχεία συμβάλλει στη βελτίωση των επιδόσεων στην περίπτωση σεναρίων επιτόπου ενημέρωσης. Το Delta Lake διατίθεται μόνο με ετήσιο partitioning λόγω της ανώτερης απόδοσής του σε σύγκριση με τη μορφή CSV.

Τι είναι η λειτουργία μόνο προσάρτησης και ποια είναι η διαφορά μεταξύ της λειτουργίας προσάρτησης μόνο και της λειτουργίας επιτόπου ενημέρωσης;

Σε λειτουργία μόνο προσάρτησης, τα επαυξητικά δεδομένα από πίνακες Dataverse προσαρτώνται στο αντίστοιχο διαμέρισμα αρχείου στη λίμνη. Για περισσότερες πληροφορίες: Επιλογές ρύθμισης παραμέτρων για προχωρημένους στη Σύνδεση Azure Synapse

Πότε μπορώ να χρησιμοποιήσω τη λειτουργία προσάρτησης μόνο για μια προβολή ιστορικού αλλαγών;

Η λειτουργία προσάρτησης μόνο είναι η προτεινόμενη επιλογή για την εγγραφή δεδομένων πίνακα Dataverse στη λίμνη, ειδικά όταν οι όγκοι δεδομένων είναι μεγάλοι σε ένα διαμέρισμα με δεδομένα που αλλάζουν συχνά. Και πάλι, αυτή είναι μια επιλογή που χρησιμοποιείται συχνά και συνιστάται ιδιαίτερα για τους εταιρικούς πελάτες. Επιπλέον, μπορείτε να επιλέξετε να χρησιμοποιήσετε αυτήν τη λειτουργία για σενάρια όπου σκοπός είναι η επαυξητική αναθεώρηση των αλλαγών από το Dataverse και η επεξεργασία των αλλαγών για σενάρια ETL, AI και ML. Η λειτουργία "Μόνο προσάρτηση" παρέχει ιστορικό αλλαγών, αντί της τελευταίας αλλαγής ή ενημέρωσης σε ισχύ, και επιτρέπει πολλές χρονικές σειρές από σενάρια AI, όπως πρόβλεψη ή πρόβλεψη ανάλυσης που βασίζεται σε ιστορικές τιμές.

Πώς μπορώ να ανακτήσω την πιο ενημερωμένη γραμμή κάθε εγγραφής και να εξαιρέσω τις διαγραμμένες γραμμές όταν εξάγω δεδομένα σε λειτουργία μόνο προσθήκης;

Στη λειτουργία προσάρτησης μόνο, θα πρέπει να προσδιορίσετε την πιο πρόσφατη έκδοση της εγγραφής με το ίδιο αναγνωριστικό χρησιμοποιώντας VersionNumber και SinkModifiedOn , στη συνέχεια, να εφαρμόσετε isDeleted=0 στην πιο πρόσφατη έκδοση.

Γιατί μπορώ να δω διπλότυπους αριθμούς έκδοσης κατά την εξαγωγή δεδομένων χρησιμοποιώντας τη λειτουργία προσάρτησης μόνο;

Για τη λειτουργία προσάρτησης μόνο, εάν η Σύνδεση Azure Synapse για Dataverse δεν λάβει αναγνώριση από τη λίμνη δεδομένων Azure ότι τα δεδομένα έχουν δεσμευτεί εξαιτίας οποιουδήποτε λόγου, όπως καθυστερήσεις δικτύου, η Σύνδεση Azure Synapse θα προσπαθήσει ξανά σε αυτά τα σενάρια και θα δεσμεύσει τα δεδομένα εκ νέου. Η κατανάλωση σε downstream θα πρέπει να καταστεί ανθεκτική σε αυτό το σενάριο με φιλτράρισμα δεδομένων με χρήση SinkModifiedOn.

Γιατί βλέπω διαφορές στις στήλες Sinkmodifiedon και Modifiedon;

Είναι αναμενόμενο. Modifiedon είναι η ημερομηνία/ώρα που αλλάζει η εγγραφή στο Dataverse; Sinkmodifiedon Το είναι η ημερομηνία και ώρα τροποποίησης της εγγραφής στη λίμνη δεδομένων.

Ποιοι πίνακες Dataverse δεν υποστηρίζονται για εξαγωγή;

Οποιοσδήποτε πίνακας στον οποίο δεν είναι ενεργοποιημένη η παρακολούθηση αλλαγών δεν υποστηρίζεται επιπλέον των ακόλουθων πινάκων συστήματος:

• Συνημμένο
• Ημερολόγιο
• Κανόνας ημερολογίου

Ορισμένοι πίνακες Dataverse, όπως οι postcomment, postregarding, postlike, post και postrole, δεν είναι διαθέσιμοι για τους πελάτες για να ενεργοποιήσουν τον συγχρονισμό μέσω της σύνδεσης Azure Synapse.

Σε ορισμένες περιπτώσεις, αυτοί οι πίνακες ενδέχεται να εμφανίζονται όταν έχει ενεργοποιηθεί η μακροπρόθεσμη διατήρηση του Dataverse . Εάν συμβεί αυτό, μπορεί να εξαχθεί ένα υποσύνολο ή όλες οι εγγραφές από αυτούς τους πίνακες. Αυτή είναι η αναμενόμενη συμπεριφορά για μακροπρόθεσμα σενάρια διατήρησης.

Σημαντικό

• Αυτοί οι πίνακες δεν πρέπει να επιλέγονται για συγχρονισμό.
• Η παρουσία τους δεν υποδεικνύει πλήρη υποστήριξη για επαυξητικό συγχρονισμό.

Σημείωμα

Μπορείτε να προσθέσετε τον πίνακα ελέγχου για εξαγωγή χρησιμοποιώντας τη Σύνδεση Azure Synapse για το Dataverse. Ωστόσο, η εξαγωγή του πίνακα ελέγχου υποστηρίζεται μόνο με προφίλ Delta Lake.

Χρησιμοποιώ τη δυνατότητα εξαγωγής στη λίμνη Δέλτα, μπορώ να διακόψω την εργασία Apache Spark ή να αλλάξω τον χρόνο εκτέλεσης;

Η εργασία μετατροπής της λίμνης Delta ενεργοποιείται όταν υπήρξε μια αλλαγή δεδομένων στο διαμορφωμένο χρονικό διάστημα. Δεν υπάρχει επιλογή διακοπής ή παύσης της πισίνας Apache Spark. Ωστόσο, μπορείτε να τροποποιήσετε το χρονικό διάστημα μετά τη δημιουργία της σύνδεσης στην περιοχή Διαχείριση πινάκων > Χρονικό διάστημα για προχωρημένους.

Το Azure Synapse Link υποστηρίζει στήλες αναζήτησης;

Οι στήλες αναζήτησης αποτελούνται από ένα αναγνωριστικό και μια τιμή. Οι τιμές αναζήτησης αλλάζουν μόνο στον ριζικό πίνακα. Για να αντικατοπτρίζεται καλύτερα η τιμή μιας στήλης αναζήτησης, συνιστάται να συμμετάσχετε με τον αρχικό ριζικό πίνακα για να λάβετε την πιο πρόσφατη τιμή.

Το Azure Synapse Link υποστηρίζει υπολογιζόμενες στήλες;

Στο Dataverse, οι υπολογιζόμενες στήλες διατηρούν μόνο τις πληροφορίες τύπου και η πραγματική τιμή εξαρτάται από τη στήλη βασικού πίνακα. Επομένως, οι υπολογιζόμενες στήλες υποστηρίζονται μόνο όταν όλες οι στήλες βρίσκονται εντός του ίδιου εξαγόμενου πίνακα.

Ποιοι πίνακες Dataverse χρησιμοποιούν τη λειτουργία προσάρτησης μόνο από προεπιλογή;

Όλοι οι πίνακες που δεν έχουν δημιουργημένο πεδίοOn συγχρονίζονται χρησιμοποιώντας τη λειτουργία προσάρτησης μόνο από προεπιλογή. Αυτό περιλαμβάνει πίνακες σχέσεων και τον πίνακα ActivityParty.

Γιατί βλέπω το μήνυμα σφάλματος - Δεν είναι δυνατή η παράθεση του περιεχομένου του καταλόγου στη διαδρομή;

• Τα δεδομένα του dataverse αποθηκεύονται στο συνδεδεμένο κοντέινερ χώρου αποθήκευσης. Χρειάζεστε τον ρόλο "Συμβάλλων δεδομένων αντικειμένου blob χώρου αποθήκευσης" στον συνδεδεμένο λογαριασμό χώρου αποθήκευσης για την εκτέλεση λειτουργιών ανάγνωσης και ερωτημάτων μέσω του χώρου εργασίας Synapse.
• Εάν επιλέξετε να εξαγάγετε δεδομένα σε μορφή Delta Lake, το αρχείο CSV σας εκκαθαρίζεται μετά τη μετατροπή του Delta Lake. Χρειάζεται να υποβάλετε ερωτήματα για δεδομένα με non_partitioned πίνακες μέσω του χώρου εργασίας Synapse.

Γιατί βλέπω το μήνυμα σφάλματος - δεν είναι δυνατή η μαζική φόρτωση επειδή το αρχείο είναι ελλιπές ή δεν ήταν δυνατή η ανάγνωση (μόνο αρχείο CSV);

Τα δεδομένα που είναι αντίστροφα μπορούν να αλλάζουν συνεχώς μέσω της δημιουργίας, ενημέρωσης και διαγραφής συναλλαγών. Αυτό το σφάλμα οφείλεται στην αλλαγή του υποκείμενου αρχείου κατά την ανάγνωση δεδομένων από αυτό. Επομένως, για πίνακες με συνεχείς αλλαγές, αλλάξτε τη διοχέτευση κατανάλωσής σας ώστε να χρησιμοποιεί δεδομένα στιγμιότυπου (διαμετρημένους πίνακες) για κατανάλωση. Περισσότερες πληροφορίες: Αντιμετώπιση προβλημάτων χώρου συγκέντρωσης SQL χωρίς τη χρήση διακομιστή

Πώς μπορώ να χρησιμοποιήσω τη Σύνδεση Azure Synapse για την αρχειοθέτηση κρίσιμων δεδομένων;

Η Σύνδεση Azure Synapse για Dataverse έχει σχεδιαστεί για σκοπούς ανάλυσης. Συνιστούμε στους πελάτες να χρησιμοποιούν μακροπρόθεσμη διατήρηση για σκοπούς αρχειοθέτησης. Περισσότερες πληροφορίες: Επισκόπηση μακροπρόθεσμης διατήρησης δεδομένων του Dataverse

Γιατί δεν μπορώ να δω αλλαγές δεδομένων στη λίμνη δεδομένων όταν έχουν διαγραφεί εγγραφές στο Dataverse;

Για οποιαδήποτε απευθείας κλήση SQL για την κατάργηση μιας εγγραφής, η υπηρεσία Azure Synapse Link για το Dataverse δεν ενεργοποιείται επειδή δεν καλείται το BPO.Delete. Για ένα δείγμα δυνατότητας, μεταβείτε στην ενότητα Πώς μπορείτε να εκκαθαρίσετε την πρόσβαση που μεταβιβάστηκε.

Δείτε επίσης

Azure Synapse Link για Dataverse

Αυτό το άρθρο παρέχει πληροφορίες σχετικά με συνήθεις ερωτήσεις σχετικά με την εξαγωγή δεδομένων πίνακα του Microsoft Dataverse στο Azure Synapse Analytics και το Azure Data Lake.

Τα αρχεία δεδομένων δεν πρέπει να τροποποιούνται από έναν πελάτη και δεν πρέπει να τοποθετούνται αρχεία πελατών στους φακέλους δεδομένων.

Σημείωμα

Για να αποθέσετε μη ενημερωμένα και στάσιμα δεδομένα στη λίμνη δεδομένων χωρίς να διακόψετε τη σύνδεση Azure Synapse, εξετάστε τη χρήση της δυνατότητας Ερώτημα και αναλύστε τις επαυξητικές ενημερώσεις

Για πρόσβαση σε σχέσεις πολλά-προς-πολλά, η σχέση είναι διαθέσιμη ως πίνακας για επιλογή από τη σελίδα Προσθήκη πινάκων για μια νέα σύνδεση και από τη Σύνδεση διαχείρισης πινάκων για μια σύνδεση που προϋπάρχει.

Σημείωμα

Όλα τα δεδομένα σχέσεων είναι σε λειτουργία μόνο προσάρτησης από προεπιλογή, όταν συντάσσονται σε μορφή CSV.

Η Σύνδεση Azure Synapse είναι μια δωρεάν δυνατότητα με το Dataverse. Η χρήση της σύνδεσης Azure Synapse για Dataverse δεν επιβαρύνεται με πρόσθετες χρεώσεις στο Dataverse. Ωστόσο, εξετάστε το ενδεχόμενο κόστος για την υπηρεσία Azure:

• Χώρος αποθήκευσης δεδομένων στο Azure Data Lake Storage Gen2: Azure Storage Data Lake Gen2 Pricing | Microsoft Azure
• Κόστος κατανάλωσης δεδομένων (όπως Χώρος εργασίας Synapse): Τιμολόγηση - Azure Synapse Analytics | Microsoft Azure Για αναλυτικές πληροφορίες διαχείρισης κόστους της Microsoft, μεταβείτε στο θέμα: Σχεδιασμός για τη διαχείριση του κόστους Azure - Διαχείριση κόστους Microsoft | Microsoft Learn

Όταν προσθέτετε μια νέα στήλη σε έναν πίνακα στην προέλευση, προστίθεται επίσης στο τέλος του αρχείου στον προορισμό στο αντίστοιχο διαμέρισμα αρχείου. Παρόλο που οι γραμμές που υπήρχαν πριν από την προσθήκη της στήλης δεν εμφανίζονται στη νέα στήλη, οι νέες ή ενημερωμένες γραμμές εμφανίζουν τη στήλη που προστέθηκε πρόσφατα.

Όταν διαγράφετε μια στήλη από έναν πίνακα στην προέλευση, η στήλη δεν καταργείται από τον προορισμό. Αντίθετα, οι γραμμές δεν ενημερώνονται πλέον και επισημαίνονται ως null ενώ διατηρούνται οι προηγούμενες γραμμές.

Η αλλαγή του τύπου δεδομένων μιας στήλης είναι μια καταστροφική αλλαγή και απαιτείται να αποσυνδέσετε και να επανασυνδέσετε.

Η διαγραφή μιας γραμμής αντιμετωπίζεται διαφορετικά με βάση τις επιλογές εγγραφής δεδομένων που επιλέγετε:

• Επιτόπου ενημέρωση με μορφή CSV: Αυτή είναι η προεπιλεγμένη λειτουργία. Όταν διαγράφετε μια γραμμή πίνακα σε αυτήν τη λειτουργία, η γραμμή διαγράφεται επίσης από το αντίστοιχο διαμέρισμα δεδομένων στο Azure Data Lake. Με άλλα λόγια, τα δεδομένα διαγράφονται οριστικά από τον προορισμό.
• Προσάρτηση μόνο με μορφή CSV και επαυξητική ενημέρωση φακέλου: Σε αυτήν τη λειτουργία, όταν διαγράφεται μια γραμμή πίνακα Dataverse, δεν διαγράφεται οριστικά από τον προορισμό. Αντί για αυτό, προστίθεται μια γραμμή και ορίζεται ως isDeleted=True προς το αρχείο στο αντίστοιχο διαμέρισμα δεδομένων στο Azure Data Lake.
• Εξαγωγή σε μορφή λίμνης Delta: Το Azure Synapse Link εκτελεί μια προσωρινή διαγραφή των δεδομένων κατά τη διάρκεια του επόμενου κύκλου συγχρονισμού δέλτα, ακολουθούμενη από μια σκληρή διαγραφή μετά από 30 ημέρες.

Η Σύνδεση Azure Synapse ακολουθεί το Common Data Model για να επιτρέπει την κοινή χρήση δεδομένων και τη σημασία τους σε εφαρμογές και επιχειρηματικές διαδικασίες όπως το Microsoft Power Apps, το Power BI, το Dynamics 365 και το Azure. Σε κάθε φάκελο CDM, τα μετα-δεδομένα όπως μια κεφαλίδα στήλης αποθηκεύονται στο αρχείο model.json. Περισσότερες πληροφορίες: Common Data Model και Azure Data Lake Storage Gen2 | Microsoft Learn

Model.json διατηρεί το μήκος της βάσης δεδομένων για το μέγεθος της στήλης. Το Dataverse έχει μια έννοια μήκους βάσης δεδομένων για κάθε στήλη. Εάν δημιουργήσετε μια στήλη με μέγεθος 200 και αργότερα τη μειώσετε σε 100, το Dataverse εξακολουθεί να επιτρέπει την παρουσία των υπαρχόντων δεδομένων σας στο Dataverse. Το κάνει αυτό κρατώντας DBLength στο 200 και MaxLength στο 100. Αυτό που βλέπετε στο Model.json είναι DBLength και αν το χρησιμοποιήσετε για κατάντη διεργασίες δεν θα παρέχετε ποτέ μικρότερο χώρο για τις στήλες σας Dataverse.

Σημείωμα

Τα πεδία υπομνήματος ορίζονται με varchar(max) προεπιλεγμένο μέγιστο μήκος 9999.

Υπάρχουν τρεις μορφές ημερομηνίας και ώρας που μπορούν να αναμένονται στους πίνακες Dataverse που έχουν εξαχθεί.

Όνομα στήλης	Μορφή	Τύπος δεδομένων	Παράδειγμα
SinkCreatedOn και SinkModifiedOn	M/d/yyyy H:mm:ss tt	datetime	28/6/2021 4:34:35 μ.μ.
ΔημιουργήθηκεΣτις	yyyy-MM-dd'T'HH:mm:ss.sssssXXX	datetimeOffset	2018-05-25T16:21:09.0000000+00:00
Όλες οι άλλες στήλες	yyyy-MM-dd'T'HH:mm:ss'Z'	datetime	2021-06-25T16:21:12Z

Σημείωμα

Ο τύπος δεδομένων CreatedOn άλλαξε από datetime σε datetimeOffset 29/07/2022. Για να επεξεργαστείτε τη μορφή τύπου δεδομένων για έναν πίνακα που δημιουργήθηκε πριν από την αλλαγή, αποθέστε και διαβάστε τον πίνακα.

Μπορείτε να επιλέξετε διαφορετικές συμπεριφορές στήλης για μια στήλη Ημερομηνία και ώρα στο Dataverse, το οποίο ενημερώνει τη μορφή τύπου δεδομένων. Περισσότερες πληροφορίες: Συμπεριφορά και μορφή της στήλης Ημερομηνία και ώρα

Αυτή η συμπεριφορά αναμένεται όταν επιλέγετε λειτουργία εξαγωγής μόνο προσάρτησης και έχετε πίνακες χωρίς έγκυρη στήλη CreatedOn . Τα blob οργανώνονται σε αρχεία όπως 1.csv, 2.csv (χρησιμοποιώντας προσαρμοσμένο διαμερισμό λόγω απουσίας μιας έγκυρης ημερομηνίας δημιουργίας). Όταν οποιοδήποτε διαμέρισμα προσεγγίζει το 95% του MaxBlockPerBlobLimit, το σύστημα δημιουργεί αυτόματα ένα νέο αρχείο, το οποίο παρουσιάζεται εδώ ως 1_001.csv.

Για πίνακες Dataverse όπου ο όγκος των δεδομένων είναι μεγάλος μέσα σε ένα έτος, συνιστούμε να χρησιμοποιείτε μηνιαία διαμερίσματα. Αυτή η ενέργεια έχει ως αποτέλεσμα μικρότερα αρχεία και καλύτερες επιδόσεις. Επιπλέον, εάν οι γραμμές σε πίνακες Dataverse ενημερώνονται συχνά, η διαίρεση σε πολλαπλά μικρότερα αρχεία συμβάλλει στη βελτίωση των επιδόσεων στην περίπτωση σεναρίων επιτόπου ενημέρωσης. Το Delta Lake διατίθεται μόνο με ετήσιο partitioning λόγω της ανώτερης απόδοσής του σε σύγκριση με τη μορφή CSV.

Σε λειτουργία μόνο προσάρτησης, τα επαυξητικά δεδομένα από πίνακες Dataverse προσαρτώνται στο αντίστοιχο διαμέρισμα αρχείου στη λίμνη. Για περισσότερες πληροφορίες: Επιλογές ρύθμισης παραμέτρων για προχωρημένους στη Σύνδεση Azure Synapse

Η λειτουργία προσάρτησης μόνο είναι η προτεινόμενη επιλογή για την εγγραφή δεδομένων πίνακα Dataverse στη λίμνη, ειδικά όταν οι όγκοι δεδομένων είναι μεγάλοι σε ένα διαμέρισμα με δεδομένα που αλλάζουν συχνά. Και πάλι, αυτή είναι μια επιλογή που χρησιμοποιείται συχνά και συνιστάται ιδιαίτερα για τους εταιρικούς πελάτες. Επιπλέον, μπορείτε να επιλέξετε να χρησιμοποιήσετε αυτήν τη λειτουργία για σενάρια όπου σκοπός είναι η επαυξητική αναθεώρηση των αλλαγών από το Dataverse και η επεξεργασία των αλλαγών για σενάρια ETL, AI και ML. Η λειτουργία "Μόνο προσάρτηση" παρέχει ιστορικό αλλαγών, αντί της τελευταίας αλλαγής ή ενημέρωσης σε ισχύ, και επιτρέπει πολλές χρονικές σειρές από σενάρια AI, όπως πρόβλεψη ή πρόβλεψη ανάλυσης που βασίζεται σε ιστορικές τιμές.

Στη λειτουργία προσάρτησης μόνο, θα πρέπει να προσδιορίσετε την πιο πρόσφατη έκδοση της εγγραφής με το ίδιο αναγνωριστικό χρησιμοποιώντας VersionNumber και SinkModifiedOn , στη συνέχεια, να εφαρμόσετε isDeleted=0 στην πιο πρόσφατη έκδοση.

Για τη λειτουργία προσάρτησης μόνο, εάν η Σύνδεση Azure Synapse για Dataverse δεν λάβει αναγνώριση από τη λίμνη δεδομένων Azure ότι τα δεδομένα έχουν δεσμευτεί εξαιτίας οποιουδήποτε λόγου, όπως καθυστερήσεις δικτύου, η Σύνδεση Azure Synapse θα προσπαθήσει ξανά σε αυτά τα σενάρια και θα δεσμεύσει τα δεδομένα εκ νέου. Η κατανάλωση σε downstream θα πρέπει να καταστεί ανθεκτική σε αυτό το σενάριο με φιλτράρισμα δεδομένων με χρήση SinkModifiedOn.

Είναι αναμενόμενο. Modifiedon είναι η ημερομηνία/ώρα που αλλάζει η εγγραφή στο Dataverse; Sinkmodifiedon Το είναι η ημερομηνία και ώρα τροποποίησης της εγγραφής στη λίμνη δεδομένων.

Οποιοσδήποτε πίνακας στον οποίο δεν είναι ενεργοποιημένη η παρακολούθηση αλλαγών δεν υποστηρίζεται επιπλέον των ακόλουθων πινάκων συστήματος:

• Συνημμένο
• Ημερολόγιο
• Κανόνας ημερολογίου

Ορισμένοι πίνακες Dataverse, όπως οι postcomment, postregarding, postlike, post και postrole, δεν είναι διαθέσιμοι για τους πελάτες για να ενεργοποιήσουν τον συγχρονισμό μέσω της σύνδεσης Azure Synapse.

Σε ορισμένες περιπτώσεις, αυτοί οι πίνακες ενδέχεται να εμφανίζονται όταν έχει ενεργοποιηθεί η μακροπρόθεσμη διατήρηση του Dataverse . Εάν συμβεί αυτό, μπορεί να εξαχθεί ένα υποσύνολο ή όλες οι εγγραφές από αυτούς τους πίνακες. Αυτή είναι η αναμενόμενη συμπεριφορά για μακροπρόθεσμα σενάρια διατήρησης.

Σημαντικό

• Αυτοί οι πίνακες δεν πρέπει να επιλέγονται για συγχρονισμό.
• Η παρουσία τους δεν υποδεικνύει πλήρη υποστήριξη για επαυξητικό συγχρονισμό.

Σημείωμα

Μπορείτε να προσθέσετε τον πίνακα ελέγχου για εξαγωγή χρησιμοποιώντας τη Σύνδεση Azure Synapse για το Dataverse. Ωστόσο, η εξαγωγή του πίνακα ελέγχου υποστηρίζεται μόνο με προφίλ Delta Lake.

Η εργασία μετατροπής της λίμνης Delta ενεργοποιείται όταν υπήρξε μια αλλαγή δεδομένων στο διαμορφωμένο χρονικό διάστημα. Δεν υπάρχει επιλογή διακοπής ή παύσης της πισίνας Apache Spark. Ωστόσο, μπορείτε να τροποποιήσετε το χρονικό διάστημα μετά τη δημιουργία της σύνδεσης στην περιοχή Διαχείριση πινάκων > Χρονικό διάστημα για προχωρημένους.

Οι στήλες αναζήτησης αποτελούνται από ένα αναγνωριστικό και μια τιμή. Οι τιμές αναζήτησης αλλάζουν μόνο στον ριζικό πίνακα. Για να αντικατοπτρίζεται καλύτερα η τιμή μιας στήλης αναζήτησης, συνιστάται να συμμετάσχετε με τον αρχικό ριζικό πίνακα για να λάβετε την πιο πρόσφατη τιμή.

Στο Dataverse, οι υπολογιζόμενες στήλες διατηρούν μόνο τις πληροφορίες τύπου και η πραγματική τιμή εξαρτάται από τη στήλη βασικού πίνακα. Επομένως, οι υπολογιζόμενες στήλες υποστηρίζονται μόνο όταν όλες οι στήλες βρίσκονται εντός του ίδιου εξαγόμενου πίνακα.

Όλοι οι πίνακες που δεν έχουν δημιουργημένο πεδίοOn συγχρονίζονται χρησιμοποιώντας τη λειτουργία προσάρτησης μόνο από προεπιλογή. Αυτό περιλαμβάνει πίνακες σχέσεων και τον πίνακα ActivityParty.

• Τα δεδομένα του dataverse αποθηκεύονται στο συνδεδεμένο κοντέινερ χώρου αποθήκευσης. Χρειάζεστε τον ρόλο "Συμβάλλων δεδομένων αντικειμένου blob χώρου αποθήκευσης" στον συνδεδεμένο λογαριασμό χώρου αποθήκευσης για την εκτέλεση λειτουργιών ανάγνωσης και ερωτημάτων μέσω του χώρου εργασίας Synapse.
• Εάν επιλέξετε να εξαγάγετε δεδομένα σε μορφή Delta Lake, το αρχείο CSV σας εκκαθαρίζεται μετά τη μετατροπή του Delta Lake. Χρειάζεται να υποβάλετε ερωτήματα για δεδομένα με non_partitioned πίνακες μέσω του χώρου εργασίας Synapse.

Τα δεδομένα που είναι αντίστροφα μπορούν να αλλάζουν συνεχώς μέσω της δημιουργίας, ενημέρωσης και διαγραφής συναλλαγών. Αυτό το σφάλμα οφείλεται στην αλλαγή του υποκείμενου αρχείου κατά την ανάγνωση δεδομένων από αυτό. Επομένως, για πίνακες με συνεχείς αλλαγές, αλλάξτε τη διοχέτευση κατανάλωσής σας ώστε να χρησιμοποιεί δεδομένα στιγμιότυπου (διαμετρημένους πίνακες) για κατανάλωση. Περισσότερες πληροφορίες: Αντιμετώπιση προβλημάτων χώρου συγκέντρωσης SQL χωρίς τη χρήση διακομιστή

Η Σύνδεση Azure Synapse για Dataverse έχει σχεδιαστεί για σκοπούς ανάλυσης. Συνιστούμε στους πελάτες να χρησιμοποιούν μακροπρόθεσμη διατήρηση για σκοπούς αρχειοθέτησης. Περισσότερες πληροφορίες: Επισκόπηση μακροπρόθεσμης διατήρησης δεδομένων του Dataverse

Για οποιαδήποτε απευθείας κλήση SQL για την κατάργηση μιας εγγραφής, η υπηρεσία Azure Synapse Link για το Dataverse δεν ενεργοποιείται επειδή δεν καλείται το BPO.Delete. Για ένα δείγμα δυνατότητας, μεταβείτε στην ενότητα Πώς μπορείτε να εκκαθαρίσετε την πρόσβαση που μεταβιβάστηκε.

Δείτε επίσης

Azure Synapse Link για Dataverse