Επιλογές ρυθμίσεων παραμέτρων για προχωρημένους στο Azure Synapse Link

Το Azure Synapse Link προσφέρει πολλούς τρόπους εγγραφής και ανάγνωσης των δεδομένων σας για την προσαρμογή σε διάφορα σενάρια ανάλυσης.

Σημείωση

Το Azure Synapse Link for Dataverse παλαιότερα ήταν γνωστό ως Export to data lake. Η υπηρεσία μετονομάστηκε από τον Μάιο του 2021 και θα συνεχίσει να εξαγάγει δεδομένα στο Azure Data Lake καθώς και στο Azure Synapse Analytics.

Αυτό το άρθρο καλύπτει τα εξής:

1. Ενημερώσεις στη θέση τους έναντι εγγραφών μόνο προσάρτησης.
2. Δημιουργία διαμερισμάτων δεδομένων που καθορίζονται από το χρήστη.

Ενημερώσεις στη θέση τους έναντι προσαρτημένων εγγραφών

Κατά τη γραφή δεδομένων πίνακα Dataverse στη λίμνη δεδομένων Azure, με βάση την τιμή createdOn, που είναι η ημερομηνία και ώρα δημιουργίας της καρτέλας, υπάρχουν δύο διαφορετικές ρυθμίσεις από τις οποίες μπορείτε να επιλέξετε. Είναι, Ενημέρωση στη θέση τους και Μόνο προσάρτηση.

Η προεπιλεγμένη ρύθμιση (για τους πίνακες όπου είναι διαθέσιμο το createdOn) είναι η ενημέρωση στη θέση τους ή upsert (ενημέρωση ή εισαγωγή) των σταδιακών δεδομένων στον προορισμό. Εάν η αλλαγή είναι νέα και η αντίστοιχη γραμμή δεν υπάρχει στη λίμνη, στην περίπτωση δημιουργίας, τα αρχεία προορισμού σαρώνονται και οι αλλαγές εισάγονται στο αντίστοιχο διαμέρισμα αρχείων στη λίμνη. Εάν η αλλαγή είναι μια ενημέρωση και υπάρχει μια γραμμή στηλίμνη, το αντίστοιχο αρχείο στη λίμνη ενημερώνεται, αντί να εισάγεται, με τα σταδιακά δεδομένα. Με άλλα λόγια, η προεπιλεγμένη ρύθμιση για όλες τις αλλαγές ΔΕΔ (δημιουργία, ενημέρωση, διαγραφή) στους πίνακες Dataverse, όπου το createdOn είναι διαθέσιμο, είναι να κάνετε μια ενημέρωση στη θέση τους στον προορισμό, στη λίμνη δεδομένων Azure.

Μπορείτε να αλλάξετε την προεπιλεγμένη συμπεριφορά μιας ενημέρωσης στη θέση της χρησιμοποιώντας μια προαιρετική ρύθμιση που ονομάζεται Μόνο προσάρτηση. Αντί για μια Ενημέρωση στη θέση τους, στη λειτουργία Μόνο προσάρτηση, προσαρτώνται τα σταδιακά δεδομένα από τους πίνακες Dataverse στο αντίστοιχο διαμερίσματος αρχείου της λίμνης. Αυτή είναι μια ρύθμιση ανά πίνακα και είναι διαθέσιμη ως πλαίσιο ελέγχου στην περιοχή Για προχωρημένους > Εμφάνιση ρυθμίσεων παραμέτρων για προχωρημένους. Για πίνακες Dataverse με ενεργοποιημένη Μόνο προσάρτηση, όλες οι αλλαγές ΔΕΔ προσαρτώνται σταδιακά στα αντίστοιχα αρχεία προορισμού στη λίμνη. Όταν επιλέγετε αυτή την επιλογή, η στρατηγική διαμερίσματος ορίζεται από προεπιλογή σε Έτος και όταν τα δεδομένα είναι γραμμένα στη λίμνη δεδομένων, γίνεται διαμέριση ανά ετήσια βάση. Η επιλογή Προσάρτηση μόνο είναι επίσης η προεπιλεγμένη ρύθμιση για πίνακες Dataverse που δεν διαθέτουν τιμή createdOn.

Στον παρακάτω πίνακα περιγράφεται ο τρόπος με τον οποίο γίνεται ο χειρισμός των γραμμών στη λίμνη σε σχέση με τα συμβάντα ΔΕΔ για καθεμία από τιες επιλογές γραφής δεδομένων.

Συμβάν	Ενημέρωση στη θέση τους	Μόνο προσάρτηση
Δημιουργία	Η γραμμή εισάγεται στο αρχείο διαμερισμάτων και βασίζεται στην τιμή createdOn της γραμμής.	Η γραμμή προστίθεται στο τέλος του αρχείου διαμερισμάτων και βασίζεται στην τιμή createdOn της καρτέλας.
Ενημέρωση	Εάν η γραμμή υπάρχει στο αρχείο διαμερισμάτων, αντικαθίσταται ή ενημερώνεται με ενημερωμένα δεδομένα. Εάν δεν υπάρχει, εισάγεται στο αρχείο.	Η γραμμή, μαζί με την ενημερωμένη έκδοση, προστίθεται στο τέλος του αρχείου διαμερισμάτων.
Delete	Εάν η γραμμή υπάρχει στο αρχείο διαμερισμάτων, καταργείται από το αρχείο.	Η γραμμή προστίθεται στο τέλος του αρχείου διαμερισμάτων με IsDelete column = True.

Σημείωση

Για τους πίνακες Dataverse όπου είναι ενεργοποιημένη η Μόνο προσάρτηση, η διαγραφή μιας γραμμής στην προέλευση δεν θα διαγράψει ούτε θα καταργήσει τη γραμμή στηλίμνη. Αντί για αυτό, η διαγραμμένη γραμμή προσαρτάται ως νέα γραμμή στη λίμνη και η στήλη isDeleted ορίζεται σε True.

Η προβληματική ανάγνωση (ALLOW_INCONSISTENT_READS) για λειτουργία χωρίς τη χρήση διακομιστή είναι ενεργοποιημένη για τη λειτουργία μόνο προσάρτησης. Το ALLOW_INCONSISTENT_READS σημαίνει ότι ο χρήστης μπορεί να διαβάζει τα αρχεία που μπορούν να τροποποιούνται συνεχώς, ενώ εκτελείται το ερώτημα SELECT. Τα αποτελέσματα θα είναι συνεπή και ισοδύναμα με την ανάγνωση ενός στιγμιότυπου του αρχείου. (Δεν είναι ισοδύναμο με την απομόνωση στιγμιότυπου βάσης δεδομένων λόγω του χρόνου δημιουργίας διαφορετικών στιγμιοτύπων.)

Δεν θα καταγραφούν όλες οι αλλαγές ΔΕΔ στο μόνο προσάρτηση: Το Synapse Link επεξεργάζεται αλλαγές σε δεδομένα σε ομάδες ή "δέσμες" πριν τις δημοσιεύσει στα δεδομένα. Ως εκ τούτου, εάν ο χρήστης κάνει αλλαγές εντός σύντομου χρονικού διαστήματος, δεν θα καταγραφούν όλες οι αλλαγές ΔΕΔ στη λίμνη δεδομένων.

Ακολουθούν ορισμένες ακόμα λεπτομέρειες σχετικά με το πότε θα χρησιμοποιήσετε κάποια από τις επιλογές.

• Ενημέρωση θέσης: Αυτή η επιλογή είναι η προεπιλεγμένη ρύθμιση και συνιστάται μόνο εάν θέλετε να συνδεθείτε απευθείας στα δεδομένα στη λίμνη και χρειαστείτε την τρέχουσα κατάσταση (όχι ιστορικό ή τμηματικές αλλαγές). Το αρχείο περιέχει το πλήρες σύνολο δεδομένων και μπορεί να χρησιμοποιηθεί μέσω Power BI ή με αντιγραφή ολόκληρου του συνόλου δεδομένων για διοχετεύσεις ETL (Εξαγωγή, Μεταφορά, Φόρτωση).
• Μόνο προσάρτηση: ενεργοποιήστε αυτήν την επιλογή εάν δεν συνδέεστε απευθείας σε δεδομένα στηλίμνη και θέλετε να αντιγράψετε σταδιακά δεδομένα σε άλλον στόχο χρησιμοποιώντας διοχετεύσεις ETL. Αυτή η επιλογή παρέχει ένα ιστορικό αλλαγών για την ενεργοποίηση σεναρίων AI και ML.

Μπορείτε να κάνετε εναλλαγή του στοιχείου Εμφάνιση ρυθμίσεων παραμέτρων για προχωρημένους στο στοιχείο Για προχωρημένους στο Azure Synapse Link for Dataverse για να προσαρμόσετε τη στρατηγική διαχωρισμού δεδομένων και να επιλέξετε στοιχεία επιλογής για εγγραφή στο Azure data lake.

Δημιουργία διαμερισμάτων δεδομένων

Όταν γράφετε δεδομένα πίνακα του Dataverse σε χώρο αποθήκευσης Azure Data Lake Storage χρησιμοποιώντας το Azure Synapse Link, οι πίνακες διαχωρίζονται (αντί για ένα μεμονωμένο αρχείο) στη λίμνη με βάση την τιμή createdOn σε κάθε γραμμή της προέλευσης. Η προεπιλεγμένη στρατηγική διαμερισμάτων είναι ανά μήνα και τα δεδομένα διαμερίζονται σε λίμνη δεδομένων Azure σε μηνιαία βάση.

Με βάση τον όγκο του πίνακα Dataverse και τη διανομή δεδομένων, μπορείτε να επιλέξετε να γίνει διαχωρισμός των δεδομένων σας ανά έτος. Με την επιλογή αυτή, όταν γράφονται δεδομένα πίνακα Dataverse στη λίμνη δεδομένων Azure, θα γίνεται διαχωρισμός σε ετήσια βάση με βάση την τιμή createdOn σε κάθε γραμμή της προέλευσης. Για πίνακες χωρίς τη στήλη createdOn, οι γραμμές των δεδομένων εμφανίζονται σε ένα νέο αρχείο κάθε 5.000.000 καρτέλες. Αυτή είναι μια ρύθμιση ανά πίνακα και είναι διαθέσιμη ως πλαίσιο ελέγχου στην περιοχή Για προχωρημένους > Εμφάνιση ρυθμίσεων παραμέτρων για προχωρημένους.

Περισσότερες λεπτομέρειες με παραδείγματα για τον τρόπο χειρισμού των δεδομένων στη λίμνη με ετήσια ή μηνιαία στρατηγική διαμερισμάτων:

Δείτε επίσης

Azure Synapse Link for Dataverse

Σημείωση

Μπορείτε να μας πείτε ποια γλώσσα προτιμάτε για την τεκμηρίωση; Πάρτε μέρος σε μια σύντομη έρευνα. (σημειώνεται ότι αυτή η έρευνα είναι στα Αγγλικά)

Η έρευνα θα διαρκέσει περίπου επτά λεπτά. Δεν συλλέγονται προσωπικά δεδομένα (δήλωση προστασίας προσωπικών δεδομένων).