Σε αυτό το άρθρο παρέχονται πληροφορίες σχετικά με συνήθεις ερωτήσεις σχετικά με την εξαγωγή δεδομένων πίνακα Microsoft Dataverse στο Azure Synapse Analytics και το Azure Data Lake.
Μπορώ να εκτελέσω εργασίες με μη αυτόματο τρόπο, όπως δημιουργία, ενημέρωση, διαγραφή ή ρύθμιση πολιτικών αυτόματης διαγραφής για αρχεία δεδομένων στο συνδεδεμένο χώρο αποθήκευσης Azure;
Τα αρχεία δεδομένων δεν πρέπει να τροποποιούνται από πελάτη και δεν πρέπει να τοποθετούνται αρχεία πελατών στους φακέλους δεδομένων.
Σημείωση
Για την απόθεση έωλων και μη λειτουργικών δεδομένων στη λίμνη δεδομένων χωρίς διακοπή του Azure Synapse Link, εξετάστε το ενδεχόμενο χρήσης της δυνατότητας Ερώτημα και ανάλυση των τμηματικών ενημερώσεων
Πώς μπορώ να έχω πρόσβαση στις σχέσεις πινάκων μου;
Για πρόσβαση σε Σχέσεις πολλά προς πολλά, η σχέση είναι διαθέσιμη ως πίνακας για επιλογή από τη σελίδα Προσθήκη πινάκων για μια νέα σύνδεση και από τη σελίδα Διαχείριση πινάκων για μια προϋπάρχουσα σύνδεση.
Σημείωση
Όλες οι σχέσεις είναι σε λειτουργία μόνο προσάρτησης από προεπιλογή, όταν γράφονται σε μορφή CSV.
Πώς μπορώ να αποκτήσω εκτιμώμενο κόστος πριν από την προσθήκη Azure Synapse Link;
Το Azure Synapse Link είναι μια δωρεάν δυνατότητα του Dataverse. Η χρήση Azure Synapse Link for Dataverse δεν χρεώνει επιπλέον χρεώσεις στο Dataverse. Ωστόσο, εξετάστε το πιθανό κόστος για την υπηρεσία Azure:
- Χώρος αποθήκευσης δεδομένων στο Azure Data Lake Storage Gen2: Τιμολόγηση Azure Storage Data Gen2 | Microsoft Azure
- Κόστος κατανάλωσης δεδομένων (όπως Χώρος εργασίας Synapse): Τιμολόγηση - Azure Synapse Analytics | Microsoft Azure Για αναλυτικές πληροφορίες διαχείρισης κόστους της Microsoft, μεταβείτε στο: Σχεδιασμός για τη διαχείριση του κόστους Azure - Διαχείριση κόστους της Microsoft | Microsoft Learn
Τι συμβαίνει όταν προσθέτω μια στήλη;
Όταν προσθέτετε μια νέα στήλη σε έναν πίνακα στην προέλευση, προστίθεται επίσης στο τέλος του αρχείου στον προορισμό του αντίστοιχου διαμερίσματος αρχείου. Παρόλο που οι γραμμές που υπήρχαν πριν από την προσθήκη της στήλης δεν εμφανίζονται στη νέα στήλη, νέες ή ενημερωμένες γραμμές εμφανίζουν τη στήλη που μόλις προστέθηκε.
Τι συμβαίνει όταν διαγράφω μια στήλη;
Όταν διαγράφετε μια στήλη από έναν πίνακα στην προέλευση, η στήλη δεν διαγράφεται από τον προορισμό. Αντί για αυτό, οι γραμμές δεν ενημερώνονται πλέον και επισημαίνονται ως null ενώ διατηρούνται οι προηγούμενες γραμμές.
Τι συμβαίνει εάν αλλάξω τον τύπο δεδομένων μιας στήλης;
Η αλλαγή του τύπου δεδομένων μιας στήλης είναι μια τελευταία αλλαγή και πρέπει να καταργήσετε τη σύνδεση και να κάνετε επανασύνδεση.
Τι συμβαίνει όταν διαγράφω μια γραμμή;
Ο χειρισμός της διαγραφής μιας γραμμής γίνεται διαφορετικά, ανάλογα με τις επιλογές σύνταξης δεδομένων που επιλέγετε:
- Ενημέρωση στη θέση της με μορφή CSV: Αυτή είναι η προεπιλεγμένη λειτουργία. Όταν διαγράφετε μια γραμμή πίνακα σε αυτήν τη λειτουργία, η γραμμή διαγράφεται επίσης από το αντίστοιχο διαμέρισμα δεδομένων στο Azure Data Lake. Με άλλα λόγια, τα δεδομένα διαγράφονται οριστικά από τον προορισμό.
- Μόνο προσάρτηση με μορφή CSV και τμηματική ενημέρωση φακέλου. Σε αυτήν τη λειτουργία, όταν διαγράφεται μια γραμμή πίνακα Dataverse, δεν διαγράφεται οριστικά από τον προορισμό. Αντ' αυτού, μια γραμμή προστίθεται και ορίζεται ως
isDeleted=Trueστο αρχείο στο αντίστοιχο διαμερίσμα δεδομένων στο Azure Data Lake. - Εξαγωγή σε μορφή λίμνης Delta: το Azure Synapse Link εκτελεί διαγραφή δεδομένων κατά τη διάρκεια του επόμενου κύκλου συγχρονισμού δέλτα, ακολουθούμενο από οριστική διαγραφή μετά από 30 ημέρες.
Γιατί δεν βλέπω κεφαλίδα στήλης στο αρχείο που έχει εξαχθεί;
Το Azure Synapse Link ακολουθεί το Κοινό μοντέλο δεδομένων για να καταστεί δυνατή η κοινοποίηση δεδομένων και σημασίας σε εφαρμογές και επιχειρηματικές διεργασίες, όπως το Microsoft Power Apps, το Power BI, το Dynamics 365 και το Azure. Σε κάθε φάκελο CDM, τα μετα-δεδομένα, όπως μια κεφαλίδα στήλης, αποθηκεύονται στο αρχείο model.json. Περισσότερες πληροφορίες: Common Data Model και Azure Data Lake Storage Gen2 | Microsoft Learn
Γιατί το αρχείο Model.json αυξάνει ή αλλάζει το μήκος για τους τύπους δεδομένων και δεν διατηρεί αυτό που ορίζεται στο Dataverse;
Το model.json διατηρεί το μήκος της βάσης δεδομένων για το μέγεθος της στήλης. Το Dataverse έχει μια έννοια μήκους βάσης δεδομένων για κάθε στήλη. Εάν δημιουργήσετε μια στήλη με μέγεθος 200 και μετά τη μειώσετε σε 100, το Dataverse εξακολουθεί να επιτρέπει την παρουσία των υπαρχόντων δεδομένων στο Dataverse. Αυτό γίνεται κρατώντας στο DBLength στα 200 και το MaxLength στα 100. Αυτό που βλέπετε στο Model.json είναι DBLength, κι αν το χρησιμοποιήσετε για καθοδικές διεργασίες, δεν θα δημιουργήσετε ποτέ μικρότερο χώρο για τις στήλες Dataverse σας.
Σημείωση
Τα πεδία υπομνήματος ορίζονται ως varchar(max) με προεπιλεγμένο μέγιστο μήκος 9999.
Ποιες μορφές ημερομηνίας και ώρας μπορεί να είναι αναμενόμενες στους πίνακες εξαγωγής Dataverse;
Υπάρχουν τρεις μορφές ημερομηνίας και ώρας που είναι αναμενόμενες στους πίνακες εξαγωγής Dataverse.
| Όνομα στήλης | Format | Τύπος δεδομένων | Παράδειγμα |
|---|---|---|---|
| SinkCreatedOn και SinkModifiedOn | M/d/yyyy H:mm:ss tt | datetime | 6/28/2021 4:34:35 PM |
| CreatedOn | yyyy-MM-dd'T'HH:mm:ss.sssssssXXX | datetimeOffset | 2018-05-25T16:21:09.0000000+00:00 |
| Όλες οι άλλες στήλες | yyyy-MM-dd'T'HH:mm:ss'Z' | datetime | 2021-06-25T16:21:12Z |
Σημείωση
Ο τύπος δεδομένων CreatedOn άλλαξε από datetime σε datetimeOffset στις 29/7/2022. Για να επεξεργαστείτε τη μορφή τύπου δεδομένων για έναν πίνακα που δημιουργήθηκε πριν από την αλλαγή, αποθέστε και διαβάστε τον πίνακα.
Μπορείτε να επιλέξετε διαφορετικές συμπεριφορές στηλών για μια στήλη "Ημερομηνία και ώρα" στο Dataverse που ενημερώνει τη μορφή τύπου δεδομένων. Περισσότερες πληροφορίες: Συμπεριφορά και μορφή της στήλης ημερομηνίας και ώρας
Γιατί βλέπω τα ονόματα αρχείων 1.csv ή 1_001.csv αντί για ονόματα αρχείων που έχουν χωριστεί σε διαμερίσματα τακτικής ημερομηνίας ώρας για ορισμένους πίνακες Dataverse;
Αυτή η συμπεριφορά αναμένεται όταν επιλέγετε λειτουργία εξαγωγής μόνο προσάρτησης και δημιουργείτε πίνακες χωρίς έγκυρη στήλη CreatedOn. Τα αντικείμενα blob είναι οργανωμένα σε αρχεία όπως 1.csv, 2.csv (που χρησιμοποιούν προσαρμοσμένο χωρισμό σε διαμερίσματα λόγω της απουσίας έγκυρης ημερομηνίας δημιουργίας). Όταν κάποιο διαμέρισμα πλησιάζει το 95% του MaxBlockPerBlobLimit, το σύστημα δημιουργεί αυτόματα ένα νέο αρχείο, το οποίο απεικονίζεται εδώ ως 1_001.csv.
Πότε πρέπει να χρησιμοποιήσω μια ετήσια ή μηνιαία στρατηγική διαμερισμάτων;
Για πίνακες Dataverse με μεγάλο όγκο δεδομένων μέσα σε έναν χρόνο, συνιστάται η χρήση μηνιαίων διαμερισμάτων. Αυτό οδηγεί σε μικρότερα αρχεία και καλύτερη απόδοση. Επιπλέον, εάν οι γραμμές στους πίνακες Dataverse ενημερώνονται συχνά, η διαίρεση σε πολλά μικρότερα αρχεία συμβάλλει στη βελτίωση της απόδοσης στην περίπτωση σεναρίων ενημέρωσης που υπάρχουν στη θέση τους. Η λίμνη Delta είναι διαθέσιμη μόνο με ετήσια διαμερισματοποίηση, λόγω των ανώτερων επιδόσεων σε σχέση με τη μορφή CSV.
Τι είναι η λειτουργία μόνο προσάρτησης και ποια είναι η διαφορά μεταξύ μόνο της λειτουργίας προσάρτησης και της λειτουργίας ενημέρωσης στη θέση της;
Στη λειτουργία μόνο προσάρτησης, τα σταδιακά δεδομένα από τους πίνακες Dataverse προσαρτώνται στο αντίστοιχο διαμέρισμα αρχείου της λίμνης. Για περισσότερες πληροφορίες: Σύνθετες επιλογές ρύθμισης παραμέτρων στο Azure Synapse Link
Πότε χρησιμοποιώ τη λειτουργία Μόνο προσάρτηση για μια προβολή ιστορικού αλλαγών;
Η λειτουργία «Μόνο προσάρτηση» είναι η συνιστώμενη επιλογή για τη σύνταξη δεδομένων πίνακα Dataverse στηλίμνη δεδομένων και ιδιαίτερα όταν ο όγκος δεδομένος είναι πολύ υψηλός μέσα σε ένα διαμέρισμα με συχνά μεταβαλλόμενα δεδομένα. Και πάλι, αυτή είναι μια επιλογή που χρησιμοποιείται συχνά και συνιστάται ιδιαίτερα για τους πελάτες της επιχείρησης. Επιπλέον, μπορείτε να επιλέξετε να χρησιμοποιήσετε αυτήν τη λειτουργία για σενάρια στα οποία ο σκοπός είναι η σταδιακή εξέταση των αλλαγών από το Dataverse και η επεξεργασία των αλλαγών σε σενάρια ETL, AI και ML. Η λειτουργία «Μόνο προσάρτηση» παρέχει ένα ιστορικό αλλαγών, αντί για την πιο πρόσφατη αλλαγή ή ενημέρωση θέσης, και επιτρέπει διάφορες σειρές χρόνου από σενάρια AI, όπως πρόβλεψη ή προβλέψεις αναλύσεων με βάση ιστορικές τιμές.
Πώς μπορώ να ανακτήσω την πιο ενημερωμένη γραμμή κάθε καρτέλας και να εξαιρέσω τις διαγραμμένες γραμμές κατά την εξαγωγή δεδομένων σε λειτουργία μόνο προσάρτησης;
Σε λειτουργία μόνο προσάρτησης, θα πρέπει να προσδιορίσετε την πιο πρόσφατη έκδοση της καρτέλας με το ίδιο αναγνωριστικό χρησιμοποιώντας VersionNumber και SinkModifiedOn στη συνέχεια, να εφαρμόσετε isDeleted=0 την πιο πρόσφατη έκδοση.
Γιατί βλέπω διπλότυπους αριθμούς έκδοσης όταν εξάγουν δεδομένα χρησιμοποιώντας τη λειτουργία μόνο προσάρτησης;
Για λειτουργία μόνο προσάρτησης, αν το Azure Synapse Link for Dataverse δεν λαμβάνει επιβεβαίωση από το Azure Data Lake ότι τα δεδομένα έχουν δεσμευτεί για οποιονδήποτε λόγο, όπως καθυστερήσεις δικτύου, το Azure Synapse Link θα προσπαθήσει ξανά σε αυτά τα σενάρια και θα δεσμεύσει ξανά τα δεδομένα. Η κατάντη κατανάλωση θα πρέπει να γίνει πιο ανθεκτική σε αυτό το σενάριο με το φιλτράρισμα των δεδομένων με χρήση SinkModifiedOn.
Γιατί βλέπω διαφορές στις στήλες Sinkmodifiedon και Modifiedon;
Είναι αναμενόμενο. Το Modifiedon είναι η ημερομηνία/ώρα στην οποία αλλάζει η καρτέλα στο Dataverse. Το Sinkmodifiedon είναι η ημερομηνία και ώρα τροποποίησης της καρτέλας στη λίμνη δεδομένων.
Ποιοι Dataverse πίνακες δεν υποστηρίζονται για εξαγωγή;
Οποιοσδήποτε πίνακας που δεν έχει ενεργοποιημένη την παρακολούθηση αλλαγών δεν υποστηρίζεται εκτός από τους παρακάτω πίνακες συστήματος:
- Συνημμένο
- Ημερολόγιο
- Calendarrule
Σημείωση
Μπορείτε να προσθέσετε τον πίνακα ελέγχου για εξαγωγή χρησιμοποιώντας Azure Synapse Link for Dataverse. Ωστόσο, η εξαγωγή του πίνακα ελέγχου υποστηρίζεται μόνο με Προφίλ Data Lake.
Χρησιμοποιώ τη δυνατότητα εξαγωγή σε λίμνη delta, μπορώ να διακόψω την εργασία Apache Spark ή να αλλάξω τον χρόνο εκτέλεσης;
Η εργασία μετατροπής της λίμνης Delta ενεργοποιείται όταν υπάρχει αλλαγή δεδομένων στο ρυθμισμένο χρονικό διάστημα. Δεν υπάρχει δυνατότητα διακοπής ή παύσης του χώρου συγκέντρωσης Apache Spark. Ωστόσο, μπορείτε να τροποποιήσετε το χρονικό διάστημα μετά τη δημιουργία σύνδεσης στην περιοχή Διαχείριση πινάκων > Χρονικό διάστημα για προχωρημένους.
Υποστηρίζει το Azure Synapse Link στήλες αναζήτησης;
Οι στήλες αναζήτησης αποτελούνται από ένα αναγνωριστικό και μια τιμή. Οι τιμές αναζήτησης αλλάζουν μόνο στον ριζικό πίνακα. Για να απεικονίσετε καλύτερα την τιμή μιας στήλης αναζήτησης, συνιστούμε να χρησιμοποιήσετε τον αρχικό ριζικό πίνακα για να έχετε την πιο πρόσφατη τιμή.
Το Azure Synapse Link υποστηρίζει υπολογιζόμενες στήλες:
Στο Dataverse, οι υπολογιζόμενες στήλες διατηρούν μόνο τις πληροφορίες του τύπου και η πραγματική τιμή εξαρτάται από τη στήλη του βασικού πίνακα. Έτσι, οι υπολογιζόμενες στήλες υποστηρίζονται μόνο όταν όλες οι στήλες βρίσκονται εντός του ίδιου πίνακα που έχει εξαχθεί.
Ποιοι πίνακες Dataverse χρησιμοποιούν μόνο την επιλογή Προσάρτηση από προεπιλογή;
Όλοι οι πίνακες που δεν έχουν πεδίο createdOn συγχρονίζονται με τη λειτουργία "Μόνο προσάρτηση" από προεπιλογή. Σε αυτούς περιλαμβάνονται οι πίνακες σχέσεων και ο πίνακας ActivityParty.
Γιατί βλέπω το μήνυμα σφάλματος - Το περιεχόμενο του καταλόγου στη διαδρομή δεν μπορεί να παρατεθεί;
- Τα δεδομένα Dataverse αποθηκεύονται στο συνδεδεμένο κοντέινερ του χώρου αποθήκευσης. Χρειάζεστε τον ρόλο "Συμβάλλων δεδομένων αντικειμένου Blob χώρου αποθήκευσης" στον συνδεδεμένο λογαριασμό χώρου αποθήκευσης για να εκτελέσετε λειτουργίες ανάγνωσης και ερωτημάτων μέσω του Synapse Workspace.
- Αν επιλέξετε να εξαγάγετε δεδομένα με τη μορφή Delta Lake, το αρχείο CSV εκκαθαρίζεται μετά τη μετατροπή του Delta Lake. Θα χρειαστεί να υποβάλετε ερωτήματα για δεδομένα με τους non_partitioned πίνακες μέσω του χώρου εργασίας Synapse.
Γιατί εμφανίζεται το μήνυμα σφάλματος - δεν είναι δυνατή η μαζική φόρτωση επειδή το αρχείο δεν είναι πλήρες ή επειδή δεν μπορεί να αναγνωστεί (μόνο αρχείο CSV);
Τα δεδομένα Dataverse μπορούν να αλλάζουν συνεχώς μέσω της δημιουργίας, της ενημέρωσης και της διαγραφής συναλλαγών. Αυτό το σφάλμα προκαλείται λόγω της αλλαγής που πραγματοποιήθηκε στο υποκείμενο αρχείο όταν διαβάζετε δεδομένα από αυτό. Έτσι, για τους πίνακες με τις συνεχείς αλλαγές, αλλάξτε τη διοχέτευση κατανάλωσης για να χρησιμοποιήσετε δεδομένα στιγμιοτύπου (διαμερισμένοι πίνακες) για κατανάλωση. Περισσότερες πληροφορίες: Αντιμετώπιση προβλημάτων χώρου συγκέντρωσης SQL χωρίς διακομιστή
Πώς μπορώ να χρησιμοποιήσω το Azure Synapse Link για να αρχειοθετήσω σημαντικά δεδομένα;
Το Azure Synapse Link for Dataverse έχει σχεδιαστεί για σκοπούς ανάλυσης. Συνιστούμε στους πελάτες να χρησιμοποιούν τη μακροπρόθεσμη διατήρηση για λόγους αρχειοθέτησης. Περισσότερες πληροφορίες: Επισκόπηση μακροπρόθεσμης διατήρησης δεδομένων Dataverse
Γιατί δεν βλέπω αλλαγές δεδομένων στη λίμνη δεδομένων όταν έχουν διαγραφεί οι καρτέλες στο Dataverse;
Για οποιαδήποτε άμεση κλήση SQL για κατάργηση μιας καρτέλας, η υπηρεσία Azure Synapse Link for Dataverse δεν ενεργοποιείται επειδή το BPO.Delete δεν καλείται. Για ένα δείγμα δυνατότητας, μεταβείτε στο Τρόπος εκκαθάρισης της μεταβιβασμένης πρόσβασης.