Σύνδεση σε πίνακες Δέλτα στο Azure Data Lake Storage

Συνδεθείτε σε δεδομένα σε πίνακες Delta και φέρετε τα δεδομένα στο Dynamics 365 Customer Insights - Data.

Βασικοί λόγοι για τη σύνδεση σε δεδομένα που είναι αποθηκευμένα σε μορφή Delta:

• Εισαγάγετε απευθείας μορφοποιημένα δεδομένα Delta για εξοικονόμηση χρόνου και προσπάθειας.
• Εξαλείψτε το κόστος υπολογισμού και αποθήκευσης που σχετίζεται με τη μετατροπή και την αποθήκευση ενός αντιγράφου των δεδομένων της λίμνης δεδομένων σας.
• Βελτιώστε αυτόματα την αξιοπιστία της πρόσληψης δεδομένων στο Customer Insights - Data παρέχεται από τις Εκδόσεις Delta.

Υποστηριζόμενες δυνατότητες και εκδόσεις Databricks

Customer Insights - Data υποστηρίζει λειτουργίες Databricks με 'minReaderVersion' 2 ή παλαιότερη έκδοση. Οι δυνατότητες Databricks που απαιτούν Databricks Αναγνώστης έκδοση 3 ή νεότερη δεν υποστηρίζονται. Ο πίνακας εμφανίζει τις υποστηριζόμενες και μη υποστηριζόμενες δυνατότητες Databricks.

Υποστηριζόμενες δυνατότητες	Μη υποστηριζόμενες δυνατότητες
Βασική λειτουργικότητα	Διανύσματα διαγραφής
Αλλαγή ροής δεδομένων	Ομαδοποίηση υγρών
Έλεγχος περιορισμών	Χαρακτηριστικά πίνακα γράφουν
Αντιστοίχιση στήλης	Χρονική σήμανσηNTZ
Δημιουργία στηλών	Διεύρυνση κειμένου
Στήλες ταυτότητας	Παραλλαγή
Παρακολούθηση γραμμών
Ανάγνωση χαρακτηριστικών πίνακα
Ομοιόμορφος

Μάθετε περισσότερα: Πώς διαχειρίζεται η Databricks τη συμβατότητα χαρακτηριστικών του Delta Lake;.

Προϋποθέσεις

• Το Azure Data Lake Storage πρέπει να βρίσκεται στον ίδιο μισθωτή και την ίδια περιοχή Azure με το Customer Insights - Data.

• Η αρχή εξυπηρέτησης του Customer Insights - Data πρέπει να έχει δικαιώματα Συμβάλλοντος δεδομένων αντικειμένου Blob για να έχει πρόσβαση στον λογαριασμό χώρου αποθήκευσης. Για περισσότερες πληροφορίες, ανατρέξτε στο Εκχώρηση δικαιωμάτων στον κύριο υπηρεσίας για πρόσβαση στο λογαριασμό χώρου αποθήκευσης.

• Ο χρήστης που ρυθμίζει ή ενημερώνει την προέλευση δεδομένων χρειάζεται τουλάχιστον δικαιώματα αναγνώστη δεδομένων αντικειμένου Blob χώρου αποθήκεθσης στον λογαριασμό Azure Data Lake Storage.

• Τα δεδομένα που είναι αποθηκευμένα στις ηλεκτρονικές υπηρεσίες, μπορούν να αποθηκευτούν σε διαφορετική θέση από αυτήν όπου γίνεται επεξεργασία ή αποθήκευση δεδομένων. Με την εισαγωγή ή τη σύνδεση των δεδομένων που είναι αποθηκευμένα σε ηλεκτρονικές υπηρεσίες συμφωνείτε ότι τα δεδομένα μπορούν να μεταφερθούν. Μάθετε περισσότερα στο Κέντρο αξιοπιστίας της Microsoft.

• Το Customer Insights - Data υποστηρίζει το Databricks reader έκδοση 2. Δεν υποστηρίζονται οι πίνακες δέλτα που χρησιμοποιούν δυνατότητες που απαιτούν Databricks reader έκδοση 3 ή νεότερη έκδοση. Μάθετε περισσότερα: Υποστηριζόμενες λειτουργίες Databricks.

• Οι πίνακες Delta πρέπει να είναι σε ένα φάκελο στο κοντέινερ χώρου αποθήκευσης και δεν μπορούν να είναι στον ριζικό κατάλογο κοντέινερ. Για παράδειγμα:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Τα δεδομένα στο Azure Data Lake Storage πρέπει να είναι σε πίνακες Delta. Το Customer Insights - Data βασίζεται στην ιδιότητα έκδοσης του ιστορικού πίνακα για να αναγνωρίσει τις πιο πρόσφατες αλλαγές για σταδιακή επεξεργασία.

Σύνδεση σε δεδομένα Delta από το Azure Data Lake Storage

1. Μεταβείτε στα Δεδομένα>Προελεύσεις δεδομένων.

2. Επιλέξτε Προσθήκη προέλευσης δεδομένων.

3. Επιλέξτε πίνακες Δέλτα Azure Data Lake.

   

4. Καταχωρήστε ένα Όνομα προέλευσης δεδομένων και μια προαιρετική Περιγραφή. Το όνομα αναφέρεται σε καθοδικές διεργασίες και δεν είναι δυνατόν να το αλλάξετε αφού δημιουργήσετε την προέλευση δεδομένων.

5. Επιλέξτε μία από τις ακόλουθες επιλογές για τη Σύνδεση του χώρου αποθήκευσης με χρήση.

   • Συνδρομή Azure: Επιλέξτε τη συνδρομή και, στη συνέχεια, την ομάδα πόρων και τον λογαριασμό χώρου αποθήκευσης.
   • Πόρος Azure: Εισαγάγετε το αναγνωριστικό πόρου.

6. Προαιρετικά, εάν θέλετε να κάνετε πρόσληψη δεδομένων από ένα λογαριασμό χώρου αποθήκευσης μέσω μιας ιδιωτικής σύνδεσης Azure, επιλέξτε Ενεργοποίηση ιδιωτικής σύνδεσης. Για περισσότερες πληροφορίες, ανατρέξτε στην ενότητα Ιδιωτικές συνδέσεις.

7. Επιλέξτε το όνομα του κοντέινερ που περιέχει τον φάκελο των δεδομένων σας και επιλέξτε Επόμενο.

8. Μεταβείτε στον φάκελο που περιέχει τα δεδομένα σε πίνακες Delta και επιλέξτε τον. Στη συνέχεια, επιλέξτε Επόμενο. Εμφανίζεται μια λίστα διαθέσιμων πινάκων.

9. Επιλέξτε τους πίνακες που θέλετε να συμπεριλάβετε.

10. Για επιλεγμένους πίνακες, στις οποίες δεν έχει οριστεί πρωτεύον κλειδί, το στοιχείο Απαιτείται εμφανίζεται στην περιοχή Πρωτεύον κλειδί. Για καθένα από αυτούς τους πίνακες:

    1. Επιλέξτε Απαιτείται. Εμφανίζεται ο πίνακας Επεξεργασία πίνακα.
    2. Επιλέξτε το πρωτεύον κλειδί. Το πρωτεύον κλειδί είναι ένα χαρακτηριστικό που είναι μοναδικό για τον πίνακα. Για να είναι ένα χαρακτηριστικό έγκυρο πρωτεύον κλειδί, δεν πρέπει να περιλαμβάνει διπλότυπες τιμές, τιμές που λείπουν ή τιμές null. Τα χαρακτηριστικά τύπου δεδομένων συμβολοσειράς, ακέραιου και GUID υποστηρίζονται ως πρωτεύοντα κλειδιά.
    3. Επιλέξτε το στοιχείο Κλείσιμο για να αποθηκεύσετε και να κλείσετε τον πίνακα.

    

11. Για να ενεργοποιήσετε τη δημιουργία προφίλ δεδομένων σε οποιαδήποτε από τις στήλες, επιλέξτε τον αριθμό Στηλών για τον πίνακα. Εμφανίζεται η σελίδα Διαχείριση χαρακτηριστικών.

    

    1. Επιλέξτε το προφίλ δεδομένων για ολόκληρο τον πίνακα ή για συγκεκριμένες στήλες. Από προεπιλογή, δεν έχει ενεργοποιηθεί κανένας πίνακας για τη δημιουργία προφίλ δεδομένων.
    2. Επιλέξτε Τέλος.

12. Επιλέξτε Αποθήκευση. Ανοίγει η σελίδα Προελεύσεις δεδομένων που εμφανίζει τη νέα προέλευση δεδομένων σε κατάσταση Ανανέωσης.

    Φιλοδώρημα

    Υπάρχουν καταστάσεις για εργασίες και διεργασίες. Οι περισσότερες διεργασίες εξαρτώνται από άλλες διεργασίες ανοδικά, όπως οι προελεύσεις δεδομένων και η ανανεώσεις του προφίλ δεδομένων.

    Επιλέξτε την κατάσταση για να ανοίξετε το παράθυρο λεπτομερειών προόδου και προβάλετε την πρόοδο της εργασίας. Για να ακυρώσετε την εργασία, επιλέξτε Ακύρωση εργασίας στο κάτω μέρος του τμήματος παραθύρου.

    Κάτω από κάθε εργασία, μπορείτε να επιλέξτε το Δείτε τις λεπτομέρειες για περισσότερες πληροφορίες σχετικά με την πρόοδο, όπως το χρόνο επεξεργασίας, την τελευταία ημερομηνία επεξεργασίας και τυχόν σφάλματα και προειδοποιήσεις που σχετίζονται με την εργασία ή τη διεργασία. Επιλέξτε την Προβολή κατάστασης συστήματος στο κάτω μέρος του πίνακα για να δείτε άλλες διεργασίες στο σύστημα.

Η φόρτωση των δεδομένων μπορεί να διαρκέσει πολύ. Μετά από μια επιτυχημένη ανανέωση, τα δεδομένα που απορροφήθηκαν μπορούν να ελεγχθούν από τη σελίδα Πίνακες.

Διαχείριση αλλαγών σχήματος

Όταν μια στήλη προστίθεται ή καταργείται από το σχήμα μιας προέλευσης δεδομένων φακέλων δέλτα, το σύστημα εκτελεί μια πλήρη ανανέωση των δεδομένων. Οι πλήρεις ανανεώσεις απαιτούν περισσότερο χρόνο για επεξεργασία όλων των δεδομένων από ότι οι τμηματικές ανανεώσεις.

Προσθήκη μια στήλης

Όταν προστίθεται μια στήλη στην προέλευση δεδομένων, οι πληροφορίες προσαρτώνται αυτόματα στα δεδομένα στο Customer Insights - Data μόλις συμβεί μια ανανέωση. Εάν η ενοποίηση έχει ήδη ρυθμιστεί για τον πίνακα, η νέα στήλη πρέπει να προστεθεί στη διαδικασία ενοποίησης.

1. Από το βήμα Στοιχεία πελάτη, επιλέξτε Επιλέξτε πίνακες και στήλες και επιλέξτε τη νέα στήλη.

2. Στο βήμα Ενοποιημένη προβολή δεδομένων, βεβαιωθείτε ότι η στήλη δεν εξαιρείται από το προφίλ πελάτη. Επιλέξτε Αποκλεισμένη και προσθέστε ξανά τη στήλη.

3. Στο βήμα Εκτέλεση ενημερώσεων στο ενοποιημένο προφίλ, επιλέξτε Ενοποίηση προφίλ πελατών και εξαρτήσεων.

Αλλαγή ή κατάργηση στήλης

Όταν μια στήλη καταργείται από μια προέλευση δεδομένων, το σύστημα ελέγχει για εξαρτήσεις σε άλλες διεργασίες. Εάν υπάρχει εξάρτηση στις στήλες, το σύστημα σταματά την ανανέωση και παρέχει ένα σφάλμα που υποδεικνύει ότι οι εξαρτήσεις πρέπει να αφαιρεθούν. Αυτές οι εξαρτήσεις εμφανίζονται σε μια ειδοποίηση που θα σας βοηθήσει να εντοπίσετε και να τις καταργήσετε.

Επικυρώστε μια αλλαγή σχήματος

Μετά την ανανέωση του προέλευση δεδομένων, μεταβείτε στη σελίδα Δεδομένα>Πίνακες. Επιλέξτε τον πίνακα για την προέλευση δεδομένων και επαληθεύστε το σχήμα.

Ταξίδι στο χρόνο στη λίμνη Delta και ανανέωση δεδομένων

Το ταξίδι στο χρόνο στη λίμνη Delta είναι η δυνατότητα αναζήτησης εκδόσεων πίνακα με βάση μια χρονική σήμανση ή τον αριθμό έκδοσης. Οι αλλαγές στους φακέλους Delta έχουν εκδοθεί και το Customer Insights - Data χρησιμοποιεί τις εκδόσεις του φακέλου Delta για να παρακολουθεί τα δεδομένα που πρέπει να επεξεργαστεί. Σε μια κανονική ανανέωση πίνακα delta, τα δεδομένα αντλούνται από όλες τις εκδόσεις του πίνακα δεδομένων από την τελευταία ανανέωση. Εφόσον υπάρχουν όλες οι εκδόσεις, το Customer Insights - Data μπορεί να επεξεργαστεί μόνο τα αλλαγμένα στοιχεία και να προσφέρει ταχύτερα αποτελέσματα. Μάθετε περισσότερα σχετικά με το ταξίδι στο χρόνο.

Για παράδειγμα, εάν το Customer Insights – Data συγχρονίστηκε για τελευταία φορά με την έκδοση 23 των δεδομένων φακέλου Delta, αναμένεται να βρει την έκδοση 23 και πιθανώς τις επόμενες εκδόσεις διαθέσιμες. Εάν οι αναμενόμενες εκδόσεις δεδομένων δεν είναι διαθέσιμες, ο συγχρονισμός δεδομένων αποτυγχάνει και απαιτεί μη αυτόματη πλήρη ανανέωση δεδομένων. Ο συγχρονισμός δεδομένων μπορεί να αποτύχει εάν τα δεδομένα του φακέλου Delta διαγράφηκαν και στη συνέχεια δημιουργήθηκαν ξανά. Ή εάν το Customer Insights - Data δεν μπορούσε να συνδεθεί στους φακέλους Delta σας για μεγάλο χρονικό διάστημα όσο οι εκδόσεις προχωρούσαν.

Για να αποφύγετε την ανάγκη για πλήρη ανανέωση δεδομένων, σας συνιστούμε να διατηρείτε ένα εύλογο ανεκτέλεστο ιστορικό, όπως 15 ημέρες.

Εκτελέστε μη αυτόματα μια πλήρη ανανέωση δεδομένων σε έναν φάκελο πίνακα Delta

Με την πλήρη ανανέωση, πραγματοποιείται λήψη όλων των δεδομένων από έναν πίνακα σε μορφή Delta και επαναφορτώνει τα δεδομένα από την έκδοση μηδέν του πίνακα Delta (0). Οι αλλαγές στο σχήμα του φακέλου Delta ενεργοποιούν μια αυτόματη πλήρη ανανέωση. Για να ενεργοποιήσετε μη αυτόματα μια πλήρη ανανέωση, εκτελέστε τα ακόλουθα βήματα.

1. Μεταβείτε στα Δεδομένα>Προελεύσεις δεδομένων.

2. Επιλέξτε την προέλευση δεδομένων των πινάκων Δέλτα Azure Data Lake.

3. Επιλέξτε τον πίνακα που θέλετε να ανανεώσετε. Εμφανίζεται το παράθυρο Επεξεργασία πίνακα.

   

4. Επιλέξτε Εκτελέστε πλήρη ανανέωση μία φορά.

5. Επιλέξτε Αποθήκευση για να εκτελέσετε τη ανανέωση. Ανοίγει η σελίδα Προελεύσεις δεδομένων που εμφανίζει τη προέλευση δεδομένων σε κατάσταση Ανανέωσης, αλλά μόνο ο επιλεγμένος πίνακας ανανεώνεται.

6. Επαναλάβετε τη διαδικασία για άλλους πίνακες, εάν υπάρχουν.

Αποτυχία συγχρονισμού δεδομένων

Ο συγχρονισμός δεδομένων μπορεί να αποτύχει εάν τα δεδομένα του φακέλου Delta διαγράφηκαν και στη συνέχεια δημιουργήθηκαν ξανά. Ή εάν το Customer Insights - Data δεν μπορούσε να συνδεθεί στους φακέλους Delta σας για μεγάλο χρονικό διάστημα όσο οι εκδόσεις προχωρούσαν. Για να ελαχιστοποιήσετε τον αντίκτυπο όπου μια διαλείπουσα αποτυχία διοχέτευσης δεδομένων δημιουργεί την ανάγκη για πλήρη ανανέωση, σας συνιστούμε να διατηρείτε ένα εύλογο ανεκτέλεστο ιστορικό, όπως 15 ημέρες.

Επόμενα βήματα

• Επισκόπηση ενοποίησης δεδομένων