Κατανόηση της αρχιτεκτονικής μενταγιόν για το Fabric με το OneLake

Η αρχιτεκτονική του μενταγιόν lakehouse, κοινώς γνωστή ως αρχιτεκτονική μενταγιόν, είναι ένα μοτίβο σχεδίασης που χρησιμοποιείται για την οργάνωση δεδομένων σε ένα lakehouse. Είναι η συνιστώμενη προσέγγιση σχεδίασης για το Fabric. Δεδομένου ότι το OneLake είναι η λίμνη δεδομένων για το Fabric, η αρχιτεκτονική μεταλλίων υλοποιείται δημιουργώντας lakehouses στο OneLake.

Χρησιμοποιήστε αυτό το άρθρο αφού επιλέξετε την αρχιτεκτονική μενταγιόν για να σχεδιάσετε την υλοποίησή της, συμπεριλαμβανομένης της σχεδίασης επιπέδων, των μοντέλων ανάπτυξης, των μορφών αποθήκευσης, των υλοποιημένων προβολών λίμνης και της βελτιστοποίησης πίνακα Delta. Για να συγκρίνετε την αρχιτεκτονική μενταγιόν με άλλα μοτίβα OneLake και να κατανοήσετε πώς συνεργάζονται τα μοτίβα, ανατρέξτε στο θέμα Μοτίβα OneLake και θεμελιώδεις δυνατότητες.

Η αρχιτεκτονική των μενταγιόν αποτελείται από τρία διακριτά στρώματα. Τα τρία στρώματα μεταλλίων είναι: χάλκινο (ακατέργαστα δεδομένα), ασήμι (εμπλουτισμένα δεδομένα) και χρυσό (επιμελημένα δεδομένα). Κάθε επίπεδο υποδεικνύει την ποιότητα των δεδομένων που είναι αποθηκευμένα στο lakehouse, με υψηλότερα επίπεδα που αντιπροσωπεύουν υψηλότερη ποιότητα.

Η αρχιτεκτονική μενταγιόν βοηθά τα δεδομένα σας να παραμένουν ακριβή και αξιόπιστα σύμφωνα με τις αρχές της ατομικότητας, της συνέπειας, της απομόνωσης και της ανθεκτικότητας (ACID). Τα δεδομένα σας ξεκινούν στην ακατέργαστη μορφή τους και τα πρωτότυπα αντίγραφα διατηρούνται ως πηγή αλήθειας, ενώ οι αγωγοί επικυρώσεων και μετασχηματισμών σας προετοιμάζουν τα δεδομένα για ανάλυση.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τι είναι η αρχιτεκτονική του medallion lakehouse;.

Κοινό

Αυτό το άρθρο παρουσιάζει την αρχιτεκτονική της λίμνης μενταγιόν και περιγράφει πώς μπορείτε να εφαρμόσετε το μοτίβο σχεδίασης στο Fabric. Απευθύνεται σε πολλά ακροατήρια:

  • Μηχανικοί δεδομένων: Τεχνικό προσωπικό που σχεδιάζει, κατασκευάζει και διατηρεί υποδομές και συστήματα που επιτρέπουν στον οργανισμό του να συλλέγει, να αποθηκεύει, να επεξεργάζεται και να αναλύει μεγάλους όγκους δεδομένων.
  • Κέντρο αριστείας, ομάδες IT και BI: Οι ομάδες που είναι υπεύθυνες για την επίβλεψη των αναλύσεων σε ολόκληρο τον οργανισμό.
  • Διαχειριστές Fabric: Οι διαχειριστές που είναι υπεύθυνοι για την επίβλεψη του Fabric στον οργανισμό.

Τι είναι η αρχιτεκτονική των μεταλλίων;

Ο στόχος της αρχιτεκτονικής μενταγιόν είναι να βελτιώσει σταδιακά τη δομή και την ποιότητα των δεδομένων. Σκεφτείτε την αρχιτεκτονική μενταγιόν ως μια διαδικασία καθαρισμού και οργάνωσης τριών σταδίων για τα δεδομένα σας. Κάθε επίπεδο κάνει τα δεδομένα σας πιο αξιόπιστα και πιο εύχρηστα.

  1. Bronze (Raw): Αποθηκεύστε τα πάντα ακριβώς όπως φτάνουν. Δεν επιτρέπονται αλλαγές.
  2. Ασημί (εμπλουτισμένο): Διορθώστε σφάλματα, τυποποιήστε μορφές και αφαιρέστε διπλότυπα.
  3. Gold (Επιμέλεια): Οργάνωση για αναφορές και πίνακες εργαλείων.

Διατηρήστε κάθε επίπεδο χωριστά στη δική του λίμνη ή αποθήκη στο OneLake, με τα δεδομένα να μετακινούνται μεταξύ των επιπέδων καθώς μετασχηματίζονται και βελτιώνονται.

Διάγραμμα της αρχιτεκτονικής μενταγιόν OneLake που εμφανίζει προελεύσεις δεδομένων, προετοιμασία και μετασχηματισμό με τρία επίπεδα, καθώς και ανάλυση με SQL και Power BI.

Σε μια τυπική υλοποίηση αρχιτεκτονικής μενταγιόν στο Fabric, το χάλκινο στρώμα αποθηκεύει τα δεδομένα στην ίδια μορφή με την προέλευση δεδομένων. Όταν η προέλευση δεδομένων είναι μια σχεσιακή βάση δεδομένων, οι πίνακες Delta είναι μια καλή επιλογή. Τα στρώματα αργύρου και χρυσού πρέπει να περιέχουν πίνακες Delta.

Φιλοδώρημα

Για να μάθετε πώς μπορείτε να δημιουργήσετε ένα lakehouse, εργαστείτε μέσω του εκπαιδευτικού σεναρίου Από άκρο σεναρίου Lakehouse.

Παράδειγμα πραγματικού κόσμου

Εξετάστε το ακόλουθο παράδειγμα μιας εταιρείας ηλεκτρονικού εμπορίου που εφαρμόζει αρχιτεκτονική μενταγιόν στα δεδομένα της:

Χάλκινο στρώμα:

  • Αποθήκευση ανεπεξέργαστων δεδομένων πωλήσεων από τον ιστότοπο (JSON)
  • Αποθήκευση ανεπεξέργαστων δεδομένων αποθέματος από την αποθήκη (CSV)
  • Αποθήκευση μη επεξεργασμένων δεδομένων πελατών από το CRM (εξαγωγή SQL)

Ασημένιο στρώμα:

  • Τυποποιήστε τις μορφές ημερομηνίας σε όλες τις πηγές
  • Μετατροπή όλου του νομίσματος σε USD
  • Κατάργηση δοκιμαστικών συναλλαγών
  • Αντιστοιχίστε τα αρχεία πελατών σε όλα τα συστήματα

Στρώμα χρυσού:

  • Δημιουργία πίνακα πίνακα πίνακα εργαλείων ημερήσιων πωλήσεων
  • Δημιουργία πίνακα αξίας διάρκειας ζωής πελάτη
  • Δημιουργία πίνακα πρόβλεψης αποθέματος

Αρχιτεκτονική μενταγιόν στο OneLake

Η βάση μιας σύγχρονης αποθήκης δεδομένων είναι μια λίμνη δεδομένων. Το OneLake είναι μια ενιαία, ενοποιημένη, λογική λίμνη δεδομένων για ολόκληρο τον οργανισμό σας. Παρέχεται αυτόματα με κάθε μισθωτή Fabric και είναι η μοναδική θέση για όλα τα δεδομένα ανάλυσής σας.

Για να αποθηκεύσετε δεδομένα στο OneLake, δημιουργείτε μια λίμνη στο Fabric. Ένα lakehouse είναι μια πλατφόρμα αρχιτεκτονικής δεδομένων για την αποθήκευση, τη διαχείριση και την ανάλυση δομημένων και μη δομημένων δεδομένων σε μία μόνο τοποθεσία. Μπορεί να κλιμακωθεί σε μεγάλους όγκους δεδομένων όλων των τύπων αρχείων και μεγεθών και επειδή τα δεδομένα αποθηκεύονται σε μία μόνο θέση, μπορούν να κοινοποιηθούν και να επαναχρησιμοποιηθούν σε ολόκληρο τον οργανισμό.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τι είναι ένα lakehouse στο Fabric;.

Πίνακες και αρχεία

Όταν δημιουργείτε μια λίμνη στο OneLake, ανατίθενται αυτόματα δύο θέσεις αποθήκευσης:

  • Οι πίνακες αποθηκεύουν πίνακες όλων των μορφών στο Apache Spark (CSV, Parquet ή Delta).
  • Τα αρχεία αποθηκεύουν δεδομένα σε οποιαδήποτε μορφή αρχείου. Εάν θέλετε να δημιουργήσετε έναν πίνακα με βάση τα δεδομένα στην περιοχή αρχείων, μπορείτε να δημιουργήσετε μια συντόμευση που οδηγεί στο φάκελο που περιέχει τα αρχεία του πίνακα.

Στο χάλκινο στρώμα, αποθηκεύετε δεδομένα στην αρχική τους μορφή, η οποία μπορεί να είναι είτε πίνακες είτε αρχεία. Εάν τα δεδομένα προέλευσης προέρχονται από το OneLake, το Azure Data Lake Store Gen2 (ADLS Gen2), το Amazon S3 ή το Google, δημιουργήστε μια συντόμευση στο χάλκινο επίπεδο αντί να αντιγράψετε τα δεδομένα.

Στα επίπεδα αργύρου και χρυσού, συνήθως αποθηκεύετε δεδομένα σε πίνακες Delta. Ωστόσο, μπορείτε επίσης να αποθηκεύσετε δεδομένα σε αρχεία Parquet ή CSV. Εάν το κάνετε αυτό, πρέπει να δημιουργήσετε ρητά μια συντόμευση ή έναν εξωτερικό πίνακα με μια θέση που δείχνει στον μη διαχειριζόμενο φάκελο που περιέχει τα αρχεία του Delta Lake στο Apache Spark.

Στο Fabric, ο εξερευνητής Lakehouse παρέχει μια ενοποιημένη γραφική αναπαράσταση ολόκληρου του lakehouse για τους χρήστες να περιηγούνται, να έχουν πρόσβαση και να ενημερώνουν τα δεδομένα τους.

Αποθήκευση Delta Lake

Το Delta Lake είναι ένα βελτιστοποιημένο επίπεδο αποθήκευσης που παρέχει τις βάσεις για την αποθήκευση δεδομένων και πινάκων. Υποστηρίζει συναλλαγές ACID για μεγάλους φόρτους εργασίας δεδομένων και για αυτόν τον λόγο είναι η προεπιλεγμένη μορφή αποθήκευσης σε ένα lakehouse Fabric.

Το Delta Lake προσφέρει αξιοπιστία, ασφάλεια και επιδόσεις στο lakehouse για λειτουργίες ροής και δέσμης. Εσωτερικά, αποθηκεύει δεδομένα σε μορφή αρχείου Parquet, ωστόσο, διατηρεί επίσης αρχεία καταγραφής συναλλαγών και στατιστικά στοιχεία που παρέχουν χαρακτηριστικά και βελτίωση των επιδόσεων σε σχέση με την τυπική μορφή Parquet.

Η μορφή Delta Lake προσφέρει τα ακόλουθα πλεονεκτήματα σε σύγκριση με τις γενικές μορφές αρχείων:

  • Υποστήριξη για ιδιότητες ACID, ιδιαίτερα για την ανθεκτικότητα στην πρόληψη της καταστροφής των δεδομένων.
  • Ταχύτερα αναγνωσμένα ερωτήματα.
  • Αυξημένη ενημέρωση δεδομένων.
  • Υποστήριξη για φόρτους εργασίας δέσμης και ροής.
  • Υποστήριξη για επαναφορά δεδομένων με χρήση του χρονικού ταξιδιού στη λίμνη Delta.
  • Βελτιωμένη κανονιστική συμμόρφωση και έλεγχος με χρήση του ιστορικού πινάκων της Delta Lake.

Το Fabric τυποποιεί τη μορφή αρχείου αποθήκευσης με το Delta Lake. Από προεπιλογή, κάθε μηχανή φόρτου εργασίας στο Fabric δημιουργεί πίνακες Delta όταν γράφετε δεδομένα σε έναν νέο πίνακα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Πίνακες Lakehouse και Delta Lake.

Μοντέλο ανάπτυξης

Για να εφαρμόσετε αρχιτεκτονική μενταγιόν στο Fabric, μπορείτε είτε να χρησιμοποιήσετε lakehouses (ένα για κάθε επίπεδο), μια αποθήκη ή συνδυασμό και των δύο. Η απόφασή σας θα πρέπει να βασίζεται στις προτιμήσεις σας και στις γνώσεις της ομάδας σας. Με το Fabric, μπορείτε να χρησιμοποιήσετε διαφορετικούς μηχανισμούς ανάλυσης που λειτουργούν σε ένα αντίγραφο των δεδομένων σας στο OneLake.

Ακολουθούν δύο μοτίβα για να λάβετε υπόψη:

  • Μοτίβο 1: Δημιουργήστε κάθε επίπεδο ως lakehouse. Σε αυτή την περίπτωση, οι χρήστες επιχείρησης έχουν πρόσβαση σε δεδομένα χρησιμοποιώντας το τελικό σημείο ανάλυσης SQL.
  • Μοτίβο 2: Δημιουργήστε τα στρώματα μπρούτζου και αργύρου ως σπίτια λίμνης και το στρώμα χρυσού ως αποθήκη δεδομένων. Σε αυτή την περίπτωση, οι χρήστες επιχείρησης έχουν πρόσβαση σε δεδομένα χρησιμοποιώντας το τελικό σημείο αποθήκης δεδομένων.

Παρόλο που μπορείτε να δημιουργήσετε όλες τις λιμνοθάσκες σε έναν ενιαίο χώρο εργασίας Fabric, συνιστούμε να δημιουργήσετε κάθε lakehouse από μόνο του, ξεχωριστό χώρο εργασίας. Αυτή η προσέγγιση σάς παρέχει περισσότερο έλεγχο και καλύτερη διακυβέρνηση σε επίπεδο επιπέδου.

Για το χάλκινο στρώμα, συνιστούμε να αποθηκεύσετε τα δεδομένα στην αρχική τους μορφή ή να χρησιμοποιήσετε Parquet ή Delta Lake. Όποτε είναι εφικτό, διατηρήστε τα δεδομένα στην αρχική τους μορφή. Εάν τα δεδομένα προέλευσης προέρχονται από το OneLake, το Azure Data Lake Store Gen2 (ADLS Gen2), το Amazon S3 ή το Google, δημιουργήστε μια συντόμευση στο χάλκινο επίπεδο αντί να αντιγράψετε τα δεδομένα.

Για τα ασημένια και χρυσά στρώματα, συνιστούμε να χρησιμοποιείτε πίνακες Delta λόγω των επιπλέον δυνατοτήτων και βελτιώσεων απόδοσης που παρέχουν. Το Fabric τυποποιείται σε μορφή Delta Lake και από προεπιλογή κάθε μηχανισμός στο Fabric γράφει δεδομένα σε αυτήν τη μορφή. Επιπλέον, αυτές οι μηχανές χρησιμοποιούν βελτιστοποίηση χρόνου εγγραφής σειράς V στη μορφή αρχείου Parquet. Αυτή η βελτιστοποίηση επιτρέπει τη γρήγορη ανάγνωση από μηχανές υπολογιστικής λειτουργίας Fabric, όπως τα Power BI, SQL, Apache Spark και άλλες. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Βελτιστοποίηση πίνακα Delta Lake και V-order.

Τέλος, σήμερα πολλοί οργανισμοί αντιμετωπίζουν μαζική αύξηση του όγκου των δεδομένων, σε συνδυασμό με την αυξανόμενη ανάγκη οργάνωσης και διαχείρισης αυτών των δεδομένων με λογικό τρόπο, διευκολύνοντας παράλληλα πιο στοχευμένη και αποτελεσματική χρήση και διαχείριση. Αυτό μπορεί να σας οδηγήσει στη δημιουργία και διαχείριση ενός αποκεντρωμένου ή ομόσπονδου οργανισμού δεδομένων με διαχείριση. Για να ικανοποιήσετε αυτόν τον στόχο, εξετάστε το ενδεχόμενο να υλοποιήσετε μια αρχιτεκτονική πλέγματος δεδομένων. Το πλέγμα δεδομένων είναι ένα αρχιτεκτονικό μοτίβο που εστιάζει στη δημιουργία τομέων δεδομένων που προσφέρουν δεδομένα ως προϊόν.

Μπορείτε να δημιουργήσετε μια αρχιτεκτονική πλέγματος δεδομένων για την περιοχή δεδομένων σας στο Fabric δημιουργώντας τομείς δεδομένων. Μπορείτε να δημιουργήσετε τομείς που αντιστοιχούν στους επιχειρηματικούς τομείς σας, για παράδειγμα, μάρκετινγκ, πωλήσεις, απόθεμα, ανθρώπινο δυναμικό και άλλους. Στη συνέχεια, μπορείτε να εφαρμόσετε την αρχιτεκτονική μενταγιόν ρυθμίζοντας επίπεδα δεδομένων σε κάθε τομέα σας. Για περισσότερες πληροφορίες σχετικά με τους τομείς, ανατρέξτε στο θέμα Τομείς.

Χρησιμοποιήστε υλοποιημένη θέα στη λίμνη για αρχιτεκτονική μενταγιόν

Η υλοποιημένη θέα στη λίμνη στο Fabric σάς βοηθά να εφαρμόσετε την αρχιτεκτονική μενταγιόν στο σπίτι σας στη λίμνη. Αντί να δημιουργείτε σύνθετους αγωγούς για να μετασχηματίζετε δεδομένα μεταξύ στρωμάτων χαλκού, αργύρου και χρυσού, μπορείτε να ορίσετε υλοποιημένες προβολές λιμνών που διαχειρίζονται αυτόματα τους μετασχηματισμούς.

Τα βασικά οφέλη από τη χρήση υλοποιημένης θέας στη λίμνη για την αρχιτεκτονική μενταγιόν περιλαμβάνουν:

  • Δηλωτικοί αγωγοί: Ορίστε μετασχηματισμούς δεδομένων χρησιμοποιώντας δηλώσεις SQL αντί να δημιουργείτε μη αυτόματες διοχετεύσεις μεταξύ επιπέδων.
  • Αυτόματη διαχείριση εξαρτήσεων: Το Fabric καθορίζει αυτόματα τη σωστή σειρά εκτέλεσης με βάση τις εξαρτήσεις προβολής.
  • Κανόνες ποιότητας δεδομένων: Ενσωματωμένη υποστήριξη για τον καθορισμό και την επιβολή περιορισμών ποιότητας δεδομένων καθώς τα δεδομένα μετακινούνται στα επίπεδα.
  • Βέλτιστη ανανέωση: Το σύστημα καθορίζει αυτόματα εάν θα εκτελεί επαυξητική, πλήρη ή καθόλου ανανέωση για κάθε προβολή.
  • Οπτικοποίηση και παρακολούθηση: Δείτε τη γενεαλογία σε όλα τα επίπεδα και παρακολουθήστε την πρόοδο εκτέλεσης.

Για παράδειγμα, μπορείτε να δημιουργήσετε μια προβολή ασημένιου επιπέδου που καθαρίζει και ενώνει δεδομένα από χάλκινους πίνακες και, στη συνέχεια, να δημιουργήσετε προβολές χρυσού επιπέδου που συγκεντρώνουν τα δεδομένα ασημένιου επιπέδου για αναφορές. Το σύστημα χειρίζεται αυτόματα την ενορχήστρωση ανανέωσης.

Για περισσότερες πληροφορίες, δείτε Εφαρμογή αρχιτεκτονικής μενταγιόν με υλοποιημένη θέα στη λίμνη.

Κατανόηση του χώρου αποθήκευσης δεδομένων πίνακα Delta

Αυτή η ενότητα περιγράφει άλλες οδηγίες που σχετίζονται με την υλοποίηση μιας αρχιτεκτονικής medallion lakehouse στο Fabric.

Μέγεθος αρχείου

Γενικά, μια πλατφόρμα μεγάλου όγκου δεδομένων αποδίδει καλύτερα όταν έχει μερικά μεγάλα αρχεία αντί για πολλά μικρά αρχεία. Η υποβάθμιση των επιδόσεων προκύπτει όταν η μηχανή υπολογιστικής λειτουργίας διαθέτει πολλά μετα-δεδομένα και λειτουργίες αρχείων για διαχείριση. Για καλύτερη απόδοση ερωτημάτων, στοχεύστε μεγέθη αρχείων μεταξύ 128 MB και 1 GB, ανάλογα με το μέγεθος του πίνακα και το μοτίβο κατανάλωσης του επιπέδου.

Διαφορετικά επίπεδα της αρχιτεκτονικής του μενταγιόν έχουν διαφορετικές απαιτήσεις για το μέγεθος του αρχείου ανάλογα με τη μηχανή κατανάλωσης που χρησιμοποιείται. Στο χάλκινο επίπεδο, μπορείτε να χρησιμοποιήσετε μικρότερα αρχεία λόγω της ακατέργαστης φύσης των δεδομένων, αρκεί να εστιάσετε την τροποποίηση και την προετοιμασία δεδομένων στο Spark. Στο ασημί επίπεδο, χρησιμοποιήστε μέτρια μεγέθη αρχείων για να εξισορροπήσετε την απόδοση εγγραφής και ανάγνωσης. Στο χρυσό επίπεδο, βελτιστοποιήστε για μεγαλύτερα μεγέθη αρχείων και μεγαλύτερες ομάδες γραμμών για να βελτιώσετε την απόδοση ερωτημάτων για μηχανές κατανάλωσης. Για να μάθετε περισσότερα σχετικά με τη βελτιστοποίηση μεγεθών αρχείων για διαφορετικά επίπεδα, ανατρέξτε στο θέμα Συντήρηση και βελτιστοποίηση πινάκων μεταξύ φόρτων εργασίας.

Διατήρηση ιστορικού

Από προεπιλογή, το Delta Lake διατηρεί ένα ιστορικό όλων των αλλαγών που πραγματοποιήθηκαν, έτσι το μέγεθος των ιστορικών μετα-δεδομένων αυξάνεται με την πάροδο του χρόνου. Με βάση τις απαιτήσεις της επιχείρησής σας, διατηρήστε τα δεδομένα ιστορικού μόνο για ένα συγκεκριμένο χρονικό διάστημα, ώστε να μειώσετε το κόστος αποθήκευσής σας. Εξετάστε το ενδεχόμενο να διατηρήσετε τα δεδομένα ιστορικού μόνο για τον τελευταίο μήνα ή άλλη κατάλληλη χρονική περίοδο.

Μπορείτε να καταργήσετε παλαιότερα ιστορικά δεδομένα από έναν πίνακα Delta χρησιμοποιώντας την εντολή VACUUM. Ωστόσο, από προεπιλογή δεν μπορείτε να διαγράψετε τα δεδομένα ιστορικού κατά τις τελευταίες επτά ημέρες. Ο περιορισμός αυτός διατηρεί τη συνέπεια στα δεδομένα. Ρυθμίστε τον προεπιλεγμένο αριθμό ημερών με την ιδιότητα delta.deletedFileRetentionDuration = "interval <interval>"πίνακα . Αυτή η ιδιότητα καθορίζει το χρονικό διάστημα που ένα αρχείο πρέπει να διαγραφεί για να μπορεί να θεωρηθεί υποψήφιο για μια λειτουργία κενού.

Κατατμήσεις πινάκων και ομαδοποίηση

Όταν αποθηκεύετε δεδομένα σε κάθε επίπεδο, χρησιμοποιήστε μια δομή φακέλου με διαμερίσματα, όπου ισχύει. Αυτή η τεχνική βελτιώνει τη διαχειρισιμότητα δεδομένων και τις επιδόσεις ερωτημάτων. Γενικά, τα διαμερισμένα δεδομένα σε μια δομή φακέλου έχουν ως αποτέλεσμα την ταχύτερη αναζήτηση συγκεκριμένων καταχωρήσεων δεδομένων λόγω της περικοπής ή της εξάλειψης των κατατμήσεων. Στο στρώμα μπρούτζου, η κατάτμηση είναι αποδεκτή αλλά αποθαρρύνεται για νέες υλοποιήσεις. Για επίπεδα αργύρου και χρυσού, χρησιμοποιήστε το Liquid Clustering αντί για διαμέριση για να βελτιστοποιήσετε την απόδοση του ερωτήματος. Για να μάθετε περισσότερα σχετικά με τη βελτιστοποίηση για διαφορετικά επίπεδα, ανατρέξτε στο θέμα Συντήρηση και βελτιστοποίηση πινάκων μεταξύ φόρτων εργασίας.

Συνήθως, προσαρτάτε δεδομένα στον πίνακα προορισμού κατά την άφιξη νέων δεδομένων. Ωστόσο, σε ορισμένες περιπτώσεις ενδέχεται να συγχωνεύσετε δεδομένα καθώς χρειάζεται να ενημερώσετε τα υπάρχοντα δεδομένα ταυτόχρονα. Σε αυτή την περίπτωση, μπορείτε να εκτελέσετε μια λειτουργία upsert χρησιμοποιώντας την εντολή MERGE. Όταν ο πίνακας προορισμού είναι διαμερισμένος, φροντίστε να χρησιμοποιήσετε ένα φίλτρο διαμερίσματος για να επιταχύνετε τη λειτουργία. Με αυτόν τον τρόπο, η μηχανή μπορεί να καταργήσει τα διαμερίσματα που δεν απαιτούν ενημέρωση.

Πρόσβαση δεδομένων

Θα πρέπει να σχεδιάζετε και να ελέγχετε ποιος χρειάζεται πρόσβαση σε συγκεκριμένα δεδομένα στο lakehouse. Θα πρέπει επίσης να κατανοήσετε τα διάφορα μοτίβα συναλλαγών που πρόκειται να χρησιμοποιήσουν κατά την πρόσβαση σε αυτά τα δεδομένα για κάθε επίπεδο.

Φιλοδώρημα

Κάθε στρώμα μενταγιόν έχει διαφορετικές απαιτήσεις βελτιστοποίησης. Για αναλυτικές οδηγίες σχετικά με τις στρατηγικές συντήρησης πινάκων για μπρούτζινα, ασημένια και χρυσά στρώματα, συμπεριλαμβανομένου του πότε πρέπει να ενεργοποιηθεί η σειρά V και τα βέλτιστα μεγέθη αρχείων, ανατρέξτε στο θέμα Συντήρηση και βελτιστοποίηση πινάκων μεταξύ φόρτων εργασίας.

Σχετικό περιεχόμενο

Για περισσότερες πληροφορίες σχετικά με την υλοποίηση της αρχιτεκτονικής λιμνών με μενταγιόν, ανατρέξτε στους παρακάτω πόρους.

  • Τελευταία ενημέρωση στις