Ενοποίηση δεδομένων με συντομεύσεις και κατοπτρισμό OneLake

Το OneLake σάς παρέχει μία προβολή δεδομένων σε cloud, τομείς και λογαριασμούς. Η ενοποίηση δεδομένων στο OneLake δεν απαιτεί την αποθήκευση όλων αυτών των δεδομένων σε ένα μέρος. Τα δεδομένα μπορούν να παραμείνουν στην πηγή τους ή να αναπαραχθούν στο OneLake, όπου οι φόρτοι εργασίας Fabric έχουν πρόσβαση σε αυτά μέσω ενός κοινόχρηστου χώρου ονομάτων.

Οι συντομεύσεις και ο κατοπτρισμός είναι συμπληρωματικές δυνατότητες του OneLake για τη δημιουργία αυτής της ενοποιημένης προβολής χωρίς τη δημιουργία και τη λειτουργία αγωγών κίνησης δεδομένων. Οι συντομεύσεις προσθέτουν επιλεγμένα δεδομένα στον χώρο ονομάτων OneLake. Ο κατοπτρισμός προσθέτει μια εξωτερική βάση δεδομένων ή κατάλογο και καθορίζει εάν τα δεδομένα του μπορούν να προσπελαστούν επιτόπου ή πρέπει να αναπαραχθούν. Αυτό το άρθρο εξηγεί πώς λειτουργεί κάθε δυνατότητα και πότε να τη χρησιμοποιήσετε. Για το ευρύτερο σύνολο τρόπων πρόσληψης, μετασχηματισμού ή μετακίνησης δεδομένων στο Fabric, ανατρέξτε στο θέμα Λήψη δεδομένων στο Microsoft Fabric ή Επιλογή στρατηγικής μετακίνησης δεδομένων.

Συντομεύσεις και κατοπτρισμός με μια ματιά

Οι συντομεύσεις και ο κατοπτρισμός λειτουργούν σε διαφορετικά επίπεδα ευαισθησίας και υποστηρίζουν διαφορετικές μορφές πηγής.

Ικανότητα Τι κάνει Μορφές πηγής Τυπικό σενάριο
Συντομεύσεις Προσθέστε μια αναφορά σε επιλεγμένους πίνακες, φακέλους ή αρχεία στο OneLake ή σε εξωτερικό χώρο αποθήκευσης. Τα δεδομένα παραμένουν στην πηγή τους. Μόνο ανοικτές μορφές Μεταφέρετε έναν μεμονωμένο πίνακα, φάκελο ή σχήμα σε μια λίμνη ή ενεργοποιήστε μοτίβα πλέγματος δεδομένων σε χώρους εργασίας ή μισθωτές.
Κατοπτρισμός Προσθέστε μια εξωτερική βάση δεδομένων ή κατάλογο στο Fabric. Ανάλογα με την προέλευση, ο κατοπτρισμός αποκτά πρόσβαση στα δεδομένα που υπάρχουν ή τα αναπαράγει συνεχώς στο OneLake. Ανοικτοί και ιδιόκτητοι τύποι αρχειοθέτησης Εισαγάγετε μια ολόκληρη εξωτερική βάση δεδομένων ή κατάλογο, όπως Snowflake, Azure Databricks ή Azure SQL Database.

Εάν η πηγή σας αποθηκεύει δεδομένα σε ιδιόκτητη μορφή, ο κατοπτρισμός είναι η μόνη σας επιλογή.

Πότε να χρησιμοποιείτε συντομεύσεις

Χρησιμοποιήστε συντομεύσεις όταν θέλετε να συμπεριλάβετε συγκεκριμένα δεδομένα στην ενοποιημένη προβολή OneLake χωρίς να τα αντιγράψετε. Επιλέξτε συντομεύσεις όταν:

  • Κοινή χρήση ενός πίνακα, φακέλου ή αρχείου σε χώρους εργασίας ή μισθωτές.
  • Συνδυάστε δεδομένα από πολλές λίμνες ή λογαριασμούς cloud σε μια ενοποιημένη προβολή.
  • Δημιουργήστε μοτίβα πλέγματος δεδομένων όπου κάθε τομέας κατέχει τα δεδομένα του και άλλοι τομείς τα ανακαλύπτουν μέσω του OneLake.
  • Κάντε τα δεδομένα σε ανοιχτές μορφές, όπως Delta ή Iceberg, διαθέσιμα από το Azure Data Lake Storage, το Amazon S3, το Google Cloud Storage ή το Dataverse.

Οι συντομεύσεις λειτουργούν σε επίπεδο πίνακα, φακέλου ή αρχείου. Εσείς αποφασίζετε ποια δεδομένα θα είναι διαθέσιμα και πού θα εμφανίζονται στο OneLake. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα συντομεύσεις OneLake.

Μετασχηματισμός δεδομένων κατά την ενοποίησή τους

Οι μετασχηματισμοί συντομεύσεων μετατρέπουν τα δεδομένα πίσω από μια συντόμευση σε έναν πίνακα Delta με δυνατότητα ερωτήματος που παραμένει συγχρονισμένος με την προέλευση, χωρίς να δημιουργεί μια διοχέτευση ETL. Χρησιμοποιήστε τα για να κάνετε τα δεδομένα σας έτοιμα για ανάλυση:

  • Οι μετασχηματισμοί αρχείων μετατρέπουν δομημένα αρχεία, όπως CSV, Parquet, JSON ή Excel, σε πίνακες Delta. Για περισσότερες πληροφορίες, δείτε την ενότητα Μετασχηματισμοί συντομεύσεων (αρχείο).
  • Οι μετασχηματισμοί με τεχνητή νοημοσύνη εφαρμόζουν επεξεργασία γλώσσας σε .txt αρχεία για να συνοψίσουν περιεχόμενο, να εντοπίσουν συναισθήματα, να μεταφράσουν γλώσσες, να αποκρύψουν στοιχεία προσωπικής ταυτοποίησης (PII) ή να εξαγάγουν επώνυμες οντότητες. Για περισσότερες πληροφορίες, δείτε την ενότητα Μετασχηματισμοί συντομεύσεων (με τεχνητή νοημοσύνη).

Πότε να χρησιμοποιήσετε τον κατοπτρισμό

Χρησιμοποιήστε κατοπτρισμό όταν θέλετε να συμπεριλάβετε μια εξωτερική βάση δεδομένων ή κατάλογο και τα δεδομένα πίσω από αυτό, στο Fabric ως μονάδα. Ο κατοπτρισμός είναι η σωστή επιλογή όταν:

  • Κάντε μια ολόκληρη εξωτερική βάση δεδομένων ή κατάλογο διαθέσιμο στο Fabric χωρίς να σχεδιάσετε μια ξεχωριστή διαδικασία πρόσληψης.
  • Διατηρήστε ένα αντίγραφο μιας λειτουργικής βάσης δεδομένων (όπως Azure SQL Database, PostgreSQL ή Cosmos DB) στο OneLake που παραμένει συγχρονισμένο με την προέλευση.
  • επιφάνεια μια εξωτερική λίμνη ή αποθήκη (όπως το Databricks Unity Catalog ή το Snowflake) στο Fabric, ώστε να μπορείτε να υποβάλετε ερώτημα μαζί με τα δεδομένα Fabric.

Ο κατοπτρισμός προσθέτει πάντα τα μετα-δεδομένα καταλόγου, όπως βάσεις δεδομένων, σχήματα και πίνακες, στο Fabric. Ο τρόπος με τον οποίο το Fabric αποκτά πρόσβαση στα δεδομένα εξαρτάται από την προέλευση, όπως περιγράφεται στην επόμενη ενότητα.

Πώς ο κατοπτρισμός καθιστά διαθέσιμα δεδομένα στο OneLake

Ο κατοπτρισμός χρησιμοποιεί δύο υποκείμενους μηχανισμούς για να συμπεριλάβει εξωτερικά δεδομένα στην ενοποιημένη προβολή OneLake. Ο σωστός συνδυασμός εξαρτάται από τον τρόπο με τον οποίο η πηγή αποθηκεύει τα δεδομένα της.

  • Αντιγραφή. Ο κατοπτρισμός αντιγράφει δεδομένα από την προέλευση στο OneLake σε μορφή Delta έτοιμη για ανάλυση. Ο κατοπτρισμός χρησιμοποιεί αναπαραγωγή όταν η προέλευση αποθηκεύει δεδομένα σε ιδιόκτητη μορφή.
  • Συντομεύσεις. Ο κατοπτρισμός αναφέρεται σε δεδομένα που υπάρχουν μέσω συντομεύσεων OneLake. Ο κατοπτρισμός χρησιμοποιεί συντομεύσεις όταν η πηγή αποθηκεύει δεδομένα σε ανοιχτή μορφή που το OneLake μπορεί να διαβάσει απευθείας.

Διαφορετικές πηγές χρησιμοποιούν αυτούς τους μηχανισμούς διαφορετικά, όπως φαίνεται στον παρακάτω πίνακα.

Μοτίβο πηγής Παραδείγματα Τι κάνει το mirroring
Κατοπτρισμός βάσης δεδομένων (αναπαραγωγή) Azure Cosmos DB, Azure Database for PostgreSQL, Azure Database for MySQL (έκδοση προεπισκόπησης), Azure SQL Database, SQL Server, Oracle, SAP Ο κατοπτρισμός αντιγράφει τα μετα-δεδομένα του καταλόγου και αναπαράγει συνεχώς τα δεδομένα στο OneLake ως πίνακες Delta.
Κατοπτρισμός μεταδεδομένων (συντομεύσεις) Azure Databricks, Snowflake, Dremio (έκδοση προεπισκόπησης) Ο κατοπτρισμός προσθέτει τα μετα-δεδομένα καταλόγου στο Fabric και χρησιμοποιεί συντομεύσεις για να φτάσει στα υποκείμενα δεδομένα στη θέση τους.

Σε κάθε περίπτωση, ο κατοπτρισμός προσθέτει τα μετα-δεδομένα του καταλόγου στο Fabric. Το αν αντιγράφει επίσης τα δεδομένα εξαρτάται από την πηγή.

Χρήση συντομεύσεων και κατοπτρισμού μαζί

Οι συντομεύσεις και ο κατοπτρισμός δεν αλληλοαποκλείονται. Μπορείτε να τα χρησιμοποιήσετε μαζί σε πολλά σενάρια. Για παράδειγμα, χρησιμοποιήστε κατοπτρισμό για να προσθέσετε ένα σύστημα προέλευσης στο Fabric μία φορά και, στη συνέχεια, δημιουργήστε συντομεύσεις για να κάνετε τα επιλεγμένα δεδομένα από αυτό το σύστημα διαθέσιμα σε χώρους εργασίας, τομείς ή μισθωτές. Εάν ο κατοπτρισμός αναπαράγει τα δεδομένα προέλευσης στο OneLake, οι συντομεύσεις σε αυτά τα δεδομένα δεν δημιουργούν άλλο αντίγραφο ούτε προσθέτουν κόστος αποθήκευσης.

Τα κοινά μοτίβα που συνδυάζουν τις δύο δυνατότητες περιλαμβάνουν:

  • Καθρεφτίστε μια φορά, καταναλώστε παντού. Ένας κεντρικός χώρος εργασίας αντικατοπτρίζει μια εξωτερική βάση δεδομένων ή κατάλογο, όπως μια βάση δεδομένων Azure SQL Database ή έναν λογαριασμό Snowflake. Άλλοι χώροι εργασίας στον ίδιο μισθωτή έχουν συντομεύσεις για τους κατοπτριζόμενους πίνακες αντί να αντικατοπτρίζουν ξανά την ίδια προέλευση. Ένα στοιχείο με κατοπτρισμό αντιπροσωπεύει την πηγή και κάθε καταναλωτής διαβάζει τα ίδια δεδομένα up-toημερομηνίας.
  • Κατοπτρισμός τομέα με κατανάλωση πλέγματος. Οι ομάδες τομέα αντικατοπτρίζουν τα δικά τους συστήματα προέλευσης στους χώρους εργασίας τομέα τους. Οι κατάντη λίμνες και οι αποθήκες σε χώρους εργασίας καταναλωτών χρησιμοποιούν συντομεύσεις για πρόσβαση μόνο στους πίνακες που χρειάζονται από τη βάση δεδομένων κατοπτρισμού. Κάθε τομέας κατέχει τη σύνδεσή του με την πηγή και οι καταναλωτές παραμένουν αποσυνδεδεμένοι από το σύστημα πηγής.
  • Μία λίμνη, πολλές θέσεις δεδομένων. Ένα μεμονωμένο lakehouse μπορεί να περιέχει συντομεύσεις για πίνακες κατοπτρισμού μαζί με συντομεύσεις για δεδομένα ανοιχτής μορφής στο Azure Data Lake Storage, στο Amazon S3 ή σε άλλη τοποθεσία OneLake. Οι αναφορές και τα σημειωματάρια υποβάλλουν ερωτήματα στο lakehouse ως έναν ενοποιημένο χώρο αποθήκευσης, είτε τα υποκείμενα δεδομένα παραμένουν στην προέλευσή τους είτε αναπαράγονται στο OneLake.
  • Πρόσβαση μεταξύ μισθωτών ή μεταξύ cloud. Ένας ενοικιαστής αντικατοπτρίζει μια πηγή στο δικό του OneLake. Ένας μισθωτής συνεργάτη δημιουργεί μια συντόμευση για τα κατοπτρικά δεδομένα αντί να του εκχωρηθεί άμεση πρόσβαση στο σύστημα προέλευσης. Τα διαπιστευτήρια του συστήματος προέλευσης δεν φεύγουν ποτέ από τον μισθωτή παραγωγής.

Μερικά πράγματα που πρέπει να γνωρίζετε όταν τα συνδυάζετε:

  • Οι συντομεύσεις σε κατοπτριζόμενους πίνακες κληρονομούν το μοντέλο ασφαλείας του κατοπτριζόμενου στοιχείου. Τα δικαιώματα στη βάση δεδομένων, το σχήμα ή τον πίνακα κατοπτρισμού μεταφέρονται σε οποιονδήποτε διαβάζει τη συντόμευση. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ασφάλεια συντομεύσεων OneLake.
  • Οι συντομεύσεις σε πίνακες κατοπτρισμού είναι μόνο για ανάγνωση. Για να αλλάξετε τα δεδομένα, αλλάξτε το σύστημα προέλευσης και αφήστε τον κατοπτρισμό να διαδώσει την ενημέρωση.
  • Εάν η κατοπτρική προέλευση τεθεί σε παύση, διαγραφεί ή παρουσιαστεί σφάλμα αναπαραγωγής, κάθε συντόμευση που οδηγεί σε αυτήν εμφανίζει την ίδια κατάσταση. Σχεδιάστε την ιδιοκτησία και την παρακολούθηση του αντικειμένου που αντικατοπτρίζεται ανάλογα.

Πότε να χρησιμοποιήσετε τη μετακίνηση δεδομένων

Οι συντομεύσεις και ο κατοπτρισμός ενοποιούν τα δεδομένα καθιστώντας τα διαθέσιμα μέσω του OneLake και οι μετασχηματισμοί συντομεύσεων μπορούν να μετατρέψουν αυτά τα δεδομένα σε πίνακες Delta που είναι έτοιμοι για ανάλυση. Δεν αντικαθιστούν το πλήρες σύνολο εργαλείων απορρόφησης και μετακίνησης δεδομένων του Fabric. Επιλέξτε μια διοχέτευση, μια ροή δεδομένων, μια εργασία αντιγραφής ή μια ροή συμβάντων όταν χρειάζεται:

  • Εφαρμόστε σύνθετη λογική μετασχηματισμού ή λογική μετασχηματισμού πολλών προελεύσεων (για παράδειγμα, ένωση προελεύσεων, εφαρμογή επιχειρηματικών κανόνων ή αναμόρφωση σχημάτων) που υπερβαίνει αυτό που κάνουν οι μετασχηματισμοί συντομεύσεων.
  • Προγραμματίστε, ενορχηστρώστε ή ενεργοποιήστε την κίνηση με τον δικό σας ρυθμό.
  • Μετακινήστε δεδομένα σε έναν προορισμό εκτός του OneLake.
  • Ροή συμβάντων στο Fabric για επεξεργασία σε πραγματικό χρόνο.

Αυτά τα σενάρια απαιτούν τα εργαλεία μετακίνησης και ενοποίησης δεδομένων του Fabric και όχι μόνο την ενοποίηση του OneLake.

Σχετικό περιεχόμενο

  • Last updated on