Αποθήκευση δεδομένων στο Microsoft Fabric

Το Microsoft Fabric παρέχει πολλές επιλογές αποθήκευσης που έχουν σχεδιαστεί για την υποστήριξη ανάλυσης, επεξεργασίας σε πραγματικό χρόνο και λειτουργικών αναφορών σε μια ενοποιημένη πλατφόρμα. Η επιλογή της σωστής εμπειρίας αποθήκευσης σάς βοηθά να βελτιστοποιήσετε την απόδοση, να διαχειριστείτε το κόστος και να ευθυγραμμίσετε την αρχιτεκτονική των δεδομένων σας με τις απαιτήσεις φόρτου εργασίας. Ανεξάρτητα από την πηγή ή τη μέθοδο παρασκευής τους, όλα τα δεδομένα προσγειώνονται σε μια ενοποιημένη βάση αποθήκευσης που ονομάζεται OneLake.

Αυτό το άρθρο εξηγεί τον τρόπο αποθήκευσης των δεδομένων στο Fabric και περιγράφει τις βασικές διαθέσιμες εμπειρίες αποθήκευσης. Οι ακόλουθες ενότητες καλύπτουν:

  • OneLake – Η ενοποιημένη, λογική λίμνη δεδομένων που υποστηρίζει όλους τους φόρτους εργασίας Fabric.
  • Lakehouse – Αποθηκεύστε και αναλύστε δομημένα και μη δομημένα δεδομένα χρησιμοποιώντας πίνακες Delta.
  • Αποθήκη – Αποθηκεύστε σχεσιακά δεδομένα βελτιστοποιημένα για αναλύσεις SQL υψηλής απόδοσης.
  • Eventhouse – Αποθηκεύστε και υποβάλετε ερωτήματα για δεδομένα συμβάντων μεγάλου όγκου σε πραγματικό χρόνο.
  • Βάσεις δεδομένων και άλλες εμπειρίες αποθήκευσης – Κατανοήστε τις πρόσθετες δυνατότητες αποθήκευσης που είναι διαθέσιμες στο Fabric.

Χρησιμοποιήστε αυτήν την επισκόπηση για να κατανοήσετε πώς λειτουργεί κάθε επιλογή αποθήκευσης και να επιλέξετε την καλύτερη προσαρμογή για τα αναλυτικά και λειτουργικά σας σενάρια.

Lakehouse για ευέλικτη αποθήκευση δεδομένων

Το Lakehouse είναι ένα βασικό στοιχείο αποθήκευσης στο Fabric που χρησιμοποιεί το OneLake για την αποθήκευση δεδομένων τόσο σε μορφή αρχείου όσο και σε μορφή πίνακα. Ένα Lakehouse αντιπροσωπεύει μια επιμελημένη δομή φακέλου στο OneLake και περιλαμβάνει μια διεπαφή SQL. Ένα Lakehouse αποθηκεύει δεδομένα ως αρχεία Delta Parquet. Μπορείτε να οργανώσετε μη επεξεργασμένα αρχεία, όπως αρχεία CSV ή εικόνες σε φακέλους, και μπορείτε να δημιουργήσετε διαχειριζόμενους πίνακες Delta για δομημένα δεδομένα. Αυτό το μοντέλο υποστηρίζει τόσο δομημένα όσο και μη δομημένα δεδομένα στο ίδιο περιβάλλον.

Το Fabric παρέχει αυτόματα ένα τελικό σημείο ανάλυσης SQL για κάθε Lakehouse. Εσείς και εργαλεία όπως το Power BI μπορείτε να υποβάλετε ερωτήματα σε πίνακες Delta χρησιμοποιώντας την Transact-SQL, σαν να υποβάλλετε ερωτήματα σε μια σχεσιακή βάση δεδομένων. Το Lakehouse συνδυάζει την επεκτασιμότητα και την ευελιξία μιας λίμνης δεδομένων με βασικές δυνατότητες αποθήκης, συμπεριλαμβανομένης της άμεσης αναζήτησης πίνακα και της διαχείρισης σχημάτων.

Αποθήκη για δομημένη ανάλυση

Μια αποθήκη στο Fabric παρέχει μια παραδοσιακή εμπειρία αποθήκης δεδομένων SQL (με πίνακες, προβολές SQL, αποθηκευμένες διαδικασίες και πολλά άλλα) στον ενοποιημένο χώρο αποθήκευσης του Fabric. Όταν δημιουργείτε μια αποθήκη, αποθηκεύει δεδομένα σε OneLake σε μορφή Delta ως ένα οργανωμένο σύνολο πινάκων Delta με μια διασύνδεση ANSI SQL στην κορυφή. Η Αποθήκη παρέχει αποκλειστική υπολογιστική και βελτιστοποιημένη απόδοση για σύνθετα ερωτήματα SQL και φόρτους εργασίας τύπου BI. Υποστηρίζει λειτουργίες όπως ευρετηρίαση, αποθηκευμένες διαδικασίες και ισχυρές συναλλαγές ACID σε πίνακες.

Το Warehouse και το Lakehouse μοιράζονται τον ίδιο υποκείμενο χώρο αποθήκευσης OneLake. Μπορείτε να τα ενσωματώσετε χρησιμοποιώντας συντομεύσεις ή άλλες δυνατότητες διαλειτουργικότητας όταν χρειάζεται. Ωστόσο, συνήθως τα κρατάτε χωριστά για διαφορετικές περιπτώσεις χρήσης. Η Αποθήκη είναι ιδανική για δομημένα, σχεσιακά δεδομένα αστεροειδούς σχήματος που πρέπει να τεμαχίσετε και να τεμαχίσετε με SQL. Μπορείτε να χρησιμοποιήσετε διοχετεύσεις Fabric για να φορτώσετε δεδομένα στην Αποθήκη. Το Power BI μπορεί να συνδεθεί χρησιμοποιώντας το Direct Lake ή το DirectQuery για την ανάκτηση δεδομένων χωρίς εισαγωγή.

Οδηγός απόφασης: Lakehouse εναντίον Warehouse

Οι αποθήκες και τα Lakehouses εξυπηρετούν διακριτούς αλλά συμπληρωματικούς ρόλους.

  • Οι αποθήκες είναι βελτιστοποιημένες για δομημένη αποθήκευση δεδομένων εταιρικής κλίμακας με πλήρη υποστήριξη T-SQL, συναλλαγές ACID και ισχυρή επιβολή σχήματος—ιδανικές για BI και αναφορές. Επιλέξτε μια αποθήκη για ελεγχόμενους φόρτους εργασίας SQL υψηλής απόδοσης και μια λίμνη για επεξεργασία μεγάλων δεδομένων, διερευνητική ανάλυση και σενάρια που περιλαμβάνουν ποικίλες μορφές δεδομένων ή ενοποίηση εξωτερικών λιμνών.

  • Τα Lakehouses προσφέρουν ευέλικτη, επεκτάσιμη αποθήκευση τόσο για δομημένα όσο και για μη δομημένα δεδομένα, υποστηρίζοντας μηχανική δεδομένων που βασίζεται σε Spark και ανάλυση SQL μόνο για ανάγνωση μέσω αυτόματων τελικών σημείων.

Πολλοί οργανισμοί επωφελούνται από τη χρήση και των δύο μαζί: Lakehouses για πρόσληψη και μετασχηματισμό και Αποθήκες για εκλεπτυσμένα αναλυτικά στοιχεία και αναφορές. Για να μάθετε περισσότερα, ανατρέξτε στον οδηγό απόφασης.

Κατοπτρικές βάσεις δεδομένων για αναπαραγωγή σχεδόν σε πραγματικό χρόνο

Μια βάση δεδομένων κατοπτρισμού στο Fabric είναι ένα αντίγραφο μιας εξωτερικής λειτουργικής βάσης δεδομένων που αναπαράγεται συνεχώς, όπως η βάση δεδομένων SQL Azure, ο SQL Server, η βάση δεδομένων Azure Cosmos ή το Snowflake. Το Fabric αποθηκεύει δεδομένα κατοπτρισμού στο OneLake σε μορφή Delta Lake.

Ο κατοπτρισμός συγχρονίζει τις αλλαγές προέλευσης στο Fabric σε σχεδόν πραγματικό χρόνο χωρίς να απαιτούνται παραδοσιακοί αγωγοί εξαγωγής, μετασχηματισμού και φόρτωσης. Μετά την αναπαραγωγή, τα δεδομένα γίνονται αμέσως αναζητήσιμα μέσω τελικών σημείων SQL και είναι διαθέσιμα σε φόρτους εργασίας Fabric, συμπεριλαμβανομένων των Power BI, σημειωματάριων Spark και διοχετεύσεων.

Αυτή η αρχιτεκτονική υποστηρίζει σενάρια υβριδικής συναλλακτικής και αναλυτικής επεξεργασίας (HTAP), όπου αναλύετε λειτουργικά δεδομένα διατηρώντας παράλληλα την ακεραιότητα του συστήματος προέλευσης. Εάν τα δεδομένα προέλευσης είναι ήδη αποθηκευμένα σε μια θέση προσβάσιμη μέσω συντομεύσεων OneLake (όπως το Azure Data Lake Storage ή άλλος χώρος εργασίας Fabric), εξετάστε το ενδεχόμενο να χρησιμοποιήσετε συντομεύσεις για πρόσβαση μηδενικού αντιγράφου αντί για κατοπτρισμό. Ο κατοπτρισμός είναι ο καταλληλότερος για λειτουργικές βάσεις δεδομένων που απαιτούν συνεχή καταγραφή δεδομένων αλλαγών, ενώ οι συντομεύσεις είναι ιδανικές όταν χρειάζεστε ζωντανή πρόσβαση μόνο για ανάγνωση χωρίς αναπαραγωγή.

Συντομεύσεις OneLake για πρόσβαση σε δεδομένα μηδενικού αντιγράφου

Οι συντομεύσεις OneLake είναι λογικές συνδέσεις που αναφέρονται σε δεδομένα σε εξωτερικά συστήματα αποθήκευσης ή σε άλλους χώρους εργασίας Fabric χωρίς να τα αντιγράφουν. Οι συντομεύσεις κάνουν τα αναφερόμενα δεδομένα να εμφανίζονται ως μέρος του τοπικού χώρου ονομάτων OneLake, ώστε όλοι οι μηχανισμοί υπολογιστικής λειτουργίας Fabric (Spark, SQL, Power BI) να μπορούν να υποβάλλουν ερωτήματα σε προορισμούς συντόμευσης μαζί με εγγενή δεδομένα. Αυτή η προσέγγιση διατηρεί μια ενιαία εκδοχή της αλήθειας και αποφεύγει την αντιγραφή αποθήκευσης.

Μπορείτε επίσης να χρησιμοποιήσετε την κοινή χρήση δεδομένων OneLake για να επεκτείνετε την πρόσβαση συντομεύσεων στα όρια μισθωτή του Microsoft Entra. Οι κάτοχοι δεδομένων εκχωρούν δικαιώματα OneLake σε εξωτερικές ταυτότητες και οι παραλήπτες δημιουργούν συντομεύσεις για τα κοινόχρηστα δεδομένα στους δικούς τους χώρους εργασίας. Οι πολιτικές διακυβέρνησης εξακολουθούν να εφαρμόζονται στην πηγή. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Συντομεύσεις OneLake και κοινή χρήση εξωτερικών δεδομένων.

Eventhouse για ανάλυση συμβάντων σε πραγματικό χρόνο

Ένα Eventhouse παρέχει ένα επεκτάσιμο περιβάλλον ανάλυσης σε πραγματικό χρόνο που έχει σχεδιαστεί για την πρόσληψη, αποθήκευση και ανάλυση μεγάλου όγκου δεδομένων συμβάντων. Είναι η θεμελιώδης μηχανή για τους φόρτους εργασίας Real-Time Intelligence.

Μια βάση δεδομένων Eventhouse φιλοξενεί μία ή περισσότερες βάσεις δεδομένων γλώσσας ερωτημάτων Kusto που βασίζονται στον μηχανισμό Kusto. Αυτές οι βάσεις δεδομένων ευρετηριάζουν αυτόματα και διαμερίζουν δεδομένα κατά χρόνο απορρόφησης. Μπορείτε να υποβάλετε ερωτήματα σε δεδομένα χρησιμοποιώντας τη γλώσσα ερωτημάτων Kusto.

Το Eventhouse είναι κατάλληλο για τηλεμετρία, αρχεία καταγραφής ασφαλείας, αρχεία συμμόρφωσης και οικονομικές συναλλαγές όπου απαιτούνται αναλύσεις χαμηλής καθυστέρησης και απορρόφηση υψηλής κλίμακας.

Βάση δεδομένων SQL για φόρτους εργασίας συναλλαγών

Οι βάσεις δεδομένων SQL στο Fabric υποστηρίζουν φόρτους εργασίας συναλλακτικής και λειτουργικής ανάλυσης. Παρέχουν μια πλήρως διαχειριζόμενη εμπειρία σχεσιακής βάσης δεδομένων με υποστήριξη για T-SQL, συμπεριλαμβανομένων των δυνατοτήτων ορισμού δεδομένων (DDL), χειρισμού (DML) και ερωτημάτων (DQL). Μπορείτε να χρησιμοποιήσετε αποθηκευμένες διαδικασίες, προβολές και συναρτήσεις για να δημιουργήσετε συναλλακτικές και αναλυτικές λύσεις.

Οι βάσεις δεδομένων SQL χρησιμοποιούν μια υπηρεσία αυτόματου κατοπτρισμού για την αναπαραγωγή πινάκων συναλλαγών στο OneLake για αναλυτικά στοιχεία. Όταν δημιουργείτε μια βάση δεδομένων SQL, το Fabric ξεκινά έναν μηχανισμό αναπαραγωγής που καταγράφει λειτουργίες εισαγωγής, ενημέρωσης και διαγραφής μέσω της τροφοδοσίας αλλαγής του μηχανισμού SQL και εγγράφει αυτές τις αλλαγές στο OneLake ως αρχεία Delta Parquet. Η αναπαραγωγή πραγματοποιείται σε σχεδόν πραγματικό χρόνο και ξεκινά αυτόματα. Όλοι οι υποστηριζόμενοι πίνακες αντικατοπτρίζονται από προεπιλογή. Αυτή η συμπεριφορά εξασφαλίζει ότι το αντίγραφο OneLake παραμένει συγχρονισμένο με τη λειτουργική βάση δεδομένων.

Οι βάσεις δεδομένων SQL ενσωματώνονται με άλλες εμπειρίες Fabric, όπως το Power BI, σημειωματάρια, συναρτήσεις δεδομένων χρήστη, διοχετεύσεις και εξωτερικά εργαλεία μέσω του πρωτοκόλλου TDS. Αυτή η ενοποίηση σάς δίνει τη δυνατότητα να δημιουργήσετε ολοκληρωμένες λύσεις, από την πρόσληψη δεδομένων και τον μετασχηματισμό έως την οπτικοποίηση και την αναφορά, χωρίς να εγκαταλείψετε το περιβάλλον Fabric. Η πλατφόρμα χειρίζεται αυτόματα την ευρετηρίαση και τη βελτιστοποίηση απόδοσης, επομένως δεν χρειάζεται να συντονίζετε ή να διαχειρίζεστε χειροκίνητα την υποδομή.

Cosmos DB για κατανεμημένους φόρτους εργασίας NoSQL

Το Cosmos DB στο Microsoft Fabric είναι μια πλήρως διαχειριζόμενη, κατανεμημένη βάση δεδομένων NoSQL που έχει σχεδιαστεί για εφαρμογές υψηλής απόδοσης και παγκόσμιας διανομής. Υποστηρίζει ευέλικτα μοντέλα σχημάτων και ημιδομημένα δεδομένα JSON.

Το Cosmos DB αντικατοπτρίζεται αυτόματα στο OneLake σε μορφή Delta για να υποστηρίζει αναλυτικά στοιχεία χωρίς να επηρεάζει τη λειτουργική απόδοση. Η αναπαραγωγή είναι συνεχής και σχεδόν σε πραγματικό χρόνο και δεν απαιτεί χειροκίνητη διαμόρφωση.

Μετά την αναπαραγωγή, τα δεδομένα γίνονται προσβάσιμα μέσω ενός τελικού σημείου ανάλυσης SQL. Μπορείτε να υποβάλετε ερωτήματα σε δεδομένα χρησιμοποιώντας την Transact-SQL, να δημιουργήσετε προβολές και να πραγματοποιήσετε ενοποίηση με το Power BI, σημειωματάρια και διοχετεύσεις.

Το τελικό σημείο ανάλυσης SQL παρέχει μια διεπαφή μόνο για ανάγνωση στα κατοπτρισμένα δεδομένα, διασφαλίζοντας ότι τα αναλυτικά ερωτήματα δεν παρεμβαίνουν στις λειτουργίες συναλλαγών. Αυτή η αρχιτεκτονική υποστηρίζει υβριδική συναλλακτική και αναλυτική επεξεργασία (HTAP), ώστε να μπορείτε να ενοποιήσετε λειτουργικούς και αναλυτικούς φόρτους εργασίας σε μια ενιαία πλατφόρμα.

Σημασιολογικό μοντέλο για επιχειρηματική λογική και αναφορές

Τα σημασιολογικά μοντέλα παρέχουν το δομημένο, επιμελημένο επίπεδο που ορίζει την επιχειρηματική λογική, τις μετρήσεις, τις ιεραρχίες, τις σχέσεις και τα μετα-δεδομένα πάνω από τα ανεπεξέργαστα δεδομένα στο Microsoft Fabric. Κάνουν τα δεδομένα ερμηνεύσιμα και επαναχρησιμοποιήσιμα σε όλη την πλατφόρμα για εμπειρίες ανάλυσης.

Τα σημασιολογικά μοντέλα στο Fabric είναι στενά ενσωματωμένα με το μοντέλο χωρητικότητας και τη δομή του χώρου εργασίας της πλατφόρμας. Τα σημασιολογικά μοντέλα υποστηρίζουν τρεις λειτουργίες ερωτήματος: Εισαγωγή, DirectQuery και Direct Lake. Κάθε λειτουργία προσφέρει διαφορετικούς συμβιβασμούς μεταξύ απόδοσης, φρεσκάδας και επεκτασιμότητας:

  • Η λειτουργία εισαγωγής αντιγράφει δεδομένα από την προέλευση στο μοντέλο σημασιολογίας κατά τη διάρκεια προγραμματισμένων ή μη αυτόματων ανανεώσεων. Αυτή η λειτουργία προσφέρει τις ταχύτερες επιδόσεις ερωτημάτων, επειδή το Power BI λειτουργεί σε δεδομένα στη μνήμη, αλλά εισάγει λανθάνοντα χρόνο μεταξύ των ενημερώσεων προέλευσης και της ορατότητας της αναφοράς. Η λειτουργία εισαγωγής είναι ιδανική για πίνακες εργαλείων υψηλής απόδοσης όπου τα δεδομένα σε πραγματικό χρόνο δεν είναι κρίσιμα.

  • Η λειτουργία DirectQuery αποστέλλει ερωτήματα απευθείας στο σύστημα προέλευσης κατά τον χρόνο εκτέλεσης χωρίς να αποθηκεύει δεδομένα στο μοντέλο σημασιολογίας. Αυτή η προσέγγιση διασφαλίζει up-toαποτελέσματα, αλλά μπορεί να οδηγήσει σε πιο αργή απόδοση ανάλογα με την ανταπόκριση του συστήματος προέλευσης. Το DirectQuery είναι κατάλληλο για σενάρια όπου η ανανέωση δεδομένων είναι πιο σημαντική από την ταχύτητα, όπως η λειτουργική αναφορά.

  • Η λειτουργία Direct Lake επιτρέπει στο Power BI να υποβάλλει ερωτήματα σε πίνακες Delta που είναι αποθηκευμένοι απευθείας στο OneLake. Συνδυάζει τα χαρακτηριστικά επιδόσεων της Εισαγωγής με την ανανέωση του DirectQuery. Αποφεύγει την αντιγραφή δεδομένων και χρησιμοποιεί την εγγενή αρχιτεκτονική της λίμνης για επεκτάσιμες αναλύσεις σχεδόν σε πραγματικό χρόνο. Το Direct Lake συνιστάται για αναλύσεις μεγάλης κλίμακας σε δεδομένα διαχειριζόμενα από το Fabric.

Τα σημασιολογικά μοντέλα επιτρέπουν επίσης την τεχνητή νοημοσύνη συνομιλίας, τη σημασιολογική αναζήτηση, τις εταιρικές αναφορές και τη συλλογιστική μεταξύ τομέων, συνδυάζοντας προηγμένες δυνατότητες όπως Fabric Data Agents, Power BI Copilot, Ontologies και αναφορές Power BI. Οι χρήστες επιχειρήσεων μπορούν επίσης να έχουν πρόσβαση σε σημασιολογικά μοντέλα μέσω του Excel, όπου μπορούν να εξερευνήσουν δεδομένα και πληροφορίες σε μια διεπαφή Συγκεντρωτικού Πίνακα που χρησιμοποιεί ζωντανά δεδομένα από το μοντέλο σημασιολογίας.

Οδηγός απόφασης: Επιλέξτε τον σωστό χώρο αποθήκευσης δεδομένων

Το Microsoft Fabric παρέχει πολλές επιλογές χώρου αποθήκευσης δεδομένων, καθεμία βελτιστοποιημένη για συγκεκριμένους φόρτους εργασίας:

  • Lakehouse για μηχανική δεδομένων μεγάλης κλίμακας και αποθήκευση ανοιχτού τύπου όπως το Delta και το Iceberg, με υποστήριξη για μηχανές Spark και SQL.
  • Αποθήκη για δομημένη, σχεσιακή ανάλυση με δυνατότητες SQL υψηλής απόδοσης και εταιρικές αναφορές.
  • Eventhouse για τηλεμετρία σε πραγματικό χρόνο και ανάλυση αρχείων καταγραφής χρησιμοποιώντας τη γλώσσα Kusto Query Language.
  • Βάση δεδομένων SQL για φόρτους εργασίας συναλλαγών και λειτουργικές αναλύσεις.
  • Cosmos DB για παγκοσμίως κατανεμημένες εφαρμογές NoSQL, εφαρμογές πολλαπλών μοντέλων με πρόσβαση χαμηλής καθυστέρησης.
  • Συντομεύσεις OneLake για πρόσβαση μηδενικού αντιγράφου σε δεδομένα σε εξωτερικό χώρο αποθήκευσης ή άλλους χώρους εργασίας και μισθωτές Fabric, όταν δεν χρειάζεστε ξεχωριστό αντίγραφο και θέλετε να διατηρήσετε μια μοναδική έκδοση της αλήθειας.

Η επιλογή του κατάλληλου χώρου αποθήκευσης εξαρτάται από τη δομή δεδομένων, τις απαιτήσεις καθυστέρησης, την πολυπλοκότητα του ερωτήματος και τις ανάγκες ενοποίησης. Όταν τα δεδομένα που χρειάζεστε υπάρχουν ήδη σε μια προσβάσιμη τοποθεσία, οι συντομεύσεις μπορούν να εξαλείψουν εντελώς την ανάγκη για αναπαραγωγή. Για περισσότερες οδηγίες, ανατρέξτε στην ενότητα Επιλογή του σωστού καταστήματος.

Σχετικό περιεχόμενο

  • Last updated on