Τι είναι η αποθήκευση δεδομένων στο Microsoft Fabric;

Άρθρο
04/24/2024

Ισχύει για: Τελικό σημείο ανάλυσης SQL και Αποθήκη στο Microsoft Fabric

Το Microsoft Fabric παρέχει στους πελάτες ένα ενοποιημένο προϊόν που αντιμετωπίζει κάθε πτυχή του χώρου δεδομένων τους, προσφέροντας μια πλήρη πλατφόρμα δεδομένων, ανάλυσης και AI με επίκεντρο τη λίμνη, η οποία είναι ανοιχτή και ανοιχτή. Η βάση του Microsoft Fabric επιτρέπει στον αρχάριο χρήστη να αξιοποιήσει τους φόρτους εργασίας Βάσης δεδομένων, Ανάλυσης, Ανταλλαγής μηνυμάτων, Ενοποίησης δεδομένων και Επιχειρηματικής ευφυΐας μέσω μιας πλούσιας, εύχρηστης, κοινόχρηστης εμπειρίας SaaS με το Microsoft OneLake ως το επίκεντρο.

Μια εμπειρία SaaS με επίκεντρο τη λίμνη που έχει δημιουργηθεί για οποιοδήποτε επίπεδο δεξιοτήτων

Το Microsoft Fabric παρουσιάζει μια αποθήκη δεδομένων με βάση τη λίμνη, η οποία βασίζεται σε έναν διανεμημένο μηχανισμό επεξεργασίας εταιρικού επιπέδου, ο οποίος επιτρέπει την κορυφαία απόδοση του κλάδου σε κλίμακα, εξαλείφοντας παράλληλα την ανάγκη για ρύθμιση παραμέτρων και διαχείριση. Μέσω μιας εύχρηστης εμπειρίας SaaS που είναι στενά ενοποιημένη με το Power BI για εύκολη ανάλυση και αναφορά, η Warehouse στο Microsoft Fabric συγκλίνει τον κόσμο των λιμνών δεδομένων και των αποθηκών με στόχο την απλοποίηση σε μεγάλο βαθμό μιας επένδυσης οργανισμών στο χώρο ανάλυσής τους. Οι φόρτοι εργασίας αποθήκευσης δεδομένων επωφελούνται από τις εμπλουτισμένες δυνατότητες του μηχανισμού SQL σε μια ανοιχτή μορφή δεδομένων, επιτρέποντας στους πελάτες να εστιάζουν στην προετοιμασία, ανάλυση και αναφορά δεδομένων σε ένα μόνο αντίγραφο των δεδομένων τους που είναι αποθηκευμένα στο Microsoft OneLake.

Η Αποθήκη είναι δομημένη για οποιοδήποτε επίπεδο δεξιοτήτων , από τον προγραμματιστή πολιτών έως τον επαγγελματία προγραμματιστή, DBA ή μηχανικό δεδομένων. Το πλούσιο σύνολο εμπειριών που είναι ενσωματωμένο στον χώρο εργασίας Microsoft Fabric επιτρέπει στους πελάτες να μειώσουν τον χρόνο τους στις πληροφορίες, έχοντας ένα εύκολα αναλώσιμο, πάντα συνδεδεμένο σημασιολογικό μοντέλο που ενσωματώνεται με το Power BI σε λειτουργία DirectLake. Αυτό επιτρέπει τις επιδόσεις "second-to-none" που εξασφαλίζουν ότι η αναφορά ενός πελάτη έχει πάντα τα πιο πρόσφατα δεδομένα για ανάλυση και αναφορές. Τα ερωτήματα μεταξύ βάσεων δεδομένων μπορούν να αξιοποιηθούν για γρήγορη και απρόσκοπτη χρήση πολλαπλών προελεύσεων δεδομένων που εκτείνονται σε πολλές βάσεις δεδομένων για γρήγορες δεδομενικές πληροφορίες και αναπαραγωγή μηδενικών δεδομένων.

Εικονικές αποθήκες με ερωτήματα μεταξύ βάσεων δεδομένων

Το Microsoft Fabric παρέχει στους πελάτες τη δυνατότητα να στέκονται σε εικονικές αποθήκες που περιέχουν δεδομένα από σχεδόν οποιαδήποτε προέλευση, χρησιμοποιώντας συντομεύσεις. Οι πελάτες μπορούν να δημιουργήσουν μια εικονική αποθήκη, δημιουργώντας συντομεύσεις για τα δεδομένα τους όπου και αν βρίσκονται. Μια εικονική αποθήκη μπορεί να αποτελείται από δεδομένα από το OneLake, το Azure Data Lake Υπηρεσία αποθήκευσης ή οποιονδήποτε άλλο χώρο αποθήκευσης προμηθευτή cloud εντός ενός μόνο ορίου και χωρίς διπλότυπα δεδομένα.

Ξεκλειδώστε απρόσκοπτα μια τιμή από μια ποικιλία προελεύσεων δεδομένων μέσω του εμπλουτισμού των ερωτημάτων μεταξύ βάσεων δεδομένων στο Microsoft Fabric. Τα ερωτήματα μεταξύ βάσεων δεδομένων επιτρέπουν στους πελάτες να χρησιμοποιούν γρήγορα και απρόσκοπτα πολλαπλές προελεύσεις δεδομένων για γρήγορες δεδομενικές πληροφορίες και με αντιγραφή μηδενικών δεδομένων. Τα δεδομένα που είναι αποθηκευμένα σε διαφορετικές προελεύσεις μπορούν να συνεργαστούν εύκολα, επιτρέποντας στους πελάτες να παρέχουν πλούσιες πληροφορίες που απαιτούσαν προηγουμένως σημαντική προσπάθεια από τις ομάδες ενοποίησης δεδομένων και μηχανικής.

Τα ερωτήματα μεταξύ βάσεων δεδομένων μπορούν να δημιουργηθούν μέσω του προγράμματος επεξεργασίας Visual Query, το οποίο προσφέρει μια διαδρομή χωρίς κώδικα για πληροφορίες σε πολλούς πίνακες. Το πρόγραμμα επεξεργασίας SQL Query ή άλλα οικεία εργαλεία, όπως το SQL Server Management Studio (SSMS), μπορούν επίσης να χρησιμοποιηθούν για τη δημιουργία ερωτημάτων μεταξύ βάσεων δεδομένων.

Αυτόνομη διαχείριση φόρτου εργασίας

Οι αποθήκες στο Microsoft Fabric αξιοποιούν έναν κορυφαίο μηχανισμό επεξεργασίας κατανεμημένων ερωτημάτων, ο οποίος παρέχει στους πελάτες φόρτους εργασίας που έχουν φυσικό όριο απομόνωσης. Δεν υπάρχουν κουμπιά για να γυρίσετε με την αυτόνομη εκχώρηση και εκχώρηση πόρων για να προσφέρετε καλύτερα στις επιδόσεις των φυλών με αυτόματη κλίμακα και ταυτόχρονη εκτέλεση ενσωματωμένη. Η πραγματική απομόνωση επιτυγχάνεται με τον διαχωρισμό των φόρτων εργασίας με διαφορετικά χαρακτηριστικά, εξασφαλίζοντας ότι οι εργασίες ETL δεν παρεμβάλλονται ποτέ στους φόρτους εργασίας ad hoc ανάλυσης και αναφοράς.

Ανοικτή μορφή για απρόσκοπτη διαλειτουργικότητα κινητήρων

Τα δεδομένα στην Αποθήκη αποθηκεύονται σε μορφή αρχείου παρκέ και δημοσιεύονται ως Αρχεία καταγραφής της λίμνης Delta, επιτρέποντας τις συναλλαγές ACID και τη διαλειτουργικότητα μεταξύ κινητήρων που μπορούν να αξιοποιηθούν μέσω άλλων φόρτων εργασίας microsoft Fabric, όπως spark, διοχετεύσεις, Power BI και Azure Data Explorer. Οι πελάτες δεν χρειάζεται πλέον να δημιουργούν πολλά αντίγραφα των δεδομένων τους για να παρέχουν τη δυνατότητα σε επαγγελματίες δεδομένων με διαφορετικά σύνολα δεξιοτήτων. Οι μηχανικοί δεδομένων που είναι εξοικειωμένοι με την εργασία στην Python μπορούν εύκολα να χρησιμοποιήσουν τα ίδια δεδομένα που μοντελοποιούνται και εξυπηρετούνται από έναν επαγγελματία αποθήκης δεδομένων που είναι εξοικειωμένος με την εργασία στο SQL. Παράλληλα, οι επαγγελματίες BI μπορούν γρήγορα και εύκολα να χρησιμοποιήσουν τα ίδια δεδομένα για να δημιουργήσουν ένα πλούσιο σύνολο απεικονίσεων στο Power BI με επιδόσεις εγγραφών και χωρίς αναπαραγωγή δεδομένων.

Διαχωρισμός χώρου αποθήκευσης και υπολογιστικής λειτουργίας

Ο υπολογισμός και ο χώρος αποθήκευσης αποσυνδέονται σε μια Αποθήκη, πράγμα που επιτρέπει στους πελάτες να κλιμακώνονται σχεδόν στιγμιαία για να ικανοποιήσουν τις απαιτήσεις της επιχείρησής τους. Αυτό επιτρέπει σε πολλούς μηχανισμούς υπολογιστικής λειτουργίας να διαβάζουν από οποιαδήποτε υποστηριζόμενη προέλευση αποθήκευσης με ισχυρή ασφάλεια και εγγυήσεις συναλλαγών πλήρους ACID.

Εύκολη πρόσληψη, φόρτωση και μετασχηματισμός σε κλίμακα

Τα δεδομένα μπορούν να προσαχθούν στην Αποθήκη μέσω διοχετεύσεων, ροών δεδομένων, υποβολής ερωτημάτων μεταξύ βάσεων δεδομένων ή της εντολής COPY INTO. Αφού ληφθούν, τα δεδομένα μπορούν να αναλυθούν από πολλές επιχειρηματικές ομάδες μέσω λειτουργιών όπως η κοινή χρήση και η υποβολή ερωτημάτων μεταξύ βάσεων δεδομένων. Ο χρόνος για τις πληροφορίες επισπεύδεται μέσω μιας πλήρως ενοποιημένης εμπειρίας BI μέσω της μοντελοποίησης γραφικών δεδομένων, η οποία είναι εύκολη στη χρήση της εμπειρίας web για την υποβολή ερωτημάτων εντός του Προγράμματος επεξεργασίας αποθήκης.

Στοιχεία αποθήκευσης δεδομένων στο Microsoft Fabric

Υπάρχουν δύο ξεχωριστά στοιχεία αποθήκευσης δεδομένων: το τελικό σημείο ανάλυσης SQL του Lakehouse και της Αποθήκης.

Τελικό σημείο ανάλυσης SQL του Lakehouse

Ένα τελικό σημείο ανάλυσης SQL είναι μια αποθήκη που δημιουργείται αυτόματα από ένα Lakehouse στο Microsoft Fabric. Ένας πελάτης μπορεί να μεταβεί από την προβολή "Lake" του Lakehouse (η οποία υποστηρίζει τη μηχανική δεδομένων και το Apache Spark) στην προβολή "SQL" του ίδιου Lakehouse. Το τελικό σημείο ανάλυσης SQL είναι μόνο για ανάγνωση και τα δεδομένα μπορούν να τροποποιηθούν μόνο μέσω της προβολής "Lake" του Lakehouse χρησιμοποιώντας το Spark.

Μέσω του τελικού σημείου ανάλυσης SQL του Lakehouse, ο χρήστης έχει ένα υποσύνολο εντολών SQL που μπορούν να καθορίσουν και υποβάλλουν ερωτήματα σε αντικείμενα δεδομένων, αλλά δεν χειρίζονται τα δεδομένα. Μπορείτε να εκτελέσετε τις ακόλουθες ενέργειες στο τελικό σημείο ανάλυσης SQL:

Υποβάλετε ερωτήματα στους πίνακες που αναφέρουν δεδομένα στους φακέλους σας delta lake στη λίμνη.
Δημιουργήστε προβολές, ενσωματωμένα TVF και διαδικασίες για να συμπυκνώσετε τη σημασιολογία και την επιχειρηματική λογική σας στο T-SQL.
Διαχειριστείτε δικαιώματα στα αντικείμενα.

Σε έναν χώρο εργασίας Microsoft Fabric, ένα τελικό σημείο ανάλυσης SQL επισημαίνεται ως "τελικό σημείο ανάλυσης SQL" στη στήλη Τύπος . Κάθε Lakehouse διαθέτει ένα τελικό σημείο ανάλυσης SQL αυτόματης δημιουργίας, το οποίο μπορείτε να αξιοποιήσετε μέσω γνώριμων εργαλείων SQL, όπως το SQL Server Management Studio, το Azure Data Studio, το microsoft Fabric SQL πρόγραμμα επεξεργασίας Power Query.

Για να ξεκινήσετε με το τελικό σημείο ανάλυσης SQL, ανατρέξτε στο θέμα Καλύτερα μαζί: η λίμνη και η αποθήκη στο Microsoft Fabric.

Αποθήκη δεδομένων Synapse

Σε έναν χώρο εργασίας Microsoft Fabric, μια Αποθήκη δεδομένων Synapse ή Warehouse επισημαίνεται ως "Αποθήκη" κάτω από τη στήλη Τύπος . Μια Αποθήκη υποστηρίζει συναλλαγές, ερωτήματα DDL και DML.

Σε αντίθεση με ένα τελικό σημείο ανάλυσης SQL που υποστηρίζει μόνο ερωτήματα για ανάγνωση και δημιουργία προβολών και TVF, μια Αποθήκη διαθέτει πλήρη υποστήριξη DDL και DML συναλλαγών και δημιουργείται από έναν πελάτη. Μια Αποθήκη συμπληρώνεται με μία από τις υποστηριζόμενες μεθόδους πρόσληψης δεδομένων, όπως ΑΝΤΙΓΡΑΦΉ ΣΕ, Διοχετεύσεις, Ροές δεδομένων ή επιλογές πρόσληψης μεταξύ βάσεων δεδομένων, όπως ΔΗΜΙΟΥΡΓΊΑ ΠΊΝΑΚΑ AS SELECT (CTAS), ΕΙΣΑΓΩΓΉ. ΕΠΙΛΈΞΤΕ ή ΕΠΙΛΈΞΤΕ ΣΕ.

Για να ξεκινήσετε με την Αποθήκη, ανατρέξτε στο θέμα Δημιουργία αποθήκης στο Microsoft Fabric.

Σύγκριση της Αποθήκης και του τελικού σημείου ανάλυσης SQL του Lakehouse

Αυτή η ενότητα περιγράφει τις διαφορές μεταξύ του τελικού σημείου ανάλυσης Αποθήκης και SQL στο Microsoft Fabric.

Διάγραμμα του χώρου εργασίας Fabric για αποθήκευση δεδομένων, συμπεριλαμβανομένου του τελικού σημείου ανάλυσης SQL και της Αποθήκης δεδομένων.

Το τελικό σημείο ανάλυσης SQL είναι μια αποθήκη μόνο για ανάγνωση που δημιουργείται αυτόματα κατά τη δημιουργία από ένα Lakehouse στο Microsoft Fabric. Οι πίνακες Delta που δημιουργούνται μέσω του Spark σε ένα Lakehouse εντοπίζονται αυτόματα στο τελικό σημείο ανάλυσης SQL ως πίνακες. Το τελικό σημείο ανάλυσης SQL επιτρέπει στους μηχανικούς δεδομένων να δημιουργήσουν ένα σχεσιακό επίπεδο με βάση τα φυσικά δεδομένα στο Lakehouse και να το εκθέσουν σε εργαλεία ανάλυσης και αναφοράς χρησιμοποιώντας τις συμβολοσειρά σύνδεσης SQL. Οι αναλυτές δεδομένων μπορούν, στη συνέχεια, να χρησιμοποιήσουν το T-SQL για πρόσβαση σε δεδομένα Lakehouse χρησιμοποιώντας την Αποθήκη δεδομένων Synapse. Χρησιμοποιήστε το τελικό σημείο ανάλυσης SQL για να σχεδιάσετε την αποθήκη σας για τις ανάγκες BI και την εξυπηρέτηση δεδομένων.

Η Αποθήκη δεδομένων Synapse ή Αποθήκη δεδομένων είναι μια "παραδοσιακή" αποθήκη δεδομένων και υποστηρίζει τις πλήρεις δυνατότητες T-SQL συναλλαγών όπως μια εταιρική αποθήκη δεδομένων. Σε αντίθεση με το τελικό σημείο ανάλυσης SQL, όπου οι πίνακες και τα δεδομένα δημιουργούνται αυτόματα, έχετε τον πλήρη έλεγχο της δημιουργίας πινάκων, της φόρτωσης, του μετασχηματισμού και της υποβολής ερωτημάτων στα δεδομένα σας στην αποθήκη δεδομένων χρησιμοποιώντας είτε την πύλη Microsoft Fabric είτε τις εντολές T-SQL.

Για περισσότερες πληροφορίες σχετικά με την υποβολή ερωτημάτων για τα δεδομένα σας στο Microsoft Fabric, ανατρέξτε στο θέμα Υποβολή ερωτήματος στο τελικό σημείο ανάλυσης SQL ή Αποθήκη στο Microsoft Fabric.

Σύγκριση διαφορετικών δυνατοτήτων αποθήκευσης

Προκειμένου να εξυπηρετήσετε καλύτερα τις περιπτώσεις χρήσης των αναλύσεων σας, έχετε στη διάθεσή σας μια ποικιλία δυνατοτήτων. Γενικά, η αποθήκη μπορεί να θεωρηθεί ως ένα υπερσύνολο όλων των άλλων δυνατοτήτων, παρέχοντας μια συνεργιστική σχέση μεταξύ όλων των άλλων προσφορών ανάλυσης που παρέχουν T-SQL.

Από το ύφασμα, υπάρχουν χρήστες που ίσως χρειαστεί να αποφασίσουν μεταξύ μιας αποθήκης warehouse, lakehouse και ακόμη και ενός χώρου δεδομένων Power BI.

Προσφορά Microsoft Fabric

Αποθήκη

Τελικό σημείο ανάλυσης SQL του Lakehouse

Datamart του Power BI

Παραχώρηση αδειών χρήσης

Fabric ή Power BI Premium

Μόνο το Power BI Premium

Κύριες δυνατότητες

Συμβατή με ΟΞΎ, πλήρης αποθήκη δεδομένων με υποστήριξη συναλλαγών στο T-SQL.

Μόνο για ανάγνωση, το σύστημα δημιούργησε τελικό σημείο ανάλυσης SQL για το Lakehouse για υποβολή ερωτημάτων και εξυπηρέτηση T-SQL. Υποστηρίζει ανάλυση στους πίνακες Δέλτα του Lakehouse και τους φακέλους του Delta Lake που αναφέρονται μέσω συντομεύσεων.

Αποθήκευση δεδομένων χωρίς κώδικα και υποβολή ερωτημάτων T-SQL

Προφίλ προγραμματιστή

Προγραμματιστές SQL ή μη πολίτες προγραμματιστές

Μηχανικός δεδομένων ή προγραμματιστές SQL

Μόνο προγραμματιστής πολιτών

Προτεινόμενη περίπτωση χρήσης

Αποθήκευση δεδομένων για εταιρική χρήση
Αποθήκευση δεδομένων υποστήριξης τμήματος, επιχειρηματικής μονάδας ή αυτοεξυπηρέτησης
Δομημένη ανάλυση δεδομένων στο T-SQL με πίνακες, προβολές, διαδικασίες και συναρτήσεις και προηγμένη υποστήριξη SQL για BI

Εξερεύνηση και υποβολή ερωτημάτων σε πίνακες δέλτα από το lakehouse
Δεδομένα προεργασίας και Ζώνη αρχειοθέτησης για ανάλυση
Αρχιτεκτονική lakehouse μεταλλίων με ζώνες για την ανάλυση χαλκού, αργύρου και χρυσού
Σύζευξη με την Warehouse για περιπτώσεις χρήσης εταιρικών αναλύσεων

Περιπτώσεις χρήσης μικρών τμημάτων ή αποθήκευσης επιχειρηματικής μονάδας
Περιπτώσεις χρήσης αποθήκευσης δεδομένων αυτοεξυπηρέτησης
Ζώνη προορισμού για ροές δεδομένων Power BI και απλή υποστήριξη SQL για BI

Εμπειρία ανάπτυξης

Πρόγραμμα επεξεργασίας αποθηκών με πλήρη υποστήριξη για την πρόσληψη δεδομένων T-SQL, μοντελοποίηση, ανάπτυξη και ερωτήματα εμπειριών περιβάλλοντος εργασίας χρήστη για πρόσληψη δεδομένων, μοντελοποίηση και υποβολή ερωτημάτων
Ανάγνωση / Εγγραφή υποστήριξης για εργαλεία 1ου και 3ου κατασκευαστή

Τελικό σημείο ανάλυσης SQL Lakehouse με περιορισμένη υποστήριξη T-SQL για προβολές, συναρτήσεις με τιμή πίνακα και ερωτήματα SQL
Εμπειρίες περιβάλλοντος εργασίας χρήστη για μοντελοποίηση και υποβολή ερωτημάτων
Περιορισμένη υποστήριξη T-SQL για εργαλεία 1ου και 3ου κατασκευαστή

Πρόγραμμα επεξεργασίας Δεδομένων με υποστήριξη εμπειριών περιβάλλοντος εργασίας χρήστη και ερωτημάτων
Εμπειρίες περιβάλλοντος εργασίας χρήστη για πρόσληψη δεδομένων, μοντελοποίηση και υποβολή ερωτημάτων
Υποστήριξη μόνο για ανάγνωση για εργαλεία 1ου και 3ου κατασκευαστή

Δυνατότητες T-SQL

Πλήρης υποστήριξη DQL, DML και DDL T-SQL, πλήρης υποστήριξη συναλλαγών

Πλήρης DQL, Χωρίς DML, περιορισμένη υποστήριξη DDL T-SQL, όπως προβολές SQL και TVF

Μόνο πλήρες DQL

Φόρτωση δεδομένων

SQL, διοχετεύσεις, ροές δεδομένων

Spark, διοχετεύσεις, ροές δεδομένων, συντομεύσεις

Μόνο ροές δεδομένων

Υποστήριξη πίνακα Delta

Διαβάζει και γράφει πίνακες Delta

Διαβάζει πίνακες δέλτα

Μη διαθέσιμο

επίπεδο Υπηρεσία αποθήκευσης

Μορφή ανοικτών δεδομένων - Delta

Μη διαθέσιμο

Σχήμα που δημιουργείται αυτόματα στο τελικό σημείο ανάλυσης SQL του Lakehouse

Το τελικό σημείο ανάλυσης SQL διαχειρίζεται τους πίνακες που δημιουργούνται αυτόματα, ώστε οι χρήστες του χώρου εργασίας να μην μπορούν να τους τροποποιήσουν. Οι χρήστες μπορούν να εμπλουτίσουν το μοντέλο βάσης δεδομένων, προσθέτοντας τα δικά τους σχήματα SQL, προβολές, διαδικασίες και άλλα αντικείμενα βάσης δεδομένων.

Για κάθε πίνακα Delta στο Lakehouse, το τελικό σημείο ανάλυσης SQL δημιουργεί αυτόματα έναν πίνακα.

Οι πίνακες στο τελικό σημείο ανάλυσης SQL δημιουργούνται με καθυστέρηση. Μόλις δημιουργήσετε ή ενημερώσετε τον φάκελο/πίνακα Delta Lake στη λίμνη, ο πίνακας αποθήκης που αναφέρει τα δεδομένα της λίμνης δεν θα δημιουργηθεί/ανανεωθεί αμέσως. Οι αλλαγές θα εφαρμοστούν στην αποθήκη μετά από 5-10 δευτερόλεπτα.

Για τύπους δεδομένων σχήματος που δημιουργούνται αυτόματα για το τελικό σημείο ανάλυσης SQL, ανατρέξτε στο θέμα Τύποι δεδομένων στο Microsoft Fabric.

Κοινή χρήση μέσω

Τι είναι η αποθήκευση δεδομένων στο Microsoft Fabric;

Μια εμπειρία SaaS με επίκεντρο τη λίμνη που έχει δημιουργηθεί για οποιοδήποτε επίπεδο δεξιοτήτων