Κύκλος ζωής δεδομένων από άκρο σε άκρο στο Microsoft Fabric

Οι οργανισμοί βασίζονται συνήθως σε πολλαπλές αποσυνδεδεμένες υπηρεσίες για την πρόσληψη, αποθήκευση, μετασχηματισμό, ανάλυση και οπτικοποίηση δεδομένων. Αυτός ο κατακερματισμός δημιουργεί σιλό δεδομένων, αυξάνει τα γενικά έξοδα ενσωμάτωσης και επιβραδύνει το χρόνο για τη διορατικότητα. Το Microsoft Fabric αντιμετωπίζει αυτές τις προκλήσεις ενοποιώντας κάθε στάδιο του κύκλου ζωής των δεδομένων σε μια ενιαία πλατφόρμα που βασίζεται σε μια κοινή βάση.

Στο κέντρο αυτής της αρχιτεκτονικής βρίσκεται το OneLake, μια ενιαία λίμνη δεδομένων οργανισμού που αποθηκεύει όλα τα δεδομένα σε ανοιχτή μορφή Delta Parquet. Το OneLake παρέχεται αυτόματα με κάθε μισθωτή Fabric. Επειδή κάθε φόρτος εργασίας Fabric διαβάζει και γράφει στο OneLake, τα δεδομένα δεν μετακινούνται μεταξύ των μηχανών. Ένα σύνολο δεδομένων που προσλαμβάνεται μέσω μιας διοχέτευσης, βελτιώνεται σε ένα σημειωματάριο και απεικονίζεται σε μια αναφορά Power BI παραμένει σε ένα σημείο καθ' όλη τη διάρκεια της διαδρομής του.

Ο κύκλος ζωής δεδομένων αποτελείται από έξι στάδια και το Fabric παρέχει ειδικά σχεδιασμένα εργαλεία για το καθένα:

  • Λήψη δεδομένων: Μεταφέρετε δεδομένα στο OneLake από εκατοντάδες προελεύσεις σε πραγματικό χρόνο, βάσει χρονοδιαγράμματος, μέσω συνεχούς αναπαραγωγής βάσης δεδομένων ή με αναφορά στον εξωτερικό χώρο αποθήκευσης.

  • Αποθήκευση δεδομένων: Διατηρήστε δεδομένα σε μορφές αποθήκευσης βελτιστοποιημένες για τον φόρτο εργασίας σας, είτε πρόκειται για ευέλικτη ανάλυση μεγάλων δεδομένων, δομημένα ερωτήματα SQL, ανάλυση συμβάντων σε πραγματικό χρόνο, επεξεργασία συναλλαγών ή ελεγχόμενες επιχειρηματικές αναφορές.

  • Προετοιμασία και μετασχηματισμός: Καθαρίστε, αναδιαμορφώστε και εμπλουτίστε τα δεδομένα χρησιμοποιώντας οπτικούς μετασχηματισμούς χαμηλού κώδικα ή σημειωματάρια και επαναχρησιμοποιήσιμες συναρτήσεις με προτεραιότητα στον κώδικα, χωρίς να μετακινήσετε δεδομένα εκτός του OneLake.

  • Ανάλυση και εκπαίδευση: Δημιουργήστε και θέστε σε λειτουργία μοντέλα μηχανικής εκμάθησης, εκτελέστε προηγμένες αναλύσεις, αναζητήστε δεδομένα μέσω προγραμματισμού και εξερευνήστε πληροφορίες μέσω πρακτόρων τεχνητής νοημοσύνης φυσικής γλώσσας.

  • Παρακολούθηση και οπτικοποίηση: Εμφανίστε πληροφορίες μέσω αλληλεπιδραστικών αναφορών, παρακολουθήστε ζωντανές ροές δεδομένων σε πίνακες εργαλείων σε πραγματικό χρόνο και ενεργοποιήστε αυτοματοποιημένες ενέργειες όταν πληρούνται οι προϋποθέσεις.

  • Εξωτερική ενοποίηση: Συνδεθείτε με ασφάλεια σε εξωτερικές υπηρεσίες για αυτοματοποίηση, συνεργασία, διακυβέρνηση, εργαλεία προγραμματιστών και CI/CD.

Το παρακάτω διάγραμμα δείχνει πώς συνδέονται αυτά τα στάδια και ποια στοιχεία Fabric συμμετέχουν σε κάθε στάδιο. Κάθε στάδιο καλύπτεται σε βάθος σε ένα ειδικό άρθρο. Χρησιμοποιήστε τους συνδέσμους σε κάθε ενότητα για να εξερευνήσετε τις δυνατότητες και τα εργαλεία που είναι διαθέσιμα σε αυτό το στάδιο.

Διάγραμμα που εμφανίζει τον κύκλο ζωής δεδομένων από άκρο σε άκρο στο Microsoft Fabric, από την πρόσληψη δεδομένων έως την αποθήκευση, την προετοιμασία, την ανάλυση και την απεικόνιση.

Λήψη δεδομένων

Διαφορετικοί τύποι συνόλων δεδομένων προέρχονται από μια μεγάλη ποικιλία πηγών δεδομένων σε διαφορετικά σενάρια δεδομένων, συμπεριλαμβανομένης της αναπαραγωγής δεδομένων, των αναφορών εξωτερικής αποθήκευσης, των συνόλων δεδομένων δέσμης και των ροών δεδομένων σε πραγματικό χρόνο. Μπορείτε να προσλάβετε και να μετασχηματίσετε αυτά τα σύνολα δεδομένων μέσω των εργαλείων ενοποίησης του Fabric. Τα δεδομένα προσγειώνονται στο OneLake, τον κεντρικό χώρο αποθήκευσης δεδομένων για όλο το Fabric. Οι βασικές μέθοδοι κατάποσης περιλαμβάνουν:

  • Ροές συμβάντων για πρόσληψη και δρομολόγηση συμβάντων σε πραγματικό χρόνο.
  • Διοχετεύσεις δεδομένων για μαζική και προγραμματισμένη μετακίνηση δεδομένων με περισσότερες από 200 συνδέσεις.
  • Mirroring για συνεχή αναπαραγωγή από λειτουργικές βάσεις δεδομένων χωρίς δημιουργία αγωγών ETL.
  • Συντομεύσεις για αναπαράσταση δεδομένων χωρίς αντιγραφή από εξωτερικό χώρο αποθήκευσης όπως το Azure Data Lake, το Amazon S3 ή το Google Cloud Storage. Οι συντομεύσεις μπορούν επίσης να αναφέρουν δεδομένα που κοινοποιούνται από άλλους χώρους εργασίας ή μισθωτές Fabric.
  • Κοινή χρήση δεδομένων OneLake για πρόσβαση μεταξύ μισθωτών σε ζωντανά, διαχειριζόμενα σύνολα δεδομένων χωρίς αντιγραφή δεδομένων πέρα από τα όρια του οργανισμού.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Λήψη δεδομένων στο Microsoft Fabric.

Αποθήκευση δεδομένων

Μετά την πρόσληψη, όλα τα δεδομένα προσγειώνονται στο OneLake σε ανοιχτή μορφή Delta Parquet. Το OneLake παρέχει μια ενιαία λίμνη δεδομένων για ολόκληρο τον οργανισμό σας χωρίς να απαιτείται ξεχωριστή παροχή. Επειδή το OneLake διατηρεί ένα μόνο αντίγραφο των δεδομένων, μπορείτε να κάνετε κοινή χρήση ελεγχόμενων συνόλων δεδομένων μεταξύ μισθωτών χρησιμοποιώντας την κοινή χρήση δεδομένων OneLake χωρίς διπλότυπο χώρο αποθήκευσης. Το Fabric προσφέρει πολλά στοιχεία αποθήκευσης βελτιστοποιημένα για διαφορετικούς φόρτους εργασίας:

  • Lakehouse για ευέλικτη αποθήκευση μεγάλων δεδομένων που συνδυάζει αρχεία και διαχειριζόμενους πίνακες Delta με ένα αυτόματο τελικό σημείο SQL.
  • Αποθήκη για δομημένα, σχεσιακά αναλυτικά στοιχεία με πλήρη υποστήριξη T-SQL, αποθηκευμένες διαδικασίες και συναλλαγές ACID.
  • Eventhouse για αναλύσεις σε πραγματικό χρόνο σε δεδομένα ροής και τηλεμετρίας χρησιμοποιώντας τη γλώσσα ερωτημάτων Kusto (KQL).
  • Βάση δεδομένων SQL για φόρτους εργασίας συναλλαγών και λειτουργική ανάλυση.
  • Σημασιολογικά μοντέλα για επιμελημένη επιχειρηματική λογική, μετρήσεις και ιεραρχίες που τροφοδοτούν τις αναφορές και την τεχνητή νοημοσύνη.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Αποθήκευση δεδομένων στο Microsoft Fabric.

Προετοιμασία και μετασχηματισμός δεδομένων

Μόλις μπείτε στο OneLake, μπορείτε να μετασχηματίσετε περαιτέρω τα δεδομένα χρησιμοποιώντας είτε μηχανές πρώτου κώδικα είτε εργαλεία χαμηλού κώδικα, όλα μέσα στο Fabric χωρίς μετακίνηση δεδομένων μεταξύ μηχανών:

  • Το Dataflow Gen2 παρέχει μια διασύνδεση Power Query χαμηλού κώδικα για εκκαθάριση, μετασχηματισμό και εμπλουτισμό δεδομένων.
  • Τα σημειωματάρια προσφέρουν ένα περιβάλλον παρόμοιο με το Jupyter για μηχανική δεδομένων που βασίζεται σε Python, T-SQL και Scala.
  • Οι συναρτήσεις δεδομένων χρήστη σάς επιτρέπουν να ενσωματώσετε επαναχρησιμοποιήσιμη προσαρμοσμένη λογική Python που μπορεί να κληθεί από διοχετεύσεις, σημειωματάρια και κανόνες ενεργοποιητή.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Προετοιμασία και μετασχηματισμός δεδομένων.

Αναλύστε δεδομένα και εκπαιδεύστε μοντέλα

Χρησιμοποιήστε τα προετοιμασμένα δεδομένα για να εκπαιδεύσετε μοντέλα εκμάθησης μηχανής και να εκτελέσετε προηγμένες αναλύσεις. Ο φόρτος εργασίας Data Science του Fabric παρέχει ένα περιβάλλον για τη δημιουργία, την εκπαίδευση και τη λειτουργία μοντέλων ML:

  • Τα πειράματα MLflow παρακολουθούν τις εκτελέσεις εκπαίδευσης μοντέλων με αυτόματη καταγραφή υπερπαραμέτρων, μετρήσεων και στοιχείων.
  • Τα μοντέλα εκμάθησης μηχανής καταχωρούνται σε ένα μητρώο που υποστηρίζεται από MLflow για διαχείριση εκδόσεων, παρακολούθηση μεταδεδομένων και αναπαραγωγιμότητα.
  • Οι πράκτορες δεδομένων και οι πράκτορες λειτουργιών σάς επιτρέπουν να αλληλεπιδράτε με δεδομένα χρησιμοποιώντας φυσική γλώσσα και να ενεργείτε με βάση τις συνθήκες και τα μοτίβα που βρέθηκαν.
  • Τα API GraphQL παρέχουν ένα ευέλικτο επίπεδο πρόσβασης δεδομένων για τους προγραμματιστές να υποβάλλουν ερωτήματα σε πολλές προελεύσεις δεδομένων Fabric μέσω ενός μόνο τελικού σημείου.
  • Το Copilot για Power BI χρησιμοποιεί παραγωγικό AI για ad-hoc ανάλυση, δημιουργία DAX και εξερεύνηση δεδομένων φυσικής γλώσσας.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ανάλυση και εκπαίδευση δεδομένων στο Microsoft Fabric.

Παρακολούθηση και οπτικοποίηση δεδομένων

Χρησιμοποιήστε τα προετοιμασμένα και μοντελοποιημένα δεδομένα για να δημιουργήσετε αναφορές, πίνακες εργαλείων και ειδοποιήσεις σε πραγματικό χρόνο:

  • Οι αναφορές Power BI παρέχουν αλληλεπιδραστική απεικόνιση δεδομένων που βασίζεται σε σημασιολογικά μοντέλα, με διανομή σε εφαρμογές του Microsoft 365, όπως το Teams, το SharePoint, το PowerPoint και το Excel.
  • Οι μεταλυτικές ροές εργασιών επιτρέπουν στους χρήστες να αναλαμβάνουν ενέργειες απευθείας από αναφορές Power BI καλώντας συναρτήσεις δεδομένων χρήστη.
  • Οι πίνακες εργαλείωνReal-Time Intelligence παρακολουθούν δεδομένα ροής με καθυστέρηση δευτερολέπτου χρησιμοποιώντας ερωτήματα KQL και οπτική σύνταξη.
  • Ο ενεργοποιητής εντοπίζει συνθήκες σε δεδομένα ροής και ενεργοποιεί αυτοματοποιημένες ενέργειες, όπως ειδοποιήσεις Teams, μηνύματα ηλεκτρονικού ταχυδρομείου ή ροές Power Automate.
  • Το Fabric IQ αντιστοιχίζει τα εταιρικά δεδομένα σε μια κοινόχρηστη επιχειρηματική οντολογία και επιτρέπει στους εκπροσώπους AI να αιτιολογούν τα δεδομένα σας με πλήρες επιχειρηματικό περιβάλλον.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Παρακολούθηση και απεικόνιση δεδομένων.

Εξωτερική ολοκλήρωση

Το Fabric ενοποιείται με εξωτερικά συστήματα τόσο για την πρόσληψη δεδομένων όσο και για την παράδοση πληροφοριών:

  • Το Power Automate και το Data Activator επιτρέπουν την αυτοματοποίηση ροής εργασιών σε πραγματικό χρόνο με βάση τις συνθήκες δεδομένων.
  • Η ενοποίηση του Microsoft 365 εμφανίζει πληροφορίες στο Teams, το SharePoint, το PowerPoint και το Excel.
  • Τα REST API και οι βιβλιοθήκες προγράμματος-πελάτη παρέχουν πρόσβαση μέσω προγραμματισμού σε πόρους Fabric.
  • Το Microsoft Entra ID χειρίζεται τον έλεγχο ταυτότητας, την πρόσβαση υπό όρους και την υποστήριξη κύριας υπηρεσίας.
  • Η ενοποίηση του Git με το Azure DevOps και το GitHub επιτρέπει τον έλεγχο έκδοσης και το CI/CD για στοιχεία Fabric.
  • Το Microsoft Purview παρέχει ενοποιημένη διαχείριση, καταλογογράφηση και συμμόρφωση δεδομένων σε όλη την περιοχή δεδομένων Fabric, συμπεριλαμβανομένων των δεδομένων που κοινοποιούνται σε όλους τους μισθωτές μέσω της κοινής χρήσης δεδομένων OneLake.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Εξωτερική ενοποίηση και συνδεσιμότητα πλατφόρμας.

Υποστήριξη φυσικής γλώσσας και AI

Η υποστήριξη φυσικής γλώσσας παρέχεται με τη μορφή Power BI Copilot, Data Agents και Operations Agents, τα οποία μπορούν να αιτιολογήσουν τα εταιρικά δεδομένα στο OneLake και να παράγουν απαντήσεις με βάση τα στοιχεία δεδομένων στα οποία μπορούν να έχουν πρόσβαση οι χρήστες. Μπορείτε να ενσωματώσετε Data Agents στο Microsoft 365 Copilot, το Microsoft Foundry και το Copilot Studio, ώστε οι χρήστες να μπορούν να λαμβάνουν πληροφορίες από το OneLake στις υπάρχουσες ροές εργασίας τους σε διαφορετικές εφαρμογές.

Σχετικό περιεχόμενο

  • Last updated on