Τι είναι το Data Factory στο Microsoft Fabric;

Το Data Factory στο Microsoft Fabric σάς βοηθά να επιλύσετε μία από τις δυσκολότερες προκλήσεις της επιχείρησης: τη μετατροπή των διάσπαρτων δεδομένων σε χρήσιμες πληροφορίες.

Τα δεδομένα του οργανισμού σας βρίσκονται σε πολλά διαφορετικά μέρη: βάσεις δεδομένων, αρχεία, υπηρεσίες cloud και συστήματα παλαιού τύπου. Αυτή η ποικιλία καθιστά δύσκολο να αποκτήσετε μια πλήρη εικόνα της επιχείρησής σας. Το Data Factory συνδέεται με περισσότερες από 170 προελεύσεις δεδομένων, συμπεριλαμβανομένων περιβαλλόντων πολλαπλών cloud και υβριδικών ρυθμίσεων με πύλες εσωτερικής εγκατάστασης. Σας βοηθά να μετακινείτε και να μεταμορφώνετε τα δεδομένα σας σε κλίμακα, μετατρέποντάς τα σε μορφές που λειτουργούν καλά για αναλυτικά στοιχεία και λήψη αποφάσεων.

Διάγραμμα του Data Factory στο Microsoft Fabric που εμφανίζει μια επιλογή συνδέσεων που συνδέονται με εργαλεία ανάλυσης και ανάπτυξης δεδομένων στο Fabric μέσω μετακίνησης, ενορχήστρωσης και μετασχηματισμού δεδομένων. Όλα αυτά βρίσκονται πάνω από το Fabric OneLake και ολόκληρη η στοίβα είναι υφασμένη με ευφυΐα που υποστηρίζεται από AI.

Είτε είστε επιχειρηματικός χρήστης που δημιουργεί την πρώτη σας στρατηγική ανάλυσης δεδομένων είτε προγραμματιστής που δημιουργεί σύνθετες ροές εργασίας, θα βρείτε τα κατάλληλα εργαλεία για:

• Συγκεντρώστε τα δεδομένα σας
• Καθάρισέ το
• Ετοιμάστε το για ανάλυση στο Lakehouse ή στην αποθήκη δεδομένων σας
• Αυτοματοποιήστε τις ροές εργασιών δεδομένων σας

Τι είναι η ενοποίηση δεδομένων;

Η ενοποίηση δεδομένων είναι η διαδικασία συγκέντρωσης των στρατηγικών σας δεδομένων, ώστε να μπορείτε να έχετε πρόσβαση και να τα αναλύετε. Είναι βασικό μέρος κάθε επιχείρησης που θέλει να λαμβάνει αποφάσεις βάσει δεδομένων.

Υπάρχουν πολλοί τρόποι για να ενσωματώσετε τα δεδομένα σας, αλλά μία από τις πιο κοινές στρατηγικές είναι η ETL. Το ETL σημαίνει Εξαγωγή, Μετασχηματισμός, Φόρτωση. Λαμβάνει πληροφορίες από πολλές διαφορετικές πηγές, τις μετατρέπει σε μια μορφή που μπορείτε να αναλύσετε και τις φορτώνει σε ένα κοινό σύστημα προορισμού για ανάλυση ή αναφορά. Όταν εφαρμόζετε μια διαδικασία ETL στην πλατφόρμα δεδομένων της επιχείρησής σας, βελτιώνει τη συνέπεια, την ποιότητα και την προσβασιμότητα των δεδομένων.

Δείτε τι κάνει κάθε φάση:

• Εξαγωγή: Διαβάζει δεδομένα από τις πηγές σας και τα μετακινεί σε μια κεντρική θέση αποθήκευσης. Οι πηγές μπορεί να είναι βάσεις δεδομένων, αρχεία, API, ιστότοποι και άλλα.
• Μετασχηματισμός: Καθαρίζει, εμπλουτίζει και μετατρέπει τα δεδομένα σας σε μορφή που είναι εύκολο να αναλυθεί. Για παράδειγμα, μπορεί να θέλετε να συγκρίνετε δεδομένα πωλήσεων από μια βάση δεδομένων SQL με σαρωμένα, ιστορικά έγγραφα πωλήσεων. Μετά την εξαγωγή των δεδομένων, πρέπει να μετατρέψετε τα δεδομένα από κάθε πηγή, ώστε να έχουν την ίδια μορφή, να ελέγξετε για αλλοιώσεις ή διπλότυπα και να συνδυάσετε τα δεδομένα σε ένα ενιαίο σύνολο δεδομένων.
• Φόρτωση: Εγγράφει τα μετασχηματισμένα δεδομένα σε ένα σύστημα προορισμού, όπως μια αποθήκη δεδομένων ή μια λίμνη δεδομένων. Το σύστημα προορισμού είναι όπου μπορείτε να εκτελέσετε ερωτήματα και αναφορές για τα δεδομένα σας.

ETL ή ELT;

Όταν εργάζεστε με δεδομένα, ο τρόπος με τον οποίο μετακινείτε και μετασχηματίζετε έχει σημασία και κάθε οργανισμός έχει διαφορετικές ανάγκες. Για παράδειγμα, σκεφτείτε το ETL (Εξαγωγή, Μετασχηματισμός, Φόρτωση) και το ELT (Εξαγωγή, Φόρτωση, Μετασχηματισμός). Κάθε μέθοδος έχει δυνατά σημεία, ανάλογα με τις ανάγκες σας για απόδοση, επεκτασιμότητα και κόστος.

ETL: Μετατρέψτε τα δεδομένα σας πριν τα φορτώσετε στον προορισμό τους. Αυτή η μέθοδος λειτουργεί καλά όταν χρειάζεται να καθαρίσετε, να τυποποιήσετε ή να εμπλουτίσετε δεδομένα καθώς μετακινούνται. Για παράδειγμα, χρησιμοποιήστε το Dataflow Gen2 του Data Factory για να εφαρμόσετε μετασχηματισμούς σε κλίμακα πριν από τη φόρτωση δεδομένων σε μια αποθήκη ή ένα Lakehouse.

ELT: Φορτώστε πρώτα τα ακατέργαστα δεδομένα και μετά μετατρέψτε τα εκεί που είναι αποθηκευμένα. Αυτή η προσέγγιση χρησιμοποιεί τη δύναμη των μηχανών ανάλυσης όπως το OneLake του Fabric, τα Spark Notebooks ή τα εργαλεία που βασίζονται σε SQL. Το ELT λειτουργεί καλά για το χειρισμό μεγάλων συνόλων δεδομένων με σύγχρονους υπολογισμούς σε κλίμακα cloud.

Το Fabric Data Factory υποστηρίζει και τα δύο. Μπορείτε να κάνετε τα εξής:

• Δημιουργήστε κλασικούς αγωγούς ETL για άμεση ποιότητα και ετοιμότητα δεδομένων
• Χρησιμοποιήστε ροές εργασίας ELT για να επωφεληθείτε από την ενσωματωμένη υπολογιστική και αποθήκευση για μετασχηματισμούς μεγάλης κλίμακας
• Συνδυάστε και τις δύο προσεγγίσεις στην ίδια λύση για ευελιξία

Το Data Factory είναι μια ισχυρή λύση ενοποίησης δεδομένων

Το Data Factory συνδέεται με τα δεδομένα σας, τα μετακινεί, τα μετασχηματίζει και ενορχηστρώνει τις εργασίες μετακίνησης και μετασχηματισμού δεδομένων σας από ένα μέρος. Εσείς αποφασίζετε ποια στρατηγική λειτουργεί καλύτερα για την επιχείρησή σας και το Data Factory παρέχει τα εργαλεία για να την ολοκληρώσετε.

Σύνδεση με τα δεδομένα σας: Είτε στην εσωτερική εγκατάσταση, στο cloud ή σε περιβάλλοντα πολλαπλών cloud, το Data Factory συνδέεται με τις προελεύσεις και τους προορισμούς δεδομένων σας. Υποστηρίζει ένα ευρύ φάσμα πηγών δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων, λιμνών δεδομένων, συστημάτων αρχείων, API και άλλων. Δείτε τις διαθέσιμες συνδέσεις για μια πλήρη λίστα των υποστηριζόμενων προελεύσεων δεδομένων και προορισμών.

Μετακίνηση δεδομένων: Το Data Factory παρέχει διάφορες μεθόδους για τη μετακίνηση δεδομένων από την προέλευση στον προορισμό ή την παροχή εύκολης πρόσβασης σε υπάρχοντα δεδομένα, ανάλογα με τις ανάγκες σας.

• Εργασία αντιγραφής - Προτιμώμενη λύση για απλοποιημένη μετακίνηση δεδομένων με εγγενή υποστήριξη για πολλαπλά στυλ παράδοσης, συμπεριλαμβανομένης της μαζικής αντιγραφής, της επαυξητικής αντιγραφής και της αναπαραγωγής καταγραφής δεδομένων αλλαγής (CDC). Προσφέρει επίσης την ευελιξία να χειρίζεστε ένα ευρύ φάσμα σεναρίων από πολλές πηγές έως πολλούς προορισμούς—όλα μέσω μιας διαισθητικής, εύχρηστης εμπειρίας.
• Δραστηριότητα αντιγραφής - Μετακινεί δεδομένα από το ένα μέρος στο άλλο σε οποιαδήποτε κλίμακα, με εκτεταμένη προσαρμογή, υποστήριξη για ένα ευρύ φάσμα πηγών και προορισμών και χειροκίνητο έλεγχο της παράλληλης αντιγραφής για βελτιωμένη απόδοση.
• Κατοπτρισμός - Δημιουργήστε ένα αντίγραφο σχεδόν σε πραγματικό χρόνο της λειτουργικής βάσης δεδομένων σας στο OneLake στο Microsoft Fabric για να διευκολύνετε την ανάλυση και τις αναφορές σας.

Ανατρέξτε στον οδηγό απόφασης μετακίνησης δεδομένων για να σας βοηθήσει να επιλέξετε τη σωστή μέθοδο μετακίνησης δεδομένων για το σενάριό σας.

Μετασχηματισμός: Το Data Factory παρέχει δραστηριότητες για να σας συνδέσει με τις προσαρμοσμένες δέσμες ενεργειών μετασχηματισμού ή την ισχυρή σχεδίαση ροών δεδομένων.

• Δραστηριότητες διοχέτευσης - Σημειωματάριο Fabric, δραστηριότητα HDInsight, ορισμός εργασίας Spark, αποθηκευμένη διαδικασία, δέσμες ενεργειών SQL και πολλά άλλα. Αυτές οι δραστηριότητες σάς επιτρέπουν να εκτελείτε προσαρμοσμένο κώδικα ή δέσμες ενεργειών για να μετασχηματίσετε τα δεδομένα σας.
• Dataflow Gen2 - Μετασχηματίστε τα δεδομένα σας χρησιμοποιώντας μια διασύνδεση χαμηλών απαιτήσεων κώδικα με περισσότερους από 300 μετασχηματισμούς. Μπορείτε να εκτελέσετε συνδέσμους, συναθροίσεις, εκκαθάριση δεδομένων, προσαρμοσμένους μετασχηματισμούς και πολλά άλλα.
• Εργασία dbt - Η εργασία dbt στο Microsoft Fabric επιτρέπει μετασχηματισμούς δεδομένων που βασίζονται σε SQL απευθείας στο Fabric. Παρέχουν μια απλή ρύθμιση χωρίς κώδικα για τη δημιουργία, τη δοκιμή και την ανάπτυξη μοντέλων dbt πάνω από την αποθήκη δεδομένων Fabric.

Ενορχήστρωση: Το Data Factory σάς επιτρέπει να δημιουργείτε διοχετεύσεις που μπορούν να εκτελούν πολλαπλές κινήσεις δεδομένων, μετασχηματισμούς και άλλες δραστηριότητες σε μία μόνο ροή εργασίας.

• Προγραμματίστε τις διοχετεύσεις να εκτελούνται σε συγκεκριμένες ώρες ή ενεργοποιήστε τις με βάση συμβάντα.
• Οι διοχετεύσεις μπορούν να περιλαμβάνουν λογική ροής ελέγχου, όπως βρόχους και συνθήκες, για τον χειρισμό πολύπλοκων ροών εργασίας και την ενορχήστρωση όλης της επεξεργασίας δεδομένων σας χρησιμοποιώντας ένα απλό περιβάλλον εργασίας χρήστη σχεδιαστή διοχέτευσης χαμηλού κώδικα.
• Εάν προτιμάτε να εκφράσετε τις διαδικασίες ενορχήστρωσης σε κώδικα, το Fabric Data Factory ενσωματώνεται με το Apache Airflow για τη δημιουργία DAG για ενορχήστρωση χρησιμοποιώντας Python.

Ενσωμάτωση δεδομένων με τεχνητή νοημοσύνη

Η τεχνητή νοημοσύνη εμφανίζεται σε όλο το Data Factory για να σας βοηθήσει να κάνετε περισσότερα με λιγότερη προσπάθεια. Το Copilot for Data Factory σάς επιτρέπει να σχεδιάζετε, να επεξεργάζεστε και να διαχειρίζεστε διοχετεύσεις και ροές δεδομένων χρησιμοποιώντας φυσική γλώσσα. Μπορείτε να πληκτρολογήσετε προτροπές σε απλά αγγλικά και το Copilot τις μετατρέπει σε λειτουργικά βήματα ETL.

Το Copilot συνοψίζει επίσης τα υπάρχοντα ερωτήματα ροής δεδομένων και τις διοχετεύσεις σας, ώστε να μπορείτε να κατανοήσετε γρήγορα τι κάνουν. Εάν αντιμετωπίσετε σφάλματα, το Copilot εξηγεί τι πήγε στραβά και προτείνει τρόπους για να το διορθώσετε.

Για λεπτομέρειες, ανατρέξτε στο θέμα Copilot στο Fabric στον φόρτο εργασίας Data Factory.

Τι χρειάζεστε για να ξεκινήσετε;

• Ένας λογαριασμός μισθωτή Microsoft Fabric με ενεργή συνδρομή. Εάν δεν έχετε, μπορείτε να δημιουργήσετε έναν δωρεάν λογαριασμό.
• Ένας χώρος εργασίας με δυνατότητα Microsoft Fabric. Μάθετε πώς μπορείτε να δημιουργήσετε έναν χώρο εργασίας.

Τι γίνεται αν χρησιμοποιείτε ήδη το Azure Data Factory;

Το Data Factory στο Microsoft Fabric είναι η επόμενη γενιά του Azure Data Factory, που έχει σχεδιαστεί για να χειρίζεται τις πιο σύνθετες προκλήσεις ενοποίησης δεδομένων με μια απλούστερη προσέγγιση.

Δείτε τον οδηγό σύγκρισης για τις βασικές διαφορές μεταξύ αυτών των δύο υπηρεσιών, ώστε να κάνετε τη σωστή επιλογή για την επιχείρησή σας.

Όταν είστε έτοιμοι για αναβάθμιση, ακολουθήστε τον οδηγό αναβάθμισης για τις διοχετεύσεις Azure Data Factory και Azure Synapse.

Τι είναι το Fabric Data Factory Pipeline SLA;

Η SLA για διοχετεύσεις στο Fabric είναι ισοδύναμη με την SLA για διοχετεύσεις στο Azure Data Factory: "Η Microsoft εγγυάται ότι επεξεργάζεται με επιτυχία αιτήσεις για την εκτέλεση λειτουργιών σε πόρους Data Factory τουλάχιστον στο 99,9 τοις εκατό του χρόνου. Εγγυάται επίσης ότι όλες οι εκτελέσεις δραστηριότητας ξεκινούν εντός τεσσάρων λεπτών από τους προγραμματισμένους χρόνους εκτέλεσης τουλάχιστον στο 99,9 τοις εκατό του χρόνου. Διαβάστε την πλήρη συμφωνία επιπέδου υπηρεσιών Data Factory (SLA)."

Σχετικό περιεχόμενο

Για περισσότερες πληροφορίες και για να ξεκινήσετε με το Microsoft Fabric, ακολουθήστε αυτούς τους οδηγούς:

• Εργαστήριο καθοδηγούμενου εργοστασίου δεδομένων - επίδειξη του Data Factory στο Fabric
• Με τι μπορείτε να συνδεθείτε; - όλες τις διαθέσιμες πηγές και προορισμούς για το Data Factory
• Εκμάθηση Data Factory από άκρο σε άκρο - Ακολουθήστε αυτό το σεμινάριο σε όλη τη διαδικασία ETL, από την απορρόφηση δεδομένων έως τη μετατροπή και τη φόρτωση σε ένα σύστημα προορισμού.