Η αντιστοίχιση μετασχηματισμών ροής δεδομένων στη ροή δεδομένων gen2 (Προεπισκόπηση)

Σημαντικό

Οι μετασχηματισμοί ροής δεδομένων αντιστοίχισης στη ροή δεδομένων gen2 βρίσκονται αυτήν τη στιγμή σε δημόσια προεπισκόπηση και υπόκεινται σε αλλαγές.

Οι μετασχηματισμοί ροής δεδομένων αντιστοίχισης (MDF) στη ροή δεδομένων gen2 σάς επιτρέπουν να συντάσσετε, να εκτελείτε και να παρακολουθείτε μετασχηματισμούς δεδομένων που βασίζονται σε Spark απευθείας μέσα στο Data Factory στο Microsoft Fabric.

Οι μετασχηματισμοί MDF φέρνουν τις δυνατότητες του Azure Data Factory και του Azure Synapse Analytics Mapping Data Flows στο Microsoft Fabric μέσω μιας γνώριμης εμπειρίας σύνταξης απεικονίσεων χαμηλού κώδικα που είναι ενσωματωμένη στο dataflow gen2.

Με τους μετασχηματισμούς MDF, μπορείτε:

• Μετεγκαταστήστε τις υπάρχουσες διοχετεύσεις Azure Data Factory και Azure Synapse Analytics Mapping Data Flows στο Fabric.
• Δημιουργήστε νέους μετασχηματισμούς που βασίζονται στο Spark απευθείας στο Fabric.
• Εκτελέστε μετασχηματισμούς MDF χρησιμοποιώντας διοχετεύσεις δεδομένων Fabric.
• Παρακολουθήστε την εκτέλεση μετασχηματισμού χρησιμοποιώντας ολοκληρωμένες εμπειρίες παρακολούθησης.
• Συνεχίστε να χρησιμοποιείτε γνωστά μοτίβα μετασχηματισμού Mapping ροή δεδομένων μέσα στο Fabric.

Τι είναι οι μετασχηματισμοί ροής δεδομένων χαρτογράφησης;

Οι μετασχηματισμοί MDF επεκτείνουν τη ροή δεδομένων gen2 με δυνατότητες μετασχηματισμού που υποστηρίζονται από Spark για φόρτους εργασίας προετοιμασίας και μετασχηματισμού δεδομένων μεγάλης κλίμακας.

Οι μετασχηματισμοί MDF παρέχουν:

• Μια εμπειρία σύνταξης απεικονίσεων χαμηλών απαιτήσεων κώδικα
• Εκτέλεση με σπινθήρα
• Ενσωματωμένη ενορχήστρωση μέσω διοχετεύσεων Fabric
• Πληροφορίες παρακολούθησης και εκτέλεσης απευθείας στο Fabric

Χρησιμοποιήστε μετασχηματισμούς MDF για:

• Μετεγκαταστήστε υπάρχουσες διοχετεύσεις Azure Data Factory ή Azure Synapse Analytics Mapping Data Flows στο Fabric.
• Δημιουργήστε νέους αγωγούς μετασχηματισμού που βασίζονται στο Spark εγγενώς στο Fabric.

Οι μετασχηματισμοί MDF ενσωματώνονται πλήρως με τη ροή δεδομένων gen2 και παρέχουν μια οικεία εμπειρία σύνταξης παρόμοια με το Azure Data Factory και το Azure Synapse Analytics Mapping Data Flows.

Υποστηριζόμενα σενάρια

Οι μετασχηματισμοί MDF υποστηρίζουν επί του παρόντος τα ακόλουθα σενάρια.

Μετεγκατάσταση υπαρχουσών ροών δεδομένων αντιστοίχισης

Μπορείτε να μετεγκαταστήσετε υπάρχουσες ροές δεδομένων αντιστοίχισης Azure Data Factory και Azure Synapse Analytics στο Fabric χρησιμοποιώντας την ενσωματωμένη εμπειρία μετεγκατάστασης Azure Data Factory/Synapse Analytics.

Κατά τη μετανάστευση:

1. Αντιστοίχιση Οι ροές δεδομένων μετατρέπονται σε μετασχηματισμούς MDF στη ροή δεδομένων gen2.
2. Οι αγωγοί και η λογική μετασχηματισμού μεταφέρονται μαζί.
3. Μετασχηματισμοί MDF ανοιχτοί μέσα στον ενσωματωμένο καμβά μετασχηματισμού στη ροή δεδομένων gen2.
4. Η υπάρχουσα λογική μετασχηματισμού μπορεί να συνεχίσει να συντάσσεται, να επικυρώνεται, να εκτελείται και να παρακολουθείται στο Fabric.

Δημιουργία νέων μετασχηματισμών ροής δεδομένων αντιστοίχισης στο Fabric

Μπορείτε επίσης να δημιουργήσετε νέους μετασχηματισμούς MDF απευθείας στη ροή δεδομένων gen2. Αυτή η εμπειρία σάς δίνει τη δυνατότητα να:

• Δημιουργήστε μετασχηματισμούς που βασίζονται στο Spark χρησιμοποιώντας μια οπτική διεπαφή.
• Χρησιμοποιήστε γνώριμες δυνατότητες μετασχηματισμού Mapping ροή δεδομένων.
• Εκτελέστε μετασχηματισμούς χρησιμοποιώντας διοχετεύσεις δεδομένων Fabric.
• Παρακολουθήστε την εκτέλεση μέσω ολοκληρωμένων εμπειριών παρακολούθησης.

Αυτό το βίντεο δείχνει πώς μπορείτε να δημιουργήσετε, να κάνετε προεπισκόπηση, να εκτελέσετε και να παρακολουθήσετε μετασχηματισμούς Mapping ροή δεδομένων στο Microsoft Fabric Dataflow Gen2.

Προϋποθέσεις

Πριν χρησιμοποιήσετε μετασχηματισμούς MDF στη ροή δεδομένων gen2, βεβαιωθείτε ότι πληρούνται οι ακόλουθες προϋποθέσεις:

• A Fabric χωρητικότητα.
• Συμβάλλοντα ή υψηλότερα δικαιώματα στον χώρο εργασίας Fabric.
• Υπάρχουσες συνδέσεις Fabric για υποστηριζόμενες προελεύσεις δεδομένων.
• (Προαιρετικός) Έναν υπάρχοντα χώρο εργασίας Azure Data Factory ή Azure Synapse Analytics, εάν χρησιμοποιείτε σενάρια μετεγκατάστασης.

Περιορισμοί

Οι ακόλουθες δυνατότητες δεν υποστηρίζονται προς το παρόν στη δημόσια προεπισκόπηση:

Περιοχή	Περιορισμός
Flowlets	Δεν υποστηρίζεται.
Βιβλιοθήκη ροή δεδομένων	Δεν υποστηρίζεται.
Συναρτήσεις που ορίζονται από το χρήστη (UDF)	Δεν υποστηρίζεται.
Εκτέλεση ροής δεδομένων	Οι μετασχηματισμοί MDF μπορούν να εκτελεστούν μόνο μέσω της δραστηριότητας ροής δεδομένων διοχέτευσης. Η άμεση εκτέλεση από τη ροή δεδομένων gen2 δεν υποστηρίζεται προς το παρόν. Μόνο η ενέργεια Αποθήκευση είναι διαθέσιμη από το μενού Αποθήκευση & εκτέλεση .
Διαχειριζόμενο εικονικό δίκτυο	Η υποστήριξη Managed εικονικό δίκτυο (Managed VNet) δεν είναι διαθέσιμη σε αυτήν την προεπισκόπηση.
Εκτέλεση χρόνου εκτέλεσης	Η εκτέλεση μετασχηματισμού MDF χρησιμοποιεί αυτήν τη στιγμή τον υποκείμενο χρόνο εκτέλεσης Synapse Spark, παρόμοιο με το Azure Data Factory και το Azure Synapse Analytics Mapping Data Flows.
Ισοτιμία χαρακτηριστικών	Δεν είναι διαθέσιμες όλες οι δυνατότητες Mapping ροή δεδομένων σε αυτήν την προεπισκόπηση.

Υποστηριζόμενες συνδέσεις

Οι μετασχηματισμοί MDF υποστηρίζουν τις πιο συχνά χρησιμοποιούμενες συνδέσεις προέλευσης και νεροχύτη που είναι διαθέσιμες στο Azure Data Factory και στο Azure Synapse Analytics Mapping Data Flows.

Αυτήν τη στιγμή υποστηρίζονται οι ακόλουθες συνδέσεις:

Κατηγορία	Χώρος αποθήκευσης δεδομένων	Μετασχηματισμοί MDF σε ροή δεδομένων gen2 (προέλευση/καταβόθρα)	Υποστηριζόμενοι τύποι ελέγχου ταυτότητας
Azure	Χώρος αποθήκευσης Azure Blob	✓/✓	Βασικό, Εταιρικός λογαριασμός, Διαχειριζόμενη ταυτότητα / Ταυτότητα χώρου εργασίας, Κύρια υπηρεσία
	Azure Cosmos DB για NoSQL	✓/✓	Βασικός, Εταιρικός λογαριασμός
	Azure Data Explorer	✓/✓	Εταιρικός λογαριασμός, Διαχειριζόμενη ταυτότητα / Ταυτότητα χώρου εργασίας
	Azure Data Lake Storage Gen1	✓/✓	Βασική, Διαχειριζόμενη ταυτότητα / Ταυτότητα χώρου εργασίας, Κύρια υπηρεσία
	Azure Data Lake Storage Gen2	✓/✓	Βασικό, Εταιρικός λογαριασμός, Διαχειριζόμενη ταυτότητα / Ταυτότητα χώρου εργασίας, Κύρια υπηρεσία
	Azure Database for MySQL	✓/✓	Βασική
	Azure Database for PostgreSQL	✓/✓	Βασική
	Azure Databricks Delta Lake	✓/✓ Χρήση μορφής δέλτα	Βασική
	Βάση δεδομένων SQL Azure	✓/✓	Βασικό, Εταιρικός λογαριασμός, Διαχειριζόμενη ταυτότητα / Ταυτότητα χώρου εργασίας, Κύρια υπηρεσία
	Διαχειριζόμενη παρουσία Azure SQL	✓/✓	Βασικό, Εταιρικός λογαριασμός, Διαχειριζόμενη ταυτότητα / Ταυτότητα χώρου εργασίας, Κύρια υπηρεσία
	Azure Synapse Analytics	✓/✓	Βασικός, Εταιρικός λογαριασμός
Database	Snowflake	✓/✓	Βασική
File	Αμαζόνα S3	✓/✓	Βασική
	SFTP	✓/✓	Βασική
	Γενόσημο REST	✓/✓	Βασικό, Εταιρικός λογαριασμός, Κύριος υπηρεσίας
Microsoft Fabric	Υφασμάτινο Lakehouse	✓/✓	Λογαριασμός οργανισμού
	Αποθήκη υφασμάτων	✓/✓	Λογαριασμός οργανισμού

Note

Ο έλεγχος ταυτότητας εταιρικού λογαριασμού χρησιμοποιεί την εταιρική ταυτότητα Microsoft Entra του συνδεδεμένου χρήστη. Η διαθεσιμότητα μπορεί να εξαρτάται από τη σύνδεση, τη ρύθμιση παραμέτρων της πύλης και τα δικαιώματα που έχουν εκχωρηθεί σε αυτήν την ταυτότητα.

Κατά τη συγγραφή:

• Οι υπάρχουσες συνδέσεις Fabric μπορούν να επαναχρησιμοποιηθούν.
• Οι νέες συνδέσεις μπορούν να δημιουργηθούν απευθείας από την εμπειρία σύνταξης χρησιμοποιώντας την εμπειρία Λήψη δεδομένων .
• Η διαμόρφωση προέλευσης και βύθισης ακολουθεί γνωστά μοτίβα Mapping ροή δεδομένων.

Υποστηριζόμενοι μετασχηματισμοί

Οι μετασχηματισμοί MDF παρέχουν μια γνώριμη εμπειρία οπτικού μετασχηματισμού χαμηλού κώδικα για τη δημιουργία κλιμακούμενων διοχετεύσεων μετασχηματισμού δεδομένων που βασίζονται σε Spark στο Fabric.

Προς το παρόν υποστηρίζονται οι ακόλουθοι μετασχηματισμοί:

Name	Κατηγορία	Περιγραφή
Συγκέντρωμα	Τροποποιητής σχήματος	Ορίστε συναθροίσεις όπως SUM, MIN, MAX και COUNT ομαδοποιημένες κατά υπάρχουσες ή υπολογιζόμενες στήλες.
Αλλαγή σειράς	Τροποποιητής γραμμής	Ορίστε πολιτικές εισαγωγής, διαγραφής, ενημέρωσης και αναβάθμισης σε γραμμές.
Διασφαλίζω	Τροποποιητής γραμμής	Ορίστε κανόνες διεκδίκησης για γραμμές στη ροή δεδομένων.
Καστ	Τροποποιητής σχήματος	Αλλάξτε τους τύπους δεδομένων στηλών με έλεγχο τύπου.
Διαίρεση υπό όρους	Πολλαπλές είσοδοι/έξοδοι	Δρομολογήστε σειρές σε διαφορετικές ροές με βάση τις συνθήκες αντιστοίχισης.
Παράγωγη στήλη	Τροποποιητής σχήματος	Δημιουργήστε νέες στήλες ή τροποποιήστε υπάρχοντα πεδία χρησιμοποιώντας παραστάσεις.
Εξωτερική κλήση	Τροποποιητής σχήματος	Καλέστε τα εξωτερικά τελικά σημεία ενσωματωμένα για κάθε γραμμή.
Υπάρχει	Πολλαπλές είσοδοι/έξοδοι	Ελέγξτε εάν υπάρχουν δεδομένα σε άλλη πηγή ή ροή.
Filter	Τροποποιητής γραμμής	Φιλτράρετε τις σειρές με βάση τις συνθήκες.
Ισοπέδωση	Μορφοποιητές	Ισοπέδωση ιεραρχικών δομών, όπως πίνακες JSON, σε γραμμές.
Συμμετοχή	Πολλαπλές είσοδοι/έξοδοι	Συνδυάστε δεδομένα από δύο προελεύσεις ή ροές.
Αναζήτηση	Πολλαπλές είσοδοι/έξοδοι	Δεδομένα αναφοράς από άλλη πηγή ή ροή.
Νέο υποκατάστημα	Πολλαπλές είσοδοι/έξοδοι	Εφαρμόστε πολλές διαδρομές μετασχηματισμού στην ίδια ροή.
Ανάλυση	Μορφοποιητές	Αναλύστε συμβολοσειρές με μορφοποίηση JSON, οριοθετημένου κειμένου ή XML.
Συγκεντρωτική προβολή	Τροποποιητής σχήματος	Μετατροπή διακριτών τιμών γραμμής σε στήλες.
Κατάταξη	Τροποποιητής σχήματος	Δημιουργήστε ταξινομημένες κατατάξεις με βάση τις συνθήκες ταξινόμησης.
Επιλογή	Τροποποιητής σχήματος	Μετονομασία, αναδιάταξη ή κατάργηση στηλών.
Νεροχύτης	-	Καθορίστε τον προορισμό για μετασχηματισμένα δεδομένα.
Ταξινόμηση	Τροποποιητής γραμμής	Ταξινόμηση γραμμών στην τρέχουσα ροή δεδομένων.
Source	-	Καθορίστε την προέλευση για τη ροή δεδομένων.
Χορδοποιώ	Μορφοποιητές	Μετατρέψτε σύνθετους τύπους σε τιμές συμβολοσειράς.
Υποκατάστατο κλειδί	Τροποποιητής σχήματος	Δημιουργήστε αυξανόμενες τιμές υποκατάστατων κλειδιών.
Ένωση	Πολλαπλές είσοδοι/έξοδοι	Συνδυάστε πολλές ροές δεδομένων κάθετα.
Κατάργηση περιστροφής	Τροποποιητής σχήματος	Μετατρέψτε τις στήλες σε τιμές γραμμής.
Παράθυρο	Τροποποιητής σχήματος	Ορίστε συναθροίσεις βάσει παραθύρου σε ροές δεδομένων.

Δημιουργία μετασχηματισμού ροής δεδομένων αντιστοίχισης στη ροή δεδομένων gen2

Για να δημιουργήσετε έναν νέο μετασχηματισμό MDF στο Fabric:

1. Ανοίξτε τον χώρο εργασίας Fabric.

2. Επιλέξτε νέο στοιχείο.

3. Επιλέξτε Ροή δεδομένων Gen2.

4. Δώστε ένα όνομα για το στοιχείο ροής δεδομένων gen2 και επιλέξτε Δημιουργία.

5. Στον καμβά ροής δεδομένων gen2, χρησιμοποιήστε μία από τις ακόλουθες επιλογές:

   • Επιλέξτε Εκτέλεση ροής δεδομένων αντιστοίχισης μεταμορφώνεται από την ομαδοποίηση Νέα ενέργεια στην αρχική κορδέλα ροής δεδομένων gen2.
   • Επιλέξτε το πλακίδιο Εκτέλεση μετασχηματισμών ροής δεδομένων αντιστοίχισης (Ροές δεδομένων αντιστοίχισης ADF) από τον καμβά.

   

   

Μια νέα ενέργεια μετασχηματισμού MDF εμφανίζεται στον καμβά ροής δεδομένων gen2 και ανοίγει την ενσωματωμένη εμπειρία σύνταξης μετασχηματισμού MDF.

Συμβουλή

Η εμπειρία σύνταξης μετασχηματισμού MDF χρησιμοποιεί ένα οικείο οπτικό περιβάλλον εργασίας παρόμοιο με το Azure Data Factory και το Azure Synapse Analytics Mapping Data Flows.

Μετασχηματισμοί ροής δεδομένων αντιστοίχισης συντάκτη

Αφού δημιουργήσετε έναν μετασχηματισμό MDF, μπορείτε να ξεκινήσετε τη σύνταξη λογικής μετασχηματισμού.

Ενεργοποίηση λειτουργίας εντοπισμού σφαλμάτων

Για διαδραστική σύνταξη και προεπισκόπηση δεδομένων:

1. Ενεργοποιήστε την εναλλαγή εντοπισμού σφαλμάτων ροής δεδομένων από την αιωρούμενη γραμμή εργαλείων.
2. Περιμένετε να προετοιμαστεί η περίοδος λειτουργίας εντοπισμού σφαλμάτων.
3. Αφού ενεργοποιηθεί, μπορείτε να κάνετε προεπισκόπηση των δεδομένων προέλευσης και μετασχηματισμού κατά τη σύνταξη.

Note

Πριν ξεκινήσετε μια περίοδο λειτουργίας εντοπισμού σφαλμάτων ροής δεδομένων, βεβαιωθείτε ότι υπάρχει τουλάχιστον μία διοχέτευση στον ίδιο χώρο εργασίας με το στοιχείο ροής δεδομένων Gen2. Διαφορετικά, η περίοδος λειτουργίας εντοπισμού σφαλμάτων δεν θα ξεκινήσει. Η προετοιμασία των περιόδων λειτουργίας εντοπισμού σφαλμάτων ενδέχεται να διαρκέσει αρκετά λεπτά, ανάλογα με τη διαθεσιμότητα χρόνου εκτέλεσης του Spark.

Προσθήκη πηγής

Για να διαμορφώσετε μια προέλευση:

1. Επιλέξτε Προσθήκη προέλευσης.
2. Επιλέξτε τον τύπο σύνδεσης.
3. Επιλέξτε μια υπάρχουσα σύνδεση Fabric ή δημιουργήστε νέες συνδέσεις απευθείας μέσω της εμπειρίας Λήψη δεδομένων, εάν χρειάζεται.
4. Περιηγηθείτε και επιλέξτε το αρχείο προέλευσης, τον πίνακα ή το σύνολο δεδομένων.

Αφού ρυθμίσετε τις παραμέτρους της σύνδεσης προέλευσης και του συνόλου δεδομένων, χρησιμοποιήστε την καρτέλα Προεπισκόπηση δεδομένων για να επικυρώσετε και να κάνετε προεπισκόπηση των δεδομένων προέλευσης κατά τη διάρκεια της αλληλεπιδραστικής σύνταξης.

Προσθήκη μετασχηματισμών

Για να προσθέσετε μετασχηματισμούς:

1. Επιλέξτε το + εικονίδιο δίπλα σε μια προέλευση ή μετασχηματισμό.
2. Επιλέξτε τον τύπο μετασχηματισμού.
3. Διαμορφώστε τις ρυθμίσεις μετασχηματισμού.

Μπορείτε να συνεχίσετε να δημιουργείτε λογική μετασχηματισμού χρησιμοποιώντας τον καμβά οπτικού μετασχηματισμού.

Διαμορφώστε έναν νεροχύτη

Αφού ολοκληρωθεί η λογική μετασχηματισμού:

1. Προσθέστε έναν μετασχηματισμό νεροχύτη.
2. Διαμορφώστε τη σύνδεση προορισμού.
3. Διαμορφώστε τις ρυθμίσεις εγγραφής.

Επικύρωση και αποθήκευση

Πριν την εκτέλεση:

1. Επιλέξτε Επικύρωση από τη γραμμή εργαλείων μετασχηματισμού MDF.

   

2. Επιλύστε προβλήματα επικύρωσης, εάν αναφέρονται.

3. Επιλέξτε Αποθήκευση από το μενού Αποθήκευση & εκτέλεση .

   

Note

Μόνο η ενέργεια Αποθήκευση υποστηρίζεται προς το παρόν για ροή δεδομένων gen2 με μετασχηματισμούς MDF σε δημόσια προεπισκόπηση.

Εκτέλεση μετασχηματισμών ροής δεδομένων αντιστοίχισης με χρήση διοχετεύσεων Fabric

Μπορείτε να εκτελέσετε μετασχηματισμούς MDF μέσω διοχετεύσεων δεδομένων Fabric χρησιμοποιώντας μια δραστηριότητα ροής δεδομένων.

Για να εκτελέσετε έναν μετασχηματισμό MDF:

1. Δημιουργήστε μια νέα διοχέτευση Fabric.
2. Προσθέστε μια δραστηριότητα ροής δεδομένων στη διοχέτευση.
3. Στις Ρυθμίσεις δραστηριότητας, επιλέξτε το στοιχείο ροής δεδομένων gen2 που περιέχει τον μετασχηματισμό MDF.
4. Επιλέξτε το ερώτημα μετασχηματισμού MDF που θέλετε να εκτελέσετε.
5. Διαμορφώστε τις ρυθμίσεις χρόνου εκτέλεσης Spark όπως απαιτείται.
6. Επικυρώστε και δημοσιεύστε τη διοχέτευση.
7. Εκτελέστε τη διοχέτευση με μη αυτόματο τρόπο ή διαμορφώστε ένα χρονοδιάγραμμα ή εναύσματα.

Ρύθμιση παραμέτρων χρόνου εκτέλεσης Spark

Οι μετασχηματισμοί MDF εκτελούνται χρησιμοποιώντας διαχειριζόμενο χρόνο εκτέλεσης Spark που είναι ενσωματωμένος στο Data Factory στο Microsoft Fabric. Μπορείτε να διαμορφώσετε τις ρυθμίσεις χρόνου εκτέλεσης του Spark κατά την εκτέλεση της διοχέτευσης, συμπεριλαμβανομένων των εξής:

• Υπολογισμός μεγέθους
• Ιδιότητες νεροχύτη

Παρακολούθηση εκτελέσεων μετασχηματισμού ροής δεδομένων αντιστοίχισης

Μπορείτε να παρακολουθείτε την εκτέλεση μετασχηματισμού MDF μέσω:

• Το τμήμα παραθύρου εξόδου διοχέτευσης

  

• Ο κόμβος παρακολούθησης

  

Για να δείτε λεπτομέρειες παρακολούθησης:

1. Ανοίξτε τις λεπτομέρειες εκτέλεσης διοχέτευσης.
2. Επιλέξτε τη δραστηριότητα ροής δεδομένων από τις Εκτελέσεις δραστηριότητας.
3. Ελέγξτε την κατάσταση εκτέλεσης και τις λεπτομέρειες του χρόνου εκτέλεσης.

Σχετικό περιεχόμενο

• Τι είναι η ροή δεδομένων gen2;
• Αναβάθμιση διοχετεύσεων αντιστοίχισης ροών δεδομένων του Azure Data Factory στο Fabric
• Ένας οδηγός για την Fabric ροών δεδομένων για Azure Data Factory Αντιστοίχιση ροή δεδομένων χρήστες
• Χρήση ροής δεδομένων σε διοχέτευση
• Παρακολούθηση των ροών δεδομένων σας