Δημιουργία και εκτέλεση δραστηριότητας συναρτήσεων δεδομένων χρήστη σε διοχετεύσεις

Εκτελέστε τις προσαρμοσμένες συναρτήσεις Python ως μέρος αυτοματοποιημένων ροών εργασιών δεδομένων, προσθέτοντας μια δραστηριότητα συναρτήσεων δεδομένων χρήστη σε μια διοχέτευση Fabric. Αυτή η ενοποίηση σάς επιτρέπει να συγκεντρώνετε την επιχειρηματική λογική στις συναρτήσεις και να τις καλείτε κατά τη διάρκεια προγραμματισμένων διεργασιών ETL, εξαλείφοντας την ανάγκη αντιγραφής κώδικα σε σημειωματάρια και σενάρια.

Πότε να χρησιμοποιείτε συναρτήσεις σε αγωγούς

Προσθέστε μια δραστηριότητα συναρτήσεων δεδομένων χρήστη στη διοχέτευσή σας όταν χρειάζεται:

  • Εφαρμογή επιχειρηματικών κανόνων κατά τη μετακίνηση δεδομένων: Επικυρώστε, καθαρίστε ή μετασχηματίστε τα δεδομένα καθώς ρέουν μέσω της διοχέτευσής σας. Για παράδειγμα, τυποποιήστε τις κατηγορίες προϊόντων ή εφαρμόστε κανόνες τιμολόγησης πριν από τη φόρτωση σε μια αποθήκη.
  • Προγραμματισμός επαναχρησιμοποιήσιμης λογικής: Εκτελέστε την ίδια επιχειρηματική λογική σε ένα χρονοδιάγραμμα χωρίς να διατηρείτε ξεχωριστή υποδομή.

Προαπαιτούμενα στοιχεία

Για να ξεκινήσετε, πρέπει να συμπληρώσετε τις ακόλουθες προϋποθέσεις:

Προσθήκη της δραστηριότητας συναρτήσεων σε μια διοχέτευση

Οι διοχετεύσεις δομής παρέχουν έναν οπτικό τρόπο για την ενορχήστρωση δραστηριοτήτων μετακίνησης και μετασχηματισμού δεδομένων. Σε αυτήν την ενότητα, δημιουργείτε μια διοχέτευση και προσθέτετε μια δραστηριότητα συναρτήσεων σε αυτήν. Σε μια επόμενη ενότητα, ρυθμίζετε τις παραμέτρους της δραστηριότητας ειδικά για συναρτήσεις δεδομένων χρήστη.

Για να δημιουργήσετε μια διοχέτευση με μια δραστηριότητα συναρτήσεων:

  1. Στον χώρο εργασίας σας, επιλέξτε + Νέο στοιχείο.

  2. Στο παράθυρο διαλόγου Νέο στοιχείο , αναζητήστε Pipeline και επιλέξτε το.

  3. Στο παράθυρο διαλόγου Νέα διοχέτευση , εισαγάγετε ένα όνομα για τη διοχέτευση και επιλέξτε Δημιουργία.

  4. Στην αρχική σελίδα διοχέτευσης, επιλέξτε την καρτέλα Δραστηριότητες .

  5. Στην κορδέλα Δραστηριότητες, επιλέξτε το εικονίδιο ... (αποσιωπητικά) για να δείτε περισσότερες δραστηριότητες.

  6. Αναζητήστε Συναρτήσεις στη λίστα δραστηριοτήτων στην περιοχή Orchestrate και, στη συνέχεια, επιλέξτε το για να προσθέσετε τη δραστηριότητα συναρτήσεων στον καμβά διοχέτευσης.

    Στιγμιότυπο οθόνης που εμφανίζει τον τρόπο εύρεσης δραστηριότητας συναρτήσεων.

Ρύθμιση παραμέτρων της δραστηριότητας για συναρτήσεις δεδομένων χρήστη

Αφού προσθέσετε τη δραστηριότητα συναρτήσεων στον καμβά, ρυθμίστε τις παραμέτρους της ώστε να καλεί τη συνάρτηση δεδομένων χρήστη.

Ρύθμιση παραμέτρων γενικών ρυθμίσεων

  1. Επιλέξτε τη δραστηριότητα συναρτήσεων στον καμβά.

  2. Επιλέξτε την καρτέλα Γενικά .

  3. Εισαγάγετε ένα Όνομα για τη δραστηριότητα.

    Στιγμιότυπο οθόνης που εμφανίζει τις γενικές ρυθμίσεις για τη δραστηριότητα συναρτήσεων.

  4. Προαιρετικά, διαμορφώστε τις ρυθμίσεις επανάληψης και καθορίστε εάν μεταβιβάζετε ασφαλή είσοδο ή έξοδο.

Διαμόρφωση ρυθμίσεων λειτουργίας

  1. Επιλέξτε την καρτέλα Ρυθμίσεις.

  2. Επιλέξτε Συναρτήσεις δεδομένων χρήστη Fabric ως Τύπος.

  3. Στην αναπτυσσόμενη λίστα Σύνδεση , επιλέξτε μια σύνδεση που θέλετε να χρησιμοποιήσετε. Εάν δεν βλέπετε τη σύνδεση που θέλετε, επιλέξτε Αναζήτηση όλων.

  4. Στο παράθυρο διαλόγου Επιλέξτε μια πηγή δεδομένων για να ξεκινήσετε , αναζητήστε Συναρτήσεις δεδομένων χρήστη και επιλέξτε την. Θα πρέπει να το δείτε στην ενότητα Νέες πηγές.

  5. Στο παράθυρο διαλόγου Σύνδεση σε προέλευση δεδομένων , μπορείτε να διατηρήσετε το προεπιλεγμένο όνομα σύνδεσης και τα διαπιστευτήρια. Βεβαιωθείτε ότι έχετε εισέλθει και, στη συνέχεια, επιλέξτε Σύνδεση.

    Στιγμιότυπο οθόνης της επιλογής Συναρτήσεις δεδομένων χρήστη στο παράθυρο σύνδεσης.

    Σημείωμα

    Εάν έχετε ήδη μια σύνδεση, μπορεί να είναι προεπιλεγμένη στο παράθυρο διαλόγου. Μπορείτε να διατηρήσετε την υπάρχουσα σύνδεση ή να επιλέξετε Δημιουργία νέας σύνδεσης από το αναπτυσσόμενο μενού για να δημιουργήσετε μια νέα.

  6. Επιστρέψτε στις ρυθμίσεις δραστηριότητας, επιλέξτε UserDataFunctions από το αναπτυσσόμενο μενού Σύνδεση . Αυτή είναι η σύνδεση που μόλις δημιουργήσατε.

    Στιγμιότυπο οθόνης της επιλογής της σύνδεσης UserDataFunctions.

  7. Επιλέξτε το στοιχείο Χώρος εργασίας που περιέχει τις συναρτήσεις δεδομένων χρήστη.

  8. Επιλέξτε το όνομα του στοιχείου Λειτουργίες δεδομένων χρήστη .

  9. Επιλέξτε τη συνάρτηση που θέλετε να καλέσετε.

  10. Δώστε παραμέτρους εισόδου για τη λειτουργία που έχετε επιλέξει. Μπορείτε να χρησιμοποιήσετε στατικές τιμές ή δυναμικό περιεχόμενο από παραστάσεις διοχέτευσης.

    Στιγμιότυπο οθόνης που εμφανίζει τις ρυθμίσεις για τη δραστηριότητα συναρτήσεων.

    Σημείωμα

    Για να εισαγάγετε δυναμικό περιεχόμενο, επιλέξτε το πεδίο που θέλετε να συμπληρώσετε και, στη συνέχεια, πατήστε Alt+Shift+D για να ανοίξετε τη δόμηση παραστάσεων.

Περάστε δυναμικές παραμέτρους

Για να μεταβιβάσετε τιμές από άλλες δραστηριότητες ή μεταβλητές διοχέτευσης στη συνάρτησή σας:

  1. Επιλέξτε ένα πεδίο που υποστηρίζει δυναμικό περιεχόμενο, όπως το πεδίο Τιμή για την name παράμετρο που εμφανίζεται προηγουμένως.

  2. Πατήστε το συνδυασμό πλήκτρων Alt+Shift+D για να ανοίξετε τη δόμηση παραστάσεων.

  3. Χρησιμοποιήστε παραστάσεις διοχέτευσης για να αναφέρετε μεταβλητές, παραμέτρους ή αποτελέσματα από προηγούμενες δραστηριότητες. Για παράδειγμα, χρησιμοποιήστε το @pipeline().parameters.PipelineName για να μεταβιβάσετε μια παράμετρο διοχέτευσης στη συνάρτησή σας.

    Στιγμιότυπο οθόνης που εμφανίζει τη δόμηση παραστάσεων.

Για περισσότερες πληροφορίες σχετικά με τις παραστάσεις διοχέτευσης, ανατρέξτε στο θέμα Παραστάσεις και συναρτήσεις.

Χρήση εξόδου συνάρτησης σε κατάντη δραστηριότητες

Η τιμή επιστροφής της συνάρτησής σας είναι διαθέσιμη στην έξοδο δραστηριότητας. Για να αναφέρετε το αποτέλεσμα σε επόμενες δραστηριότητες:

  1. Προσθέστε μια άλλη δραστηριότητα στη διοχέτευσή σας μετά τη δραστηριότητα Συναρτήσεις.

  2. Επιλέξτε τη δραστηριότητα Συναρτήσεις και σύρετε την έξοδο Κατά την επιτυχία (το πράσινο σημάδι επιλογής στη δεξιά πλευρά της δραστηριότητας) στη νέα δραστηριότητα. Αυτό δημιουργεί μια εξάρτηση, ώστε η νέα δραστηριότητα να εκτελείται μετά την επιτυχή ολοκλήρωση της συνάρτησης.

  3. Επιλέξτε τη νέα δραστηριότητα και βρείτε ένα πεδίο που υποστηρίζει δυναμικό περιεχόμενο.

  4. Πατήστε το συνδυασμό πλήκτρων Alt+Shift+D για να ανοίξετε τη δόμηση παραστάσεων.

  5. Χρησιμοποιήστε την έκφραση @activity('YourFunctionActivityName').output για να αναφέρετε την επιστρεφόμενη τιμή της συνάρτησης. Για παράδειγμα, το όνομα της δραστηριότητας συνάρτησης είναι Functions1, μπορείτε να χρησιμοποιήσετε @activity('Functions1').output για να αναφέρετε την έξοδο της.

    Στιγμιότυπο οθόνης που εμφανίζει το εργαλείο δόμησης παραστάσεων για δραστηριότητες κατάντη.

Η ακριβής δομή της εξόδου εξαρτάται από το τι επιστρέφει η συνάρτησή σας. Για παράδειγμα, εάν η συνάρτησή σας επιστρέψει ένα λεξικό, μπορείτε να αποκτήσετε πρόσβαση σε συγκεκριμένες ιδιότητες όπως @activity('YourFunctionActivityName').output.propertyName.

Αποθηκεύστε και εκτελέστε τη διοχέτευση

Αφού ρυθμίσετε τις παραμέτρους της δραστηριότητας συναρτήσεων και οποιωνδήποτε άλλων δραστηριοτήτων για τη διοχέτευσή σας:

  1. Επιλέξτε την καρτέλα Αρχική σελίδα στο επάνω μέρος του προγράμματος επεξεργασίας διοχέτευσης.
  2. Επιλέξτε Αποθήκευση για να αποθηκεύσετε τη διοχέτευσή σας.
  3. Επιλέξτε Εκτέλεση για να εκτελέσετε αμέσως τη διοχέτευση ή επιλέξτε Χρονοδιάγραμμα για να ορίσετε ένα επαναλαμβανόμενο χρονοδιάγραμμα.

Μετά την εκτέλεση, μπορείτε να παρακολουθήσετε την εκτέλεση της διοχέτευσης και να προβάλετε το ιστορικό εκτέλεσης από το Παραγωγή καρτέλα κάτω από τον καμβά. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Παρακολούθηση εκτελέσεων διοχέτευσης.