Στοιχείο ελέγχου προέλευσης, CI/CD και ALM για παράγοντα δεδομένων Fabric (έκδοση προεπισκόπησης)

Αυτό το άρθρο περιγράφει τον τρόπο διαχείρισης των παραγόντων δεδομένων Fabric χρησιμοποιώντας διοχετεύσεις ενοποίησης και ανάπτυξης Git ως μέρος των δυνατοτήτων διαχείρισης κύκλου ζωής εφαρμογών (ALM) του Microsoft Fabric. Μαθαίνουμε πώς να συνδέουμε έναν χώρο εργασίας σε ένα αποθετήριο Git. Θα μάθετε επίσης πώς να παρακολουθείτε και να εκδίδετε διαμορφώσεις παραγόντων δεδομένων. Τέλος, θα μάθετε πώς να προωθείτε ενημερώσεις σε περιβάλλοντα ανάπτυξης, δοκιμών και παραγωγής. Οι διοχετεύσεις ενοποίησης και ανάπτυξης Git επιτρέπουν τη συνεχή ενοποίηση και τη συνεχή ανάπτυξη (CI/CD) των αλλαγών του παράγοντα δεδομένων, επιτρέποντας την αυτόματη δοκιμή και προώθηση των ενημερώσεων ως μέρος της ροής εργασιών ALM. Το στοιχείο ελέγχου προέλευσης για πράκτορες δεδομένων Fabric βρίσκεται αυτήν τη στιγμή σε προεπισκόπηση.

Μπορείτε να χρησιμοποιήσετε δύο συμπληρωματικές προσεγγίσεις για την υποστήριξη του ALM για πράκτορες δεδομένων Fabric:

• Ενοποίηση Git: Συγχρονίστε έναν ολόκληρο χώρο εργασίας με ένα αποθετήριο Git (είτε Azure DevOps είτε GitHub ως υπηρεσία παροχής Git) για να ενεργοποιήσετε τον έλεγχο έκδοσης, τη συνεργασία μέσω διακλαδώσεων και την παρακολούθηση ιστορικού για μεμονωμένα στοιχεία, συμπεριλαμβανομένων των παραγόντων δεδομένων Fabric.
• Διοχετεύσεις ανάπτυξης: Προωθήστε περιεχόμενο μεταξύ ξεχωριστών χώρων εργασίας που αντιπροσωπεύουν στάδια ανάπτυξης, δοκιμής και παραγωγής χρησιμοποιώντας ενσωματωμένους αγωγούς.

Αυτές οι δυνατότητες μαζί παρέχουν ολοκληρωμένη υποστήριξη ALM για πράκτορες δεδομένων Fabric.

Σημαντικό

Αυτή η δυνατότητα είναι σε προεπισκόπηση.

Προαπαιτούμενα

• Εκχωρημένοι πόροι F2 επί πληρωμή F2 ή υψηλότεροι Fabric ή Power BI Premium ανά εκχωρημένους πόρους (P1 ή υψηλότεροι) με ενεργοποιημένο το Microsoft Fabric
• Οι ρυθμίσεις μισθωτή του παράγοντα δεδομένων Fabric είναι ενεργοποιημένες.
• είναι ενεργοποιημένη η επεξεργασία Διασταυρούμενες γεωγραφικές περιφέρειες για τεχνητής νοημοσύνης.
• είναι ενεργοποιημένη η αποθήκευση Cross-geo για AI.
• Τουλάχιστον ένα από αυτά, με δεδομένα: Μια αποθήκη, μια λίμνη, ένα ή περισσότερα σημασιολογικά μοντέλα Power BI, μια βάση δεδομένων KQL ή μια οντολογία.
• σημασιολογικά μοντέλα Power BI μέσω εναλλαγής μισθωτή τελικών σημείων XMLA ενεργοποιείται για προελεύσεις δεδομένων μοντέλου σημασιολογίας Power BI.

Ενοποίηση Git

Η ενοποίηση του Microsoft Fabric Git συγχρονίζει έναν χώρο εργασίας Fabric με ένα αποθετήριο Git, επιτρέποντάς σας να χρησιμοποιήσετε τις υπάρχουσες διαδικασίες ανάπτυξης, τα εργαλεία και τις βέλτιστες πρακτικές απευθείας στην πλατφόρμα Fabric. Υποστηρίζει Azure DevOps και GitHub και είναι διαθέσιμο σε επίπεδο χώρου εργασίας. Όταν πραγματοποιούμε αλλαγές από το Fabric, συμπεριλαμβανομένων ενημερώσεων στη ρύθμιση παραμέτρων του παράγοντα δεδομένων, αυτές οι αλλαγές αποθηκεύονται ως αρχεία στο συνδεδεμένο αποθετήριο Git. Οι βασικές δυνατότητές του περιλαμβάνουν:

• Πλήρης έλεγχος δημιουργίας αντιγράφων ασφαλείας και έκδοσης στοιχείων χώρου εργασίας
• Η δομή του φακέλου στο Git αντικατοπτρίζει τη δομή του χώρου εργασίας
• Οι διαμορφώσεις πρακτόρων δεδομένων (επιλογή σχήματος, οδηγίες AI, οδηγίες πηγής δεδομένων, παραδείγματα ερωτημάτων) αποθηκεύονται σε δομημένα αρχεία σε ειδικούς φακέλους
• Δυνατότητα προβολής διαφορών, αναθεώρησης ιστορικού και επαναφοράς σε προηγούμενες καταστάσεις μέσω ιστορικού για διαφορετικά στοιχεία χώρου εργασίας, συμπεριλαμβανομένων των πρακτόρων δεδομένων
• Συνεργασία βάσει υποκαταστημάτων (κλάδοι χαρακτηριστικών, κύριοι)

Για περισσότερες πληροφορίες σχετικά με τη διαδικασία ενοποίησης του Git, μπορείτε να ανατρέξετε στους παρακάτω πόρους.

• Τι είναι η ενοποίηση Microsoft Fabric Git;
• Βασικές έννοιες στην ενοποίηση Git
• Γρήγορα αποτελέσματα με την ενοποίηση Git

Ρύθμιση σύνδεσης με το στοιχείο ελέγχου προέλευσης

Μπορείτε να συνδέσετε τον χώρο εργασίας Fabric σε ένα αποθετήριο Git από τη σελίδα ρυθμίσεων χώρου εργασίας . Αυτή η σύνδεση σάς επιτρέπει να πραγματοποιείτε και να συγχρονίζετε αλλαγές απευθείας από το Fabric.

1. Ανατρέξτε στο θέμα Γρήγορα αποτελέσματα με την ενοποίηση Git για λεπτομερή βήματα για τη σύνδεση σε ένα αποθετήριο δεδομένων Git στο Azure DevOps ή στο GitHub.

2. Μετά τη σύνδεση στο αποθετήριο δεδομένων Git, τα στοιχεία του χώρου εργασίας σας, συμπεριλαμβανομένων των παραγόντων δεδομένων Fabric, εμφανίζονται στον πίνακα ελέγχου προέλευσης. Στη γραμμή κατάστασης κάτω αριστερά, μπορείτε να δείτε το όνομα του συνδεδεμένου κλάδου, την ώρα του τελευταίου συγχρονισμού και το αναγνωριστικό υποβολής Git.

3. Το συνδεδεμένο αποθετήριο Git εμφανίζει μια δομή φακέλου που αντιπροσωπεύει τα στοιχεία του χώρου εργασίας μας, συμπεριλαμβανομένων των παραγόντων δεδομένων Fabric και των αρχείων διαμόρφωσής τους. Κάθε παράγοντας δεδομένων αποθηκεύεται στον δικό του φάκελο, δίνοντάς μας τη δυνατότητα να εξετάζουμε τις αλλαγές, να παρακολουθούμε το ιστορικό εκδόσεων και να χρησιμοποιούμε ροές εργασίας Git, όπως η δημιουργία αιτημάτων έλξης για τη συγχώνευση ενημερώσεων στον κύριο κλάδο μας.

4. Όταν κάνετε τροποποιήσεις στον παράγοντα δεδομένων Fabric σε έναν χώρο εργασίας που είναι συνδεδεμένος με το Git, οι αλλαγές εντοπίζονται και η κατάσταση του παράγοντα δεδομένων στο τμήμα παραθύρου ελέγχου Προέλευση αλλάζει σε Μη δεσμευμένες αλλαγές. Αυτές οι τροποποιήσεις μπορεί να περιλαμβάνουν:

   • Αλλαγή της επιλογής σχήματος.
   • Ενημέρωση οδηγιών AI ή οδηγιών πηγής δεδομένων.
   • Επεξεργασία παραδειγμάτων ερωτημάτων.
   • Δημοσίευση του παράγοντα δεδομένων ή ενημέρωση της περιγραφής δημοσίευσής του.

Οποιαδήποτε αλλαγή—είτε λειτουργική είτε περιγραφική—προκαλεί τον παράγοντα δεδομένων να μην συγχρονίζεται με το συνδεδεμένο αποθετήριο Git. Τα στοιχεία χώρου εργασίας με αλλαγές θα εμφανίζονται στην καρτέλα Αλλαγές στο τμήμα παραθύρου ελέγχου Προέλευση. Μπορούμε να ελέγξουμε αυτές τις αλλαγές, να τις συγκρίνουμε με την δεσμευμένη έκδοση και να τις δεσμεύσουμε ξανά στο αποθετήριο Git για συγχρονισμό.

5. Όταν οι ενημερώσεις γίνονται απευθείας στο συνδεδεμένο αποθετήριο Git (Azure DevOps ή GitHub), μπορούν να περιλαμβάνουν ενέργειες όπως η τροποποίηση οδηγιών AI, η αλλαγή παραδειγμάτων ερωτημάτων ή η επεξεργασία περιγραφών δημοσίευσης. Στη συνέχεια, μπορείτε να δεσμεύσετε και να προωθήσετε αυτές τις αλλαγές στο αποθετήριο. Μόλις προωθηθούν οι ενημερώσεις και είναι διαθέσιμες στο αποθετήριο, ο χώρος εργασίας Fabric τις εντοπίζει και εμφανίζει μια ειδοποίηση Διαθέσιμες ενημερώσεις στο τμήμα παραθύρου ελέγχου Προέλευση. Τα ενημερωμένα στοιχεία, όπως ο παράγοντας δεδομένων, εμφανίζονται στην καρτέλα Ενημερώσεις, όπου μπορείτε να τα ελέγξετε και να τα αποδεχτείτε. Η αποδοχή αυτών των ενημερώσεων εφαρμόζει τις αλλαγές του αποθετηρίου στα στοιχεία του χώρου εργασίας μας, διασφαλίζοντας ότι ο χώρος εργασίας αντικατοπτρίζει την πιο πρόσφατη δεσμευμένη έκδοση στο Git.

Δομή φακέλων και αρχείων στο αποθετήριο Git

Στη συνέχεια, εξετάζουμε τη δομή του τρόπου αποθήκευσης της ρύθμισης παραμέτρων ενός παράγοντα δεδομένων σε ένα αποθετήριο Git. Η κατανόηση αυτής της δομής είναι σημαντική για τη διαχείριση των αλλαγών και την τήρηση βέλτιστων πρακτικών.

Δομή ρίζας

Στη ρίζα, το περιεχόμενο του παράγοντα δεδομένων αποθηκεύεται κάτω από το φάκελο αρχείων . Μέσα στα αρχεία, θα βρείτε έναν φάκελο διαμόρφωσης , ο οποίος περιέχει data_agent.json, publish_info.json, πρόχειρο φάκελο και δημοσιευμένο φάκελο.

Μέσα στο φάκελο ρυθμίσεων , το publish_info.json περιέχει την περιγραφή δημοσίευσης για τον παράγοντα δεδομένων. Αυτό το αρχείο μπορεί να ενημερωθεί για να αλλάξει η περιγραφή που εμφανίζεται όταν δημοσιεύεται ο παράγοντας δεδομένων.

Ο πρόχειρος φάκελος περιέχει τα αρχεία διαμόρφωσης που αντιστοιχούν στην πρόχειρη έκδοση του παράγοντα δεδομένων και ο δημοσιευμένος φάκελος περιέχει τα αρχεία διαμόρφωσης για τη δημοσιευμένη έκδοση του παράγοντα δεδομένων. Ο πρόχειρος φάκελος περιέχει:

• Φάκελοι προέλευσης δεδομένων όπου υπάρχει ένας φάκελος για κάθε προέλευση δεδομένων που χρησιμοποιείται από τον παράγοντα δεδομένων.
  • Προελεύσεις δεδομένων lakehouse ή αποθήκης: Τα ονόματα φακέλων ξεκινούν με lakehouse-tables- ή warehouse-tables-, ακολουθούμενα από το όνομα της λίμνης ή της αποθήκης.
  • Προελεύσεις δεδομένων μοντέλου σημασιολογίας: Τα ονόματα φακέλων ξεκινούν με semantic-model-, ακολουθούμενα από το όνομα του μοντέλου σημασιολογίας.
  • Προελεύσεις δεδομένων βάσης δεδομένων KQL: Τα ονόματα φακέλων ξεκινούν με kusto-, ακολουθούμενο από το όνομα της βάσης δεδομένων KQL.
  • Προελεύσεις δεδομένων οντολογίας: Τα ονόματα φακέλων ξεκινούν με ontology-, ακολουθούμενο από το όνομα της οντολογίας.

• stage_config.json που περιέχει aiInstructions, το οποίο αναφέρεται στις οδηγίες του πράκτορα.

Κάθε φάκελος προέλευσης δεδομένων περιέχει datasource.json και fewshots.json. Ωστόσο, εάν η προέλευση δεδομένων είναι ένα σημασιολογικό μοντέλο, δεν υποστηρίζει παραδείγματα ερωτημάτων, επομένως ο φάκελός της περιέχει μόνο datasource.json.

Το datasource.json καθορίζει τη ρύθμιση παραμέτρων για αυτήν την προέλευση δεδομένων, συμπεριλαμβανομένων των εξής:

• dataSourceInstructions, η οποία αντιπροσωπεύει τις οδηγίες που παρέχονται για την εν λόγω πηγή δεδομένων.

• displayName, το οποίο εμφανίζει το όνομα της προέλευσης δεδομένων.

• elements, το οποίο αναφέρεται στην αντιστοίχιση σχήματος και περιλαμβάνει μια πλήρη λίστα πινάκων και στηλών από την προέλευση δεδομένων.

  • Κάθε πίνακας έχει μια is_selected ιδιότητα. Εάν true, ο πίνακας περιλαμβάνεται και εάν false, σημαίνει ότι ο πίνακας δεν είναι επιλεγμένος και δεν θα χρησιμοποιηθεί από τον παράγοντα δεδομένων.
  • Εμφανίζονται is_selectedεπίσης οι καταχωρήσεις στηλών , αλλά η επιλογή σε επίπεδο στήλης δεν υποστηρίζεται προς το παρόν. Εάν επιλεγεί ένας πίνακας, περιλαμβάνονται όλες οι στήλες του ανεξάρτητα από την τιμή της στήλης is_selected . Εάν ένας πίνακας δεν έχει επιλεγεί (is_selected: false σε επίπεδο πίνακα), καμία από τις στήλες δεν λαμβάνεται υπόψη, παρά το γεγονός ότι is_selected έχει οριστεί σε true επίπεδο στήλης.

• Συμβάσεις τύπου:

  • Εάν ο τύπος είναι προέλευση δεδομένων, είναι απλώς ο τύπος προέλευσης δεδομένων (για παράδειγμα: "type": "lakehouse_tables").
  • Εάν ο τύπος είναι πίνακας, τελειώνει σε .table (για παράδειγμα: "type": "lakehouse_tables.table").
  • Εάν ο τύπος είναι στήλη, τελειώνει σε .column (για παράδειγμα: "type": "lakehouse_tables.column").

Το fewshots.json αποθηκεύει παραδείγματα ερωτημάτων για την προέλευση δεδομένων. Κάθε καταχώρηση περιλαμβάνει:

• id ως μοναδικό αναγνωριστικό για το ερώτημα του παραδείγματος.
• question, το οποίο αναφέρεται στην ερώτηση της φυσικής γλώσσας.
• query εμφανίζει το κείμενο του ερωτήματος, το οποίο μπορεί να είναι SQL ή KQL ανάλογα με τον τύπο προέλευσης δεδομένων.

Ο δημοσιευμένος φάκελος αντικατοπτρίζει τη δομή του πρόχειρου φακέλου, αλλά αντιπροσωπεύει τη δημοσιευμένη έκδοση του παράγοντα δεδομένων. Η καλύτερη πρακτική είναι να μην τροποποιείτε απευθείας τα αρχεία στον δημοσιευμένο φάκελο. Οι αλλαγές πρέπει να γίνουν στον πρόχειρο φάκελο. Μόλις δημοσιευτεί ο παράγοντας δεδομένων, αυτές οι αλλαγές αντικατοπτρίζονται στον δημοσιευμένο φάκελο. Αυτό εξασφαλίζει ότι η δημοσιευμένη έκδοση δημιουργείται πάντα από μια ελεγχόμενη πρόχειρη κατάσταση.

Διοχετεύσεις ανάπτυξης για πράκτορες δεδομένων

Οι διοχετεύσεις ανάπτυξης παρέχουν έναν ελεγχόμενο τρόπο μετακίνησης πρακτόρων δεδομένων μεταξύ χώρων εργασίας που αντιστοιχίζονται σε διαφορετικά στάδια κύκλου ζωής. Για παράδειγμα:

1. Αναπτύξτε έναν νέο παράγοντα δεδομένων ή ενημερώστε έναν υπάρχοντα στον χώρο εργασίας ανάπτυξης.
2. Προωθήστε τις αλλαγές στον δοκιμαστικό χώρο εργασίας για επικύρωση.
3. Προωθήστε τις δοκιμασμένες αλλαγές στον χώρο εργασίας παραγωγής όπου είναι διαθέσιμος στους τελικούς χρήστες.

Πριν από την ανάπτυξη, πρέπει να αντιστοιχίσετε έναν χώρο εργασίας σε κάθε στάδιο της διοχέτευσης ανάπτυξης: ανάπτυξη, δοκιμή και παραγωγή. Εάν δεν αναθέσετε έναν χώρο εργασίας στο στάδιο δοκιμής ή παραγωγής, οι χώροι εργασίας δημιουργούνται αυτόματα. Οι χώροι εργασίας που δημιουργούνται αυτόματα ονομάζονται από τον χώρο εργασίας ανάπτυξης, με προσαρτημένο το [test] ή το [prod].

Για να αναπτύξετε αλλαγές:

• Στη διοχέτευση, μεταβείτε στο στάδιο από το οποίο θέλετε να αναπτύξετε (για παράδειγμα, ανάπτυξη).
• Επιλέξτε τα στοιχεία στον χώρο εργασίας που θέλετε να αναπτύξετε.
• Επιλέξτε Ανάπτυξη για να τα προωθήσετε στο επόμενο στάδιο.

Μπορείτε να ελέγξετε ένα σχέδιο ανάπτυξης πριν εφαρμόσετε αλλαγές, διασφαλίζοντας ότι προωθούνται μόνο οι προβλεπόμενες ενημερώσεις. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Γρήγορα αποτελέσματα με διοχετεύσεις ανάπτυξης.

Σημείωμα

Οι κύριες υπηρεσίες υποστηρίζονται στον παράγοντα δεδομένων Fabric μόνο ως μέρος των σεναρίων ALM. Αυτή η υποστήριξη περιορίζεται στην ενεργοποίηση λειτουργιών ALM (όπως διοχετεύσεις ενοποίησης και ανάπτυξης Git) και δεν επεκτείνεται σε άλλες δυνατότητες παράγοντα δεδομένων Fabric. Εάν χρειάζεται να αλληλεπιδράσετε με έναν παράγοντα δεδομένων εκτός των ροών εργασιών ALM, η κύρια υπηρεσία δεν υποστηρίζεται.

Δημοσίευση ενός παράγοντα δεδομένων Fabric για τις διοχετεύσεις ανάπτυξης

Η δημοσίευση ενός παράγοντα δεδομένων Fabric το καθιστά διαθέσιμο για χρήση σε όλα τα διαφορετικά κανάλια κατανάλωσης, συμπεριλαμβανομένων των Copilot για Power BI, Microsoft Copilot Studio και Azure AI Foundry Services. Για την αξιολόγηση και την κατανάλωση του πράκτορα δεδομένων σε αυτά τα κανάλια, ο πράκτορας δεδομένων πρέπει να δημοσιευτεί. Οι μη δημοσιευμένοι πράκτορες δεδομένων δεν είναι προσβάσιμοι για κατανάλωση, ακόμα και αν βρίσκονται στον χώρο εργασίας παραγωγής. Για να ακολουθήσετε τις βέλτιστες πρακτικές σύμφωνα με τη διοχέτευση ανάπτυξης, λάβετε υπόψη ότι:

• Η δημοσίευση από έναν χώρο εργασίας ανάπτυξης θα πρέπει να περιορίζεται μόνο σε εξουσιοδοτημένους χρήστες που εργάζονται στην ανάπτυξη πρακτόρων δεδομένων και θέλουν να αξιολογήσουν την απόδοσή του σε διαφορετικά κανάλια κατανάλωσης. Η πρόσβαση σε αυτόν τον χώρο εργασίας πρέπει να είναι περιορισμένη, έτσι ώστε οι ημιτελείς ή πειραματικοί πράκτορες δεδομένων να μην εκτίθενται σε ευρύτερο κοινό.
• Οι τελικοί χρήστες θα πρέπει να έχουν πρόσβαση σε πράκτορες δεδομένων που δημοσιεύονται μόνο από τον χώρο εργασίας παραγωγής, διασφαλίζοντας ότι αλληλεπιδρούν με σταθερές, εγκεκριμένες εκδόσεις του πράκτορα δεδομένων.

Αυτή η προσέγγιση υποστηρίζει τόσο τη λειτουργική απαίτηση της ενεργοποίησης της κατανάλωσης και της αξιολόγησης της απόδοσης όσο και διασφαλίζει τον κατάλληλο έλεγχο πρόσβασης διατηρώντας χωριστά τα περιβάλλοντα ανάπτυξης και παραγωγής.

Βέλτιστες πρακτικές

• Χρησιμοποιήστε έναν αποκλειστικό κλάδο για εργασίες ανάπτυξης σε πράκτορες δεδομένων και συγχωνεύστε στον κύριο μετά την αναθεώρηση του κώδικα.
• Διατηρήστε τους σχετικούς πόρους (προελεύσεις δεδομένων, πράκτορες δεδομένων, σημειωματάρια, διοχετεύσεις) στον ίδιο χώρο εργασίας για ευκολότερη προώθηση.
• Δοκιμάστε τις αλλαγές του παράγοντα δεδομένων στον δοκιμαστικό χώρο εργασίας πριν από την προώθηση στην παραγωγή.
• Χρησιμοποιήστε περιγραφικά μηνύματα υποβολής για να κάνετε το ιστορικό πιο κατανοητό.
• Μην κάνετε απευθείας αλλαγές στον δημοσιευμένο φάκελο στο αποθετήριο Git.

Περιορισμοί και ζητήματα

• Μόνο οι χώροι εργασίας που είναι συνδεδεμένοι σε ένα αποθετήριο Git μπορούν να χρησιμοποιούν δυνατότητες ALM που βασίζονται σε Git.
• Οι κύριες υπηρεσίες υποστηρίζονται στον παράγοντα δεδομένων Fabric μόνο ως μέρος των σεναρίων ALM. Εάν χρειάζεται να αλληλεπιδράσετε με έναν παράγοντα δεδομένων εκτός των ροών εργασιών ALM, η κύρια υπηρεσία δεν υποστηρίζεται.
• Οι διοχετεύσεις ανάπτυξης απαιτούν οι χώροι εργασίας προέλευσης και προορισμού να βρίσκονται στον ίδιο μισθωτή.
• Ο μεγάλος αριθμός συχνών υποβολών μπορεί να επηρεάσει το μέγεθος και την απόδοση του αποθετηρίου.

Σχετικό περιεχόμενο

• Γρήγορα αποτελέσματα με την ενοποίηση Git
• Βασικές έννοιες στην ενοποίηση Git
• Τι είναι η διαχείριση του κύκλου ζωής στο Microsoft Fabric;