Μέθοδοι μετεγκατάστασης για Azure Synapse Analytics αποκλειστικών χώρων συγκέντρωσης SQL σε Fabric αποθήκη δεδομένων

Ισχύει για: ✅ Αποθήκη στο Microsoft Fabric

Αυτό το άρθρο περιγράφει μεθόδους για τη μετεγκατάσταση από Azure Synapse Analytics αποκλειστικούς χώρους συγκέντρωσης SQL σε Microsoft Fabric αποθήκη δεδομένων.

Συμβουλή

Για περισσότερες πληροφορίες σχετικά με τη στρατηγική και τον προγραμματισμό της μετεγκατάστασής σας, ανατρέξτε στο θέμα Σχεδιασμός μετεγκατάστασης: Azure Synapse Analytics αποκλειστικών χώρων συγκέντρωσης SQL σε Fabric αποθήκη δεδομένων.

Μια αυτοματοποιημένη εμπειρία μετεγκατάστασης από αποκλειστικούς χώρους συγκέντρωσης SQL του Azure Synapse Analytics είναι διαθέσιμη χρησιμοποιώντας το Fabric Migration Assistant for αποθήκη δεδομένων. Το υπόλοιπο αυτού του άρθρου περιέχει περισσότερα βήματα μη αυτόματης μετεγκατάστασης.

Ο παρακάτω πίνακας συνοψίζει τις μεθόδους για τη μετεγκατάσταση του σχήματος δεδομένων (DDL), του κώδικα βάσης δεδομένων (DML) και των δεδομένων. Η στήλη Επιλογή συνδέεται με λεπτομέρειες για κάθε σενάριο.

Αριθμός επιλογής Επιλογή Τι κάνει Δεξιότητα ή προτίμηση Σενάριο
1 Εργοστάσιο δεδομένων Μετατροπή σχήματος (DDL)
Εξαγωγή δεδομένων
Κατάποση δεδομένων		 ADF/Διοχέτευση Απλοποιημένα όλα σε ένα σχήμα (DDL) και μετεγκατάσταση δεδομένων. Συνιστάται για πίνακες διαστάσεων.
2 Data Factory με διαμέρισμα Μετατροπή σχήματος (DDL)
Εξαγωγή δεδομένων
Κατάποση δεδομένων		 ADF/Διοχέτευση Με τη χρήση επιλογών διαμερισμού για την αύξηση της παράλληλης ανάγνωσης/εγγραφής, παρέχοντας δέκα φορές την ταχύτητα μετάδοσης έναντι της επιλογής 1, συνιστάται για πίνακες δεδομένων.
3 Data Factory με επιταχυνόμενο κώδικα Μετατροπή σχήματος (DDL) ADF/Διοχέτευση Μετατρέψτε και μετεγκαταστήστε πρώτα το σχήμα (DDL) και, στη συνέχεια, χρησιμοποιήστε το CETAS για εξαγωγή και ΑΝΤΙΓΡΑΦΉ/Data Factory στην πρόσληψη δεδομένων για βέλτιστη συνολική απόδοση πρόσληψης.
4 Αποθηκευμένες διαδικασίες επιταχυνόμενος κώδικας Μετατροπή σχήματος (DDL)
Εξαγωγή δεδομένων
Αξιολόγηση κώδικα		 T-SQL Ο χρήστης SQL χρησιμοποιεί το IDE με πιο λεπτομερή έλεγχο των εργασιών στις οποίες θέλει να εργαστεί. Χρησιμοποιήστε τη συνάρτηση COPY/Data Factory για την πρόσληψη δεδομένων.
5 Επέκταση έργου βάσης δεδομένων SQL για κώδικα του Visual Studio Μετατροπή σχήματος (DDL)
Εξαγωγή δεδομένων
Αξιολόγηση κώδικα		 ΈΡΓΟ SQL SQL Database Project για ανάπτυξη με την ενοποίηση της επιλογής 4. Χρησιμοποιήστε την COPY ή την Data Factory για την πρόσληψη δεδομένων.
6 ΔΗΜΙΟΥΡΓΊΑ ΕΞΩΤΕΡΙΚΟΎ ΠΊΝΑΚΑ Ως ΕΠΙΛΟΓΉ (CETAS) Εξαγωγή δεδομένων T-SQL Οικονομικά αποδοτική και υψηλής απόδοσης εξαγωγή δεδομένων στο Azure Data Lake Storage (ADLS) Gen2. Χρησιμοποιήστε τη συνάρτηση COPY/Data Factory για την πρόσληψη δεδομένων.
7 Μετεγκατάσταση με χρήση dbt Μετατροπή σχήματος (DDL)
μετατροπή κώδικα βάσης δεδομένων (DML)		 dbt Οι υπάρχοντες χρήστες βάσης δεδομένων μπορούν να χρησιμοποιήσουν τον προσαρμογέα dbt Fabric για να μετατρέψουν τα DDL και DML τους. Στη συνέχεια, πρέπει να μετεγκαταστήσετε δεδομένα χρησιμοποιώντας άλλες επιλογές σε αυτόν τον πίνακα.

Επιλογή φόρτου εργασίας για την αρχική μετεγκατάσταση

Όταν αποφασίζετε από πού να ξεκινήσετε στο αποκλειστικό χώρο συγκέντρωσης SQL του Synapse για να Fabric αποθήκη δεδομένων έργο μετεγκατάστασης, επιλέξτε μια περιοχή φόρτου εργασίας όπου μπορείτε:

  • Αποδείξτε τη βιωσιμότητα της μετάβασης σε Fabric αποθήκη δεδομένων παρέχοντας γρήγορα τα οφέλη του νέου περιβάλλοντος. Ξεκινήστε από μικρά και απλά και προετοιμαστείτε για πολλαπλές μικρές μετεγκαταστάσεις.
  • Αφήστε χρόνο στο προσωπικό της εταιρείας σας για να αποκτήσει σχετική εμπειρία με τις διαδικασίες και τα εργαλεία που χρησιμοποιεί όταν πραγματοποιεί μετεγκατάσταση σε άλλες περιοχές.
  • Δημιουργήστε ένα πρότυπο για περαιτέρω μετεγκαταστάσεις ειδικά για το περιβάλλον Synapse προέλευσης, καθώς και τα εργαλεία και τις διαδικασίες που υπάρχουν για να σας βοηθήσουν.

Συμβουλή

Δημιουργήστε ένα απόθεμα αντικειμένων προς μετεγκατάσταση και τεκμηριώστε τη διαδικασία μετεγκατάστασης από την αρχή μέχρι το τέλος, ώστε να μπορείτε να την επαναλάβετε για άλλους αποκλειστικούς χώρους συγκέντρωσης SQL ή φόρτους εργασίας.

Ο όγκος των δεδομένων που μετεγκαταστάθηκαν σε μια αρχική μετεγκατάσταση θα πρέπει να είναι αρκετά μεγάλος για να επιδείξει τις δυνατότητες και τα οφέλη του περιβάλλοντος Fabric αποθήκη δεδομένων, αλλά όχι πολύ μεγάλος για να επιδείξει γρήγορα την αξία. Ένα μέγεθος στην περιοχή 1-10 terabyte είναι τυπικό.

Μετεγκατάσταση με το Fabric Data Factory

Αυτή η ενότητα περιγράφει τις επιλογές Data Factory για χρήστες που είναι εξοικειωμένοι με τις διοχετεύσεις Azure Data Factory και Synapse. Η διεπαφή μεταφοράς και απόθεσης παρέχει έναν απλό τρόπο μετατροπής DDL και μετεγκατάστασης δεδομένων.

Το Fabric Data Factory μπορεί να εκτελέσει τις ακόλουθες εργασίες:

  • Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric αποθήκη δεδομένων.
  • Δημιουργήστε το σχήμα (DDL) στο Fabric αποθήκη δεδομένων.
  • Μεταφέρετε τα δεδομένα σε Fabric αποθήκη δεδομένων.

Επιλογή 1. Μετεγκατάσταση σχήματος και δεδομένων - Βοηθός αντιγραφής δεδομένων και ForEach Copy Activity

Αυτή η μέθοδος χρησιμοποιεί τον βοηθό δεδομένων Data Factory Copy για να συνδεθεί στον αποκλειστικό χώρο συγκέντρωσης SQL προέλευσης, να μετατρέψει τη σύνταξη DDL του αποκλειστικού χώρου συγκέντρωσης SQL σε Fabric και να αντιγράψει δεδομένα σε Fabric αποθήκη δεδομένων. Μπορείτε να επιλέξετε έναν ή περισσότερους πίνακες προορισμού (για TPC-DS σύνολο δεδομένων υπάρχουν 22 πίνακες). Δημιουργεί το ForEach για κυκλική μετάβαση στη λίστα πινάκων που έχουν επιλεγεί στο περιβάλλον εργασίας χρήστη και δημιουργεί 22 νήματα παράλληλης αντιγραφής δραστηριότητας.

  • Δημιουργούνται και εκτελούνται 22 SELECT ερωτήματα (ένα για κάθε επιλεγμένο πίνακα) στον αποκλειστικό χώρο συγκέντρωσης SQL.
  • Βεβαιωθείτε ότι διαθέτετε την κατάλληλη κλάση DWU και πόρων για να επιτρέψετε την εκτέλεση των ερωτημάτων που δημιουργούνται. Για αυτήν την περίπτωση, χρειάζεστε τουλάχιστον DWU1000 για staticrc10 να επιτρέψετε σε 32 ερωτήματα το πολύ τον χειρισμό 22 ερωτημάτων που υποβάλλονται.
  • Η αντιγραφή δεδομένων απευθείας από τον αποκλειστικό χώρο συγκέντρωσης SQL σε Fabric αποθήκη δεδομένων με το Data Factory απαιτεί προεργασία. Η διαδικασία κατάποσης έχει δύο φάσεις:
    • Η πρώτη φάση εξάγει δεδομένα από την αποκλειστική ομάδα SQL στο ADLS. Αυτή η φάση ονομάζεται σταδιοποίηση.
    • Η δεύτερη φάση απορροφά τα σταδιακά δεδομένα σε Fabric αποθήκη δεδομένων. Το μεγαλύτερο μέρος του χρόνου κατάποσης αφιερώνεται στη φάση της σκηνής, επομένως η σκηνοθεσία έχει σημαντική επίδραση στην απόδοση.

Η χρήση του βοηθού αντιγραφής για τη δημιουργία μιας δραστηριότητας ForEach παρέχει μια απλή διεπαφή για τη μετατροπή DDL και την πρόσληψη επιλεγμένων πινάκων από τον αποκλειστικό χώρο συγκέντρωσης SQL σε Fabric αποθήκη δεδομένων σε ένα βήμα.

Ωστόσο, αυτή η επιλογή δεν παρέχει τη βέλτιστη συνολική απόδοση. Η σταδιοποίηση και η ανάγκη παραλληλισμού των αναγνώσεων και των εγγραφών κατά τη φάση από την πηγή στο στάδιο είναι οι κύριες πηγές καθυστέρησης. Χρησιμοποιήστε αυτήν την επιλογή μόνο για πίνακες διαστάσεων.

Επιλογή 2. DDL/Μετεγκατάσταση δεδομένων - Διοχέτευση με χρήση επιλογής διαμερίσματος

Για να βελτιώσετε την ταχύτητα μετάδοσης όταν φορτώνετε μεγαλύτερους πίνακες δεδομένων με μια διοχέτευση Fabric, χρησιμοποιήστε μια Copy activity για κάθε πίνακα δεδομένων και ενεργοποιήστε τη δημιουργία διαμερισμάτων. Αυτή η ρύθμιση παραμέτρων παρέχει την καλύτερη απόδοση Copy activity.

Χρησιμοποιήστε τα φυσικά διαμερίσματα του πίνακα προέλευσης όταν είναι διαθέσιμα. Εάν ο πίνακας δεν είναι φυσικά διαμερισμένος, καθορίστε μια στήλη διαμερίσματος και ελάχιστες και μέγιστες τιμές για δυναμικό διαμερισμό. Στο παρακάτω στιγμιότυπο οθόνης, οι επιλογές προέλευσης διοχέτευσης καθορίζουν μια δυναμική περιοχή διαμερισμάτων με βάση τη ws_sold_date_sk στήλη.

Στιγμιότυπο οθόνης μιας διοχέτευσης, που απεικονίζει την επιλογή καθορισμού του πρωτεύοντος κλειδιού ή την ημερομηνία για τη στήλη δυναμικού διαμερίσματος.

Η κατάτμηση μπορεί να αυξήσει την απόδοση της σταδιοποίησης. Λάβετε υπόψη τις ακόλουθες οδηγίες όταν ρυθμίζετε τις παραμέτρους του:

  • Ανάλογα με το εύρος διαμερισμάτων, η λειτουργία μπορεί να δημιουργήσει περισσότερα από 128 ερωτήματα και να χρησιμοποιήσει όλες τις υποδοχές ταυτοχρονισμού στον αποκλειστικό χώρο συγκέντρωσης SQL.
  • Πρέπει να κλιμακώσετε σε τουλάχιστον DWU6000 για να επιτρέψετε την εκτέλεση όλων των ερωτημάτων.
  • Για παράδειγμα, για τον πίνακα TPC-DS web_sales , υποβλήθηκαν 163 ερωτήματα στον αποκλειστικό χώρο συγκέντρωσης SQL. Στο DWU6000, εκτελέστηκαν 128 ερωτήματα ενώ 35 ερωτήματα βρίσκονταν στην ουρά.
  • Το δυναμικό διαμέρισμα επιλέγει αυτόματα το διαμέρισμα περιοχής. Σε αυτή την περίπτωση, ένα εύρος 11 ημερών για κάθε ερώτημα SELECT που υποβλήθηκε στον αποκλειστικό χώρο συγκέντρωσης SQL. Για παράδειγμα: 
    WHERE [ws_sold_date_sk] > '2451069' AND [ws_sold_date_sk] <= '2451080')
...
WHERE [ws_sold_date_sk] > '2451333' AND [ws_sold_date_sk] <= '2451344')

Για πίνακες δεδομένων, χρησιμοποιήστε το Data Factory με την επιλογή διαμέρισης για να αυξήσετε την ταχύτητα.

Ωστόσο, οι παράλληλες αναγνώσεις απαιτούν από εσάς να κλιμακώσετε την αποκλειστική ομάδα SQL σε υψηλότερο DWU, ώστε να μπορεί να εκτελέσει τα ερωτήματα εξαγωγής. Η κατάτμηση δεκαπλασιάζει το ποσοστό σε σύγκριση με τη μη χρήση κατάτμησης. Μπορείτε να αυξήσετε το DWU για μεγαλύτερη απόδοση, αλλά ένας αποκλειστικός χώρος συγκέντρωσης SQL επιτρέπει έως και 128 ενεργά ερωτήματα.

Για περισσότερες πληροφορίες σχετικά με την αντιστοίχιση Synapse DWU σε Fabric, ανατρέξτε στο θέμα Ιστολόγιο: Αντιστοίχιση αποκλειστικών χώρων συγκέντρωσης SQL Azure Synapse Fabric αποθήκη δεδομένων υπολογισμό.

Επιλογή 3. Μετεγκατάσταση DDL - Βοηθός αντιγραφής δεδομένων για κάθε δραστηριότητα αντιγραφής

Οι δύο προηγούμενες επιλογές είναι κατάλληλες για μικρότερες βάσεις δεδομένων. Εάν χρειάζεστε υψηλότερη ταχύτητα, χρησιμοποιήστε αυτήν την εναλλακτική:

  1. Εξαγάγετε τα δεδομένα από την αποκλειστική ομάδα SQL στο ADLS για να μειώσετε τα γενικά έξοδα σταδιοποίησης.
  2. Χρησιμοποιήστε είτε το Data Factory είτε την εντολή COPY για να απορροφήσετε τα δεδομένα στην αποθήκη σας.

Μπορείτε να συνεχίσετε να χρησιμοποιείτε το Data Factory για να μετατρέψετε το σχήμα (DDL). Χρησιμοποιώντας τον βοηθό αντιγραφής δεδομένων, μπορείτε να επιλέξετε τον συγκεκριμένο πίνακα ή Όλοι οι πίνακες. Από τη σχεδίαση, αυτή η μέθοδος μετεγκαθιστά το σχήμα σε ένα βήμα, εξάγοντας το σχήμα χωρίς γραμμές χρησιμοποιώντας την ψευδή συνθήκη, TOP 0 στην πρόταση ερωτήματος.

Το ακόλουθο δείγμα κώδικα καλύπτει τη μετεγκατάσταση σχήματος (DDL) με το Data Factory.

Παράδειγμα κώδικα: Μετεγκατάσταση σχήματος (DDL) με το Data Factory

Μπορείτε να χρησιμοποιήσετε διοχετεύσεις Fabric για να μετεγκαταστήσετε εύκολα το DDL (σχήματα) για αντικείμενα πίνακα από οποιαδήποτε βάση δεδομένων Azure SQL Database προέλευσης ή αποκλειστικό χώρο συγκέντρωσης SQL. Αυτή η διοχέτευση μετεγκαθιστά το σχήμα (DDL) για τους αποκλειστικούς πίνακες συγκέντρωσης SQL προέλευσης στο Fabric αποθήκη δεδομένων.

Στιγμιότυπο οθόνης από το Fabric Data Factory που εμφανίζει ένα αντικείμενο αναζήτησης που οδηγεί σε ένα για κάθε αντικείμενο. Μέσα στο αντικείμενο For Each, υπάρχουν δραστηριότητες για μετεγκατάσταση DDL.

Σχεδίαση διοχέτευσης: παράμετροι

Αυτή η διοχέτευση δέχεται μια παράμετρο SchemaName, την οποία χρησιμοποιείτε για να καθορίσετε ποια σχήματα θα μετεγκατασταθούν. Το προεπιλεγμένο σχήμα είναι dbo.

Στο πεδίο Προεπιλεγμένη τιμή, εισαγάγετε μια λίστα διαχωρισμένων με κόμματα του σχήματος πίνακα που υποδεικνύει ποια σχήματα θα μετεγκαταστήσετε: 'dbo','tpch' για να παρέχετε δύο σχήματα dbo και tpch.

Στιγμιότυπο οθόνης από το Data Factory που εμφανίζει την καρτέλα Παράμετροι μιας διοχέτευσης. Στο πεδίο Όνομα, 'SchemaName'. Στο πεδίο Προεπιλεγμένη τιμή, 'dbo','tpch', υποδεικνύοντας ότι αυτά τα δύο σχήματα πρέπει να μετεγκατασταθούν.

Σχεδίαση διοχέτευσης: Δραστηριότητα αναζήτησης

Δημιουργήστε μια Δραστηριότητα αναζήτησης και ορίστε τη Σύνδεση ώστε να παραπέμπει στη βάση δεδομένων προέλευσης.

Στην καρτέλα Ρυθμίσεις:

  • Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Εξωτερικό.

  • Η σύνδεση είναι ο αποκλειστικός χώρος συγκέντρωσης SQL Azure Synapse. Ο τύπος σύνδεσης είναι Azure Synapse Analytics.

  • Η χρήση του ερωτήματος έχει οριστεί σε Ερώτημα.

  • Δημιουργήστε το πεδίο "Ερώτημα " χρησιμοποιώντας μια δυναμική παράσταση, ώστε να μπορείτε να χρησιμοποιήσετε την παράμετρο SchemaName σε ένα ερώτημα που επιστρέφει μια λίστα πινάκων προέλευσης προορισμού. Επιλέξτε Ερώτημα και, στη συνέχεια, επιλέξτε Προσθήκη δυναμικού περιεχομένου.

    Αυτή η παράσταση εντός της δραστηριότητας LookUp δημιουργεί μια πρόταση SQL για την υποβολή ερωτήματος στις προβολές συστήματος για την ανάκτηση μιας λίστας σχημάτων και πινάκων. Αναφέρεται στην παράμετρο για να επιτρέψει το SchemaName φιλτράρισμα σε σχήματα SQL. Η έξοδος αυτής της έκφρασης είναι ένας πίνακας σχημάτων και πινάκων SQL που χρησιμοποιεί η δραστηριότητα ForEach ως είσοδο.

    Χρησιμοποιήστε τον παρακάτω κώδικα για να επιστρέψετε μια λίστα με όλους τους πίνακες χρηστών με το όνομα σχήματος.

    @concat('
SELECT s.name AS SchemaName,
t.name  AS TableName
FROM sys.tables AS t
INNER JOIN sys.schemas AS s
ON t.type = ''U''
AND s.schema_id = t.schema_id
AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
')

Στιγμιότυπο οθόνης από το Data Factory που εμφανίζει την καρτέλα Ρυθμίσεις μιας διοχέτευσης. Το κουμπί Ερώτημα επιλέγεται και ο κώδικας επικολλάται στο πεδίο Ερώτημα.

Σχεδίαση διοχέτευσης: Βρόχος ForEach

Για το βρόχο ForEach, ρυθμίστε τις παραμέτρους των παρακάτω επιλογών στην καρτέλα Ρυθμίσεις:

  • Απενεργοποιήστε τη Διαδοχική για να επιτρέψετε την ταυτόχρονη εκτέλεση πολλαπλών επαναλήψεων.
  • Ορίστε το Batch count σε 50, περιορίζοντας τον μέγιστο αριθμό ταυτόχρονων επαναλήψεων.
  • Χρησιμοποιήστε δυναμικό περιεχόμενο στο πεδίο "Στοιχεία " για να αναφέρετε το αποτέλεσμα της δραστηριότητας αναζήτησης. Χρησιμοποιήστε το ακόλουθο τμήμα κώδικα: @activity('Get List of Source Objects').output.value

Στιγμιότυπο οθόνης που εμφανίζει την καρτέλα Ρυθμίσεων δραστηριότητας βρόχου ForEach.

Σχεδίαση διοχέτευσης: Αντιγραφή δραστηριότητας εντός του βρόχου ForEach

Μέσα στη Δραστηριότητα ForEach, προσθέστε ένα Αντίγραφο δραστηριότητας. Αυτή η μέθοδος χρησιμοποιεί τη γλώσσα δυναμικής έκφρασης εντός διοχετεύσεων για τη δημιουργία μιας SELECT TOP 0 * FROM <TABLE> δήλωσης για τη μετεγκατάσταση μόνο του σχήματος χωρίς δεδομένα σε μια αποθήκη.

Στην καρτέλα Προέλευση:

  • Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Εξωτερικό.
  • Η σύνδεση είναι ο αποκλειστικός χώρος συγκέντρωσης SQL Azure Synapse. Ο τύπος σύνδεσης είναι Azure Synapse Analytics.
  • Ορίστε τη Χρήση ερωτήματος σε Ερώτημα.
  • Στο πεδίο Ερώτημα , επικολλήστε το ερώτημα δυναμικού περιεχομένου και χρησιμοποιήστε αυτήν την παράσταση που επιστρέφει μηδέν γραμμές, αλλά περιλαμβάνει το σχήμα πίνακα: @concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName)

Στιγμιότυπο οθόνης από το Data Factory που εμφανίζει την καρτέλα Προέλευση της δραστηριότητας αντιγραφής μέσα στο βρόχο ForEach.

Στην καρτέλα Προορισμός:

  • Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Χώρος εργασίας.
  • Ορίστε τον τύπο χώρου αποθήκευσης δεδομένων Workspace σε αποθήκη δεδομένων και ορίστε το αποθήκη δεδομένων στην αποθήκη.
  • Το σχήμα του πίνακα προορισμού και το όνομα πίνακα ορίζονται με χρήση δυναμικού περιεχομένου.
    • Το σχήμα αναφέρεται στο πεδίο της τρέχουσας επανάληψης, SchemaName με το απόσπασμα: @item().SchemaName
    • Αναφορές TableName πίνακα με το απόσπασμα: @item().TableName

Στιγμιότυπο οθόνης από το Data Factory που εμφανίζει την καρτέλα Προορισμός της αντιγραφής δραστηριότητας μέσα σε κάθε βρόχο ForEach.

Σχεδίαση διοχέτευσης: Νιπτήρας

Στο πεδίο Sink, τοποθετήστε τον δείκτη του ποντικιού στην Αποθήκη σας και αναφέρετε το Σχήμα προέλευσης και το Όνομα πίνακα.

Όταν εκτελείτε αυτήν τη διοχέτευση, βλέπετε την αποθήκη σας συμπληρωμένη με κάθε πίνακα στην προέλευσή σας, χρησιμοποιώντας το σωστό σχήμα.

Μετεγκατάσταση με χρήση αποθηκευμένων διαδικασιών σε αποκλειστικό χώρο συγκέντρωσης SQL Synapse

Αυτή η επιλογή χρησιμοποιεί αποθηκευμένες διαδικασίες για την εκτέλεση της μετεγκατάστασης στο Fabric αποθήκη δεδομένων.

Μπορείτε να λάβετε τα δείγματα κώδικα στη μετεγκατάσταση Microsoft/fabric σε GitHub.com. Αυτός ο κώδικας χρησιμοποιείται από κοινού ως ανοιχτός κώδικας, επομένως μην διστάσετε να συμβάλλετε στη συνεργασία και την βοήθεια της κοινότητας.

Τι μπορούν να κάνουν οι αποθηκευμένες διαδικασίες του Fabric Migration:

  • Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric αποθήκη δεδομένων.
  • Δημιουργήστε το σχήμα (DDL) στο Fabric αποθήκη δεδομένων.
  • Εξαγάγετε δεδομένα από τον αποκλειστικό χώρο συγκέντρωσης SQL Synapse στο ADLS.
  • Επισήμανση μη υποστηριζόμενης σύνταξης Fabric για κωδικούς T-SQL (αποθηκευμένες διαδικασίες, συναρτήσεις, προβολές).

Αυτή η επιλογή είναι ιδανική για εσάς εάν:

  • Είναι εξοικειωμένοι με το T-SQL.
  • Θέλετε να χρησιμοποιήσετε ένα ολοκληρωμένο περιβάλλον ανάπτυξης για την ανάπτυξη T-SQL.
  • Θέλετε πιο λεπτομερή έλεγχο των εργασιών στις οποίες εργάζεστε.

Μπορείτε να εκτελέσετε τη συγκεκριμένη αποθηκευμένη διαδικασία για τη μετατροπή σχήματος (DDL), την εξαγωγή δεδομένων ή την αξιολόγηση κώδικα T-SQL.

Για τη μετεγκατάσταση δεδομένων, χρησιμοποιήστε είτε το COPY INTO είτε το Fabric Data Factory για να προσλάβετε τα δεδομένα στην αποθήκη σας.

Μετεγκατάσταση με χρήση έργων βάσης δεδομένων SQL

Fabric αποθήκη δεδομένων υποστηρίζει την επέκταση SQL Database Projects που είναι διαθέσιμη μέσα στο Visual Studio Code.

Αυτή η επέκταση είναι διαθέσιμη στον κώδικα του Visual Studio. Αυτή η δυνατότητα επιτρέπει δυνατότητες για τον έλεγχο προέλευσης, τις δοκιμές βάσεων δεδομένων και την επικύρωση σχήματος.

Για περισσότερες πληροφορίες σχετικά με τον έλεγχο προέλευσης, ανατρέξτε στο θέμα Επισκόπηση ανάπτυξης και ανάπτυξης.

Χρησιμοποιήστε αυτήν την επιλογή εάν προτιμάτε να χρησιμοποιήσετε το SQL Database Project για την ανάπτυξή σας. Αυτή η επιλογή ενσωματώνει τις αποθηκευμένες διαδικασίες μετεγκατάστασης Fabric στο έργο βάσης δεδομένων SQL για να παρέχει μια απρόσκοπτη εμπειρία μετεγκατάστασης.

Ένα έργο βάσης δεδομένων SQL μπορεί να:

  • Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric αποθήκη δεδομένων.
  • Δημιουργήστε το σχήμα (DDL) στο Fabric αποθήκη δεδομένων.
  • Εξαγάγετε δεδομένα από τον αποκλειστικό χώρο συγκέντρωσης SQL Synapse στο ADLS.
  • Επισημάνετε τη μη υποστηριζόμενη σύνταξη για κωδικούς T-SQL (αποθηκευμένες διαδικασίες, συναρτήσεις, προβολές).

Για τη μετεγκατάσταση δεδομένων, χρησιμοποιήστε είτε το COPY INTO είτε το Data Factory για να απορροφήσετε τα δεδομένα στην αποθήκη σας.

Η ομάδα Microsoft Fabric CAT παρέχει δέσμες ενεργειών PowerShell για εξαγωγή, δημιουργία και ανάπτυξη σχήματος (DDL) και κώδικα βάσης δεδομένων (DML) μέσω ενός έργου βάσης δεδομένων SQL. Για μια αναλυτική παρουσίαση, ανατρέξτε στο θέμα microsoft/fabric-migration στο GitHub.

Για περισσότερες πληροφορίες σχετικά με τα SQL Database Projects, ανατρέξτε στα θέματα Γρήγορα αποτελέσματα με την επέκταση SQL Database Projects και Δημιουργία έργου βάσης δεδομένων από τη γραμμή εντολών.

Μετεγκατάσταση δεδομένων με CETAS

Η εντολή T-SQL CREATE EXTERNAL TABLE AS SELECT (CETAS) παρέχει την πιο οικονομική και βέλτιστη μέθοδο για την εξαγωγή δεδομένων από αποκλειστικούς χώρους συγκέντρωσης SQL του Azure Synapse στο Azure Data Lake Storage (ADLS) Gen2.

Τι μπορεί να κάνει ο CETAS:

  • Εξαγωγή δεδομένων στο ADLS.
    • Αυτή η επιλογή απαιτεί να δημιουργήσετε το σχήμα (DDL) στην αποθήκη σας πριν από την πρόσληψη των δεδομένων. Εξετάστε τις επιλογές σε αυτό το άρθρο για τη μετεγκατάσταση του σχήματος (DDL).

Τα πλεονεκτήματα αυτής της επιλογής είναι:

  • Η μετεγκατάσταση υποβάλλει μόνο ένα ερώτημα ανά πίνακα στον αποκλειστικό χώρο συγκέντρωσης SQL προέλευσης Synapse. Αυτό το ερώτημα δεν χρησιμοποιεί όλες τις υποδοχές συγχρονισμού και δεν αποκλείει το ETL ή τα ερωτήματα ταυτόχρονης παραγωγής πελατών.
  • Δεν χρειάζεται να κλιμακώσετε σε DWU6000, καθώς χρησιμοποιείται μόνο μία υποδοχή συγχρονισμού για κάθε τραπέζι, ώστε να μπορείτε να χρησιμοποιήσετε χαμηλότερα DWU.
  • Το απόσπασμα εκτελείται παράλληλα σε όλους τους υπολογιστικούς κόμβους και αυτή η δυνατότητα βελτιώνει την απόδοση.

Χρησιμοποιήστε το CETAS για να εξαγάγετε τα δεδομένα στο ADLS ως αρχεία Parquet. Τα αρχεία παρκέ παρέχουν το πλεονέκτημα της αποτελεσματικής αποθήκευσης δεδομένων με συμπίεση στηλών που απαιτεί λιγότερο εύρος ζώνης για να μετακινηθεί στο δίκτυο. Δεδομένου ότι το Fabric αποθηκεύει τα δεδομένα ως μορφή παρκέ Delta, η πρόσληψη δεδομένων είναι 2,5 φορές ταχύτερη σε σύγκριση με τη μορφή αρχείου κειμένου, καθώς δεν υπάρχει επιβάρυνση μετατροπής στη μορφή Delta κατά την πρόσληψη.

Για να αυξήσετε την ταχύτητα μετάδοσης CETAS:

  • Προσθέστε παράλληλες λειτουργίες CETAS, αυξάνοντας τη χρήση των κουλοχέρηδων ταυτόχρονης εκτέλεσης, επιτρέποντας όμως μεγαλύτερη ταχύτητα μετάδοσης.
  • Αλλάξτε την κλίμακα του DWU στον αποκλειστικό χώρο συγκέντρωσης SQL Synapse.

Μετεγκατάσταση μέσω βάσης δεδομένων

Αυτή η ενότητα περιγράφει την επιλογή dbt για πελάτες που χρησιμοποιούν ήδη dbt στο αποκλειστικό περιβάλλον χώρου συγκέντρωσης SQL Synapse.

Τι μπορεί να κάνει η dbt:

  • Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric αποθήκη δεδομένων.
  • Δημιουργήστε το σχήμα (DDL) στο Fabric αποθήκη δεδομένων.
  • Μετατρέψτε τον κώδικα βάσης δεδομένων (DML) σε σύνταξη Fabric.

Το πλαίσιο dbt δημιουργεί δυναμικά DDL και DML (δέσμες ενεργειών SQL) με κάθε εκτέλεση. Χρησιμοποιώντας αρχεία μοντέλου εκφρασμένα σε SELECT προτάσεις, το dbt μεταφράζει το DDL/DML άμεσα σε οποιαδήποτε πλατφόρμα προορισμού αλλάζοντας το προφίλ (συμβολοσειρά σύνδεσης) και τον τύπο του προσαρμογέα.

Το πλαίσιο dbt χρησιμοποιεί μια προσέγγιση πρώτου κώδικα. Μεταφέρετε τα δεδομένα χρησιμοποιώντας τις επιλογές που αναφέρονται σε αυτό το έγγραφο, όπως CETAS ή COPY/Data Factory.

Χρησιμοποιώντας τον προσαρμογέα dbt για Microsoft Fabric αποθήκη δεδομένων, μπορείτε να μετεγκαταστήσετε υπάρχοντα έργα dbt που στοχεύουν διαφορετικές πλατφόρμες, όπως Azure Synapse αποκλειστικές ομάδες SQL, Snowflake, Databricks, Google BigQuery ή Amazon Redshift σε μια αποθήκη με μια απλή αλλαγή διαμόρφωσης.

Για να ξεκινήσετε με ένα έργο dbt που στοχεύει Fabric αποθήκη δεδομένων, ανατρέξτε στο θέμα Εκμάθηση: Ρύθμιση dbt για Fabric αποθήκη δεδομένων. Αυτό το έγγραφο παραθέτει επίσης μια επιλογή μετακίνησης μεταξύ διαφορετικών αποθηκών και πλατφορμών.

Πρόσληψη δεδομένων σε Fabric αποθήκη δεδομένων

Για πρόσληψη σε Fabric αποθήκη δεδομένων, χρησιμοποιήστε COPY INTO ή Fabric Data Factory, ανάλογα με τις προτιμήσεις σας. Και οι δύο μέθοδοι είναι οι προτεινόμενες και οι καλύτερες επιλογές, καθώς έχουν ισοδύναμη απόδοση απόδοσης, δεδομένης της προϋπόθεσης ότι τα αρχεία έχουν ήδη εξαχθεί στο Azure Data Lake Storage (ADLS) Gen2.

Σχεδιάστε τη διαδικασία σας για μέγιστη απόδοση λαμβάνοντας υπόψη τους ακόλουθους παράγοντες:

  • Με Fabric, δεν υπάρχει διένεξη πόρων κατά τη φόρτωση πολλών πινάκων από το ADLS σε Fabric αποθήκη δεδομένων ταυτόχρονα. Κατά συνέπεια, δεν υπάρχει υποβάθμιση επιδόσεων κατά τη φόρτωση παράλληλων νημάτων. Η μέγιστη ταχύτητα απορρόφησης περιορίζεται μόνο από την υπολογιστική ισχύ των εκχωρημένων πόρων του Fabric.
  • Η διαχείριση φόρτου εργασίας Fabric παρέχει διαχωρισμό των πόρων που έχουν εκχωρηθεί για φόρτωση και ερώτημα. Δεν υπάρχει διένεξη πόρων ενώ τα ερωτήματα και η φόρτωση δεδομένων εκτελούνται ταυτόχρονα.

Σχετικό περιεχόμενο

  • Last updated on