Μέθοδοι μετεγκατάστασης για αποκλειστικούς χώρους SQL του Azure Synapse Analytics στην Αποθήκη δεδομένων Fabric

Ισχύει για:✅ Warehouse στο Microsoft Fabric

Αυτό το άρθρο περιγράφει τις μεθόδους μετεγκατάστασης αποθήκευσης δεδομένων σε αποκλειστικούς χώρους συγκέντρωσης SQL Azure Synapse Analytics στην Αποθήκη Microsoft Fabric.

Συμβουλή

Για περισσότερες πληροφορίες σχετικά με τη στρατηγική και τον σχεδιασμό της μετεγκατάστασής σας, ανατρέξτε στο θέμα Σχεδιασμός μετεγκατάστασης: Αποκλειστικοί χώροι συγκέντρωσης SQL Azure Synapse Analytics για την Αποθήκη δεδομένων Fabric.

Μια αυτοματοποιημένη εμπειρία μετεγκατάστασης από αποκλειστικούς χώρους συγκέντρωσης SQL του Azure Synapse Analytics είναι διαθέσιμη χρησιμοποιώντας το Fabric Migration Assistant for Data Warehouse. Το υπόλοιπο αυτού του άρθρου περιέχει περισσότερα βήματα μη αυτόματης μετεγκατάστασης.

Αυτός ο πίνακας συνοψίζει πληροφορίες για το σχήμα δεδομένων (DDL), τον κώδικα βάσης δεδομένων (DML) και τις μεθόδους μετεγκατάστασης δεδομένων. Θα επεκταθούμε περαιτέρω σε κάθε σενάριο παρακάτω σε αυτό το άρθρο, συνδεδεμένο στη στήλη Επιλογή .

Αριθμός επιλογής	Επιλογή	Τι κάνει	Δεξιότητα/Προτίμηση	Σενάριο
1	Εργοστάσιο δεδομένων	Μετατροπή σχήματος (DDL) Εξαγωγή δεδομένων Κατάποση δεδομένων	ADF/Διοχέτευση	Απλοποιημένα όλα σε ένα σχήμα (DDL) και μετεγκατάσταση δεδομένων. Συνιστάται για πίνακες διαστάσεων.
2	Data Factory με διαμέρισμα	Μετατροπή σχήματος (DDL) Εξαγωγή δεδομένων Κατάποση δεδομένων	ADF/Διοχέτευση	Με τη χρήση επιλογών διαμερισμού για την αύξηση της παράλληλης ανάγνωσης/εγγραφής, παρέχοντας δέκα φορές την ταχύτητα μετάδοσης έναντι της επιλογής 1, συνιστάται για πίνακες δεδομένων.
3	Data Factory με επιταχυνόμενο κώδικα	Μετατροπή σχήματος (DDL)	ADF/Διοχέτευση	Μετατρέψτε και μετεγκαταστήστε πρώτα το σχήμα (DDL) και, στη συνέχεια, χρησιμοποιήστε το CETAS για εξαγωγή και ΑΝΤΙΓΡΑΦΉ/Data Factory στην πρόσληψη δεδομένων για βέλτιστη συνολική απόδοση πρόσληψης.
4	Αποθηκευμένες διαδικασίες επιταχυνόμενος κώδικας	Μετατροπή σχήματος (DDL) Εξαγωγή δεδομένων Αξιολόγηση κώδικα	T-SQL	Ο χρήστης SQL χρησιμοποιεί το IDE με πιο λεπτομερή έλεγχο των εργασιών στις οποίες θέλει να εργαστεί. Χρησιμοποιήστε τη συνάρτηση COPY/Data Factory για την πρόσληψη δεδομένων.
5	Επέκταση έργου βάσης δεδομένων SQL για κώδικα του Visual Studio	Μετατροπή σχήματος (DDL) Εξαγωγή δεδομένων Αξιολόγηση κώδικα	ΈΡΓΟ SQL	SQL Database Project για ανάπτυξη με την ενοποίηση της επιλογής 4. Χρησιμοποιήστε την COPY ή την Data Factory για την πρόσληψη δεδομένων.
6	ΔΗΜΙΟΥΡΓΊΑ ΕΞΩΤΕΡΙΚΟΎ ΠΊΝΑΚΑ Ως ΕΠΙΛΟΓΉ (CETAS)	Εξαγωγή δεδομένων	T-SQL	Οικονομικά αποδοτική και υψηλής απόδοσης εξαγωγή δεδομένων στο Azure Data Lake Storage (ADLS) Gen2. Χρησιμοποιήστε τη συνάρτηση COPY/Data Factory για την πρόσληψη δεδομένων.
7	Μετεγκατάσταση με χρήση dbt	Μετατροπή σχήματος (DDL) μετατροπή κώδικα βάσης δεδομένων (DML)	dbt	Οι υπάρχοντες χρήστες βάσης δεδομένων μπορούν να χρησιμοποιήσουν τον προσαρμογέα dbt Fabric για να μετατρέψουν τα DDL και DML τους. Στη συνέχεια, πρέπει να μετεγκαταστήσετε δεδομένα χρησιμοποιώντας άλλες επιλογές σε αυτόν τον πίνακα.

Επιλογή φόρτου εργασίας για την αρχική μετεγκατάσταση

Όταν αποφασίζετε πού να ξεκινήσετε με τον χώρο συγκέντρωσης Synapse dedicated SQL στο έργο μετεγκατάστασης Αποθήκη Fabric, επιλέξτε μια περιοχή φόρτου εργασίας όπου μπορείτε να κάνετε τα εξής:

• Αποδείξτε τη βιωσιμότητα της μετεγκατάστασης στην Αποθήκη Fabric παρέχοντας γρήγορα τα οφέλη του νέου περιβάλλοντος. Ξεκινήστε με μικρές και απλές, προετοιμαστείτε για πολλές μικρές μετεγκαταστάσεις.
• Αφήστε χρόνο στο προσωπικό της εταιρείας σας για να αποκτήσει σχετική εμπειρία με τις διαδικασίες και τα εργαλεία που χρησιμοποιεί όταν πραγματοποιεί μετεγκατάσταση σε άλλες περιοχές.
• Δημιουργήστε ένα πρότυπο για περαιτέρω μετεγκαταστάσεις ειδικά για το περιβάλλον Synapse προέλευσης, καθώς και τα εργαλεία και τις διαδικασίες που υπάρχουν για να σας βοηθήσουν.

Συμβουλή

Δημιουργήστε μια απογραφή των αντικειμένων που πρέπει να μετεγκατασταθούν και καταγράψτε τη διαδικασία μετεγκατάστασης από την αρχή μέχρι το τέλος, ώστε να μπορεί να επαναληφθεί για άλλους αποκλειστικούς χώρους συγκέντρωσης SQL ή φόρτους εργασίας.

Ο όγκος των μετεγκατεσταμένων δεδομένων σε μια αρχική μετεγκατάσταση θα πρέπει να είναι αρκετά μεγάλος ώστε να δείχνει τις δυνατότητες και τα οφέλη του περιβάλλοντος Fabric Warehouse, αλλά όχι πολύ μεγάλος για να δείχνει γρήγορα την τιμή. Ένα μέγεθος στην περιοχή 1-10 terabyte είναι τυπικό.

Μετεγκατάσταση με το Fabric Data Factory

Σε αυτή την ενότητα, εξετάζουμε τις επιλογές χρήσης του Data Factory για την προσωπικότητα με λίγο κώδικα/καθόλου κώδικα που είναι εξοικειωμένες με το Azure Data Factory και τη Διοχέτευση Synapse. Αυτή η επιλογή μεταφοράς και απόθεσης περιβάλλοντος εργασίας χρήστη παρέχει ένα απλό βήμα για τη μετατροπή της DDL και τη μετεγκατάσταση των δεδομένων.

Το Fabric Data Factory μπορεί να εκτελέσει τις ακόλουθες εργασίες:

• Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric Warehouse.
• Δημιουργήστε το σχήμα (DDL) στην Αποθήκη Fabric.
• Μετεγκαταστήστε τα δεδομένα στην Αποθήκη Fabric.

Επιλογή 1. Σχήμα/Μετεγκατάσταση δεδομένων - Οδηγός αντιγραφής και δραστηριότητα αντιγραφής ForEach

Αυτή η μέθοδος χρησιμοποιεί τον Βοηθό αντιγραφής του Data Factory για να συνδεθεί στον αποκλειστικό χώρο συγκέντρωσης SQL προέλευσης, να μετατρέψει την αποκλειστική σύνταξη DDL του χώρου συγκέντρωσης SQL σε Fabric και να αντιγράψει δεδομένα στην Αποθήκη Fabric. Μπορείτε να επιλέξετε έναν ή περισσότερους πίνακες προορισμού (για TPC-DS σύνολο δεδομένων υπάρχουν 22 πίνακες). Δημιουργεί το ForEach για κυκλική μετάβαση στη λίστα πινάκων που έχουν επιλεγεί στο περιβάλλον εργασίας χρήστη και δημιουργεί 22 νήματα παράλληλης αντιγραφής δραστηριότητας.

• 22 Η SELECT ερωτημάτων (ένα για κάθε επιλεγμένο πίνακα) δημιουργήθηκε και εκτελέστηκε στον αποκλειστικό χώρο συγκέντρωσης SQL.
• Βεβαιωθείτε ότι έχετε την κατάλληλη DWU και κλάση πόρων για να επιτρέψετε την εκτέλεση των ερωτημάτων που δημιουργήθηκαν. Για αυτήν την περίπτωση, χρειάζεστε τουλάχιστον DWU1000 για staticrc10 να επιτρέψετε σε 32 ερωτήματα το πολύ τον χειρισμό 22 ερωτημάτων που υποβάλλονται.
• Η απευθείας αντιγραφή δεδομένων από το αποκλειστικό SQL pool στην Αποθήκη Fabric απαιτεί προεργασία. Η διαδικασία πρόσληψης αποτελείται από δύο φάσεις.
  • Η πρώτη φάση αποτελείται από την εξαγωγή των δεδομένων από τον αποκλειστικό χώρο συγκέντρωσης SQL στο ADLS και αναφέρεται ως προεργασία.
  • Η δεύτερη φάση αποτελείται από την πρόσληψη δεδομένων από την προεργασία στην Αποθήκη Fabric. Οι περισσότεροι χρόνοι πρόσληψης δεδομένων βρίσκονται στη φάση προεργασίας. Συνοπτικά, η προετοιμασία έχει τεράστιο αντίκτυπο στις επιδόσεις πρόσληψης.

Συνιστώμενη χρήση

Η χρήση του Οδηγού αντιγραφής για τη δημιουργία ενός ForEach παρέχει απλό περιβάλλον εργασίας χρήστη για τη μετατροπή DDL και την πρόσληψη των επιλεγμένων πινάκων από τον αποκλειστικό χώρο συγκέντρωσης SQL στην Αποθήκη Fabric σε ένα βήμα.

Ωστόσο, δεν είναι βέλτιστη με τη συνολική ταχύτητα μετάδοσης. Η απαίτηση για χρήση προεργασίας, η ανάγκη παραλληλισμού της ανάγνωσης και εγγραφής για το βήμα "Προέλευση σε στάδιο" είναι οι κύριοι παράγοντες για τον λανθάνοντα χρόνος επιδόσεων. Συνιστάται να χρησιμοποιήσετε αυτή την επιλογή μόνο για πίνακες διαστάσεων.

Επιλογή 2. DDL/Μετεγκατάσταση δεδομένων - Διοχέτευση με χρήση επιλογής διαμερίσματος

Για να αντιμετωπίσετε τη βελτίωση της ταχύτητας μετάδοσης για τη φόρτωση μεγαλύτερων πινάκων δεδομένων χρησιμοποιώντας τη διοχέτευση Fabric, συνιστάται να χρησιμοποιήσετε τη Δραστηριότητα αντιγραφής για κάθε πίνακα δεδομένων με επιλογή διαμερίσματος. Αυτό παρέχει τις καλύτερες επιδόσεις με αντιγραφή δραστηριότητας.

Έχετε την επιλογή να χρησιμοποιήσετε τον φυσικό διαμερισμό του πίνακα προέλευσης, εάν υπάρχει. Εάν ο πίνακας δεν διαθέτει φυσικό διαμερισμό, πρέπει να καθορίσετε τη στήλη διαμερίσματος και να καταχωρήσετε ελάχιστες/μέγιστες τιμές για να χρησιμοποιήσετε δυναμικό διαμερισμό. Στο παρακάτω στιγμιότυπο οθόνης, οι επιλογές προέλευσης διοχέτευσης καθορίζουν ένα δυναμικό εύρος διαμερισμάτων με βάση τη ws_sold_date_sk στήλη.

Παρόλο που η χρήση του διαμερίσματος μπορεί να αυξήσει την ταχύτητα μετάδοσης με τη φάση προεργασίας, υπάρχουν ζητήματα για να κάνετε τις κατάλληλες προσαρμογές:

• Ανάλογα με την περιοχή διαμερίσματος, μπορεί πιθανώς να χρησιμοποιεί όλες τις θέσεις ταυτόχρονης εκτέλεσης, καθώς μπορεί να δημιουργήσει πάνω από 128 ερωτήματα στον αποκλειστικό χώρο συγκέντρωσης SQL.
• Πρέπει να αλλάξετε την κλίμακα σε τουλάχιστον DWU6000 για να επιτρέψετε την εκτέλεση όλων των ερωτημάτων.
• Για παράδειγμα, για τον πίνακα TPC-DS web_sales , υποβλήθηκαν 163 ερωτήματα στον αποκλειστικό χώρο συγκέντρωσης SQL. Κατά τη DWU6000, εκτελέστηκαν 128 ερωτήματα, ενώ 35 ερωτήματα τοποθετήθηκαν σε ουρά.
• Το δυναμικό διαμέρισμα επιλέγει αυτόματα το διαμέρισμα περιοχής. Σε αυτή την περίπτωση, ένα εύρος 11 ημερών για κάθε ερώτημα SELECT που υποβλήθηκε στον αποκλειστικό χώρο συγκέντρωσης SQL. Για παράδειγμα:

  WHERE [ws_sold_date_sk] > '2451069' AND [ws_sold_date_sk] <= '2451080')
  ...
  WHERE [ws_sold_date_sk] > '2451333' AND [ws_sold_date_sk] <= '2451344')
  

Συνιστώμενη χρήση

Για τους πίνακες δεδομένων, συνιστάται η χρήση του Data Factory με επιλογή διαμερίσματος για την αύξηση της ταχύτητας μετάδοσης.

Ωστόσο, οι αυξημένες παράλληλες αναγνώσεις απαιτούν αποκλειστικό χώρο συγκέντρωσης SQL για κλιμάκωση σε υψηλότερο DWU για να επιτραπεί η εκτέλεση των ερωτημάτων εξαγωγής. Αξιοποιώντας τον διαμερισμό, ο ρυθμός βελτιώνεται δέκα φορές σε μια επιλογή χωρίς διαμέρισμα. Θα μπορούσατε να αυξήσετε τη DWU για να λάβετε επιπλέον ταχύτητα μετάδοσης μέσω υπολογιστικών πόρων, αλλά ο αποκλειστικός χώρος συγκέντρωσης SQL έχει μέγιστο όριο 128 ενεργών ερωτημάτων.

Για περισσότερες πληροφορίες σχετικά με την αντιστοίχιση Synapse DWU σε Fabric, ανατρέξτε στο θέμα Ιστολόγιο: Αντιστοίχιση αποκλειστικών χώρων συγκέντρωσης SQL Azure Synapse σε υπολογιστική αποθήκης δεδομένων Fabric.

Επιλογή 3. Μετεγκατάσταση DDL - Αντιγραφή οδηγού ForEach Copy Activity

Οι δύο προηγούμενες επιλογές είναι εξαιρετικές επιλογές μετεγκατάστασης δεδομένων για μικρότερες βάσεις δεδομένων. Ωστόσο, εάν χρειάζεστε υψηλότερη ταχύτητα μετάδοσης, προτείνουμε μια εναλλακτική επιλογή:

1. Εξαγάγετε τα δεδομένα από τον αποκλειστικό χώρο συγκέντρωσης SQL στο ADLS, με αποτέλεσμα να μην μπορείτε να αποκομίσετε έξοδα επιδόσεων σταδίου.
2. Χρησιμοποιήστε είτε το Data Factory είτε την εντολή COPY για την πρόσληψη των δεδομένων στην Αποθήκη Fabric.

Συνιστώμενη χρήση

Μπορείτε να συνεχίσετε να χρησιμοποιείτε το Data Factory για να μετατρέψετε το σχήμα (DDL). Χρησιμοποιώντας τον Οδηγό αντιγραφής, μπορείτε να επιλέξετε τον συγκεκριμένο πίνακα ή Όλους τους πίνακες. Βάσει σχεδίασης, αυτό μετεγκαταστεί το σχήμα και τα δεδομένα σε ένα βήμα, εξάγοντας το σχήμα χωρίς γραμμές, χρησιμοποιώντας τη συνθήκη false, TOP 0 στην πρόταση ερωτήματος.

Το ακόλουθο δείγμα κώδικα καλύπτει τη μετεγκατάσταση σχήματος (DDL) με το Data Factory.

Παράδειγμα κώδικα: Μετεγκατάσταση σχήματος (DDL) με το Data Factory

Μπορείτε να χρησιμοποιήσετε διοχετεύσεις Fabric για εύκολη μετεγκατάσταση μέσω DDL (σχήματα) για αντικείμενα πίνακα από οποιαδήποτε βάση δεδομένων SQL Azure προέλευσης ή αποκλειστικό χώρο συγκέντρωσης SQL. Αυτή η διοχέτευση μετεγκαθίσταται μέσω του σχήματος (DDL) για τους αποκλειστικούς πίνακες χώρου συγκέντρωσης SQL προέλευσης στο Fabric Warehouse.

Σχεδίαση διοχέτευσης: παράμετροι

Αυτή η διοχέτευση δέχεται μια παράμετρο SchemaName, η οποία σας επιτρέπει να καθορίσετε ποια σχήματα θα μετεγκατασταθούν. Το dbo σχήμα είναι η προεπιλογή.

Στο πεδίο Προεπιλεγμένη τιμή, εισαγάγετε μια λίστα διαχωρισμένων με κόμματα του σχήματος πίνακα που υποδεικνύει ποια σχήματα θα μετεγκαταστήσετε: 'dbo','tpch' για να παρέχετε δύο σχήματα dbo και tpch.

Σχεδίαση διοχέτευσης: Δραστηριότητα αναζήτησης

Δημιουργήστε μια Δραστηριότητα αναζήτησης και ορίστε τη Σύνδεση ώστε να παραπέμπει στη βάση δεδομένων προέλευσης.

Στην καρτέλα Ρυθμίσεις:

• Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Εξωτερικό.

• Η σύνδεση είναι ο αποκλειστικός χώρος συγκέντρωσης SQL Azure Synapse. Ο τύπος σύνδεσης είναι Azure Synapse Analytics.

• Η χρήση του ερωτήματος έχει οριστεί σε Ερώτημα.

• Το πεδίο Ερώτημα πρέπει να δημιουργηθεί χρησιμοποιώντας μια δυναμική παράσταση, επιτρέποντας στην παράμετρο SchemaName να χρησιμοποιηθεί σε ένα ερώτημα που επιστρέφει μια λίστα πινάκων προέλευσης προορισμού. Επιλέξτε Ερώτημα και, στη συνέχεια, επιλέξτε Προσθήκη δυναμικού περιεχομένου.

  Αυτή η παράσταση εντός της δραστηριότητας LookUp δημιουργεί μια πρόταση SQL για την υποβολή ερωτήματος στις προβολές συστήματος για την ανάκτηση μιας λίστας σχημάτων και πινάκων. Αναφέρεται στην παράμετρο SchemaName για να επιτρέψει το φιλτράρισμα σε σχήματα SQL. Το αποτέλεσμα αυτού είναι ένας πίνακας σχήματος SQL και πίνακες που θα χρησιμοποιηθούν ως δεδομένα εισόδου στη Δραστηριότητα ForEach.

  Χρησιμοποιήστε τον παρακάτω κώδικα για να επιστρέψετε μια λίστα με όλους τους πίνακες χρηστών με το όνομα σχήματος.

  @concat('
  SELECT s.name AS SchemaName,
  t.name  AS TableName
  FROM sys.tables AS t
  INNER JOIN sys.schemas AS s
  ON t.type = ''U''
  AND s.schema_id = t.schema_id
  AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
  ')
  

Σχεδίαση διοχέτευσης: Βρόχος ForEach

Για το βρόχο ForEach, ρυθμίστε τις παραμέτρους των παρακάτω επιλογών στην καρτέλα Ρυθμίσεις:

• Απενεργοποιήστε τη Διαδοχική για να επιτρέψετε την ταυτόχρονη εκτέλεση πολλαπλών διαδοχικών γραμμών.
• Ορίστε το Batch count σε 50, περιορίζοντας τον μέγιστο αριθμό ταυτόχρονων επαναλήψεων.
• Το πεδίο Στοιχεία πρέπει να χρησιμοποιεί δυναμικό περιεχόμενο για αναφορά στην έξοδο της δραστηριότητας LookUp. Χρησιμοποιήστε το ακόλουθο τμήμα κώδικα: @activity('Get List of Source Objects').output.value

Σχεδίαση διοχέτευσης: Αντιγραφή δραστηριότητας εντός του βρόχου ForEach

Μέσα στη Δραστηριότητα ForEach, προσθέστε ένα Αντίγραφο δραστηριότητας. Αυτή η μέθοδος χρησιμοποιεί τη γλώσσα δυναμικής παράστασης μέσα σε διοχετεύσεις για να δημιουργήσει μια SELECT TOP 0 * FROM <TABLE> μετεγκατάσταση μόνο του σχήματος χωρίς δεδομένα σε μια αποθήκη Fabric.

Στην καρτέλα Προέλευση:

• Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Εξωτερικό.
• Η σύνδεση είναι ο αποκλειστικός χώρος συγκέντρωσης SQL Azure Synapse. Ο τύπος σύνδεσης είναι Azure Synapse Analytics.
• Ορίστε τη Χρήση ερωτήματος σε Ερώτημα.
• Στο πεδίο Ερώτημα, επικολλήστε το ερώτημα δυναμικού περιεχομένου και χρησιμοποιήστε αυτή την παράσταση που θα επιστρέψει μηδέν γραμμές, μόνο το σχήμα πίνακα:@concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName)

Στην καρτέλα Προορισμός:

• Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Χώρος εργασίας.
• Ο τύπος χώρου αποθήκευσης δεδομένων χώρου εργασίας είναι Αποθήκη δεδομένων και η Αποθήκη δεδομένων ορίζεται στην Αποθήκη Fabric.
• Το σχήμα του πίνακα προορισμού και το όνομα πίνακα ορίζονται με χρήση δυναμικού περιεχομένου.
  • Το σχήμα αναφέρεται στο πεδίο της τρέχουσας επανάληψης, SchemaName με το τμήμα κώδικα: @item().SchemaName
  • Ο Πίνακας κάνει αναφορά στο TableName με το τμήμα κώδικα: @item().TableName

Σχεδίαση διοχέτευσης: Νιπτήρας

Στο πεδίο Sink, τοποθετήστε τον δείκτη του ποντικιού στην Αποθήκη σας και αναφέρετε το Σχήμα προέλευσης και το Όνομα πίνακα.

Αφού εκτελέσετε αυτήν τη διοχέτευση, θα δείτε την Αποθήκη δεδομένων σας συμπληρωμένη με κάθε πίνακα στην προέλευσή σας, με το κατάλληλο σχήμα.

Μετεγκατάσταση με χρήση αποθηκευμένων διαδικασιών στον αποκλειστικό χώρο συγκέντρωσης SQL Synapse

Αυτή η επιλογή χρησιμοποιεί αποθηκευμένες διαδικασίες για την εκτέλεση της Μετεγκατάστασης Fabric.

Μπορείτε να λάβετε τα δείγματα κώδικα στη μετεγκατάσταση Microsoft/fabric σε GitHub.com. Αυτός ο κώδικας χρησιμοποιείται από κοινού ως ανοιχτός κώδικας, επομένως μην διστάσετε να συμβάλλετε στη συνεργασία και την βοήθεια της κοινότητας.

Τι μπορούν να κάνουν οι αποθηκευμένες διαδικασίες μετεγκατάστασης:

• Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric Warehouse.
• Δημιουργήστε το σχήμα (DDL) στην Αποθήκη Fabric.
• Εξαγάγετε δεδομένα από τον αποκλειστικό χώρο συγκέντρωσης SQL Synapse στο ADLS.
• Επισημάνετε τη μη υποστηριζόμενη σύνταξη Fabric για κωδικούς T-SQL (αποθηκευμένες διαδικασίες, συναρτήσεις, προβολές).

Συνιστώμενη χρήση

Αυτή είναι μια εξαιρετική επιλογή για όσους:

• Είναι εξοικειωμένοι με το T-SQL.
• Θέλετε να χρησιμοποιήσετε ένα ενσωματωμένο περιβάλλον ανάπτυξης, όπως το SQL Server Management Studio (SSMS).
• Θέλετε πιο λεπτομερή έλεγχο των εργασιών στις οποίες θέλουν να εργαστούν.

Μπορείτε να εκτελέσετε τη συγκεκριμένη αποθηκευμένη διαδικασία για τη μετατροπή σχήματος (DDL), την εξαγωγή δεδομένων ή την αξιολόγηση κώδικα T-SQL.

Για τη μετεγκατάσταση δεδομένων, πρέπει να χρησιμοποιήσετε είτε ΤΗΝ ΑΝΤΙΓΡΑΦΗ ΣΤΟ, είτε το Data Factory για την πρόσληψη των δεδομένων στην Αποθήκη Fabric.

Μετεγκατάσταση με χρήση έργων βάσης δεδομένων SQL

Το Microsoft Fabric Data Warehouse υποστηρίζεται στην επέκταση SQL Database Projects που είναι διαθέσιμη μέσα στον κώδικα του Visual Studio.

Αυτή η επέκταση είναι διαθέσιμη στον κώδικα του Visual Studio. Αυτή η δυνατότητα επιτρέπει δυνατότητες για τον έλεγχο προέλευσης, τις δοκιμές βάσεων δεδομένων και την επικύρωση σχήματος.

Για περισσότερες πληροφορίες σχετικά με τον έλεγχο προέλευσης για αποθήκες στο Microsoft Fabric, συμπεριλαμβανομένων των διοχετεύσεων ενοποίησης και ανάπτυξης Git, ανατρέξτε στο θέμα Source Control με το Warehouse.

Συνιστώμενη χρήση

Αυτή είναι μια εξαιρετική επιλογή για εκείνους που προτιμούν να χρησιμοποιούν το έργο βάσης δεδομένων SQL για την ανάπτυξή τους. Αυτή η επιλογή ουσιαστικά ενσωμάτωνε τις αποθηκευμένες διαδικασίες μετεγκατάστασης Fabric στο έργο βάσης δεδομένων SQL για την παροχή μιας απρόσκοπτης εμπειρίας μετεγκατάστασης.

Ένα έργο βάσης δεδομένων SQL μπορεί να:

• Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric Warehouse.
• Δημιουργήστε το σχήμα (DDL) στην Αποθήκη Fabric.
• Εξαγάγετε δεδομένα από τον αποκλειστικό χώρο συγκέντρωσης SQL Synapse στο ADLS.
• Επισημάνετε τη μη υποστηριζόμενη σύνταξη για κωδικούς T-SQL (αποθηκευμένες διαδικασίες, συναρτήσεις, προβολές).

Για τη μετεγκατάσταση δεδομένων, θα χρησιμοποιήσετε είτε ΤΗΝ COPY INTO, είτε το Data Factory για την πρόσληψη των δεδομένων στην Αποθήκη Fabric.

Η ομάδα Microsoft Fabric CAT παρέχει ένα σύνολο δεσμών ενεργειών PowerShell για το χειρισμό της εξαγωγής, της δημιουργίας και της ανάπτυξης σχήματος (DDL) και κώδικα βάσης δεδομένων (DML) μέσω ενός έργου βάσης δεδομένων SQL. Για μια αναλυτική παρουσίαση της χρήσης του έργου βάσης δεδομένων SQL με τις χρήσιμες δέσμες ενεργειών του PowerShell, ανατρέξτε στο θέμα μετεγκατάσταση microsoft/fabric σε GitHub.com.

Για περισσότερες πληροφορίες σχετικά με τα έργα βάσης δεδομένων SQL, ανατρέξτε στο θέμα Γρήγορα αποτελέσματα με την επέκταση Έργα βάσης δεδομένων SQL και Δημιουργία και Δημοσίευση ενός έργου.

Μετεγκατάσταση δεδομένων με CETAS

Η εντολή T-SQL CREATE EXTERNAL TABLE AS SELECT (CETAS) παρέχει την πιο οικονομική και βέλτιστη μέθοδο για την εξαγωγή δεδομένων από αποκλειστικούς χώρους συγκέντρωσης SQL Synapse στο Azure Data Lake Storage (ADLS) Gen2.

Τι μπορεί να κάνει ο CETAS:

• Εξαγωγή δεδομένων στο ADLS.
  • Αυτή η επιλογή απαιτεί από τους χρήστες να δημιουργήσουν το σχήμα (DDL) στην Αποθήκη Fabric πριν από την πρόσληψη των δεδομένων. Εξετάστε τις επιλογές σε αυτό το άρθρο για τη μετεγκατάσταση του σχήματος (DDL).

Τα πλεονεκτήματα αυτής της επιλογής είναι:

• Μόνο ένα ερώτημα ανά πίνακα υποβάλλεται στον αποκλειστικό χώρο συγκέντρωσης SQL Synapse προέλευσης. Αυτό δεν θα χρησιμοποιήσει όλες τις θέσεις ταυτόχρονης εκτέλεσης και, επομένως, δεν θα αποκλείει την ταυτόχρονη παραγωγή ETL/ερωτημάτων πελατών.
• Δεν απαιτείται κλιμάκωση σε DWU6000, καθώς χρησιμοποιείται μόνο μία υποδοχή ταυτόχρονης εκτέλεσης για κάθε πίνακα, ώστε οι πελάτες να μπορούν να χρησιμοποιήσουν χαμηλότερα DWUs.
• Το εξαγωγή εκτελείται παράλληλα σε όλους τους κόμβους υπολογιστικής λειτουργίας και αυτό είναι το κλειδί για τη βελτίωση των επιδόσεων.

Συνιστώμενη χρήση

Χρησιμοποιήστε το CETAS για να εξαγάγετε τα δεδομένα στο ADLS ως αρχεία Parquet. Τα αρχεία Parquet παρέχουν το πλεονέκτημα της αποτελεσματικής αποθήκευσης δεδομένων με συμπίεση σε στήλες που θα χρειαστούν λιγότερο εύρος ζώνης για να μετακινηθούν στο δίκτυο. Επιπλέον, δεδομένου ότι το Fabric αποθήκευσε τα δεδομένα ως μορφή parquet Delta, η πρόσληψη δεδομένων θα είναι 2,5x ταχύτερη σε σύγκριση με τη μορφή αρχείου κειμένου, καθώς δεν υπάρχει μετατροπή στη επιβάρυνση μορφής Delta κατά την πρόσληψη.

Για να αυξήσετε την ταχύτητα μετάδοσης CETAS:

• Προσθέστε παράλληλες λειτουργίες CETAS, αυξάνοντας τη χρήση των κουλοχέρηδων ταυτόχρονης εκτέλεσης, επιτρέποντας όμως μεγαλύτερη ταχύτητα μετάδοσης.
• Αλλάξτε την κλίμακα του DWU στον αποκλειστικό χώρο συγκέντρωσης SQL Synapse.

Μετεγκατάσταση μέσω βάσης δεδομένων

Σε αυτή την ενότητα, θα συζητήσουμε για την επιλογή dbt για τους πελάτες που χρησιμοποιούν ήδη τη βάση δεδομένων στο τρέχον περιβάλλον του αποκλειστικού χώρου συγκέντρωσης SQL Synapse.

Τι μπορεί να κάνει η dbt:

• Μετατρέψτε το σχήμα (DDL) σε σύνταξη Fabric Warehouse.
• Δημιουργήστε το σχήμα (DDL) στην Αποθήκη Fabric.
• Μετατρέψτε τον κώδικα βάσης δεδομένων (DML) σε σύνταξη Fabric.

Το πλαίσιο dbt δημιουργεί δυναμικά DDL και DML (δέσμες ενεργειών SQL) με κάθε εκτέλεση. Με τα αρχεία μοντέλου εκφρασμένα σε προτάσεις SELECT, το DDL/DML μπορεί να μεταφραστεί αμέσως σε οποιαδήποτε πλατφόρμα προορισμού, αλλάζοντας το προφίλ (συμβολοσειρά σύνδεσης) και τον τύπο του προσαρμογέα.

Συνιστώμενη χρήση

Το πλαίσιο dbt είναι μια προσέγγιση που βασίζεται στον κώδικα. Τα δεδομένα πρέπει να μετεγκατασταθούν χρησιμοποιώντας επιλογές που αναφέρονται σε αυτό το έγγραφο, όπως CETAS ή COPY/Data Factory.

Ο προσαρμογέας dbt για την Αποθήκη δεδομένων Microsoft Fabric επιτρέπει στα υπάρχοντα έργα dbt που στόχευαν διαφορετικές πλατφόρμες, όπως οι αποκλειστικοί χώροι συγκέντρωσης Synapse, Snowflake, Databricks, Google Big Query ή Amazon Redshift, να μετεγκατασταθούν σε μια Αποθήκη Fabric με μια απλή αλλαγή ρύθμισης παραμέτρων.

Για να ξεκινήσετε με ένα έργο dbt που στοχεύει αποθήκη Fabric, ανατρέξτε στο εκπαιδευτικό βοήθημα: Ρύθμιση dbt για Fabric Data Warehouse. Αυτό το έγγραφο παραθέτει επίσης μια επιλογή για μετακίνηση μεταξύ διαφορετικών αποθηκών/πλατφορμών.

Πρόσληψη δεδομένων στην Αποθήκη Fabric

Για την πρόσληψη στο Fabric Warehouse, χρησιμοποιήστε ΤΗΝ COPY INTO ή το Fabric Data Factory, ανάλογα με τις προτιμήσεις σας. Και οι δύο μέθοδοι είναι οι προτεινόμενες και επιλογές με τις καλύτερες επιδόσεις, καθώς έχουν ισοδύναμη ταχύτητα μετάδοσης επιδόσεων, δεδομένης της προϋπόθεσης ότι τα αρχεία έχουν ήδη εξαχθεί στο Azure Data Lake Storage (ADLS) Gen2.

Διάφοροι παράγοντες που πρέπει να λάβετε υπόψη, ώστε να μπορείτε να σχεδιάσετε τη διαδικασία σας για μέγιστες επιδόσεις:

• Με το Fabric, δεν υπάρχει κάποιος ισχυρισμός για πόρους κατά τη φόρτωση πολλών πινάκων από το ADLS στην Αποθήκη Fabric ταυτόχρονα. Κατά συνέπεια, δεν υπάρχει υποβάθμιση επιδόσεων κατά τη φόρτωση παράλληλων νημάτων. Η μέγιστη ταχύτητα πρόσληψης θα περιορίζεται μόνο από την υπολογιστική ισχύ των εκχωρημένων πόρων Fabric.
• Η διαχείριση φόρτου εργασίας Fabric παρέχει διαχωρισμό των πόρων που έχουν εκχωρηθεί για φόρτωση και ερώτημα. Δεν υπάρχει ισχυρισμός για τους πόρους, ενώ τα ερωτήματα και η φόρτωση δεδομένων εκτελούνται ταυτόχρονα.

Σχετικό περιεχόμενο

• Βοηθός μετεγκατάστασης Fabric για Αποθήκης δεδομένων
• Δημιουργία αποθήκης στο Microsoft Fabric
• Οδηγίες απόδοσης αποθήκης δεδομένων Fabric
• Ασφάλεια για την αποθήκευση δεδομένων στο Microsoft Fabric
• Ιστολόγιο: Αντιστοίχιση αποκλειστικών χώρων συγκέντρωσης SQL Azure Synapse σε υπολογιστική αποθήκης δεδομένων Fabric
• Επισκόπηση μετεγκατάστασης Microsoft Fabric