Μέθοδοι μετεγκατάστασης για SQL Server σε Fabric αποθήκη δεδομένων

Ισχύει για:✅ Αποθήκη στο Microsoft Fabric

Αυτό το άρθρο περιγράφει μεθόδους για τη μετεγκατάσταση αποθηκών δεδομένων σε SQL Server σε Microsoft Fabric αποθήκη δεδομένων.

Υπόδειξη

Για περισσότερες πληροφορίες σχετικά με τη στρατηγική και τον σχεδιασμό, ανατρέξτε στο θέμα Σχεδιασμός μετεγκατάστασης: SQL Server σε Fabric αποθήκη δεδομένων.

Χρησιμοποιήστε το Fabric Migration Assistant για αποθήκη δεδομένων για μια αυτοματοποιημένη εμπειρία μετεγκατάστασης από SQL Server. Το υπόλοιπο αυτού του άρθρου περιγράφει περισσότερα βήματα μη αυτόματης μετεγκατάστασης.

Ο παρακάτω πίνακας συνοψίζει τις μεθόδους για τη μετεγκατάσταση του σχήματος δεδομένων (DDL), του κώδικα βάσης δεδομένων (DML) και των δεδομένων. Κάθε επιλογή περιγράφεται παρακάτω σε αυτό το άρθρο.

Επιλογή	Μέθοδος	Τι κάνει	Δεξιότητα ή προτίμηση	Σενάριο
1	Εργοστάσιο δεδομένων	Μετατροπή σχήματος Εξαγωγή δεδομένων Κατάποση δεδομένων	Αγωγός Data Factory	Απλοποιημένο σχήμα και μετεγκατάσταση δεδομένων. Συνιστάται για πίνακες διαστάσεων.
2	Data Factory με κατάτμηση	Μετατροπή σχήματος Εξαγωγή δεδομένων Κατάποση δεδομένων	Αγωγός Data Factory	Παράλληλη μετεγκατάσταση για μεγάλους πίνακες γεγονότων.
3	Μετεγκατάσταση πρώτου σχήματος	Μετατροπή σχήματος	Αγωγός Data Factory	Μετεγκαταστήστε πρώτα το σχήμα και, στη συνέχεια, εξαγάγετε και απορροφήστε δεδομένα ξεχωριστά για μεγαλύτερο έλεγχο της ταχύτητας μετάδοσης.
4	Δέσμες ενεργειών μετεγκατάστασης SQL	Μετατροπή σχήματος Εξαγωγή δεδομένων Αξιολόγηση κώδικα	T-SQL	Χρησιμοποιήστε ένα IDE και δέσμες ενεργειών για λεπτομερή έλεγχο των εργασιών μετεγκατάστασης.
5	Έργα βάσεων δεδομένων SQL	Μετατροπή σχήματος Αξιολόγηση κώδικα	Έργο SQL	Χρησιμοποιήστε ένα έργο βάσης δεδομένων για έλεγχο, αξιολόγηση και ανάπτυξη προέλευσης.
6	dbt	Μετατροπή σχήματος Μετατροπή κώδικα βάσης δεδομένων	dbt	Χρησιμοποιήστε ξανά ένα υπάρχον έργο dbt αλλάζοντας τη διαμόρφωση προσαρμογέα και προορισμού.

Επιλογή φόρτου εργασίας για την αρχική μετεγκατάσταση

Όταν αποφασίσετε πού να ξεκινήσετε ένα έργο μετεγκατάστασης SQL Server Fabric αποθήκη δεδομένων, επιλέξτε μια περιοχή φόρτου εργασίας όπου μπορείτε να κάνετε τα εξής:

• Αποδείξτε τη βιωσιμότητα της μετάβασης σε Fabric αποθήκη δεδομένων παρέχοντας γρήγορα τα οφέλη του νέου περιβάλλοντος. Ξεκινήστε από μικρά και απλά και προετοιμαστείτε για πολλαπλές μικρές μετεγκαταστάσεις.
• Δώστε χρόνο στο τεχνικό προσωπικό σας να αποκτήσει σχετική εμπειρία με τις διαδικασίες και τα εργαλεία που χρησιμοποιούν για τη μετεγκατάσταση άλλων φόρτων εργασίας.
• Δημιουργήστε ένα πρότυπο για περαιτέρω μετεγκαταστάσεις που είναι συγκεκριμένο για το περιβάλλον, τα εργαλεία και τις διαδικασίες του SQL Server.

Υπόδειξη

Δημιουργήστε μια απογραφή των αντικειμένων που πρέπει να μετεγκατασταθούν και τεκμηριώστε τη διαδικασία μετεγκατάστασης από την αρχή μέχρι το τέλος, ώστε να μπορεί να επαναληφθεί για άλλες βάσεις δεδομένων ή φόρτους εργασίας.

Ο όγκος των δεδομένων σε μια αρχική μετεγκατάσταση θα πρέπει να είναι αρκετά μεγάλος ώστε να καταδεικνύονται οι δυνατότητες και τα οφέλη του Fabric αποθήκη δεδομένων, αλλά αρκετά μικρός ώστε να αποδεικνύεται γρήγορα η αξία. Ένα μέγεθος στην περιοχή 1-10 terabyte είναι τυπικό.

Μετεγκατάσταση με το Fabric Data Factory

Το Fabric Data Factory παρέχει ένα περιβάλλον εργασίας χαμηλού κώδικα που μπορεί να μετατρέψει DDL πίνακα και να μετεγκαταστήσει δεδομένα από τον SQL Server.

Το Fabric Data Factory μπορεί να εκτελέσει τις ακόλουθες εργασίες:

• Μετατροπή σχήματος (DDL) σε σύνταξη Fabric αποθήκη δεδομένων.
• Δημιουργήστε αντικείμενα σχήματος σε Fabric αποθήκη δεδομένων.
• Μετεγκατάσταση δεδομένων σε Fabric αποθήκη δεδομένων.

Επιλογή 1. Σχήμα και μετεγκατάσταση δεδομένων με τον Βοηθό αντιγραφής

Αυτή η μέθοδος χρησιμοποιεί το βοηθό αντιγραφής εργοστασιακών ρυθμίσεων δεδομένων για να συνδεθεί με τη βάση δεδομένων προέλευσης SQL Server, να μετατρέψει το DDL πίνακα σε σύνταξη Fabric και να αντιγράψει δεδομένα σε Fabric αποθήκη δεδομένων. Μπορείτε να επιλέξετε έναν ή περισσότερους πίνακες προέλευσης. Η διοχέτευση που δημιουργείται χρησιμοποιεί μια δραστηριότητα ForEach για να αντιγράψει τους επιλεγμένους πίνακες παράλληλα.

Όταν διαμορφώνετε τη λειτουργία αντιγραφής:

• Χρησιμοποιήστε τη σύνδεση SQL Server για τη σύνδεση προέλευσης.
• Περιορίστε τα παράλληλα αντίγραφα σε ένα επίπεδο που μπορεί να αντέξει η βάση δεδομένων προέλευσης και το δίκτυο.
• Παρακολουθήστε την CPU προέλευσης, τις εισόδους/εξόδους, τη χρήση του αρχείου καταγραφής συναλλαγών και τον λανθάνοντα χρόνο φόρτου εργασίας παραγωγής κατά την εξαγωγή.

Συνιστώμενη χρήση

Χρησιμοποιήστε το Βοηθό αντιγραφής για ένα απλό περιβάλλον εργασίας που μετατρέπει DDL και απορροφά επιλεγμένους πίνακες με μία λειτουργία. Αυτή η μέθοδος είναι κατάλληλη για πίνακες διαστάσεων και μικρότερους φόρτους εργασίας.

Για μεγάλους πίνακες, χρησιμοποιήστε την κατάτμηση για να αυξήσετε τον παραλληλισμό ανάγνωσης και εγγραφής.

Επιλογή 2. Μετεγκατάσταση δεδομένων με κατάτμηση

Για μεγάλους πίνακες δεδομένων, χρησιμοποιήστε μια Copy activity για κάθε πίνακα και ρυθμίστε τις παραμέτρους της κατάτμησης προέλευσης. Χρησιμοποιήστε φυσικές κατατμήσεις όταν είναι διαθέσιμες ή διαμορφώστε την κατάτμηση δυναμικού εύρους καθορίζοντας μια κατάλληλη αριθμητική στήλη ή στήλη ημερομηνίας και τις ελάχιστες και μέγιστες τιμές της.

Όταν χρησιμοποιείτε τη διαμέριση:

• Επιλέξτε μια στήλη διαμερίσματος που κατανέμει ομοιόμορφα τις γραμμές.
• Αποφύγετε τη δημιουργία περισσότερων ταυτόχρονων ερωτημάτων προέλευσης από αυτά που μπορεί να επεξεργαστεί ο SQL Server χωρίς να επηρεάσει τους φόρτους εργασίας παραγωγής.
• Ελέγξτε την περιοχή διαμερισμάτων και τις ρυθμίσεις παράλληλης αντιγραφής σε σχέση με έναν αντιπροσωπευτικό φόρτο εργασίας.
• Αυξήστε σταδιακά τον παραλληλισμό παρακολουθώντας την πηγή και τον προορισμό.

Συνιστώμενη χρήση

Χρησιμοποιήστε τον διαμερισμό Data Factory για μεγάλους πίνακες δεδομένων όταν η παράλληλη εξαγωγή βελτιώνει την ταχύτητα. Διαστασιολογήστε τον αριθμό παρτίδων και τα εύρη διαμερισμάτων σύμφωνα με τους πόρους της βάσης δεδομένων προέλευσης και τη χωρητικότητα του δικτύου σας.

Επιλογή 3. Μετεγκατάσταση πρώτου σχήματος

Για μεγαλύτερες βάσεις δεδομένων, διαχωρίστε τη μετεγκατάσταση σχήματος από τη μετεγκατάσταση δεδομένων:

1. Μετατρέψτε και δημιουργήστε σχήματα πινάκων σε Fabric αποθήκη δεδομένων.
2. Εξαγάγετε δεδομένα προέλευσης στο Azure Data Lake Storage (ADLS) Gen2.
3. Χρησιμοποιήστε το Data Factory ή την εντολή COPY INTO για να απορροφήσετε τα προετοιμασμένα δεδομένα στο Fabric αποθήκη δεδομένων.

Ο διαχωρισμός αυτών των φάσεων σάς επιτρέπει να συντονίσετε την εξαγωγή και την κατάποση ανεξάρτητα.

Μετεγκατάσταση σχήματος με το Data Factory

Μπορείτε να χρησιμοποιήσετε μια διοχέτευση Fabric για να μετεγκαταστήσετε σχήματα πίνακα από SQL Server σε Fabric αποθήκη δεδομένων χωρίς να αντιγράψετε γραμμές.

Διαμόρφωση παραμέτρων διοχέτευσης

Δημιουργήστε μια SchemaName παράμετρο που καθορίζει ποια σχήματα θα μετεγκατασταθούν. Χρησιμοποιήστε dbo το ως προεπιλογή ή εισαγάγετε μια λίστα οριοθετημένη με κόμματα, όπως 'dbo','sales'.

Ρύθμιση παραμέτρων της δραστηριότητας αναζήτησης

Δημιουργήστε μια δραστηριότητα αναζήτησης και ορίστε τη σύνδεσή της με τη βάση δεδομένων προέλευσης του SQL Server. Στην καρτέλα Ρυθμίσεις:

• Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Εξωτερικό.
• Επιλέξτε τη σύνδεση προέλευσης SQL Server.
• Ορίστε τη Χρήση ερωτήματος σε Ερώτημα.
• Προσθέστε ένα δυναμικό ερώτημα που επιστρέφει το σχήμα προέλευσης και τα ονόματα πινάκων.

Χρησιμοποιήστε την ακόλουθη έκφραση για να δημιουργήσετε το ερώτημα:

@concat('
SELECT s.name AS SchemaName,
t.name AS TableName
FROM sys.tables AS t
INNER JOIN sys.schemas AS s
ON t.type = ''U''
AND s.schema_id = t.schema_id
AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
')

Ρύθμιση παραμέτρων της δραστηριότητας ForEach

Στην καρτέλα Ρυθμίσεις για τη δραστηριότητα ForEach:

• Απενεργοποιήστε τη Διαδοχική για να επιτρέψετε την ταυτόχρονη εκτέλεση επαναλήψεων.
• Ορίστε το Πλήθος παρτίδας σε μια τιμή που μπορεί να διατηρήσει η βάση δεδομένων προέλευσης. Ξεκινήστε με μια συντηρητική τιμή και δοκιμάστε την.
• Ορίστε τα στοιχεία σε @activity('Get List of Source Objects').output.value.

Διαμόρφωση της δραστηριότητας Copy activity

Μέσα στη δραστηριότητα ForEach, προσθέστε μια δραστηριότητα Copy activity. Στην καρτέλα Προέλευση:

• Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Εξωτερικό.
• Επιλέξτε τη σύνδεση προέλευσης SQL Server.
• Ορίστε τη Χρήση ερωτήματος σε Ερώτημα.
• Ορίστε το Ερώτημα σε @concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName) έτσι ώστε να μετεγκαθίστανται μόνο τα μετα-δεδομένα πίνακα.

Στην καρτέλα Προορισμός:

• Ορίστε τον Τύπο χώρου αποθήκευσης δεδομένων σε Χώρος εργασίας.
• Ορίστε τον τύπο χώρου αποθήκευσης δεδομένων χώρου εργασίας σε αποθήκη δεδομένων και επιλέξτε την αποθήκη προορισμού.
• Ορίστε το σχήμα προορισμού σε @item().SchemaName.
• Ορίστε τον πίνακα προορισμού σε @item().TableName.

Αφού εκτελέσετε τη διοχέτευση, βεβαιωθείτε ότι Fabric αποθήκη δεδομένων περιέχει κάθε επιλεγμένο πίνακα με το αναμενόμενο σχήμα.

Μετεγκατάσταση με χρήση δεσμών ενεργειών SQL

Χρησιμοποιήστε δέσμες ενεργειών μετεγκατάστασης T-SQL και PowerShell όταν θέλετε λεπτομερή έλεγχο της μετατροπής σχήματος, της εξαγωγής δεδομένων και της αξιολόγησης κώδικα.

Τα σενάρια μετεγκατάστασης μπορούν:

• Μετατροπή σχήματος (DDL) σε σύνταξη Fabric αποθήκη δεδομένων.
• Δημιουργήστε αντικείμενα σχήματος σε Fabric αποθήκη δεδομένων.
• Εξαγωγή δεδομένων από τον SQL Server στο ADLS Gen2.
• Επισήμανση μη υποστηριζόμενης σύνταξης T-SQL σε αποθηκευμένες διαδικασίες, συναρτήσεις και προβολές.

Η ομάδα Microsoft Fabric CAT παρέχει δείγματα κώδικα μετεγκατάστασης στο αποθετήριο μετεγκατάστασης fabric.

Συνιστώμενη χρήση

Χρησιμοποιήστε δέσμες ενεργειών όταν είστε εξοικειωμένοι με την T-SQL, προτιμάτε ένα ολοκληρωμένο περιβάλλον ανάπτυξης και πρέπει να ελέγχετε μεμονωμένες εργασίες μετεγκατάστασης. Χρησιμοποιήστε COPY INTO ή Data Factory για να απορροφήσετε δεδομένα που έχουν εξαχθεί σε Fabric αποθήκη δεδομένων.

Μετεγκατάσταση με χρήση έργων βάσης δεδομένων SQL

Fabric αποθήκη δεδομένων υποστηρίζεται στην επέκταση SQL Database Projects για Visual Studio Code.

Ένα έργο βάσης δεδομένων SQL παρέχει έλεγχο προέλευσης, δοκιμή βάσης δεδομένων, επικύρωση σχήματος και δυνατότητες ανάπτυξης. Μπορεί να:

• Μετατροπή σχήματος (DDL) σε σύνταξη Fabric αποθήκη δεδομένων.
• Δημιουργήστε αντικείμενα σχήματος σε Fabric αποθήκη δεδομένων.
• Αξιολογήστε τη μη υποστηριζόμενη σύνταξη T-SQL σε αποθηκευμένες διαδικασίες, συναρτήσεις και προβολές.

Για μετεγκατάσταση δεδομένων, χρησιμοποιήστε το Data Factory για να αντιγράψετε απευθείας από τον SQL Server ή να εξαγάγετε δεδομένα στο ADLS Gen2 και να τα προσλάβετε με COPY INTO ή Data Factory.

Για μια αναλυτική παρουσίαση της χρήσης έργων βάσης δεδομένων SQL με δέσμες ενεργειών μετεγκατάστασης, ανατρέξτε στο αποθετήριο δεδομένων fabric-migration.

Για περισσότερες πληροφορίες, ανατρέξτε στα θέματα Γρήγορα αποτελέσματα με την επέκταση SQL Database Projects και Δημιουργία έργου βάσης δεδομένων από τη γραμμή εντολών.

Μετεγκατάσταση με dbt

Εάν το SQL Server data warehouse σας χρησιμοποιεί dbt, μπορείτε να χρησιμοποιήσετε τον προσαρμογέα dbt για Fabric αποθήκη δεδομένων για να μετατρέψετε το σχήμα και τον κώδικα βάσης δεδομένων αλλάζοντας το προφίλ προορισμού και τον προσαρμογέα.

Το πλαίσιο dbt δημιουργεί σενάρια DDL και DML από αρχεία μοντέλων. Πρέπει να μετεγκαταστήσετε τα δεδομένα ξεχωριστά, χρησιμοποιώντας το Data Factory ή κάποια άλλη επιλογή μετεγκατάστασης δεδομένων σε αυτό το άρθρο.

Για να ξεκινήσετε, ανατρέξτε στο θέμα Εκμάθηση: Ρύθμιση dbt για Fabric αποθήκη δεδομένων.

Πρόσληψη δεδομένων σε Fabric αποθήκη δεδομένων

Για προετοιμασμένα δεδομένα, χρησιμοποιήστε COPY INTO ή Fabric Data Factory για να απορροφήσετε αρχεία από το ADLS Gen2 στο Fabric αποθήκη δεδομένων. Λάβετε υπόψη τις ακόλουθες οδηγίες:

• Εξαγάγετε μεγάλους πίνακες παράλληλα όταν η βάση δεδομένων προέλευσης και το δίκτυο έχουν επαρκή χωρητικότητα.
• Προτιμήστε αρχεία Parquet για να μειώσετε την αποθήκευση και τη χρήση του δικτύου και να βελτιώσετε την αποτελεσματικότητα της απορρόφησης.
• Φορτώστε πολλούς πίνακες προορισμού ταυτόχρονα, όταν οι εκχωρημένοι πόροι Fabric μπορούν να υποστηρίξουν τον φόρτο εργασίας.
• Παρακολουθήστε τόσο την εξαγωγή πηγής όσο και την ικανότητα Fabric για να βρείτε τον βέλτιστο βαθμό παραλληλισμού.

Σχετικό περιεχόμενο

• Βοηθός μετεγκατάστασης Fabric για Αποθήκης δεδομένων
• Δημιουργία αποθήκης στο Microsoft Fabric
• Οδηγίες απόδοσης αποθήκη δεδομένων υφάσματος
• Ασφάλεια για αποθήκευση δεδομένων σε Microsoft Fabric
• Microsoft Fabric Επισκόπηση μετεγκατάστασης