Προσθήκη προέλευσης MYSQL Database CDC σε μια ροή συμβάντων (προεπισκόπηση)

Σημείωμα

Αυτό το άρθρο περιέχει αναφορές στον όρο SLAVE, έναν όρο που δεν χρησιμοποιεί πλέον η Microsoft. Όταν καταργηθεί ο όρος από το λογισμικό, θα τον καταργήσουμε από αυτό το άρθρο.

Αυτό το άρθρο εξηγεί πώς μπορείτε να προσθέσετε μια βάση δεδομένων Azure για την προέλευση καταγραφής δεδομένων αλλαγής MySQL σε μια ροή συμβάντων. Η σύνδεση προέλευσης αλλαγής δεδομένων azure MySQL (CDC) για τις ροές συμβάντων Microsoft Fabric σάς επιτρέπει να καταγράψετε ένα στιγμιότυπο των τρεχόντων δεδομένων σε μια βάση δεδομένων Azure για τη βάση δεδομένων MySQL.

Μπορείτε να καθορίσετε τους πίνακες για παρακολούθηση και η eventstream καταγράφει τυχόν μελλοντικές αλλαγές σε επίπεδο γραμμών στους πίνακες. Μόλις οι αλλαγές καταγράφονται στο eventstream, μπορείτε να επεξεργαστείτε αυτά τα δεδομένα CDC σε πραγματικό χρόνο και να το στείλετε σε διαφορετικούς προορισμούς στο Fabric για περαιτέρω επεξεργασία ή ανάλυση.

Σημαντικό

Οι βελτιωμένες δυνατότητες των ροών συμβάντων Fabric είναι αυτήν τη στιγμή σε προεπισκόπηση.

Σημείωμα

Αυτή η προέλευση δεν υποστηρίζεται στις ακόλουθες περιοχές των εκχωρημένων πόρων του χώρου εργασίας σας: Δυτικές Η.Π.Α.3, Δυτική Ελβετία.

Προαπαιτούμενα στοιχεία

• Πρόσβαση στον χώρο εργασίας Fabric Premium με δικαιώματα Συμβάλλοντα ή με υψηλότερα δικαιώματα.
• Πρόσβαση σε μια παρουσία της βάσης δεδομένων Azure για MySQL - Ευέλικτος διακομιστής.
• Η βάση δεδομένων Σας MySQL πρέπει να είναι προσβάσιμη στο κοινό και να μην βρίσκεται πίσω από ένα τείχος προστασίας ή να είναι ασφαλής σε ένα εικονικό δίκτυο.

Σημείωμα

Ο μέγιστος αριθμός των προελεύσεων και προορισμών για ένα eventstream είναι 11.

Ρύθμιση της DB MySQL

Η σύνδεση χρησιμοποιεί τη σύνδεση Debezium MySQL για την καταγραφή αλλαγών στη βάση δεδομένων Azure για τη βάση δεδομένων MySQL. Πρέπει να ορίσετε έναν χρήστη MySQL με κατάλληλα δικαιώματα σε όλες τις βάσεις δεδομένων, όπου η Σύνδεση μηνυμάτων μπορεί να καταγράψει τις αλλαγές από αυτή. Μπορείτε να χρησιμοποιήσετε απευθείας τον διαχειριστή για να συνδεθείτε στη βάση δεδομένων, η οποία συνήθως έχει τα κατάλληλα δικαιώματα ήδη, όπως παρακάτω. εναλλακτικά, μπορείτε να ακολουθήσετε τα παρακάτω βήματα για να δημιουργήσετε έναν νέο χρήστη

Σημείωμα

Ο νέος λογαριασμός χρήστη ή διαχειριστή και ο αντίστοιχος κωδικός πρόσβασης θα χρησιμοποιηθούν για σύνδεση στη βάση δεδομένων αργότερα στο Eventstream.

1. mysql Στη γραμμή εντολών, δημιουργήστε τον χρήστη MySQL:

   mysql> CREATE USER 'user'@'%' IDENTIFIED BY 'password';
   

2. Εκχωρήστε τα απαιτούμενα δικαιώματα στον χρήστη:

   mysql> GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'user'@'%';
   

3. Οριστικοποιήστε τα δικαιώματα του χρήστη:

   mysql> FLUSH PRIVILEGES;
   

Για να επιβεβαιώσετε αν ο χρήστης ή ο διαχειριστής έχει εκχωρήσει τα απαιτούμενα δικαιώματα, εκτελέστε την παρακάτω εντολή και, στη συνέχεια, θα πρέπει να εμφανιστούν τα απαιτούμενα δικαιώματα στο βήμα #2 παραπάνω.

SHOW GRANTS FOR user;

Για περισσότερες πληροφορίες σχετικά με την εκχώρηση των απαιτούμενων δικαιωμάτων στον χρήστη, ανατρέξτε στο θέμα Σύνδεση Debezium για MySQL :: Τεκμηρίωση του Debezium.

Ενεργοποίηση του binlog

Πρέπει να ενεργοποιήσετε τη δυαδική καταγραφή για αναπαραγωγή MySQL. Τα δυαδικά αρχεία καταγραφής καταγράφουν ενημερώσεις συναλλαγών για τα εργαλεία αναπαραγωγής για τη μετάδοση των αλλαγών.

1. Στη σελίδα της πύλης Azure για τη βάση δεδομένων Azure για τον λογαριασμό σας MySQL, επιλέξτε Παράμετροι διακομιστή στην περιοχή Ρυθμίσεις στην αριστερή περιήγηση.

2. Στη σελίδα Παράμετροι διακομιστή, ρυθμίστε τις παραμέτρους των παρακάτω ιδιοτήτων και, στη συνέχεια, επιλέξτε Αποθήκευση.

   • Για binlog_row_image, επιλέξτε πλήρης.

   • Για binlog_expire_logs_seconds, ορίστε τον αριθμό των δευτερολέπτων που αναμένει η υπηρεσία πριν από την εκκαθάριση του δυαδικού αρχείου καταγραφής. Ορίστε την τιμή σύμφωνα με τις ανάγκες του περιβάλλοντός σας, για παράδειγμα , 86400.

   

Προσθήκη Azure MySQL DB (CDC) ως προέλευσης

1. Στο Fabric Real-Time Intelligence, επιλέξτε Eventstream για να δημιουργήσετε μια νέα ροή συμβάντων. Βεβαιωθείτε ότι είναι ενεργοποιημένη η επιλογή Βελτιωμένες δυνατότητες (προεπισκόπηση ).

   

2. Στην επόμενη οθόνη, επιλέξτε Προσθήκη εξωτερικής προέλευσης.

   

Ρύθμιση παραμέτρων και σύνδεση στο Azure MySQL DB (CDC)

1. Στην οθόνη Επιλογή προέλευσης δεδομένων, επιλέξτε Azure MySQL DB (CDC) ως προέλευση δεδομένων.

   

2. Στην οθόνη Σύνδεση, στην περιοχή Σύνδεση, επιλέξτε Νέα σύνδεση για να δημιουργήσετε μια σύνδεση cloud.

3. Εισαγάγετε τις παρακάτω ρυθμίσεις σύνδεσης και τα διαπιστευτήρια σύνδεσης για τη βάση δεδομένων Azure MySQL και, στη συνέχεια, επιλέξτε Σύνδεση.

   • Διακομιστής: Η διεύθυνση διακομιστή της βάσης δεδομένων Azure για τη βάση δεδομένων MySQL, για παράδειγμα , my-mysql-server.mysql.database.azure.com.
   • Βάση δεδομένων: Το όνομα της βάσης δεδομένων, για παράδειγμα , my_database.
   • Όνομα σύνδεσης: Δημιουργείται αυτόματα ή μπορείτε να εισαγάγετε ένα νέο όνομα για αυτήν τη σύνδεση.
   • Όνομα χρήστη και κωδικός πρόσβασης: Εισαγάγετε τα διαπιστευτήρια για τη βάση δεδομένων Azure για τη βάση δεδομένων MySQL. Βεβαιωθείτε ότι έχετε εισαγάγει τον λογαριασμό διαχειριστή διακομιστή ή τον λογαριασμό χρήστη που δημιουργήθηκε με τα απαιτούμενα δικαιώματα που εκχωρήθηκαν.

   

4. Εισαγάγετε τις παρακάτω πληροφορίες για να ρυθμίσετε τις παραμέτρους της προέλευσης δεδομένων Azure MySQL DB CDC και, στη συνέχεια, επιλέξτε Επόμενο.

   • Table(s): Εισαγάγετε μια λίστα ονομάτων πινάκων που διαχωρίζονται με κόμματα. Κάθε όνομα πίνακα πρέπει να ακολουθεί τη μορφή <database name>.<table name>, για παράδειγμα , my_database.users.
   • Αναγνωριστικό διακομιστή: Εισαγάγετε μια μοναδική τιμή για κάθε διακομιστή και πρόγραμμα-πελάτη αναπαραγωγής στο σύμπλεγμα MySQL. Η προεπιλεγμένη τιμή είναι 1000.
   • Θύρα: Αφήστε την προεπιλεγμένη τιμή αμετάβλητη.

   

   Σημείωμα

   Ορίστε ένα διαφορετικό αναγνωριστικό διακομιστή για κάθε αναγνώστη. Κάθε πρόγραμμα-πελάτης βάσης δεδομένων MySQL για ανάγνωση του binlog πρέπει να έχει ένα μοναδικό αναγνωριστικό, το οποίο ονομάζεται Αναγνωριστικό διακομιστή. Ο MySQL Server χρησιμοποιεί αυτό το αναγνωριστικό για τη διατήρηση της σύνδεσης δικτύου και της θέσης binlog. Διαφορετικές εργασίες κοινής χρήσης του ίδιου αναγνωριστικού διακομιστή μπορεί να έχουν ως αποτέλεσμα την ανάγνωση από λάθος θέση binlog. Επομένως, συνιστάται να ορίσετε ένα διαφορετικό αναγνωριστικό διακομιστή για κάθε αναγνώστη.

5. Αφού εξετάσετε τη σύνοψη για την προέλευση Azure MySQL DB CDC, επιλέξτε Προσθήκη για να ολοκληρώσετε τη ρύθμιση παραμέτρων.

Βλέπετε την προέλευση Azure MySQL DB (CDC) να προστίθεται στη ροή συμβάντων σε λειτουργία επεξεργασίας.

Επιλέξτε Δημοσίευση για να δημοσιεύσετε τις αλλαγές και να ξεκινήσετε τη ροή δεδομένων του Azure MySQL DB CDC στην ροή συμβάντων.

Σχετικό περιεχόμενο

Άλλες συνδέσεις:

• Ροές δεδομένων Amazon Kinesis
• Azure Cosmos DB
• Κέντρα συμβάντων Azure
• Κέντρο Azure IoT
• Azure SQL Database Change Data Capture (CDC)
• Confluent Kafka
• Προσαρμοσμένο τελικό σημείο
• Google Cloud Pub/Sub
• PostgreSQL Database CDC
• Δείγμα δεδομένων
• Συμβάντα χώρου αποθήκευσης αντικειμένων blob Azure
• Συμβάν χώρου εργασίας Fabric