Εκμάθηση: Ρύθμιση κατοπτρισμού για το Google BigQuery (Προεπισκόπηση)

Σε αυτό το πρόγραμμα εκμάθησης, θα ρυθμίσετε τις παραμέτρους μιας βάσης δεδομένων κατοπτρισμού Fabric από το Google BigQuery.

Σημείωση

Παρόλο που αυτό το παράδειγμα αφορά συγκεκριμένα το BigQuery, μπορείτε να βρείτε λεπτομερή βήματα για τη ρύθμιση παραμέτρων του κατοπτρισμού για άλλες προελεύσεις δεδομένων, όπως η βάση δεδομένων Azure SQL Database ή το Azure Cosmos DB. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τι είναι ο κατοπτρισμός στο Fabric;

Προαπαιτούμενα

  • Δημιουργήστε ή χρησιμοποιήστε μια υπάρχουσα αποθήκη BigQuery. Μπορείτε να συνδεθείτε σε οποιαδήποτε έκδοση της παρουσίας του BigQuery σε οποιοδήποτε cloud, συμπεριλαμβανομένου του Microsoft Azure.
  • Χρειάζεστε μια υπάρχουσα χωρητικότητα Fabric. Εάν δεν το κάνετε, ξεκινήστε μια δοκιμή Fabric.

Απαιτήσεις δικαιωμάτων

Χρειάζεστε δικαιώματα χρήστη για τη βάση δεδομένων του BigQuery που περιέχει τα ακόλουθα δικαιώματα:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Ανάκτηση μεταδεδομένων πίνακα και διαμόρφωση ιστορικού αλλαγών (απαιτείται)

Οι ρόλοι BigQueryAdmin και StorageAdmin θα πρέπει να περιλαμβάνουν αυτά τα δικαιώματα. Τα ακόλουθα δικαιώματα απαιτούνται για να προσδιοριστεί εάν είναι ενεργοποιημένο το ιστορικό αλλαγών και για να ανακτηθούν πληροφορίες πρωτεύοντος κλειδιού ή σύνθετου κλειδιού.

Στον χρήστη πρέπει να έχει εκχωρηθεί τουλάχιστον ένας ρόλος που να επιτρέπει την πρόσβαση στην παρουσία του BigQuery. Ελέγξτε τις απαιτήσεις δικτύωσης, για να αποκτήσετε πρόσβαση στην πηγή δεδομένων του BigQuery. Εάν χρησιμοποιείτε τον κατοπτρισμό για το Google BigQuery για πύλη δεδομένων εσωτερικής εγκατάστασης (OPDG), πρέπει να διαθέτετε έκδοση OPDG 3000.286.6 ή μεταγενέστερη, για να ενεργοποιήσετε τον επιτυχή κατοπτρισμό.

Απαιτούμενα δικαιώματα

Για να δημιουργήσετε μη αυτόματα κάδους (και να παραιτηθείτε από την ανάγκη εκχώρησης του δικαιώματος storage.buckets.create ), μπορείτε να χρησιμοποιήσετε:

  • bigquery.tables.get
  • bigquery.tables.list
  • bigquery.routines.get
  • bigquery.routines.list
  1. Μεταβείτε στο Cloud Storage στην Κονσόλα Google και επιλέξτε Buckets.
  2. Επιλέξτε Δημιουργία και ονομάστε τον κάδο με αυτήν τη μορφή (διάκριση πεζών-κεφαλαίων): <projectid>_fabric_staging_bucket
  3. Βεβαιωθείτε ότι η θέση/περιοχή του κάδου είναι ίδια με το GCP Project που σκοπεύετε να αντικατοπτρίσετε.
  4. Επιλέξτε Δημιουργία. Το σύστημα κατοπτρισμού θα εντοπίσει αυτόματα τον κάδο.

Ενδέχεται να απαιτούνται περισσότερα δικαιώματα ανάλογα με την περίπτωση χρήσης σας. Τα ελάχιστα απαιτούμενα δικαιώματα αφορούν την εργασία με το ιστορικό αλλαγών και το χειρισμό πινάκων διαφόρων μεγεθών (πίνακες μεγαλύτεροι από 10 GB). Ακόμα και αν δεν εργάζεστε με πίνακες μεγαλύτερους από 10 GB, ενεργοποιήστε όλα αυτά τα ελάχιστα δικαιώματα για να επιτρέψετε την επιτυχία της χρήσης του κατοπτρισμού.

Ανάκτηση ιστορικού αλλαγών και δεδομένων πίνακα (απαιτείται)

Για περισσότερες πληροφορίες σχετικά με τα δικαιώματα, ανατρέξτε στην τεκμηρίωση του Google BigQuery σχετικά με τα απαιτούμενα δικαιώματα για δεδομένα ροής, τα απαιτούμενα δικαιώματα για πρόσβαση στο ιστορικό αλλαγών και τα απαιτούμενα δικαιώματα για τη σύνταξη αποτελεσμάτων ερωτημάτων

Τα ακόλουθα δικαιώματα απαιτούνται για την ανάγνωση του ιστορικού αλλαγών και των δεδομένων πίνακα.

Σημαντικό

Οποιαδήποτε λεπτομερής ασφάλεια που έχει δημιουργηθεί στην αποθήκη προέλευσης του BigQuery πρέπει να διαμορφωθεί εκ νέου στη βάση δεδομένων κατοπτρισμού στο Microsoft Fabric. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Λεπτομερή δικαιώματα SQL στο Microsoft Fabric.

Απαιτούμενα δικαιώματα

  • bigquery.tables.getData
  • bigquery.jobs.create
  • bigquery.jobs.get
  • bigquery.jobs.list
  • bigquery.readsessions.create
  • bigquery.readsessions.getData

Ενεργοποίηση δυνατοτήτων ιστορικού αλλαγών (απαιτείται)

Το ιστορικό αλλαγών πρέπει να είναι ενεργοποιημένο στους πίνακες προέλευσης του BigQuery, χρησιμοποιώντας μία από τις ακόλουθες επιλογές.

Επιλογή 1: Ενεργοποίηση άδειας

  • bigquery.tables.update

Επιτρέπει την ενεργοποίηση του ιστορικού αλλαγών σε πίνακες.

Επιλογή 2: Ενεργοποίηση επιλογής πίνακα στο GCP

Βεβαιωθείτε ότι η ακόλουθη επιλογή πίνακα έχει οριστεί σε TRUE:

  • enable_change_history

Εξαγωγή δεδομένων στο Google Cloud Storage για σταδιοποίηση και αντιγραφή στο OneLake (απαιτείται)

Απαιτούνται τα ακόλουθα δικαιώματα για την εξαγωγή δεδομένων BigQuery στο Google Cloud Storage για προεργασία και την αντιγραφή τους στο OneLake.

Απαιτούμενα δικαιώματα

  • bigquery.tables.export
  • storage.objects.create
  • storage.objects.list
  • storage.buckets.get
  • iam.serviceAccounts.signBlob

Κάδος αποθήκευσης Google Cloud για σταδιοποίηση (απαιτείται)

Απαιτείται ένας κάδος Google Cloud Storage για την εξαγωγή δεδομένων πίνακα BigQuery για προεργασία.

Επιλογές δημιουργίας κάδου

Χρησιμοποιήστε μία από τις ακόλουθες προσεγγίσεις:

Επιλογή 1: Να επιτρέπεται η αυτόματη δημιουργία κάδου

Εκχωρήστε το ακόλουθο δικαίωμα:

  • storage.buckets.create

Επιλογή 2: Μη αυτόματη δημιουργία του κάδου σταδιοποίησης

Δημιουργήστε έναν κάδο με την ακόλουθη σύμβαση ονομασίας: <your_project_id_in_lowercase>_fabric_staging_bucket

Απαιτήσεις κάδου

  • Ο κάδος πρέπει να βρίσκεται στην ίδια τοποθεσία/περιοχή με το σύνολο δεδομένων του BigQuery.
  • Το σύστημα Mirroring θα εντοπίσει αυτόματα τον κάδο μόλις υπάρχει.

Λίστα συνόλων δεδομένων (απαιτείται)

Απαιτούμενα δικαιώματα

  • bigquery.datasets.get

Λίστα Έργων (Υποχρεωτικό)

Απαιτούμενα δικαιώματα

  • resourcemanager.projects.get

Απαιτήσεις ρόλου και πρόσβασης

Οι ρόλοι Διαχειριστής του BigQuery και Διαχειριστής αποθηκευτικού χώρου περιλαμβάνουν συνήθως τα δικαιώματα που αναφέρονται παραπάνω.

Στον χρήστη πρέπει να εκχωρηθεί τουλάχιστον ένας ρόλος που εκχωρεί πρόσβαση στο στοχευόμενο έργο BigQuery και στα σύνολα δεδομένων.

Απαιτήσεις δικτύωσης και πύλης

Ελέγξτε τις απαιτήσεις δικτύωσης, για να αποκτήσετε πρόσβαση στην πηγή δεδομένων του BigQuery.

Εάν χρησιμοποιείτε τον Κατοπτρισμό για το Google BigQuery με την Πύλη δεδομένων εσωτερικής εγκατάστασης (OPDG), πρέπει να χρησιμοποιήσετε:

  • OPDG έκδοση 3000.286.6 ή νεότερη

Πρόσθετες σημειώσεις

Ενδέχεται να απαιτούνται περισσότερα δικαιώματα ανάλογα με την περίπτωση χρήσης σας. Τα δικαιώματα που αναφέρονται παραπάνω αντιπροσωπεύουν τα ελάχιστα απαιτούμενα για:

  • Εργασία με το ιστορικό αλλαγών
  • Χειρισμός τραπεζιών διαφόρων μεγεθών, συμπεριλαμβανομένων τραπεζιών μεγαλύτερων από 10 GB

Ακόμα κι αν δεν εργάζεστε αυτήν τη στιγμή με πίνακες μεγαλύτερους από 10 GB, συνιστάται η ενεργοποίηση όλων των ελάχιστων δικαιωμάτων για να διασφαλιστεί η επιτυχής κατοπτρισμός.

Για περισσότερες πληροφορίες, βλ.:

Σημαντικό

Οποιαδήποτε λεπτομερής ασφάλεια που ορίζεται στην αποθήκη προέλευσης BigQuery πρέπει να ρυθμιστεί εκ νέου στη βάση δεδομένων κατοπτρισμού στο Microsoft Fabric. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Λεπτομερή δικαιώματα SQL στο Microsoft Fabric.

Δημιουργία βάσης δεδομένων ειδώλου

Σε αυτήν την ενότητα, δημιουργείτε μια νέα κατοπτρική βάση δεδομένων από την κατοπτρική πηγή δεδομένων BigQuery.

Μπορείτε να χρησιμοποιήσετε έναν υπάρχοντα χώρο εργασίας (όχι την περιοχή "Ο χώρος εργασίας μου") ή να δημιουργήσετε έναν νέο χώρο εργασίας.

  1. Από τον χώρο εργασίας σας, μεταβείτε στον πίνακα επιλογών Δημιουργία .
  2. Αφού επιλέξετε τον χώρο εργασίας που θέλετε να χρησιμοποιήσετε, επιλέξτε Δημιουργία.
  3. Επιλέξτε την κάρτα Google BigQuery με κατοπτρισμό .
  4. Εισαγάγετε το όνομα για τη νέα βάση δεδομένων.
  5. Επιλέξτε Δημιουργία.

Συνδεθείτε στην παρουσία του BigQuery σε οποιοδήποτε cloud

Σημείωση

Ίσως χρειαστεί να τροποποιήσετε το τείχος προστασίας cloud, για να επιτρέψετε στον Κατοπτρισμό να συνδεθεί με την παρουσία του BigQuery. Υποστηρίζουμε τον Κατοπτρισμό για το Google BigQuery για έκδοση OPDG 3000.286.6 ή νεότερη. Υποστηρίζουμε επίσης το VNET.

  1. Επιλέξτε BigQuery στην ενότητα Νέα σύνδεση ή επιλέξτε μια υπάρχουσα σύνδεση.

  2. Αν επιλέξατε Νέα σύνδεση, καταχωρίστε τα στοιχεία σύνδεσης στη βάση δεδομένων του BigQuery.

    Ρύθμιση σύνδεσης Περιγραφή
    Email λογαριασμού υπηρεσίας Αν έχετε προϋπάρχοντα λογαριασμό υπηρεσίας: Μπορείτε να βρείτε τη διεύθυνση ηλεκτρονικού ταχυδρομείου του λογαριασμού υπηρεσίας και το υπάρχον κλειδί σας, μεταβαίνοντας στην ενότητα Λογαριασμοί υπηρεσίας στην κονσόλα Google BigQuery. Αν δεν έχετε προϋπάρχοντα λογαριασμό υπηρεσίας: Μεταβείτε στην ενότητα Λογαριασμοί υπηρεσίας στην κονσόλα Google BigQuery και επιλέξτε Δημιουργία λογαριασμού υπηρεσίας. Εισαγάγετε ένα όνομα λογαριασμού υπηρεσίας (ένα αναγνωριστικό λογαριασμού υπηρεσίας δημιουργείται αυτόματα με βάση το όνομα λογαριασμού υπηρεσίας που έχετε εισαγάγει) και μια περιγραφή λογαριασμού υπηρεσίας. Επιλέξτε Τέλος. Αντιγράψτε και επικολλήστε το μήνυμα ηλεκτρονικού ταχυδρομείου του λογαριασμού υπηρεσίας στην ενότητα διαπιστευτηρίων καθορισμένων συνδέσεων στο Fabric.
    Περιεχόμενα αρχείου κλειδιού JSON λογαριασμού υπηρεσίας Στον πίνακα εργαλείων λογαριασμών υπηρεσίας, επιλέξτε Ενέργειες για τον λογαριασμό υπηρεσίας που μόλις δημιουργήσατε. Επιλέξτε Διαχείριση κλειδιών. Εάν έχετε ήδη ένα κλειδί για τον λογαριασμό υπηρεσίας σας, πραγματοποιήστε λήψη των περιεχομένων του αρχείου κλειδιού JSON.

    Εάν δεν έχετε ήδη ένα κλειδί για τον λογαριασμό υπηρεσίας σας, επιλέξτε Προσθήκη κλειδιού και Δημιουργία νέου κλειδιού. Στη συνέχεια, επιλέξτε JSON. Το αρχείο κλειδιού JSON θα πρέπει να ληφθεί αυτόματα. Αντιγράψτε και επικολλήστε το κλειδί JSON στην ενότητα διαπιστευτηρίων καθορισμένων συνδέσεων στην πύλη Fabric.
    Σύνδεση Δημιουργία νέας σύνδεσης.
    Όνομα σύνδεσης Θα πρέπει να συμπληρωθεί αυτόματα. Αλλάξτε το σε ένα όνομα που θέλετε να χρησιμοποιήσετε.

  3. Επιλέξτε βάση δεδομένων από την αναπτυσσόμενη λίστα.

Έναρξη διαδικασίας κατοπτρισμού

  1. Η οθόνη Ρύθμιση παραμέτρων κατοπτρισμού σάς επιτρέπει να κατοπτρίζετε όλα τα δεδομένα στη βάση δεδομένων, από προεπιλογή.

    • Κατοπτρικό αντίγραφο όλων των δεδομένων σημαίνει ότι οποιοιδήποτε νέοι πίνακες που δημιουργούνται μετά την εκκίνηση του Mirroring θα αντικατοπτριστούν.

    • Προαιρετικά, επιλέξτε μόνο ορισμένα αντικείμενα για κατοπτρικά. Απενεργοποιήστε την επιλογή Καθρέπτη όλων των δεδομένων και, στη συνέχεια, επιλέξτε μεμονωμένους πίνακες από τη βάση δεδομένων σας.

    Για αυτό το παράδειγμα, χρησιμοποιούμε την επιλογή Mirror all data .

  2. Επιλέξτε Βάση δεδομένων Mirror. Ο καθρέφτης αρχίζει.

  3. Περιμένετε 2-5 λεπτά. Στη συνέχεια, επιλέξτε Παρακολούθηση αναπαραγωγής για να δείτε την κατάσταση.

  4. Μετά από μερικά λεπτά, η κατάσταση θα πρέπει να αλλάξει σε Εκτέλεση, το οποίο σημαίνει ότι οι πίνακες συγχρονίζονται.

    Εάν δεν βλέπετε τους πίνακες και την αντίστοιχη κατάσταση αναπαραγωγής, περιμένετε μερικά δευτερόλεπτα και, στη συνέχεια, ανανεώστε τον πίνακα.

  5. Όταν ολοκληρώσει την αρχική αντιγραφή των πινάκων, εμφανίζεται μια ημερομηνία στη στήλη Τελευταία ανανέωση .

  6. Τώρα που τα δεδομένα σας είναι έτοιμα και λειτουργούν, υπάρχουν διάφορα σενάρια ανάλυσης διαθέσιμα σε όλο το Fabric.

Σημαντικό

  • Οποιαδήποτε λεπτομερής ασφάλεια που δημιουργείται στη βάση δεδομένων προέλευσης πρέπει να ρυθμιστεί εκ νέου στη βάση δεδομένων κατοπτρισμού στο Microsoft Fabric.

Οθόνη Fabric mirroring

Αφού ρυθμιστούν οι παράμετροι του κατοπτρισμού, θα οδηγηθείτε στη σελίδα Κατάσταση κατοπτρισμού. Εδώ, μπορείτε να παρακολουθήσετε την τρέχουσα κατάσταση αναπαραγωγής.

Για περισσότερες πληροφορίες και λεπτομέρειες σχετικά με τις καταστάσεις αναπαραγωγής, ανατρέξτε στο θέμα Παρακολούθηση αναπαραγωγής βάσης δεδομένων κατοπτρισμού Fabric.

Σημαντικό

Αν δεν υπάρχουν ενημερώσεις στους πίνακες προέλευσης στη βάση δεδομένων του BigQuery, η μηχανή αναπαραγωγής (η μηχανή που τροφοδοτεί τα δεδομένα αλλαγής για τον κατοπτρισμό του BigQuery) θα επιβραδυνθεί και θα αναπαράγει μόνο πίνακες κάθε ώρα. Μην εκπλαγείτε αν τα δεδομένα μετά την αρχική φόρτωση διαρκούν περισσότερο από το αναμενόμενο, ειδικά εάν δεν έχετε νέες ενημερώσεις στους πίνακες προέλευσης. Μετά το στιγμιότυπο, το Mirror Engine θα περιμένει ~15 λεπτά πριν ανακτήσει τις αλλαγές. Αυτό οφείλεται σε έναν περιορισμό από το Google BigQuery στον οποίο θεσπίζει μια καθυστέρηση 10 λεπτών για την εμφάνιση τυχόν νέων αλλαγών. Μάθετε περισσότερα σχετικά με την καθυστέρηση αντανάκλασης αλλαγών του BigQuery

Σχετικό περιεχόμενο

  • Last updated on