Κατοπτρισμός νιφάδας χιονιού στο Microsoft Fabric

Το Mirroring in Fabric παρέχει μια εύκολη εμπειρία για την αποφυγή πολύπλοκων ETL (Extract Transform Load) και την ενσωμάτωση των υπαρχόντων δεδομένων αποθήκης Snowflake με τα υπόλοιπα δεδομένα σας στο Microsoft Fabric. Μπορείτε να αναπαράγετε συνεχώς τα υπάρχοντα δεδομένα Snowflake απευθείας στο OneLake του Fabric. Μέσα στο Fabric, μπορείτε να ξεκλειδώσετε ισχυρή επιχειρηματική ευφυΐα, τεχνητή νοημοσύνη, Data Engineering, Data Science και σενάρια κοινής χρήσης δεδομένων.

Για ένα πρόγραμμα εκμάθησης σχετικά με τη ρύθμιση παραμέτρων της βάσης δεδομένων Snowflake για κατοπτρισμό στο Fabric, ανατρέξτε στο θέμα Εκμάθηση: Ρύθμιση παραμέτρων Microsoft Fabric κατοπτρικών βάσεων δεδομένων από το Snowflake.

Γιατί να χρησιμοποιήσετε το Mirroring in Fabric;

Με το Mirroring in Fabric, δεν χρειάζεται να συνδυάσετε διαφορετικές υπηρεσίες από πολλούς προμηθευτές. Αντ 'αυτού, μπορείτε να απολαύσετε ένα εξαιρετικά ολοκληρωμένο, από άκρο σε άκρο και εύχρηστο προϊόν που έχει σχεδιαστεί για να απλοποιεί τις ανάγκες ανάλυσης και έχει σχεδιαστεί για άνοιγμα και συνεργασία μεταξύ της Microsoft, της Snowflake και των 1000 τεχνολογικών λύσεων που μπορούν να διαβάσουν τη μορφή πίνακα ανοιχτού κώδικα Delta Lake.

Ποιες εμπειρίες αναλυτικών στοιχείων είναι ενσωματωμένες;

Οι κατοπτρισμένες βάσεις δεδομένων είναι ένα στοιχείο στο Fabric Data Warehousing διαφορετικό από το τελικό σημείο Warehouse και SQL analytics.

Διάγραμμα κατοπτρισμού βάσης δεδομένων υφάσματος για νιφάδα χιονιού.

Ο κατοπτρισμός δημιουργεί αυτά τα στοιχεία στον χώρο εργασίας Fabric:

  • Το κατοπτριζόμενο στοιχείο βάσης δεδομένων. Αυτό επιτρέπει κατάντη σενάρια όπως μηχανική δεδομένων, επιστήμη δεδομένων και άλλα. Το Mirroring διαχειρίζεται:
    • Η αναπαραγωγή διαχειριζόμενων δεδομένων πίνακα και προβολής στο OneLake και η μετατροπή σε Parquet, σε μορφή έτοιμη για ανάλυση.
    • Η αναπαραγωγή των μετα-δεδομένων πίνακα Iceberg στο OneLake με χρήση συντομεύσεων και μετατροπής στον χώρο αποθήκευσης που περιέχει τους πίνακες Iceberg. Το OneLake μετατρέπει αυτόματα αυτούς τους πίνακες Iceberg σε πίνακες με μορφοποίηση Delta Lake για χρήση σε φόρτους εργασίας Fabric.
  • Ένα τελικό σημείο ανάλυσης SQL

Σημαντικό

Υποστήριξη πίνακα Iceberg: Εάν επιλέξετε να αντικατοπτρίσετε πίνακες Iceberg, πρέπει να παρέχετε μια σύνδεση αποθήκευσης στον υποκείμενο χώρο αποθήκευσης που περιέχει τα δεδομένα του πίνακα Iceberg. Μόνο τα τραπέζια Iceberg που είναι προσβάσιμα μέσω της ίδιας σύνδεσης αποθήκευσης μπορούν να αντικατοπτριστούν μαζί. Για να βρείτε τη θέση αποθήκευσης για έναν πίνακα Iceberg, εκτελέστε τη συνάρτηση συστήματος SYSTEM$GET_ICEBERG_TABLE_INFORMATION στο Snowflake. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Εκμάθηση: Ρύθμιση παραμέτρων βάσεων δεδομένων κατοπτρισμού του Microsoft Fabric από το Snowflake.

Κάθε κατοπτριζόμενη βάση δεδομένων έχει ένα τελικό σημείο SQL analytics που δημιουργείται αυτόματα και παρέχει μια πλούσια αναλυτική εμπειρία πάνω από τους πίνακες δέλτα που δημιουργούνται από τη διαδικασία κατοπτρισμού. Οι χρήστες έχουν πρόσβαση σε γνωστές εντολές T-SQL που μπορούν να ορίσουν και να υποβάλουν ερωτήματα σε αντικείμενα δεδομένων, αλλά όχι να χειριστούν τα δεδομένα από το τελικό σημείο ανάλυσης SQL, καθώς πρόκειται για αντίγραφο μόνο για ανάγνωση. Μπορείτε να εκτελέσετε τις ακόλουθες ενέργειες στο τελικό σημείο ανάλυσης SQL:

  • Εξερευνήστε τους πίνακες που αναφέρονται σε δεδομένα στους πίνακες Delta Lake από το Snowflake.
  • Δημιουργήστε ερωτήματα και προβολές κώδικα και εξερευνήστε δεδομένα οπτικά χωρίς να γράψετε μια γραμμή κώδικα.
  • Αναπτύξτε προβολές SQL, ενσωματωμένες TVF (συναρτήσεις πίνακα τιμών) και αποθηκευμένες διαδικασίες για να ενσωματώσετε τη σημασιολογία και την επιχειρηματική λογική σας στην T-SQL.
  • Διαχείριση δικαιωμάτων στα αντικείμενα.
  • Δεδομένα ερωτήματος σε άλλες αποθήκες και λιμνοκατοικίες στον ίδιο χώρο εργασίας.

Εκτός από το πρόγραμμα επεξεργασίας ερωτημάτων SQL, υπάρχει ένα ευρύ οικοσύστημα εργαλείων που μπορεί να υποβάλει ερωτήματα στο τελικό σημείο ανάλυσης SQL, συμπεριλαμβανομένων των SQL Server Management Studio (SSMS), η επέκταση MSSQL για Visual Studio Code, ακόμη και GitHub Copilot.

Υποστηριζόμενοι τύποι αντικειμένων Snowflake

Ο παρακάτω πίνακας παραθέτει τους τύπους αντικειμένων Snowflake που υποστηρίζονται για κατοπτρισμό:

Τύπος αντικειμένου Υποστηρίζεται Σημειώσεις
Διαχειριζόμενοι πίνακες Ναι Υποστηρίζεται πλήρως για αναπαραγωγή
Τραπέζια παγόβουνων Ναι Απαιτεί σύνδεση αποθήκευσης με τον υποκείμενο χώρο αποθήκευσης του πίνακα Iceberg. Μπορείτε να αντικατοπτρίσετε μόνο τραπέζια Iceberg που είναι προσβάσιμα μέσω της ίδιας σύνδεσης αποθήκευσης.
Views Ναι Υποστηρίζεται με συγχρονισμό κάθε 12 ώρες
Υλοποιημένες προβολές Ναι Υποστηρίζεται με συγχρονισμό κάθε 12 ώρες
Εξωτερικοί πίνακες Όχι Δεν υποστηρίζεται
Μεταβατικοί πίνακες Όχι Δεν υποστηρίζεται
Προσωρινοί πίνακες Όχι Δεν υποστηρίζεται
Δυναμικοί πίνακες Όχι Δεν υποστηρίζεται

Ζητήματα ασφαλείας

Για να ενεργοποιήσετε τον κατοπτρισμό Fabric, θα χρειαστείτε δικαιώματα χρήστη για τη βάση δεδομένων Snowflake που περιέχει τα ακόλουθα δικαιώματα:

  • CREATE STREAM
  • SELECT table
  • SHOW tables
  • DESCRIBE tables

Για περισσότερες πληροφορίες, ανατρέξτε στην τεκμηρίωση του Snowflake σχετικά με τα προνόμια έλεγχος πρόσβασης για πίνακες ροής και Απαιτούμενα δικαιώματα για ροές.

Σημαντικό

Οποιαδήποτε λεπτομερής ασφάλεια που έχει δημιουργηθεί στην αποθήκη προέλευσης Snowflake πρέπει να ρυθμιστεί εκ νέου στη βάση δεδομένων κατοπτρισμού στο Microsoft Fabric. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Λεπτομερή δικαιώματα SQL στο Microsoft Fabric.

Υποστηριζόμενες μέθοδοι ελέγχου ταυτότητας

Ο παρακάτω πίνακας παραθέτει ποιες μέθοδοι ελέγχου ταυτότητας υποστηρίζονται για κατοπτρισμό για το Snowflake:

Μέθοδο ελέγχου ταυτότητας Υποστηρίζεται Σημειώσεις
Όνομα χρήστη και κωδικός πρόσβασης Ναι Εγγενής έλεγχος ταυτότητας νιφάδας χιονιού
Microsoft Entra ID (SSO) Ναι Ενιαία σύνδεση μέσω Entra ID
Έλεγχος ταυτότητας ζεύγους κλειδιών Ναι Ζεύγος κλειδιών RSA για σενάρια λογαριασμών υπηρεσίας
Ταυτότητα χώρου εργασίας Όχι Προς το παρόν δεν υποστηρίζεται για το Snowflake

Αντικατοπτρίζοντας το Snowflake πίσω από το τείχος προστασίας

Ελέγξτε τις απαιτήσεις δικτύωσης για να αποκτήσετε πρόσβαση στην πηγή δεδομένων Snowflake. Εάν η προέλευση δεδομένων Snowflake δεν είναι δημόσια προσβάσιμη και βρίσκεται μέσα σε ιδιωτικό δίκτυο, δημιουργήστε μια πύλη δεδομένων εικονικού δικτύου ή εγκαταστήστε μια πύλη δεδομένων εσωτερικής εγκατάστασης για να αντικατοπτρίσετε τα δεδομένα. Το Azure Virtual Network ή το δίκτυο του υπολογιστή πύλης πρέπει να συνδεθεί στην παρουσία Snowflake μέσω ενός ιδιωτικού τελικού σημείου ή να επιτρέπεται από τον κανόνα τείχους προστασίας. Για να ξεκινήσετε, ανατρέξτε στο θέμα Εκμάθηση: Ρύθμιση Microsoft Fabric κατοπτρικών βάσεων δεδομένων από το Snowflake.

Ιδιωτική σύνδεση και ταυτότητα χώρου εργασίας:

  • Ιδιωτική σύνδεση: Η συνδεσιμότητα Direct Ιδιωτική σύνδεση μεταξύ ενός χώρου εργασίας Fabric και του Snowflake δεν υποστηρίζεται ακόμα. Στο μεταξύ, χρησιμοποιήστε μια πύλη δεδομένων εικονικού δικτύου ή μια πύλη δεδομένων εσωτερικής εγκατάστασης για ιδιωτική συνδεσιμότητα.
  • Ταυτότητα χώρου εργασίας: Ο έλεγχος ταυτότητας χώρου εργασίας δεν υποστηρίζεται προς το παρόν για τον κατοπτρισμό Snowflake.

Εκτιμήσεις κόστους Mirrored Snowflake

Το Fabric compute που χρησιμοποιείται για την αναπαραγωγή των δεδομένων σας στο Fabric OneLake είναι δωρεάν. Το κόστος αποθήκευσης Mirroring είναι δωρεάν μέχρι ένα όριο με βάση τη χωρητικότητα. Για περισσότερες πληροφορίες, ανατρέξτε στις ενότητες Κόστος κατοπτρισμού και Microsoft Fabric Τιμολόγηση. Ο υπολογισμός για την υποβολή ερωτημάτων σε δεδομένα με χρήση SQL, Power BI ή Spark χρεώνεται με κανονικές χρεώσεις.

Το Fabric δεν χρεώνει για τέλη εισόδου δεδομένων δικτύου στο OneLake για κατοπτρισμό.

Υπάρχουν κόστη υπολογισμού χιονονιφάδων και ερωτημάτων cloud όταν αντικατοπτρίζονται δεδομένα: υπολογισμός εικονικής αποθήκης και υπολογισμός υπηρεσιών cloud.

  • Υπολογιστικές χρεώσεις εικονικής αποθήκης νιφάδας χιονιού:
    • Οι υπολογιστικές χρεώσεις θα χρεώνονται στην πλευρά της Χιονονιφάδας εάν υπάρχουν αλλαγές δεδομένων που διαβάζονται στη Χιονονιφάδα και με τη σειρά τους αντικατοπτρίζονται στο Ύφασμα.
    • Τυχόν ερωτήματα μεταδεδομένων που εκτελούνται πίσω από τα παρασκήνια για να ελέγξουν για αλλαγές δεδομένων δεν χρεώνονται για κανέναν υπολογισμό Snowflake. Ωστόσο, ερωτήματα που παράγουν δεδομένα όπως ένα SELECT * θα ξυπνήσουν την αποθήκη Snowflake και θα υπολογιστούν θα χρεωθούν.
  • Οι υπηρεσίες χιονονιφάδας υπολογίζουν τις χρεώσεις:
    • Παρόλο που δεν υπάρχουν υπολογιστικές χρεώσεις για παρασκηνιακές εργασίες, όπως σύνταξη, ερωτήματα μεταδεδομένων, έλεγχος πρόσβασης, εμφάνιση αλλαγών δεδομένων, ακόμη και ερωτήματα DDL, υπάρχουν κόστη cloud που σχετίζονται με αυτά τα ερωτήματα.
    • Ανάλογα με τον τύπο της έκδοσης Snowflake που έχετε, θα χρεωθείτε για τις αντίστοιχες πιστώσεις για τυχόν κόστος υπηρεσιών cloud.

Στο παρακάτω στιγμιότυπο οθόνης, μπορείτε να δείτε το υπολογιστικό κόστος εικονικής αποθήκης και υπηρεσιών cloud για τη σχετική βάση δεδομένων Snowflake που αντικατοπτρίζεται στο Fabric. Σε αυτό το σενάριο, η πλειοψηφία του υπολογιστικού κόστους των υπηρεσιών cloud (με κίτρινο χρώμα) προέρχεται από ερωτήματα αλλαγής δεδομένων με βάση τα σημεία που αναφέρθηκαν προηγουμένως. Οι υπολογιστικές χρεώσεις εικονικής αποθήκης (με μπλε χρώμα) προέρχονται αυστηρά από τις αλλαγές δεδομένων που διαβάζονται από το Snowflake και αντικατοπτρίζονται στο Fabric.

Στιγμιότυπο οθόνης του γραφήματος κόστους νιφάδας χιονιού.

Προτάσεις βελτιστοποίησης κόστους

Για να ελαχιστοποιήσετε το κόστος υπολογισμού του Snowflake από τον κατοπτρισμό, λάβετε υπόψη τις ακόλουθες βέλτιστες πρακτικές:

  • Επαναχρησιμοποίηση υπάρχουσας αποθήκης. Αντί να δημιουργήσετε μια αποκλειστική αποθήκη για κατοπτρισμό, ρυθμίστε τις παραμέτρους του κατοπτρισμού για να χρησιμοποιήσετε την ίδια αποθήκη που χρησιμοποιούν ήδη οι εφαρμογές σας για την ενημέρωση των πινάκων προέλευσης. Αυτή η προσέγγιση αποφεύγει τους περιττούς κύκλους αφύπνισης και αυτόματης αναστολής της αποθήκης. Όταν η εφαρμογή σας ενημερώνει έναν πίνακα, ο αντιγραφέας κατοπτρισμού λαμβάνει τις αλλαγές σχεδόν αμέσως, ενώ η αποθήκη είναι ακόμα ενεργή, επομένως δεν χρειάζεται να ενεργοποιήσετε μια ξεχωριστή αποθήκη. Ορισμένοι οργανισμοί μπορεί να προτιμούν μια ειδική αποθήκη για απομόνωση προϋπολογισμού. Αυτή η προτίμηση είναι μια αντιστάθμιση μεταξύ της εξοικονόμησης κόστους και της λεπτομέρειας του προϋπολογισμού.
  • Καθρεφτίστε μόνο τα τραπέζια που χρειάζεστε. Ο κατοπτρισμός μιας ολόκληρης βάσης δεδομένων μπορεί να προκαλέσει απροσδόκητα υψηλή κατανάλωση Snowflake και αιχμές χωρητικότητας Fabric. Ξεκινήστε επιλέγοντας μόνο τους πίνακες που απαιτούνται για τα σενάρια ανάλυσης. Μπορείτε να προσθέσετε πίνακες αργότερα, ανάλογα με τις ανάγκες.
  • Παρακολουθήστε για απροσδόκητες επανασπορές. Μια επανασπορά (πλήρης επαναφόρτωση δεδομένων) επεξεργάζεται ολόκληρο τον πίνακα και επιβαρύνεται με υπολογιστικό κόστος ανάλογο με το μέγεθος του πίνακα. Οι αλλαγές σχήματος - συμπεριλαμβανομένων εκείνων που προκαλούνται από εργαλεία όπως το DBT - μπορούν να προκαλέσουν συνεχείς επανασπορές. Παρακολουθήστε τη σελίδα "Κατάσταση κατοπτρισμού" για πίνακες που εμφανίζουν επαναλαμβανόμενη συμπεριφορά αρχικού αντιγράφου και ανατρέξτε στην ενότητα Επανασπορά παρακάτω για εναύσματα και οδηγίες αντιμετώπισης προβλημάτων.
  • Λάβετε υπόψη ότι ο κατοπτρισμός εκτελείται συνεχώς. Ο κατοπτρισμός δεν υποστηρίζει προς το παρόν παράθυρα προγραμματισμού ή αναπαραγωγής. Ο αντιγραφέας κάνει συνεχώς δημοσκοπήσεις για αλλαγές, γεγονός που δημιουργεί συνεχή χρήση υπολογισμού Snowflake. Προγραμματίστε τους προϋπολογισμούς σας για το Snowflake ανάλογα.

Για περισσότερες πληροφορίες σχετικά με το κόστος ερωτήματος στο cloud για συγκεκριμένες νιφάδες χιονονιφάδας, ανατρέξτε στο θέμα Έγγραφα για χιονονιφάδες: Κατανόηση του συνολικού κόστους.

Επόμενο βήμα