Πρόγραμμα εκμάθησης: Ρύθμιση παραμέτρων βάσεων δεδομένων κατοπτρισμού Microsoft Fabric από το Azure Databricks

Ο κατοπτρισμός βάσης δεδομένων στο Microsoft Fabric είναι μια εταιρική, βασισμένη στο cloud, μηδενική ETL, τεχνολογία SaaS. Αυτός ο οδηγός σάς βοηθά να δημιουργήσετε μια βάση δεδομένων κατοπτρισμού από το Azure Databricks, η οποία δημιουργεί ένα αντίγραφο μόνο για ανάγνωση, συνεχώς αναπαραγόμενο των δεδομένων Azure Databricks στο OneLake.

Προαπαιτούμενα

  • Ένας χώρος εργασίας Fabric.
  • Ενεργοποιήστε την πρόσβαση σε εξωτερικά δεδομένα στο metastore. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ενεργοποίηση πρόσβασης εξωτερικών δεδομένων στο metastore.
  • Δημιουργήστε ή χρησιμοποιήστε έναν υπάρχοντα χώρο εργασίας Azure Databricks με ενεργοποιημένο το Unity Catalog.
  • Έχετε το προνόμιο EXTERNAL USE SCHEMA στο σχήμα του Unity Catalog που περιέχει τους πίνακες στους οποίους έχει πρόσβαση Fabric.
  • Χρησιμοποιήστε το μοντέλο δικαιωμάτων του Fabric για να ορίσετε στοιχεία ελέγχου πρόσβασης για καταλόγους, σχήματα και πίνακες στο Fabric.

Δημιουργία βάσης δεδομένων κατοπτρισμού από το Azure Databricks

Ακολουθήστε αυτά τα βήματα για να δημιουργήσετε μια νέα βάση δεδομένων κατοπτρισμού από τον κατάλογο ενότητας Azure Databricks.

  1. Μεταβείτε στον χώρο εργασίας σας στο Fabric.

  2. Επιλέξτε Νέο στοιχείο>Mirrored Azure Databricks catalog.

    Στιγμιότυπο οθόνης από την πύλη Fabric ενός νέου κατοπτριζόμενου στοιχείου Azure Databricks.

  3. Επιλέξτε μια υπάρχουσα σύνδεση εάν έχετε ρυθμίσει τις παραμέτρους της ή δημιουργήστε μια νέα σύνδεση.

    Για να δημιουργήσετε μια σύνδεση, πρέπει να είστε χρήστης ή διαχειριστής του χώρου εργασίας Azure Databricks. Μπορείτε να πραγματοποιήσετε έλεγχο ταυτότητας στον χώρο εργασίας Azure Databricks χρησιμοποιώντας τον έλεγχο ταυτότητας Εταιρικός λογαριασμός ή Κύρια υπηρεσία.

    Σημείωμα

    Η επιλογή ελέγχου ταυτότητας που κάνετε εδώ ισχύει για τον έλεγχο ταυτότητας Databricks και την εξουσιοδότηση Unity Catalog. Εάν πρέπει να αποκτήσετε πρόσβαση σε λογαριασμούς Azure Data Lake Storage (ADLS) Gen2 που βρίσκονται πίσω από ένα τείχος προστασίας, ακολουθήστε τα βήματα Ενεργοποίηση πρόσβασης στην ασφάλεια δικτύου για τον λογαριασμό Azure Data Lake Storage Gen2 παρακάτω σε αυτό το άρθρο. Όταν το ADLS Gen2 βρίσκεται πίσω από ένα τείχος προστασίας, απαιτείται ταυτότητα χώρου εργασίας Fabric για πρόσβαση στο τείχος προστασίας αποθήκευσης, ανεξάρτητα από τη μέθοδο ελέγχου ταυτότητας που έχει επιλεγεί για τη σύνδεση Databricks.

  4. Αφού συνδεθείτε σε έναν χώρο εργασίας Azure Databricks, στη σελίδα Επιλογή πινάκων από έναν κατάλογο Databricks, επιλέξτε τον κατάλογο, τα σχήματα και τους πίνακες που θέλετε να προσθέσετε και να αποκτήσετε πρόσβαση από Fabric χρησιμοποιώντας τη λίστα συμπερίληψης ή εξαίρεσης. Επιλέξτε τον κατάλογο και τα σχετικά σχήματα και πίνακες που θέλετε να προσθέσετε στον χώρο εργασίας Fabric.

    Μπορείτε να δείτε μόνο τους καταλόγους, τα σχήματα και τους πίνακες στους οποίους έχετε πρόσβαση. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Προνόμια καταλόγου Unity και ασφαλιζόμενα αντικείμενα.

    Από προεπιλογή, είναι ενεργοποιημένη η επιλογή Αυτόματος συγχρονισμός μελλοντικών αλλαγών καταλόγου για το επιλεγμένο σχήμα . Για περισσότερες πληροφορίες, ανατρέξτε στην ενότητα Κατοπτρισμός Azure Databricks > Συγχρονισμός μεταδεδομένων.

  5. Επιλέξτε το κουμπί Επόμενο για να συνεχίσετε.

  6. Στη σελίδα Αναθεώρηση και δημιουργία , εξετάστε τις λεπτομέρειες και προαιρετικά αλλάξτε το όνομα του στοιχείου βάσης δεδομένων κατοπτρισμού, το οποίο πρέπει να είναι μοναδικό στον χώρο εργασίας σας. Από προεπιλογή, το όνομα του στοιχείου κατοπτρισμού είναι το όνομα του καταλόγου.

  7. Επιλέξτε Δημιουργία για να συνεχίσετε.

  8. Δημιουργείται ένα στοιχείο καταλόγου Databricks και για κάθε πίνακα, δημιουργείται επίσης μια αντίστοιχη συντόμευση τύπου Databricks.

    Τα σχήματα που δεν έχουν πίνακες δεν εμφανίζονται.

  9. Μπορείτε επίσης να δείτε μια προεπισκόπηση των δεδομένων όταν αποκτάτε πρόσβαση σε μια συντόμευση επιλέγοντας το τελικό σημείο ανάλυσης SQL. Ανοίξτε το στοιχείο τελικού σημείου SQL analytics για να εκκινήσετε τη σελίδα του προγράμματος επεξεργασίας Explorer και ερωτήματος. Μπορείτε να υποβάλετε ερωτήματα στους κατοπτρικούς πίνακες Azure Databricks χρησιμοποιώντας T-SQL στο πρόγραμμα επεξεργασίας SQL.

Δημιουργία συντομεύσεων Lakehouse στο στοιχείο καταλόγου Databricks

Μπορείτε επίσης να δημιουργήσετε συντομεύσεις από το Lakehouse στο στοιχείο καταλόγου Databricks για να χρησιμοποιήσετε τα δεδομένα σας στο Lakehouse και να χρησιμοποιήσετε τα Spark Notebooks.

  1. Αρχικά, δημιουργήστε ένα lakehouse. Εάν έχετε ήδη ένα σπίτι λίμνης σε αυτόν τον χώρο εργασίας, μπορείτε να χρησιμοποιήσετε ένα υπάρχον σπίτι λίμνης.
    1. Επιλέξτε το χώρο εργασίας σας στο μενού πλοήγησης.
    2. Επιλέξτε + New>Lakehouse.
    3. Δώστε ένα όνομα για το σπίτι σας στη λίμνη στο πεδίο Όνομα και επιλέξτε Δημιουργία.
  2. Στην προβολή Explorer του σπιτιού σας στη λίμνη, στο μενού Λήψη δεδομένων στο σπίτι της λίμνης , στην περιοχή Φόρτωση δεδομένων στο σπίτι της λίμνης, επιλέξτε το κουμπί Νέα συντόμευση .
  3. Επιλέξτε Microsoft OneLake. Επιλέξτε έναν κατάλογο. Αυτό είναι το στοιχείο δεδομένων που δημιουργήσατε στα προηγούμενα βήματα. Στη συνέχεια, επιλέξτε Επόμενο.
  4. Επιλέξτε πίνακες μέσα στο σχήμα και επιλέξτε Επόμενο.
  5. Επιλέξτε Δημιουργία.
  6. Οι συντομεύσεις είναι πλέον διαθέσιμες στο Lakehouse σας για χρήση με τα άλλα δεδομένα σας στο Lakehouse. Μπορείτε επίσης να χρησιμοποιήσετε τα Σημειωματάρια και το Spark για να εκτελέσετε επεξεργασία δεδομένων στα δεδομένα για αυτούς τους πίνακες καταλόγου που προσθέσατε από τον χώρο εργασίας Azure Databricks.

Δημιουργία σημασιολογικού μοντέλου

Μπορείτε να δημιουργήσετε ένα σημασιολογικό μοντέλο Power BI με βάση το στοιχείο κατοπτρισμού σας και να προσθέσετε ή να καταργήσετε πίνακες με μη αυτόματο τρόπο. Για περισσότερες πληροφορίες σχετικά με τη δημιουργία και τη διαχείριση μοντέλων σημασιολογίας, ανατρέξτε στο θέμα Δημιουργία μοντέλου σημασιολογίας Power BI.

Για την καλύτερη δυνατή εμπειρία, χρησιμοποιήστε το πρόγραμμα περιήγησης Microsoft Edge για εργασίες σημασιολογικής μοντελοποίησης.

Διαχείριση σχέσεων σημασιολογικού μοντέλου

Αφού δημιουργήσετε ένα νέο μοντέλο σημασιολογίας με βάση τη βάση δεδομένων κατοπτρισμού, ρυθμίστε τις παραμέτρους των σχέσεων μεταξύ πινάκων.

  1. Επιλέξτε Διατάξεις μοντέλου από την Εξερεύνηση στον χώρο εργασίας σας.
  2. Αφού επιλέξετε Διατάξεις μοντέλου, εμφανίζεται ένα γραφικό των πινάκων που περιλαμβάνονται ως μέρος του μοντέλου σημασιολογίας.
  3. Για να δημιουργήσετε σχέσεις μεταξύ πινάκων, σύρετε ένα όνομα στήλης από έναν πίνακα σε ένα άλλο όνομα στήλης ενός άλλου πίνακα. Εμφανίζεται ένα αναδυόμενο παράθυρο για να προσδιορίσει τη σχέση και την πληθικότητα για τους πίνακες.

Ενεργοποίηση πρόσβασης ασφάλειας δικτύου για τον λογαριασμό σας Azure Data Lake Storage Gen2

Ρυθμίστε τις παραμέτρους της ασφάλειας δικτύου για τον λογαριασμό σας Azure Data Lake Storage (ADLS) Gen2 όταν έχετε ρυθμίσει τις παραμέτρους ενός τείχους προστασίας Azure Storage/c0>/c0. Αυτή η ενότητα ισχύει για λογαριασμούς χώρου αποθήκευσης ADLS Gen2 πίσω από ένα τείχος προστασίας Azure Storage. Ο χώρος αποθήκευσης χώρου εργασίας Azure Databricks πίσω από ένα τείχος προστασίας Azure Storage δεν υποστηρίζεται.

Προαπαιτούμενα

  • Όταν ένα τείχος προστασίας Azure Storage προστατεύει το ADLS Gen2, το Fabric χρησιμοποιεί την ταυτότητα χώρου εργασίας για πρόσβαση στο τείχος προστασίας. Ακόμα και αν επιλέξετε Κύρια υπηρεσία για έλεγχο ταυτότητας ADLS στην καρτέλα Ασφάλεια δικτύου, πρέπει να επιτρέψετε την ταυτότητα χώρου εργασίας στο τείχος προστασίας του λογαριασμού Azure Storage.

    • Το Workspace Identity χρησιμοποιείται για πρόσβαση στο τείχος προστασίας αποθήκευσης. Μια κύρια υπηρεσία ή OAuth χρησιμοποιείται για τον έλεγχο ταυτότητας Databricks και την εξουσιοδότηση Unity Catalog.

    • Για να ενεργοποιήσετε τον τύπο ελέγχου ταυτότητας ταυτότητας χώρου εργασίας (συνιστάται), συσχετίστε τον χώρο εργασίας Fabric με εκχωρημένους πόρους F. Για να δημιουργήσετε μια ταυτότητα χώρου εργασίας, ανατρέξτε στο θέμα Έλεγχος ταυτότητας με ταυτότητα χώρου εργασίας.

  • Μπορείτε να συσχετίσετε έναν κατάλογο μόνο με έναν λογαριασμό αποθηκευτικού χώρου.

Ενεργοποίηση πρόσβασης ασφάλειας δικτύου

  1. Κατά τη δημιουργία ενός νέου καταλόγου Mirrored Azure Databricks, στο βήμα Επιλογή δεδομένων , επιλέξτε την καρτέλα Ασφάλεια δικτύου .

    Στιγμιότυπο οθόνης της καρτέλας Ασφάλεια δικτύου στο Databricks.

  2. Επιλέξτε μια υπάρχουσα σύνδεση με το λογαριασμό χώρου αποθήκευσης, εάν έχετε ρυθμίσει τις παραμέτρους της. 

    • Εάν δεν έχετε υπάρχουσα σύνδεση ADLS, δημιουργήστε μια νέα σύνδεση.  
    • Η διεύθυνση URL του τελικού σημείου αποθήκευσης είναι το σημείο όπου αποθηκεύονται τα δεδομένα του επιλεγμένου καταλόγου. Το τελικό σημείο θα πρέπει να είναι ο συγκεκριμένος φάκελος όπου αποθηκεύονται τα δεδομένα, αντί να καθορίζεται το τελικό σημείο σε επίπεδο λογαριασμού αποθήκευσης. Για παράδειγμα, παρέχετε https://<storage account>.dfs.core.windows.net/container1/folder1 αντί για https://<storage account>.dfs.core.windows.net/.
    • Δώστε τα διαπιστευτήρια σύνδεσης. Οι τύποι ελέγχου ταυτότητας που υποστηρίζονται είναι Εταιρικός λογαριασμός, Κύρια υπηρεσία και Ταυτότητα χώρου εργασίας (συνιστάται).

    Σημείωμα

    Όταν το ADLS Gen2 προστατεύεται από ένα τείχος προστασίας Azure Storage, το Fabric χρησιμοποιεί την ταυτότητα χώρου εργασίας για να διασχίσει το τείχος προστασίας, ανεξάρτητα από τον τύπο ελέγχου ταυτότητας που έχει επιλεγεί εδώ. Ο τύπος ελέγχου ταυτότητας (Κύρια υπηρεσία ή Εταιρικός λογαριασμός) ελέγχει τον έλεγχο ταυτότητας Databricks και την εξουσιοδότηση Unity Catalog, ενώ η Ταυτότητα χώρου εργασίας ελέγχει την αξιόπιστη πρόσβαση μέσω του τείχους προστασίας αποθήκευσης. Η ταυτότητα χώρου εργασίας πρέπει να επιτρέπεται στο τείχος προστασίας του λογαριασμού Azure Storage, ακόμα και αν επιλέξετε διαφορετικό τύπο ελέγχου ταυτότητας για τη σύνδεση ADLS.

  3. Στην πύλη Azure, παρέχετε δικαιώματα πρόσβασης στον λογαριασμό χώρου αποθήκευσης με βάση τον τύπο ελέγχου ταυτότητας που επιλέξατε στο προηγούμενο βήμα. Μεταβείτε στον λογαριασμό χώρου αποθήκευσης στην πύλη Azure. Επιλέξτε Έλεγχος πρόσβασης (IAM). Επιλέξτε +Προσθήκη και προσθήκη ανάθεσης ρόλου. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ανάθεση ρόλων Azure με χρήση της πύλης Azure.

    Εκχωρήστε έναν ρόλο με βάση το εύρος της σύνδεσης:

    • Λογαριασμός χώρου αποθήκευσης: Η επιλεγμένη ταυτότητα ελέγχου ταυτότητας χρειάζεται τον ρόλο Αναγνώστης δεδομένων αντικειμένων blob χώρου αποθήκευσης στον λογαριασμό χώρου αποθήκευσης.
    • Κοντέινερ: Η επιλεγμένη ταυτότητα ελέγχου ταυτότητας χρειάζεται τον ρόλο Αναγνώστης δεδομένων αντικειμένου blob χώρου αποθήκευσης στο κοντέινερ.
    • Φάκελος μέσα σε κοντέινερ (συνιστάται): Η επιλεγμένη ταυτότητα ελέγχου ταυτότητας χρειάζεται δικαιώματα ανάγνωσης (R) και εκτέλεσης (E) σε επίπεδο φακέλου. Εάν χρησιμοποιείτε την Κύρια υπηρεσία ή την Ταυτότητα χώρου εργασίας ως τύπο ελέγχου ταυτότητας, δώστε επίσης σε αυτήν την ταυτότητα δικαιώματα εκτέλεσης στον ριζικό φάκελο του κοντέινερ και σε κάθε φάκελο στην ιεραρχία που οδηγεί στον καθορισμένο φάκελο.

    Για περισσότερες πληροφορίες και βήματα για την εκχώρηση πρόσβασης ADLS, ανατρέξτε στο θέμα Έλεγχος πρόσβασης ADLS.

  4. Ενεργοποιήστε το Trusted Workspace Access ρυθμίζοντας τις παραμέτρους ενός κανόνα παρουσίας πόρου για τον Fabric χώρο εργασίας σας στον λογαριασμό χώρου αποθήκευσης. Για λεπτομερή βήματα, ανατρέξτε στα θέματα Πρόσβαση σε αξιόπιστο χώρο εργασίας και Ασφαλής Fabric κατοπτρικές βάσεις δεδομένων από το Azure Databricks.

Μετά τη δημιουργία της σύνδεσης, δημιουργείται μια συντόμευση για τους πίνακες Unity Catalog για τους πίνακες των οποίων το όνομα λογαριασμού χώρου αποθήκευσης ταιριάζει με τον λογαριασμό χώρου αποθήκευσης που καθορίζεται στη σύνδεση ADLS. Οι συντομεύσεις δεν δημιουργούνται για πίνακες των οποίων το όνομα λογαριασμού χώρου αποθήκευσης δεν ταιριάζει.

Σημαντικό

Εάν σκοπεύετε να χρησιμοποιήσετε τη σύνδεση ADLS εκτός των σεναρίων στοιχείων καταλόγου κατοπτρισμού Azure Databricks, πρέπει επίσης να εκχωρήσετε τον ρόλο Αντιπρόσωπος αντικειμένου blob χώρου αποθήκευσης στον λογαριασμό χώρου αποθήκευσης.

Συμβουλή

Εάν λάβετε ένα σφάλμα εξουσιοδότησης 403 κατά τη χρήση μιας κύριας υπηρεσίας για έλεγχο ταυτότητας Databricks με έναν λογαριασμό ADLS Gen2 που προστατεύεται από τείχος προστασίας, βεβαιωθείτε ότι η ταυτότητα χώρου εργασίας επιτρέπεται στο τείχος προστασίας του λογαριασμού Azure Storage. Ακόμα και όταν έχει επιλεγεί μια κύρια υπηρεσία για έλεγχο ταυτότητας, το Fabric χρησιμοποιεί την ταυτότητα χώρου εργασίας για να διασχίσει το τείχος προστασίας αποθήκευσης.

Ενεργοποιήστε την ασφάλεια OneLake στο στοιχείο Mirrored Databricks

Map Unity Catalog (UC) πολιτικές για την ασφάλεια του Microsoft OneLake ακολουθώντας τα εξής βήματα:

  1. Συγχρονίστε την ομάδα Entra και εφαρμόστε δικαιώματα στον κατάλογο Unity. Στο Azure Databricks, χρησιμοποιήστε την Αυτόματη διαχείριση ταυτοτήτων για να συγχρονίσετε μια ομάδα Microsoft Entra ID και να της εκχωρήσετε τα απαραίτητα προνόμια Unity Catalog (USE, BROWSE και SELECT) στον σχετικό κατάλογο και πίνακες.
  2. Αναθέστε έναν ρόλο πρόσβασης δεδομένων OneLake. Στο χώρο εργασίας Fabric, δημιουργήστε ένα ρόλο πρόσβασης δεδομένων για τα δεδομένα που κατοπτρίζονται πρόσφατα. Προσθέστε την ίδια ομάδα Entra σε αυτόν τον ρόλο και παραχωρήστε της πρόσβαση ανάγνωσης στις συντομεύσεις OneLake που αντιστοιχούν στους πίνακες Azure Databricks. Για να ξεκινήσετε με την ασφάλεια σε επίπεδο πίνακα, επιλέξτε το κουμπί Διαχείριση ασφάλειας OneLake στην κορδέλα. Βεβαιωθείτε ότι διατηρείτε συγχρονισμένες τις διαμορφώσεις πρόσβασης καθώς εξελίσσονται οι δομές και τα δικαιώματα καταλόγου. Για περισσότερες πληροφορίες, ανατρέξτε στο μοντέλο ελέγχου πρόσβασης δεδομένων OneLake (προεπισκόπηση).

Σχετικό περιεχόμενο

  • Last updated on