Κοινοποίηση μέσω

Πρόγραμμα εκμάθησης: Ρύθμιση παραμέτρων βάσεων δεδομένων κατοπτρισμού Microsoft Fabric από το Azure Databricks

Ο κατοπτρισμός βάσης δεδομένων στο Microsoft Fabric είναι μια εταιρική, βασισμένη στο cloud, μηδενική ETL, τεχνολογία SaaS. Αυτός ο οδηγός σάς βοηθά να δημιουργήσετε μια βάση δεδομένων κατοπτρισμού από το Azure Databricks, η οποία δημιουργεί ένα αντίγραφο μόνο για ανάγνωση, συνεχώς αναπαραγόμενο των δεδομένων Azure Databricks στο OneLake.

Προαπαιτούμενα

  • Πρέπει να ενεργοποιήσετε την πρόσβαση εξωτερικών δεδομένων στο metastore. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ενεργοποίηση πρόσβασης εξωτερικών δεδομένων στο metastore.
  • Δημιουργήστε ή χρησιμοποιήστε έναν υπάρχοντα χώρο εργασίας Azure Databricks με ενεργοποιημένο το Unity Catalog.
  • Πρέπει να έχετε το EXTERNAL USE SCHEMA δικαίωμα στο σχήμα στον Κατάλογο ενότητας που περιέχει τους πίνακες στους οποίους θα έχετε πρόσβαση από το Fabric.
  • Πρέπει να χρησιμοποιήσετε το μοντέλο δικαιωμάτων του Fabric για να ορίσετε στοιχεία ελέγχου πρόσβασης για καταλόγους, σχήματα και πίνακες στο Fabric.
  • Οι χώροι εργασίας Azure Databricks δεν μπορούν να βρίσκονται πίσω από ένα ιδιωτικό τελικό σημείο.

Δημιουργία βάσης δεδομένων κατοπτρισμού από το Azure Databricks

Ακολουθήστε αυτά τα βήματα για να δημιουργήσετε μια νέα βάση δεδομένων κατοπτρισμού από τον κατάλογο ενότητας Azure Databricks.

  1. Μεταβείτε στο https://powerbi.com.

  2. Επιλέξτε + Νέο και, στη συνέχεια , Mirrored Azure Databricks catalog.

    Στιγμιότυπο οθόνης από την πύλη Fabric ενός νέου κατοπτριζόμενου στοιχείου Azure Databricks.

  3. Επιλέξτε μια υπάρχουσα σύνδεση, εάν έχετε ρυθμίσει τις παραμέτρους της.

    • Εάν δεν έχετε υπάρχουσα σύνδεση, δημιουργήστε μια νέα σύνδεση και εισαγάγετε όλες τις λεπτομέρειες. Μπορείτε να πραγματοποιήσετε έλεγχο ταυτότητας στον χώρο εργασίας Azure Databricks χρησιμοποιώντας "Εταιρικός λογαριασμός" ή "Κύρια υπηρεσία". Για να δημιουργήσετε μια σύνδεση, πρέπει να είστε χρήστης ή διαχειριστής του χώρου εργασίας Azure Databricks.
    • Για να αποκτήσετε πρόσβαση σε λογαριασμούς Azure Data Lake Storage (ADLS) Gen2 πίσω από ένα τείχος προστασίας, πρέπει να ακολουθήσετε τα βήματα για να ενεργοποιήσετε την πρόσβαση στην ασφάλεια δικτύου για το λογαριασμό σας Azure Data Lake Storage Gen2 παρακάτω σε αυτό το άρθρο.

  4. Αφού συνδεθείτε σε έναν χώρο εργασίας Azure Databricks, στη σελίδα Επιλογή πινάκων από κατάλογο Databricks , μπορείτε να επιλέξετε τον κατάλογο, τα σχήματα και τους πίνακες μέσω της λίστας συμπερίληψης/εξαίρεσης που θέλετε να προσθέσετε και να αποκτήσετε πρόσβαση από το Microsoft Fabric. Επιλέξτε τον κατάλογο και τα σχετικά σχήματα και πίνακες που θέλετε να προσθέσετε στον χώρο εργασίας Fabric.

    • Μπορείτε να δείτε μόνο τους καταλόγους/σχήματα/πίνακες στους οποίους έχετε πρόσβαση σύμφωνα με τα προνόμια που τους έχουν εκχωρηθεί σύμφωνα με το μοντέλο προνομίων που περιγράφεται στα προνόμια και τα ασφαλιζόμενα αντικείμενα του Καταλόγου Ενότητας.
    • Από προεπιλογή, είναι ενεργοποιημένη η επιλογή Αυτόματος συγχρονισμός μελλοντικών αλλαγών καταλόγου για το επιλεγμένο σχήμα . Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Mirroring Azure Databricks Unity Catalog.
    • Όταν κάνετε τις επιλογές σας, επιλέξτε Επόμενο.

  5. Από προεπιλογή, το όνομα του προϊόντος θα είναι το όνομα του καταλόγου που προσπαθείτε να προσθέσετε στο Fabric. Στη σελίδα Αναθεώρηση και δημιουργία , μπορείτε να εξετάσετε τις λεπτομέρειες και, προαιρετικά, να αλλάξετε το όνομα του κατοπτριζόμενου στοιχείου βάσης δεδομένων, το οποίο πρέπει να είναι μοναδικό στο χώρο εργασίας σας. Επιλέξτε Δημιουργία.

  6. Δημιουργείται ένα στοιχείο καταλόγου Databricks και για κάθε πίνακα, δημιουργείται επίσης μια αντίστοιχη συντόμευση τύπου Databricks.

    • Τα σχήματα που δεν έχουν πίνακες δεν εμφανίζονται.

  7. Μπορείτε επίσης να δείτε μια προεπισκόπηση των δεδομένων όταν αποκτάτε πρόσβαση σε μια συντόμευση επιλέγοντας το τελικό σημείο ανάλυσης SQL. Ανοίξτε το στοιχείο τελικού σημείου SQL analytics για να εκκινήσετε τη σελίδα του προγράμματος επεξεργασίας Explorer και ερωτήματος. Μπορείτε να υποβάλετε ερώτημα στους κατοπτριζόμενους πίνακες Azure Databricks με την T-SQL στο πρόγραμμα επεξεργασίας SQL.

Δημιουργία συντομεύσεων Lakehouse στο στοιχείο καταλόγου Databricks

Μπορείτε επίσης να δημιουργήσετε συντομεύσεις από το Lakehouse στο στοιχείο καταλόγου Databricks για να χρησιμοποιήσετε τα δεδομένα σας στο Lakehouse και να χρησιμοποιήσετε τα Spark Notebooks.

  1. Αρχικά, δημιουργούμε ένα λιμναίο σπίτι. Εάν έχετε ήδη ένα σπίτι λίμνης σε αυτόν τον χώρο εργασίας, μπορείτε να χρησιμοποιήσετε ένα υπάρχον σπίτι λίμνης.
    1. Επιλέξτε το χώρο εργασίας σας στο μενού πλοήγησης.
    2. Επιλέξτε + New>Lakehouse.
    3. Δώστε ένα όνομα για το σπίτι σας στη λίμνη στο πεδίο Όνομα και επιλέξτε Δημιουργία.
  2. Στην προβολή Explorer του σπιτιού σας στη λίμνη, στο μενού Λήψη δεδομένων στο σπίτι της λίμνης , στην περιοχή Φόρτωση δεδομένων στο σπίτι της λίμνης, επιλέξτε το κουμπί Νέα συντόμευση .
  3. Επιλέξτε Microsoft OneLake. Επιλέξτε έναν κατάλογο. Αυτό είναι το στοιχείο δεδομένων που δημιουργήσατε στα προηγούμενα βήματα. Στη συνέχεια, επιλέξτε Επόμενο.
  4. Επιλέξτε πίνακες μέσα στο σχήμα και επιλέξτε Επόμενο.
  5. Επιλέξτε Δημιουργία.
  6. Οι συντομεύσεις είναι πλέον διαθέσιμες στο Lakehouse σας για χρήση με τα άλλα δεδομένα σας στο Lakehouse. Μπορείτε επίσης να χρησιμοποιήσετε τα Σημειωματάρια και το Spark για να εκτελέσετε επεξεργασία δεδομένων στα δεδομένα για αυτούς τους πίνακες καταλόγου που προσθέσατε από τον χώρο εργασίας Azure Databricks.

Δημιουργία σημασιολογικού μοντέλου

Μπορείτε να δημιουργήσετε ένα μοντέλο σημασιολογίας Power BI με βάση το κατοπτριζόμενο στοιχείο σας και να προσθέσετε/καταργήσετε πίνακες με μη αυτόματο τρόπο. Για περισσότερες πληροφορίες σχετικά με τη δημιουργία και τη διαχείριση μοντέλων σημασιολογίας, ανατρέξτε στο θέμα Δημιουργία μοντέλου σημασιολογίας Power BI.

Για την καλύτερη δυνατή εμπειρία, συνιστάται να χρησιμοποιείτε το πρόγραμμα περιήγησης Microsoft Edge για εργασίες σημασιολογικής μοντελοποίησης.

Διαχείριση σχέσεων σημασιολογικού μοντέλου

Αφού δημιουργήσετε ένα νέο σημασιολογικό μοντέλο με βάση τη βάση δεδομένων κατοπτρισμού,

  1. Επιλέξτε Διατάξεις μοντέλου από την Εξερεύνηση στον χώρο εργασίας σας.
  2. Μόλις επιλεγούν οι διατάξεις μοντέλου, εμφανίζεται ένα γραφικό των πινάκων που συμπεριλήφθηκαν ως μέρος του σημασιολογικού μοντέλου.
  3. Για να δημιουργήσετε σχέσεις μεταξύ πινάκων, σύρετε ένα όνομα στήλης από έναν πίνακα σε ένα άλλο όνομα στήλης ενός άλλου πίνακα. Παρουσιάζεται ένα αναδυόμενο παράθυρο για τον προσδιορισμό της σχέσης και της πληθικότητας για τους πίνακες.

Ενεργοποίηση πρόσβασης ασφάλειας δικτύου για τον λογαριασμό σας Azure Data Lake Storage Gen2

Αυτή η ενότητα σάς καθοδηγεί σχετικά με τη ρύθμιση παραμέτρων της ασφάλειας δικτύου για τον λογαριασμό σας Azure Data Lake Storage (ADLS) Gen2, όταν έχει ρυθμιστεί ένα τείχος προστασίας χώρου αποθήκευσης Azure . 

Προαπαιτούμενα

  • Δημιουργήστε ή χρησιμοποιήστε έναν υπάρχοντα χώρο εργασίας Azure Databricks με ενεργοποιημένο το Unity Catalog.
  • Για να ενεργοποιήσετε τον τύπο ελέγχου ταυτότητας χώρου εργασίας (συνιστάται), ο χώρος εργασίας Fabric πρέπει να συσχετίζεται με οποιονδήποτε εκχωρημένο αριθμό F. Για να δημιουργήσετε μια ταυτότητα χώρου εργασίας, ανατρέξτε στο θέμα Έλεγχος ταυτότητας με ταυτότητα χώρου εργασίας.
  • Αυτή η ενότητα αφορά την πρόσβαση σε έναν λογαριασμό χώρου αποθήκευσης Azure Data Lake Storage (ADLS) Gen2 πίσω από ένα τείχος προστασίας χώρου αποθήκευσης Azure. Ο χώρος αποθήκευσης χώρου εργασίας Azure Databricks πίσω από ένα τείχος προστασίας χώρου αποθήκευσης Azure δεν υποστηρίζεται.
  • Ένας κατάλογος πρέπει να συσχετίζεται με έναν μόνο λογαριασμό αποθήκευσης.

Ενεργοποίηση πρόσβασης ασφάλειας δικτύου

  1. Κατά τη δημιουργία ενός νέου καταλόγου Mirrored Azure Databricks, στο βήμα Επιλογή δεδομένων , επιλέξτε την καρτέλα Ασφάλεια δικτύου .

    Στιγμιότυπο οθόνης της καρτέλας Ασφάλεια δικτύου στο Databricks.

  2. Επιλέξτε μια υπάρχουσα σύνδεση με το λογαριασμό χώρου αποθήκευσης, εάν έχετε ρυθμίσει τις παραμέτρους της. 

    • Εάν δεν έχετε υπάρχουσα σύνδεση ADLS, δημιουργήστε μια νέα σύνδεση.  
    • Η διεύθυνση URL του τελικού σημείου αποθήκευσης είναι το σημείο όπου αποθηκεύονται τα δεδομένα του επιλεγμένου καταλόγου. Το τελικό σημείο θα πρέπει να είναι ο συγκεκριμένος φάκελος όπου αποθηκεύονται τα δεδομένα, αντί να καθορίζεται το τελικό σημείο σε επίπεδο λογαριασμού αποθήκευσης. Για παράδειγμα, παρέχετε https://<storage account>.dfs.core.windows.net/container1/folder1 αντί για https://<storage account>.dfs.core.windows.net/.
    • Δώστε τα διαπιστευτήρια σύνδεσης. Οι τύποι ελέγχου ταυτότητας που υποστηρίζονται είναι Εταιρικός λογαριασμός, Κύρια υπηρεσία και Ταυτότητα χώρου εργασίας (συνιστάται).

  3. Στην πύλη Azure, παρέχετε δικαιώματα πρόσβασης στον λογαριασμό χώρου αποθήκευσης με βάση τον τύπο ελέγχου ταυτότητας που επιλέξατε στο προηγούμενο βήμα. Μεταβείτε στον λογαριασμό χώρου αποθήκευσης στην πύλη Azure. Επιλέξτε Έλεγχος πρόσβασης (IAM). Επιλέξτε +Προσθήκη και προσθήκη ανάθεσης ρόλου. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ανάθεση ρόλων Azure με χρήση της πύλης Azure.

    • Εάν καθορίσατε το λογαριασμό χώρου αποθήκευσης ως μέρος της σύνδεσης, το επιλεγμένο αντικείμενο ελέγχου ταυτότητας πρέπει να έχει το ρόλο ανάγνωσης δεδομένων αντικειμένων blob αποθήκευσης στο λογαριασμό αποθήκευσης. 
    • Εάν καθορίσατε ένα συγκεκριμένο κοντέινερ ως μέρος της σύνδεσης, το επιλεγμένο αντικείμενο ελέγχου ταυτότητας πρέπει να έχει ρόλο ανάγνωσης δεδομένων αντικειμένων blob αποθήκευσης στο κοντέινερ.  
    • Εάν καθορίσατε έναν συγκεκριμένο φάκελο μέσα σε ένα κοντέινερ (συνιστάται), το επιλεγμένο αντικείμενο ελέγχου ταυτότητας πρέπει να έχει τα στοιχεία Read (R) και Execute (E) σε επίπεδο φακέλου. Εάν χρησιμοποιείτε την κύρια υπηρεσία ή την ταυτότητα χώρου εργασίας ως τύπο ελέγχου ταυτότητας, πρέπει να εκχωρήσετε σε αυτήν την κύρια υπηρεσία ή την ταυτότητα χώρου εργασίας Execute δικαιώματα στον ριζικό φάκελο του κοντέινερ και σε κάθε φάκελο στην ιεραρχία των φακέλων που οδηγούν στο φάκελο που καθορίσατε. 

    Για περισσότερες πληροφορίες και βήματα για την εκχώρηση πρόσβασης ADLS, ανατρέξτε στο θέμα Έλεγχος πρόσβασης ADLS.

  4. Ενεργοποιήστε την πρόσβαση σε αξιόπιστο χώρο εργασίας για πρόσβαση σε λογαριασμούς Azure Data Lake Storage (ADLS) Gen2 με δυνατότητα τείχους προστασίας με ασφαλή τρόπο. Η πρόσβαση σε αξιόπιστο χώρο εργασίας απαιτεί τη δημιουργία μιας σύνδεσης απευθείας με τον λογαριασμό χώρου αποθήκευσης ADLS, ο οποίος μπορεί να χρησιμοποιηθεί ανεξάρτητα από τη σύνδεση χώρου εργασίας Azure Databricks. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Βάσεις δεδομένων κατοπτρισμού ασφαλούς δομής από το Azure Databricks.

  5. Δημιουργείται μια συντόμευση για τους πίνακες Unity Catalog για τους πίνακες των οποίων το όνομα λογαριασμού χώρου αποθήκευσης ταιριάζει με το λογαριασμό αποθήκευσης που καθορίζεται στη σύνδεση ADLS. Για πίνακες των οποίων το όνομα λογαριασμού χώρου αποθήκευσης δεν αντιστοιχεί στον λογαριασμό χώρου αποθήκευσης που καθορίζεται στη σύνδεση ADLS, δεν θα δημιουργηθούν συντομεύσεις για αυτούς τους πίνακες. 

Σημαντικό

Εάν σκοπεύετε να χρησιμοποιήσετε τη σύνδεση ADLS εκτός των σεναρίων στοιχείων καταλόγου Mirrored Azure Databricks, πρέπει επίσης να δώσετε το ρόλο εξουσιοδοτητή αντικειμένων blob αποθήκευσης στο λογαριασμό αποθήκευσης.

Ενεργοποιήστε την ασφάλεια OneLake στο στοιχείο Mirrored Databricks

Map Unity Catalog (UC) πολιτικές για την ασφάλεια του Microsoft OneLake ακολουθώντας τα εξής βήματα:

  1. Συγχρονίστε την ομάδα Entra και εφαρμόστε δικαιώματα στον κατάλογο Unity. Στο Azure Databricks, χρησιμοποιήστε την Αυτόματη διαχείριση ταυτοτήτων για να συγχρονίσετε μια ομάδα αναγνωριστικών Microsoft Entra και να της εκχωρήσετε τα απαραίτητα δικαιώματα καταλόγου ενότητας, για παράδειγμα, ΧΡΗΣΗ, ΠΕΡΙΗΓΗΣΗ, ΕΠΙΛΟΓΗ στον σχετικό κατάλογο/πίνακες.
  2. Αναθέστε έναν ρόλο πρόσβασης δεδομένων OneLake. Στο χώρο εργασίας Fabric, δημιουργήστε ένα ρόλο πρόσβασης δεδομένων για τα δεδομένα που κατοπτρίζονται πρόσφατα. Προσθέστε την ίδια ομάδα Entra σε αυτόν τον ρόλο και παραχωρήστε της πρόσβαση ανάγνωσης στις συντομεύσεις OneLake που αντιστοιχούν στους πίνακες Azure Databricks. Μπορείτε να ξεκινήσετε αμέσως με την ασφάλεια σε επίπεδο πίνακα στο κουμπί Διαχείριση ασφάλειας OneLake στην κορδέλα. Βεβαιωθείτε ότι διατηρείτε συγχρονισμένες τις διαμορφώσεις πρόσβασης καθώς εξελίσσονται οι δομές και τα δικαιώματα καταλόγου. Για περισσότερες πληροφορίες, ανατρέξτε στο μοντέλο ελέγχου πρόσβασης δεδομένων OneLake (προεπισκόπηση).

Σχετικό περιεχόμενο

  • Last updated on