Ενεργοποίηση διαθεσιμότητας OneLake για μια αποθήκη εκδηλώσεων

Μπορείτε να δημιουργήσετε ένα λογικό αντίγραφο των δεδομένων της βάσης δεδομένων KQL σε μια αποθήκη συμβάντων, ενεργοποιώντας διαθεσιμότητα oneLake. Όταν ενεργοποιείτε τη διαθεσιμότητα OneLake, μπορείτε να υποβάλετε ερωτήματα για τα δεδομένα στη βάση δεδομένων KQL σε μορφή Delta Lake μέσω άλλων μηχανισμών Fabric, όπως η λειτουργία Direct Lake σε Power BI, Warehouse, Lakehouse, Notebooks και άλλα. Το Delta Lake είναι η ενοποιημένη μορφή πίνακα λίμνης δεδομένων που καθιστά δυνατή την απρόσκοπτη πρόσβαση σε δεδομένα σε όλες τις υπολογιστικές μηχανές στο Fabric.

Σε αυτό το άρθρο, θα μάθετε πώς μπορείτε να ενεργοποιήσετε τη διαθεσιμότητα των δεδομένων βάσης δεδομένων KQL στο OneLake.

Όταν είναι ενεργοποιημένη η διαθεσιμότητα του OneLake και ο συγχρονισμός σχήματος, μπορείτε επίσης να χρησιμοποιήσετε την Ανάλυση δεδομένων με>τελικό σημείο ανάλυσης SQL σε επίπεδο βάσης δεδομένων για να υποβάλετε ερωτήματα στην αναπαράσταση Delta Lake σε σχεδόν πραγματικό χρόνο μέσω μηχανισμών που βασίζονται σε SQL.

Πώς λειτουργεί η διαθεσιμότητα OneLake για βάσεις δεδομένων KQL

Μπορείτε να ενεργοποιήσετε διαθεσιμότητας OneLake στο επίπεδο βάσης δεδομένων ή πίνακα. Όταν ενεργοποιηθεί στο επίπεδο βάσης δεδομένων, όλοι οι νέοι πίνακες και τα δεδομένα τους καθίστανται διαθέσιμα στο OneLake. Όταν ενεργοποιείτε τη δυνατότητα, μπορείτε επίσης να εφαρμόσετε αυτή την επιλογή σε υπάρχοντες πίνακες, επιλέγοντας Εφαρμογή σε υπάρχοντες πίνακες, για να συμπεριλάβετε το παρασκήνιο ιστορικού. Η ενεργοποίηση σε επίπεδο πίνακα καθιστά μόνο αυτόν τον πίνακα και τα δεδομένα του διαθέσιμα στο OneLake. Η πολιτική διατήρησης δεδομένων της βάσης δεδομένων KQL εφαρμόζεται επίσης στα δεδομένα στο OneLake. Τα δεδομένα που καταργούνται από τη βάση δεδομένων KQL στο τέλος της περιόδου διατήρησης καταργούνται επίσης από το OneLake. Εάν απενεργοποιήσετε τη διαθεσιμότητα του OneLake, τα δεδομένα διαγράφονται οριστικά από το OneLake.

Ο συγχρονισμός σχήματος υποστήριξης διατηρεί την αναπαράσταση Delta Lake ευθυγραμμισμένη με τη βάση δεδομένων KQL, επιτρέποντας την υποβολή ερωτημάτων σχεδόν σε πραγματικό χρόνο μέσω του τελικού σημείου ανάλυσης SQL και των σημειωματάριων. Για τον αναμενόμενο λανθάνοντα χρόνο και τη συμπεριφορά δέσμης, ανατρέξτε στην ενότητα Προσαρμοστική συμπεριφορά.

Παρόλο που διαθεσιμότητας του OneLake είναι ενεργοποιημένη, δεν μπορείτε να κάνετε τις ακόλουθες εργασίες:

• Μετονομασία πινάκων.
• Αλλάξτε έναν τύπο στήλης. Υποστηρίζεται η προσθήκη ή η διαγραφή στήλης.
• Εφαρμογή ασφάλειας σε επίπεδο γραμμών σε πίνακες.
• Διαγραφή, περικοπή ή εκκαθάριση δεδομένων.

Εάν θέλετε να κάνετε οποιαδήποτε από αυτές τις εργασίες, ακολουθήστε τα παρακάτω βήματα:

1. Απενεργοποιήστε τη διαθεσιμότητα του OneLake.
2. Εκτελέστε την εργασία.
3. Ενεργοποιήστε τη διαθεσιμότητα OneLake.

Σημαντικό

Η απενεργοποίηση διαθεσιμότητας OneLake διαγράφει τα δεδομένα σας από το OneLake. Όταν ενεργοποιείτε ξανά τη διαθεσιμότητα, όλα τα δεδομένα είναι διαθέσιμα στο OneLake, συμπεριλαμβανομένης της ιστορικής συμπλήρωσης.

Σημείωμα

Για πληροφορίες σχετικά με το χρόνο που απαιτείται για την εμφάνιση των δεδομένων στο OneLake, ανατρέξτε στο θέμα Προσαρμόσιμη συμπεριφορά. Δεν υπάρχει επιπλέον κόστος χώρου αποθήκευσης για να ενεργοποιήσετε διαθεσιμότητα oneLake. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Κατανάλωση πόρων.

Προαπαιτούμενα στοιχεία

• Ένα workspace με δυνατότητα Fabric capacity.
• Μια βάση δεδομένων KQL με δικαιώματα επεξεργασίας και δεδομένα.

Ενεργοποίηση διαθεσιμότητας OneLake για βάση δεδομένων ή πίνακα KQL

Μπορείτε να ενεργοποιήσετε τη διαθεσιμότητα του OneLake είτε για μια βάση δεδομένων ή έναν πίνακα KQL.

1. Επιλέξτε μια βάση δεδομένων ή έναν πίνακα.

2. Στην ενότητα oneLake του τμήματος παραθύρου λεπτομερειών, ορίστε Διαθεσιμότητα σε Ενεργοποιημένο.

   

3. Στο παράθυρο Ενεργοποίηση διαθεσιμότητας OneLake , επιλέξτε Ενεργοποίηση.

   

4. Οι λεπτομέρειες βάσης δεδομένων ή πίνακα ανανεώνονται αυτόματα.

   

Όταν ενεργοποιείτε τη διαθεσιμότητα OneLake στη βάση δεδομένων ή τον πίνακα KQL, μπορείτε να αποκτήσετε πρόσβαση σε όλα τα δεδομένα στη δεδομένη διαδρομή OneLake σε μορφή Delta Lake. Μπορείτε επίσης να δημιουργήσετε μια συντόμευση OneLake από μια λίμνη ή μια αποθήκη ή να υποβάλετε ερωτήματα για τα δεδομένα απευθείας μέσω της λειτουργίας Power BI Direct Lake. Με ενεργοποιημένο το διαθεσιμότητας του OneLake στη βάση δεδομένων Ή τον πίνακα KQL, μπορείτε πλέον να έχετε πρόσβαση σε όλα τα δεδομένα στη δεδομένη διαδρομή OneLake σε μορφή Delta Lake. Μπορείτε επίσης να δημιουργήσετε μια συντόμευση OneLake από ένα Lakehouse, Αποθήκη δεδομένων ή να υποβάλετε ερωτήματα απευθείας στα δεδομένα μέσω της λειτουργίας Power BI Direct Lake.

Χρήση με την Ανάλυση δεδομένων με επιλογές

Όταν είναι ενεργοποιημένη η διαθεσιμότητα OneLake , τα στοιχεία βάσης δεδομένων Eventhouse και KQL εκθέτουν την Ανάλυση δεδομένων με επιλογές σε επίπεδο βάσης δεδομένων:

• Τελικό σημείο ανάλυσης SQL: Διαθέσιμο όταν είναι ενεργοποιημένα τόσο η διαθεσιμότητα OneLake όσο και ο συγχρονισμός σχήματος.
• Σημειωματάριο: Ανοίγει την ανάλυση βάσει σημειωματαρίου για την επιλεγμένη βάση δεδομένων.

Εάν απενεργοποιήσετε τη διαθεσιμότητα OneLake, η επιλογή τελικού σημείου ανάλυσης SQL καταργείται από αυτό το μενού μέχρι να την ενεργοποιήσετε ξανά.

Προσαρμοστική συμπεριφορά για ομαδοποίηση αρχείων parquet

Μια αποθήκη συμβάντων ομαδοποιεί έξυπνα τις εισερχόμενες ροές δεδομένων σε ένα ή περισσότερα αρχεία Parquet δομημένα για ανάλυση. Η ομαδοποίηση ροών δεδομένων είναι σημαντική όταν έχουμε να κάνουμε με δεδομένα που στάζουν, επειδή η εγγραφή πολλών μικρών αρχείων Parquet στη λίμνη μπορεί να είναι αναποτελεσματική. Αυτή η αναποτελεσματικότητα έχει ως αποτέλεσμα υψηλότερο κόστος και κακή απόδοση ερωτημάτων.

Ο προσαρμοστικός μηχανισμός του eventhouse μπορεί να καθυστερήσει τις λειτουργίες εγγραφής στο OneLake εάν δεν υπάρχουν αρκετά δεδομένα για τη δημιουργία βέλτιστων αρχείων Parquet. Αυτή η συμπεριφορά διασφαλίζει ότι τα αρχεία Parquet είναι βέλτιστα σε μέγεθος και συμμορφώνονται με τις βέλτιστες πρακτικές της Delta Lake. Εξισορροπεί την ανάγκη για άμεση διαθεσιμότητα δεδομένων με ζητήματα κόστους και απόδοσης.

Προεπιλεγμένη και διαμορφώσιμη καθυστέρηση εγγραφής για διαθεσιμότητα OneLake:

Ρύθμιση	Προεπιλεγμένη τιμή	Επιτρεπόμενο εύρος
Καθυστέρηση λειτουργίας εγγραφής (TargetLatencyInMinutes)	Έως 3 ώρες ή μέχρι να δημιουργηθούν αρχεία επαρκούς μεγέθους (συνήθως 200-256 MB)	5 λεπτά έως 3 ώρες

Για παράδειγμα, χρησιμοποιήστε την ακόλουθη εντολή Kusto για να ορίσετε την καθυστέρηση εγγραφής σε 5 λεπτά για έναν μεμονωμένο πίνακα:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Προσοχή

Η προσαρμογή της καθυστέρησης σε μικρότερη περίοδο μπορεί να οδηγήσει σε έναν μη αποδοτικό πίνακα δέλτα με μεγάλο αριθμό μικρών αρχείων, το οποίο μπορεί να οδηγήσει σε αναποτελεσματική απόδοση των ερωτημάτων. Ο πίνακας που προκύπτει στο OneLake είναι μόνο για ανάγνωση και δεν μπορεί να βελτιστοποιηθεί μετά τη δημιουργία του.

Μπορείτε να παρακολουθείτε πόσο καιρό πριν προστέθηκαν νέα δεδομένα στη λίμνη ελέγχοντας τον λανθάνοντα χρόνο των δεδομένων σας χρησιμοποιώντας την .show table mirroring operations εντολή.

Τα αποτελέσματα μετρούνται από την τελευταία φορά που προστέθηκαν δεδομένα. Όταν επιστρέψει το 00:00:00 , όλα τα δεδομένα στη βάση δεδομένων KQL είναι διαθέσιμα στο OneLake.

Προβολή αρχείων Delta Lake στο OneLake

Όταν ενεργοποιείτε τη διαθεσιμότητα OneLake σε έναν πίνακα, η διαδικασία δημιουργεί έναν φάκελο καταγραφής δέλτα μαζί με τυχόν αντίστοιχα αρχεία JSON και Parquet. Μπορείτε να προβάλετε τα αρχεία που είναι διαθέσιμα στο OneLake και τις ιδιότητές τους ενώ παραμένετε στο Real-Time Intelligence.

• Για να προβάλετε τα αρχεία, τοποθετήστε τον δείκτη επάνω σε έναν πίνακα στο τμήμα παραθύρου Explorer και, στη συνέχεια, επιλέξτε το μενού Περισσότερα [...]>Προβολή αρχείων.

  

• Για να προβάλετε τις ιδιότητες του φακέλου αρχείου καταγραφής delta ή των μεμονωμένων αρχείων, τοποθετήστε τον δείκτη επάνω από τον φάκελο ή το αρχείο και, στη συνέχεια, επιλέξτε το μενού Περισσότερα [...]>Ιδιότητες.

• Για να προβάλετε τα αρχεία στον φάκελο καταγραφής δέλτα:

  1. Επιλέξτε τον φάκελο _delta_log .
  2. Επιλέξτε ένα αρχείο για να προβάλετε τα μετα-δεδομένα και το σχήμα του πίνακα. Το πρόγραμμα επεξεργασίας που ανοίγει είναι σε μορφή μόνο για ανάγνωση.

Πρόσβαση στην πολιτική κατοπτρισμού OneLake

Από προεπιλογή, όταν ενεργοποιείτε τη διαθεσιμότητα OneLake για μια βάση δεδομένων ή έναν πίνακα KQL, το σύστημα ενεργοποιεί μια πολιτική κατοπτρισμού. Μπορείτε να χρησιμοποιήσετε την πολιτική κατοπτρισμού για να παρακολουθήσετε τον λανθάνοντα χρόνο δεδομένων ή να τον τροποποιήσετε σε διαμερισματοποίηση πινάκων δέλτα.

Σημείωμα

Εάν απενεργοποιήσετε τη διαθεσιμότητα oneLake, η ιδιότητα της IsEnabled πολιτικής κατοπτρισμού ορίζεται σε false (IsEnabled=false).

Πίνακες δέλτα διαμερισμάτων στο OneLake

Μπορείτε να χωρίσετε τους πίνακες δέλτα σας για να βελτιώσετε την ταχύτητα των ερωτημάτων. Για πληροφορίες σχετικά με το πότε πρέπει να κάνετε διαμερισμό των αρχείων σας OneLake, ανατρέξτε στο θέμα Πότε πρέπει να χωρίσετε πίνακες. Κάθε διαμέρισμα αναπαρίσταται ως ξεχωριστή στήλη χρησιμοποιώντας τη PartitionName λίστα που αναφέρεται Partitions . Αυτή η αναπαράσταση σημαίνει ότι το αντίγραφο OneLake έχει περισσότερες στήλες από τον πίνακα προέλευσης.

Για να διαμερίσετε τους πίνακες δέλτα, χρησιμοποιήστε την .alter-merge table policy mirroring εντολή.

Υποβολή ερωτήματος σε πίνακες Delta από σημειωματάριο Fabric

Μπορείτε να χρησιμοποιήσετε το Fabric Notebook για να διαβάσετε τα δεδομένα OneLake χρησιμοποιώντας το ακόλουθο τμήμα κώδικα.

Συμβουλή

Μπορείτε να εκκινήσετε ένα νέο ή υπάρχον σημειωματάριο Fabric απευθείας από την Ανάλυση δεδομένων με>το Σημειωματάριο σε μια βάση δεδομένων Eventhouse ή KQL. Το σημειωματάριο συνδέεται αυτόματα στο επιλεγμένο περιβάλλον βάσης δεδομένων. Χρησιμοποιήστε το παρακάτω δείγμα κώδικα όταν θέλετε μη αυτόματη πρόσβαση βάσει διαδρομής.

Στο τμήμα κώδικα, αντικαταστήστε <workspaceGuid>, <workspaceGuid>και <tableName> με τις δικές σας τιμές.

delta_table_path = 'abfss://<workspaceGuid>@onelake.dfs.fabric.microsoft.com/<eventhouseGuid>/Tables/<tableName>'

df = spark.read.format("delta").load(delta_table_path)

df.show()

Σημείωμα

Για μια βάση δεδομένων Azure Data Explorer, χρησιμοποιήστε αυτόν τον κώδικα:

delta_table_path = 'abfss://<workspaceName>@onelake.dfs.fabric.microsoft.com/<itemName>.KustoDatabase/Tables/<tableName>'

Σχετικό περιεχόμενο

• Τι είναι το Δέλτα Λέικ;
• Δημιουργία συντόμευσης στο OneLake
• Τι είναι οι συντομεύσεις στο lakehouse;
• Δημιουργήστε μια συντόμευση OneLake στη βάση δεδομένων KQL