Λήψη δεδομένων από κέντρα συμβάντων του Azure
Σε αυτό το άρθρο, θα μάθετε πώς μπορείτε να λάβετε δεδομένα από κέντρα συμβάντων στη βάση δεδομένων KQL στο Microsoft Fabric. Τα Κέντρα συμβάντων Azure είναι μια μεγάλη πλατφόρμα ροής δεδομένων και υπηρεσία πρόσληψης συμβάντων που μπορεί να επεξεργάζεται και να κατευθύνει εκατομμύρια συμβάντα ανά δευτερόλεπτο.
Για να κάνετε ροή δεδομένων από κέντρα συμβάντων στην ευφυΐα σε πραγματικό χρόνο, ακολουθήστε δύο κύρια βήματα. Το πρώτο βήμα εκτελείται στην πύλη Azure, όπου ορίζετε την πολιτική κοινόχρηστής πρόσβασης στην παρουσία του κέντρου συμβάντων σας και καταγράφετε τις λεπτομέρειες που απαιτούνται για μελλοντική σύνδεση μέσω αυτής της πολιτικής.
Το δεύτερο βήμα λαμβάνει χώρα στην ευφυΐα σε πραγματικό χρόνο στο Fabric, όπου συνδέετε μια βάση δεδομένων KQL στο κέντρο συμβάντων και ρυθμίζετε τις παραμέτρους του σχήματος για εισερχόμενα δεδομένα. Αυτό το βήμα δημιουργεί δύο συνδέσεις. Η πρώτη σύνδεση, που ονομάζεται "σύνδεση cloud", συνδέει το Microsoft Fabric με την παρουσία του κέντρου συμβάντων. Η δεύτερη σύνδεση συνδέει τη "σύνδεση cloud" με τη βάση δεδομένων KQL. Μόλις ολοκληρώσετε τη ρύθμιση παραμέτρων των δεδομένων και του σχήματος του συμβάντος, τα δεδομένα ροής είναι διαθέσιμα για υποβολή ερωτημάτων χρησιμοποιώντας ένα σύνολο ερωτημάτων KQL.
Προαπαιτούμενα στοιχεία
- Μια συνδρομή Azure. Δημιουργία δωρεάν λογαριασμού Azure
- Ένα κέντρο συμβάντων
- Ένας χώρος εργασίας με εκχωρημένους πόρους με δυνατότητα Microsoft Fabric
- Μια βάση δεδομένων KQL με δικαιώματα επεξεργασίας
Προειδοποίηση
Το κέντρο συμβάντων δεν μπορεί να είναι πίσω από ένα τείχος προστασίας.
Ορισμός πολιτικής κοινόχρηστης πρόσβασης στο κέντρο συμβάντων σας
Για να μπορέσετε να δημιουργήσετε μια σύνδεση με τα δεδομένα κέντρου συμβάντων, πρέπει να ορίσετε μια πολιτική κοινόχρηστης πρόσβασης (SAS) στο κέντρο συμβάντων και να συλλέξετε ορισμένες πληροφορίες που θα χρησιμοποιηθούν αργότερα κατά τη ρύθμιση της σύνδεσης. Για περισσότερες πληροφορίες σχετικά με την εξουσιοδότηση πρόσβασης σε πόρους κέντρου συμβάντων, ανατρέξτε στο θέμα Υπογραφές κοινόχρηστής πρόσβασης.
Στην πύλη Azure, μεταβείτε στην παρουσία πλήμνων συμβάντων που θέλετε να συνδεθείτε.
Στην περιοχή Ρυθμίσεις, επιλέξτε Πολιτικές κοινόχρηστής πρόσβασης
Επιλέξτε +Προσθήκη για να προσθέσετε μια νέα πολιτική SAS ή επιλέξτε μια υπάρχουσα πολιτική με Διαχείριση δικαιωμάτων.
Εισαγάγετε όνομα πολιτικής.
Επιλέξτε Διαχείριση και, στη συνέχεια , Δημιουργία.
Συλλογή πληροφοριών για τη σύνδεση cloud
Στο τμήμα παραθύρου πολιτικής SAS, σημειώστε τα παρακάτω τέσσερα πεδία. Μπορεί να θέλετε να αντιγράψετε αυτά τα πεδία και να τα επικολλήσετε κάπου, όπως σε ένα σημειωματάριο, για να τα χρησιμοποιήσετε σε ένα επόμενο βήμα.
| Αναφορά πεδίου | Πεδίο | Description | Παράδειγμα |
|---|---|---|---|
| π.μ. | Παρουσία πλήμνων συμβάντων | Το όνομα της παρουσίας του κέντρου συμβάντων. | iotdata |
| b | Πολιτική SAS | Το όνομα πολιτικής SAS που δημιουργήθηκε στο προηγούμενο βήμα | DocsTest |
| γ | Πρωτεύον κλειδί | Το κλειδί που σχετίζεται με την πολιτική SAS | Σε αυτό το παράδειγμα, ξεκινά με PGGIISb009... |
| η | Πρωτεύον κλειδί συμβολοσειράς σύνδεσης | Σε αυτό το πεδίο, θέλετε μόνο να αντιγράψετε τον χώρο ονομάτων κέντρου συμβάντων, τον οποίο μπορείτε να βρείτε ως μέρος της συμβολοσειράς σύνδεσης. | eventhubpm15910.servicebus.windows.net |
Πηγή
Στην κάτω κορδέλα της βάσης δεδομένων KQL, επιλέξτε Λήψη δεδομένων.
Στο παράθυρο Λήψη δεδομένων, επιλέγεται η καρτέλα Προέλευση.
Επιλέξτε την προέλευση δεδομένων από τη διαθέσιμη λίστα. Σε αυτό το παράδειγμα, κάνετε πρόσληψη δεδομένων από κέντρα συμβάντων.
Ρύθμιση παραμέτρων
Επιλέξτε έναν πίνακα προορισμού. Εάν θέλετε να κάνετε πρόσληψη δεδομένων σε έναν νέο πίνακα, επιλέξτε + Νέος πίνακας και εισαγάγετε ένα όνομα πίνακα.
Σημείωμα
Τα ονόματα πινάκων μπορεί να έχουν έως 1024 χαρακτήρες, συμπεριλαμβανομένων διαστημάτων, αλφαριθμητικών, ενωτικών και υπογράμμισης. Δεν υποστηρίζονται ειδικοί χαρακτήρες.
Επιλέξτε Δημιουργία νέας σύνδεσης ή Υπάρχουσα σύνδεση και προχωρήστε στο επόμενο βήμα.
Δημιουργία νέας σύνδεσης
Συμπληρώστε τις ρυθμίσεις σύνδεσης σύμφωνα με τον παρακάτω πίνακα:
Ρύθμιση Περιγραφή Παράδειγμα τιμής Χώρος ονομάτων κέντρου συμβάντων Πεδίο d από τον παραπάνω πίνακα. eventhubpm15910.servicebus.windows.net Κέντρο συμβάντων Πεδίο α από τον παραπάνω πίνακα. Το όνομα της παρουσίας του κέντρου συμβάντων. iotdata Connection Για να χρησιμοποιήσετε μια υπάρχουσα σύνδεση cloud μεταξύ των Hubs Fabric και Event, επιλέξτε το όνομα αυτής της σύνδεσης. Διαφορετικά, επιλέξτε Δημιουργία νέας σύνδεσης. Δημιουργία νέας σύνδεσης Όνομα σύνδεσης Το όνομα της νέας σύνδεσής σας στο cloud. Αυτό το όνομα έχει δημιουργηθεί αυτόματα, αλλά μπορεί να αντικατασταθεί. Πρέπει να είναι μοναδικό εντός του μισθωτή Fabric. Σύνδεση Είδος ελέγχου ταυτότητας Αυτόματες συμπιεσμένες. Προς το παρόν υποστηρίζεται μόνο κοινόχρηστο κλειδί πρόσβασης. Κλειδί κοινόχρηστη πρόσβασης Όνομα κλειδιού κοινόχρηστη πρόσβασης Πεδίο β από τον παραπάνω πίνακα. Το όνομα που δώσατε στην πολιτική κοινόχρηστων πρόσβασης. DocsTest Κλειδί κοινόχρηστη πρόσβασης Πεδίο γ από τον παραπάνω πίνακα. Το πρωτεύον κλειδί της πολιτικής SAS. Επιλέξτε Αποθήκευση. Δημιουργείται μια νέα σύνδεση δεδομένων cloud μεταξύ Fabric και Κέντρου συμβάντων.
Σύνδεση cloud με τη βάση δεδομένων KQL
Είτε δημιουργήσατε μια νέα σύνδεση cloud είτε χρησιμοποιείτε μια υπάρχουσα, πρέπει να ορίσετε την ομάδα καταναλωτών. Μπορείτε προαιρετικά να ορίσετε παραμέτρους που καθορίζουν περαιτέρω πτυχές της σύνδεσης μεταξύ της βάσης δεδομένων KQL και της σύνδεσης cloud.
Συμπληρώστε τα παρακάτω πεδία σύμφωνα με τον πίνακα:
Ρύθμιση Περιγραφή Παράδειγμα τιμής Ομάδα καταναλωτών Η σχετική ομάδα καταναλωτών που έχει οριστεί στο κέντρο συμβάντων σας. Για περισσότερες πληροφορίες, ανατρέξτε στις ομάδες καταναλωτών. Μετά την προσθήκη μιας νέας ομάδας καταναλωτών, θα χρειαστεί να επιλέξετε αυτήν την ομάδα από την αναπτυσσόμενη λίστα. Νέοσυνείκονο Περισσότερες παράμετροι Συμπίεση Συμπίεση δεδομένων των συμβάντων, όπως προέρχεται από το κέντρο συμβάντων. Οι επιλογές είναι Καμία (προεπιλογή) ή Συμπίεση Gzip. Κανένας Ιδιότητες συστήματος συμβάντων Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Ιδιότητες συστήματος κέντρου συμβάντων. Εάν υπάρχουν πολλές εγγραφές ανά μήνυμα συμβάντος, οι ιδιότητες συστήματος προστίθενται στην πρώτη. Ανατρέξτε στο θέμα Ιδιότητες συστήματος συμβάντων. Ημερομηνία έναρξης ανάκτησης συμβάντων Η σύνδεση δεδομένων ανακτά υπάρχοντα συμβάντα κέντρου συμβάντων που δημιουργήθηκαν από την ημερομηνία έναρξης της ανάκτησης συμβάντων. Μπορεί να ανακτήσει μόνο συμβάντα που διατηρούνται από το κέντρο συμβάντων, με βάση την περίοδο διατήρησης. Η ζώνη ώρας είναι UTC. Εάν δεν καθορίζεται ώρα, η προεπιλεγμένη ώρα είναι η ώρα κατά την οποία δημιουργείται η σύνδεση δεδομένων. Επιλέξτε Επόμενο για να συνεχίσετε στην καρτέλα Επιθεώρηση.
Ιδιότητες συστήματος συμβάντων
Οι ιδιότητες συστήματος αποθηκεύουν ιδιότητες που ορίζονται από την υπηρεσία "Κέντρα συμβάντων" κατά τη στιγμή της απαρίθμησης του συμβάντος. Η σύνδεση δεδομένων με το κέντρο συμβάντων μπορεί να ενσωματώσει ένα επιλεγμένο σύνολο ιδιοτήτων συστήματος στα δεδομένα που προσελκύονται σε έναν πίνακα που βασίζεται σε μια δεδομένη αντιστοίχιση.
| Ιδιότητα | Τύπος δεδομένων | Περιγραφή |
|---|---|---|
| x-opt-enqueued-time | datetime | Ώρα UTC κατά την απαρίθμηση του συμβάντος. |
| x-opt-sequence-number | Μεγάλη | Ο αριθμός λογικής ακολουθίας του συμβάντος εντός της ροής διαμερίσματος του κέντρου συμβάντων. |
| x-opt-offset | συμβολοσειρά | Η μετατόπιση του συμβάντος από τη ροή διαμερίσματος κέντρου συμβάντων. Το αναγνωριστικό μετατόπισης είναι μοναδικό μέσα σε ένα διαμέρισμα της ροής κέντρου συμβάντων. |
| x-opt-publisher | συμβολοσειρά | Το όνομα του εκδότη, εάν το μήνυμα στάλθηκε σε ένα τελικό σημείο εκδότη. |
| x-opt-partition-key | συμβολοσειρά | Το κλειδί διαμερίσματος του αντίστοιχου διαμερίσματος που αποθήκευσε το συμβάν. |
Επιθεωρήσει
Για να ολοκληρώσετε τη διαδικασία πρόσληψης, επιλέξτε Τέλος.
Προαιρετικά:
Επιλέξτε Πρόγραμμα προβολής εντολών για να προβάλετε και να αντιγράψετε τις αυτόματες εντολές που δημιουργούνται από τις εισόδους σας.
Αλλάξτε τη μορφή δεδομένων που συνάγεται αυτόματα επιλέγοντας την επιθυμητή μορφή από την αναπτυσσόμενη λίστα. Τα δεδομένα διαβάζονται από το κέντρο συμβάντων με τη μορφή αντικειμένων EventData . Οι υποστηριζόμενες μορφές είναι οι μορφές CSV, JSON, PSV, SCsv, SOHsv TSV, TXT και TSVE.
Εξερευνήστε τις Επιλογές για προχωρημένους με βάση τον τύπο δεδομένων.
Εάν τα δεδομένα που βλέπετε στο παράθυρο προεπισκόπησης δεν έχουν ολοκληρωθεί, ίσως χρειαστείτε περισσότερα δεδομένα για να δημιουργήσετε έναν πίνακα με όλα τα απαραίτητα πεδία δεδομένων. Χρησιμοποιήστε τις ακόλουθες εντολές για να λάβετε νέα δεδομένα από το κέντρο συμβάντων:
- Απόρριψη και λήψη νέων δεδομένων: απορρίπτει τα δεδομένα που παρουσιάζονται και αναζητά νέα συμβάντα.
- Ανάκτηση περισσότερων δεδομένων: Αναζητά περισσότερα συμβάντα επιπλέον των συμβάντων που έχουν ήδη βρεθεί.
Επεξεργασία στηλών
Σημείωμα
- Για τις μορφές σε μορφή πίνακα (CSV, TSV, PSV), δεν μπορείτε να αντιστοιχίζετε μια στήλη δύο φορές. Για να αντιστοιχίστε σε μια υπάρχουσα στήλη, διαγράψτε πρώτα τη νέα στήλη.
- Δεν μπορείτε να αλλάξετε έναν υπάρχοντα τύπο στήλης. Εάν προσπαθήσετε να αντιστοιχίσετε σε μια στήλη που έχει διαφορετική μορφή, μπορεί να καταλήξετε με κενές στήλες.
Οι αλλαγές που μπορείτε να κάνετε σε έναν πίνακα εξαρτώνται από τις ακόλουθες παραμέτρους:
- Ο τύπος πίνακα είναι νέος ή υπάρχων
- Ο τύπος αντιστοίχισης είναι νέος ή υπάρχων
| Τύπος πίνακα | Τύπος αντιστοίχισης | Διαθέσιμες προσαρμογές |
|---|---|---|
| Νέος πίνακας | Νέα αντιστοίχιση | Μετονομασία στήλης, αλλαγή τύπου δεδομένων, αλλαγή προέλευσης δεδομένων, μετασχηματισμός αντιστοίχισης, προσθήκη στήλης, διαγραφή στήλης |
| Υπάρχων πίνακας | Νέα αντιστοίχιση | Προσθήκη στήλης (στην οποία μπορείτε έπειτα να αλλάξετε τον τύπο δεδομένων, να μετονομάσετε και να ενημερώσετε) |
| Υπάρχων πίνακας | Υπάρχουσα αντιστοίχιση | κανένας |
Αντιστοίχιση μετασχηματισμών
Ορισμένες αντιστοιχίσεις μορφής δεδομένων (Parquet, JSON και Avro) υποστηρίζουν απλούς μετασχηματισμούς πρόσληψης. Για να εφαρμόσετε μετασχηματισμούς αντιστοίχισης, δημιουργήστε ή ενημερώστε μια στήλη στο παράθυρο Επεξεργασία στηλών .
Οι μετασχηματισμοί αντιστοίχισης μπορούν να εκτελεστούν σε μια στήλη τύπου συμβολοσειράς ή ημερομηνίας/ώρας, με την προέλευση να έχει τύπο δεδομένων ενσωματωμένο ή μεγάλο. Οι υποστηριζόμενοι μετασχηματισμοί αντιστοίχισης είναι οι εξής:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Αντιστοίχιση σχήματος για αρχεία Avro καταγραφής συμβάντων στα Κέντρα συμβάντων
Ένας τρόπος για να καταναλώσετε δεδομένα κέντρου συμβάντων είναι η καταγραφή συμβάντων μέσω των Διανομών συμβάντων Azure στον Χώρο αποθήκευσης αντικειμένων blob Azure ή στο Azure Data Lake Storage. Στη συνέχεια, μπορείτε να πραγματοποιήσετε πρόσληψη των αρχείων καταγραφής καθώς συντάσσονται χρησιμοποιώντας μια σύνδεση δεδομένων πλέγματος συμβάντων.
Το σχήμα των αρχείων καταγραφής είναι διαφορετικό από το σχήμα του αρχικού συμβάντος που στάλθηκε στα Κέντρα συμβάντων. Θα πρέπει να σχεδιάσετε το σχήμα πίνακα προορισμού έχοντας υπόψη αυτήν τη διαφορά. Συγκεκριμένα, το ωφέλιμο φορτίο συμβάντος αντιπροσωπεύεται στο αρχείο καταγραφής ως πίνακας byte και αυτός ο πίνακας δεν αποκωδικοποιείται αυτόματα από τη σύνδεση δεδομένων Azure Data Explorer πλέγματος συμβάντων. Για πιο συγκεκριμένες πληροφορίες σχετικά με το σχήμα αρχείου για τα Κέντρα συμβάντων Καταγραφή δεδομένων Avro, ανατρέξτε στο θέμα Εξερεύνηση καταγεγραμμένων αρχείων Avro σε Κέντρα συμβάντων Azure.
Για να αποκωδικοποιήσετε σωστά το ωφέλιμο φορτίο συμβάντος:
- Αντιστοιχίστε το
Bodyπεδίο του συμβάντος που καταγράφηκε σε μια στήλη τύπουdynamicστον πίνακα προορισμού. - Εφαρμόστε μια πολιτική ενημέρωσης που μετατρέπει τον πίνακα byte σε μια συμβολοσειρά με δυνατότητα ανάγνωσης, χρησιμοποιώντας τη συνάρτηση unicode_codepoints_to_string( ).
Επιλογές για προχωρημένους με βάση τον τύπο δεδομένων
Σε μορφή πίνακα (CSV, TSV, PSV):
Εάν προσλάβετε μορφές σε μορφή πίνακα σε έναν υπάρχοντα πίνακα, μπορείτε να επιλέξετε Σύνθετη>Διατήρηση σχήματος πίνακα. Τα δεδομένα σε μορφή πίνακα δεν περιλαμβάνουν απαραίτητα τα ονόματα των στηλών που χρησιμοποιούνται για την αντιστοίχιση δεδομένων προέλευσης στις υπάρχουσες στήλες. Όταν αυτή η επιλογή είναι ενεργοποιημένη, η αντιστοίχιση γίνεται βάσει σειράς και το σχήμα πίνακα παραμένει το ίδιο. Εάν δεν επιλέγεται αυτή η επιλογή, δημιουργούνται νέες στήλες για εισερχόμενα δεδομένα, ανεξάρτητα από τη δομή των δεδομένων.
Για να χρησιμοποιήσετε την πρώτη γραμμή ως ονόματα στηλών, επιλέξτε Πρώτη γραμμή για>προχωρημένους είναι κεφαλίδα στήλης.
JSON:
Για να προσδιορίσετε τη διαίρεση στηλών των δεδομένων JSON, επιλέξτε Ένθετα επίπεδα για προχωρημένους>, από 1 έως 100.
Εάν επιλέξετε Σύνθετες>γραμμές παράλειψης JSON με σφάλματα, τα δεδομένα προσλαμφύονται σε μορφή JSON. Εάν αφήσετε αυτό το πλαίσιο ελέγχου μη επιλεγμένο, τα δεδομένα προσλαμβάνεται σε μορφή πολλών ερωτηματών.
Σύνοψη
Στο παράθυρο Προετοιμασία δεδομένων, και τα τρία βήματα επισημαίνονται με πράσινα σημάδια ελέγχου όταν η πρόσληψη δεδομένων ολοκληρωθεί με επιτυχία. Μπορείτε να επιλέξετε μια κάρτα για υποβολή ερωτήματος, να αποθέσετε τα δεδομένα πρόσληψης ή να δείτε έναν πίνακα εργαλείων της σύνοψης πρόσληψης.
Σχετικό περιεχόμενο
Σχόλια
Σύντομα διαθέσιμα: Καθ' όλη τη διάρκεια του 2024 θα καταργήσουμε σταδιακά τα ζητήματα GitHub ως μηχανισμό ανάδρασης για το περιεχόμενο και θα το αντικαταστήσουμε με ένα νέο σύστημα ανάδρασης. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα: https://aka.ms/ContentUserFeedback.
Υποβολή και προβολή σχολίων για