Επιλογές πρόσληψης δεδομένων για μια λίμνη

Υπάρχουν διάφοροι τρόποι για να μεταφέρετε δεδομένα σε ένα lakehouse, που κυμαίνονται από απλές μεταφορτώσεις αρχείων έως επεκτάσιμες διοχετεύσεις και ροή σε πραγματικό χρόνο. Η σωστή προσέγγιση εξαρτάται από την προέλευση δεδομένων, τον όγκο, την πολυπλοκότητα του μετασχηματισμού και από το αν χρειάζεστε εφάπαξ φόρτωση ή συνεχή πρόσληψη.

Τρόποι φόρτωσης δεδομένων σε μια λίμνη

Οι παρακάτω ενότητες περιγράφουν κάθε προσέγγιση — αποστολή αρχείων, συντομεύσεις, ροή δεδομένων Gen2, διοχετεύσεις δεδομένων, κώδικας σημειωματαρίου και ροή συμβάντων — ταξινομημένη από την απλούστερη επιλογή χωρίς κώδικα έως πιο προηγμένες μεθόδους προγραμματισμού και σε πραγματικό χρόνο.

Αποστολή αρχείων

Για να φορτώσετε μικρά αρχεία σε ένα lakehouse χωρίς μετασχηματισμό, αποστείλετε τα απευθείας από τον τοπικό υπολογιστή σας μέσω του εξερευνητή Lakehouse.

Στιγμιότυπο οθόνης του παραθύρου διαλόγου αποστολής αρχείων στην εξερεύνηση Lakehouse.

Shortcuts

Οι συντομεύσεις σάς επιτρέπουν να αναφέρετε δεδομένα σε άλλες θέσεις αποθήκευσης χωρίς να τα αντιγράψετε. Μια συντόμευση εμφανίζεται ως φάκελος στο lakehouse σας, αλλά οδηγεί σε δεδομένα που είναι αποθηκευμένα αλλού — σε ένα άλλο lakehouse, σε έναν λογαριασμό Azure Data Lake Storage Gen2, στο Amazon S3 ή σε άλλες υποστηριζόμενες πηγές. Οι συντομεύσεις είναι χρήσιμες όταν θέλετε να υποβάλετε ερωτήματα ή να ενώσετε δεδομένα μεταξύ προελεύσεων χωρίς να τα αναπαραγάγετε. Για περισσότερες πληροφορίες, δείτε την ενότητα Συντομεύσεις σε μια λίμνη.

Ροή δεδομένων Gen2

Το Dataflow Gen2 είναι ένα εργαλείο μετασχηματισμού δεδομένων χαμηλού κώδικα με περισσότερες από 200 συνδέσεις. Ορίζετε μετασχηματισμούς οπτικά σε μια διασύνδεση Power Query και εξάγετε τα αποτελέσματα σε έναν πίνακα lakehouse. Το Dataflow Gen2 είναι μια καλή επιλογή για μικρότερα σύνολα δεδομένων ή όταν χρειάζεστε συνδέσεις που δεν είναι διαθέσιμες σε άλλα εργαλεία. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Δημιουργία της πρώτης σας ροής δεδομένων για λήψη και μετασχηματισμό δεδομένων.

Διοχετεύσεις δεδομένων

Οι διοχετεύσεις δεδομένων παρέχουν ένα επεκτάσιμο εργαλείο αντιγραφής για τη μεταφορά μεγάλων όγκων δεδομένων σε μια λίμνη. Η δραστηριότητα Αντιγραφή συνδέεται με ένα ευρύ φάσμα προελεύσεων δεδομένων και μπορεί να φορτώσει δεδομένα στην αρχική τους μορφή ή να τα μετατρέψει σε πίνακα Delta. Μπορείτε να προγραμματίσετε αγωγούς, να τους ενεργοποιήσετε με βάση συμβάντα και να συνδέσετε πολλές δραστηριότητες μαζί. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Τρόπος αντιγραφής δεδομένων με χρήση αντιγραφής δραστηριότητας.

Κώδικας σημειωματάριου

Τα σημειωματάρια Spark σάς παρέχουν πλήρη έλεγχο μέσω προγραμματισμού της πρόσληψης δεδομένων. Χρησιμοποιήστε βιβλιοθήκες Spark για να συνδεθείτε σε μια προέλευση δεδομένων, να φορτώσετε δεδομένα σε ένα DataFrame, να εφαρμόσετε μετασχηματισμούς και να αποθηκεύσετε τα αποτελέσματα σε μια λίμνη. Αυτή η προσέγγιση είναι η πιο ευέλικτη και ταιριάζει σε πολύπλοκες λογικές μετασχηματισμού ή πηγές που άλλα εργαλεία δεν υποστηρίζουν.

Σημείωμα

Οι εξωτερικοί πίνακες Delta που δημιουργούνται με κώδικα Spark δεν είναι ορατοί σε ένα τελικό σημείο ανάλυσης SQL. Χρησιμοποιήστε συντομεύσεις στην ενότητα Πίνακες για να κάνετε ορατούς εξωτερικούς πίνακες Delta για ένα τελικό σημείο ανάλυσης SQL. Για περισσότερες πληροφορίες, δείτε την ενότητα Συντομεύσεις σε μια λίμνη.

Eventstream

Το Eventstream προσλαμβάνει, επεξεργάζεται και δρομολογεί συμβάντα μεγάλου όγκου σε πραγματικό χρόνο από μια μεγάλη ποικιλία προελεύσεων. Μπορείτε να προσθέσετε ένα lakehouse ως προορισμό για να προσγειώσετε δεδομένα ροής απευθείας σε πίνακες Delta.

Στιγμιότυπο οθόνης της λήψης δεδομένων σε μια λίμνη από τη ροή συμβάντων.

Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Λήψη δεδομένων από ροή συμβάντων σε μια λίμνη.

Για σενάρια ροής χρονοσειρών ή υψηλής απόδοσης, μπορείτε επίσης να κάνετε ροή συμβάντων σε μια αποθήκη συμβάντων και να ενεργοποιήσετε τη διαθεσιμότητα του OneLake. Αυτό δημιουργεί έναν πίνακα Delta στο OneLake στον οποίο μπορεί να έχει πρόσβαση μια λίμνη μέσω μιας συντόμευσης. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Διαθεσιμότητα OneLake eventhouse.

Επιλέξτε μια προσέγγιση

Ο παρακάτω πίνακας συνοψίζει πότε πρέπει να χρησιμοποιείται κάθε προσέγγιση για τη φόρτωση δεδομένων σε μια λίμνη.

Σενάριο Προτεινόμενη προσέγγιση
Μικρά αρχεία από τοπικό μηχάνημα Αποστολή αρχείων
Δεδομένα αναφοράς χωρίς αντιγραφή Shortcuts
Μικρά έως μεσαία δεδομένα με οπτικούς μετασχηματισμούς Ροή δεδομένων Gen2
Μετακίνηση δεδομένων μεγάλης κλίμακας Διοχετεύσεις δεδομένων
Σύνθετοι μετασχηματισμοί ή μη υποστηριζόμενες προελεύσεις Κωδικός σημειωματάριου
Απορρόφηση συμβάντων σε πραγματικό χρόνο Eventstream
Ροή χρονοσειρών ή υψηλής απόδοσης Ροή συμβάντων σε αποθήκη συμβάντων με διαθεσιμότητα OneLake

Σχετικό περιεχόμενο

  • Last updated on