Εκμάθηση Lakehouse: Πρόσληψη δεδομένων στο lakehouse

Σε αυτό το εκπαιδευτικό βοήθημα, θα αποκτήσετε πιο διαστατικούς πίνακες και πίνακες δεδομένων από τους εισαγωγείς του Wide World (WWI) στο lakehouse. Οι διοχετεύσεις σάς επιτρέπουν να προσλαμβάνετε δεδομένα σε κλίμακα με την επιλογή προγραμματισμού ροών εργασίας δεδομένων.

Προαπαιτούμενα στοιχεία

• Εάν δεν έχετε ένα lakehouse, πρέπει να δημιουργήσετε ένα lakehouse.

Λήψη δεδομένων

Σε αυτήν την ενότητα, μπορείτε να χρησιμοποιήσετε τη δραστηριότητα Αντιγραφή δεδομένων της διοχέτευσης Data Factory για να προσλάβετε δείγματα δεδομένων από έναν λογαριασμό χώρου αποθήκευσης Azure στην ενότητα Αρχεία της λίμνης που δημιουργήσατε στην προηγούμενη εκμάθηση.

1. Στον χώρο εργασίας που δημιουργήσατε στην προηγούμενη εκμάθηση, επιλέξτε Νέο στοιχείο.

2. Αναζητήστε τη Διοχέτευση στη γραμμή αναζήτησης και επιλέξτε το πλακίδιο Διοχέτευση (Pipeline ).

3. Στο παράθυρο διαλόγου Νέα διοχέτευση, καθορίστε το όνομα ως IngestDataFromSourceToLakehouse και επιλέξτε Δημιουργία.

4. Από την Αρχική καρτέλα της νέας διοχέτευσης, επιλέξτε Δραστηριότητα> διοχέτευσηςΑντιγραφή δεδομένων.

   

5. Επιλέξτε τη νέα δραστηριότητα Αντιγραφή δεδομένων από τον καμβά. Οι ιδιότητες δραστηριότητας εμφανίζονται σε ένα τμήμα κάτω από τον καμβά, οργανωμένες σε καρτέλες, συμπεριλαμβανομένων των Γενικά, Προέλευση, Προορισμός, Αντιστοίχιση και Ρυθμίσεις. Ίσως χρειαστεί να επεκτείνετε το τμήμα παραθύρου προς τα πάνω σύροντας το επάνω άκρο.

6. Στην καρτέλα Γενικά , πληκτρολογήστε Αντιγραφή δεδομένων στο Lakehouse στο πεδίο Όνομα . Αφήστε τα άλλα πεδία με τις προεπιλεγμένες τιμές τους.

   

7. Στην καρτέλα Προέλευση , επιλέξτε την αναπτυσσόμενη λίστα Σύνδεση και, στη συνέχεια, επιλέξτε Αναζήτηση όλων.

8. Στη σελίδα Επιλέξτε μια προέλευση δεδομένων για να ξεκινήσετε , αναζητήστε και επιλέξτε αντικείμενα blob Azure.

9. Εισαγάγετε τις ακόλουθες λεπτομέρειες στη σελίδα Σύνδεση προέλευσης δεδομένων . Στη συνέχεια, επιλέξτε Σύνδεση για να δημιουργήσετε τη σύνδεση με την προέλευση δεδομένων. Για αυτό το πρόγραμμα εκμάθησης, όλα τα δείγματα δεδομένων είναι διαθέσιμα σε ένα δημόσιο κοντέινερ του χώρου αποθήκευσης αντικειμένων blob Azure. Μπορείτε να συνδεθείτε σε αυτό το κοντέινερ για να αντιγράψετε δεδομένα από αυτό.

   Ιδιότητα	Τιμή
   Όνομα λογαριασμού ή διεύθυνση URL	https://fabrictutorialdata.blob.core.windows.net/sampledata/
   Connection	Δημιουργία νέας σύνδεσης
   Όνομα σύνδεσης	wwisampledata
   Είδος ελέγχου ταυτότητας	Ανώνυμο

   

10. Στην καρτέλα Προέλευση , η σύνδεση που μόλις δημιουργήσατε είναι επιλεγμένη από προεπιλογή. Καθορίστε τις ακόλουθες ιδιότητες πριν μεταβείτε στις ρυθμίσεις προορισμού.

    Ιδιότητα	Τιμή
    Connection	wwisampledata
    Τύπος διαδρομής αρχείου	Διαδρομή αρχείου
    Διαδρομή αρχείου	Όνομα περιέκτη (πρώτο πλαίσιο κειμένου): sampledata Όνομα καταλόγου (δεύτερο πλαίσιο κειμένου): WideWorldImportersDW/parquet
    Αναδρομικά	Επιλεγμένο
    Μορφή αρχείου	Binary

    

11. Στην καρτέλα Προορισμός , καθορίστε τις ακόλουθες ιδιότητες:

    Ιδιότητα	Τιμή
    Connection	Wwilakehouse (Επιλέξτε το Lakehouse σας αν το ονομάσατε διαφορετικά)
    Ριζικός φάκελος	Αρχεία
    Διαδρομή αρχείου	Όνομα καταλόγου (πρώτο πλαίσιο κειμένου): wwi-raw-data
    Μορφή αρχείου	Binary

    

12. Έχετε ρυθμίσει τις παραμέτρους της δραστηριότητας αντιγραφής δεδομένων. Επιλέξτε το εικονίδιο Αποθήκευση στην επάνω κορδέλα (κάτω από την Αρχική σελίδα) για να αποθηκεύσετε τις αλλαγές σας και επιλέξτε Εκτέλεση για να εκτελέσετε τη διοχέτευση και τη δραστηριότητά της. Μπορείτε επίσης να προγραμματίσετε αγωγούς για την ανανέωση δεδομένων σε καθορισμένα χρονικά διαστήματα για να ικανοποιήσετε τις απαιτήσεις της επιχείρησής σας. Για αυτό το σεμινάριο, εκτελούμε τη διοχέτευση μόνο μία φορά επιλέγοντας Εκτέλεση.

13. Αυτή η ενέργεια ενεργοποιεί την αντιγραφή δεδομένων από την υποκείμενη προέλευση δεδομένων στο καθορισμένο λιμναίο σπίτι και ενδέχεται να χρειαστεί έως και ένα λεπτό για να ολοκληρωθεί. Μπορείτε να παρακολουθείτε την εκτέλεση της διοχέτευσης και τη δραστηριότητά της στην καρτέλα Έξοδος. Η κατάσταση δραστηριότητας αλλάζει από Σε> ουράσε εξέλιξη>Με επιτυχία.

    

    Φιλοδώρημα

    Επιλέξτε Προβολή λεπτομερειών εκτέλεσης για να δείτε περισσότερες πληροφορίες σχετικά με την εκτέλεση.

14. Αφού η δραστηριότητα αντιγραφής είναι επιτυχής, ανοίξτε το lakehouse (wwilakehouse) για να προβάλετε τα δεδομένα. Ανανεώστε την ενότητα Αρχεία για να δείτε τα δεδομένα που έχουν ληφθεί. Ένας νέος φάκελος wwi-raw-data εμφανίζεται στην ενότητα αρχείων και τα δεδομένα από πίνακες αντικειμένων blob Azure αντιγράφονται εκεί.

    

Για να φορτώσετε τμηματικά δεδομένα σε ένα lakehouse, ανατρέξτε στο θέμα Τμηματική φόρτωση δεδομένων από μια αποθήκη δεδομένων σε ένα lakehouse.

Επόμενο βήμα

Προετοιμασία και μετασχηματισμός δεδομένων