Πρόσληψη δεδομένων σε OneLake και ανάλυση με το Azure Databricks

Σε αυτόν τον οδηγό, θα κάνετε τα εξής:

  • Δημιουργήστε μια διοχέτευση σε έναν χώρο εργασίας και κάντε πρόσληψη δεδομένων στη μορφή OneLake σε Δέλτα.

  • Διαβάστε και τροποποιήστε έναν πίνακα Delta στο OneLake με το Azure Databricks.

Προαπαιτούμενα στοιχεία

Πριν ξεκινήσετε, πρέπει να έχετε:

  • Ένας χώρος εργασίας με ένα στοιχείο lakehouse.

  • Ένας premium χώρος εργασίας Azure Databricks. Μόνο οι premium χώροι εργασίας Azure Databricks υποστηρίζουν διαβίβαση διαπιστευτηρίων Microsoft Entra. Κατά τη δημιουργία του συμπλέγματος, ενεργοποιήστε τη διαβίβαση διαπιστευτηρίων Azure Data Lake Storage στις Επιλογές για προχωρημένους.

Πρόσληψη δεδομένων και τροποποίηση του πίνακα Delta

  1. Μεταβείτε στη λίμνη σας στην υπηρεσία Power BI και επιλέξτε Λήψη δεδομένων και, στη συνέχεια, επιλέξτε Νέα διοχέτευση.

    Στιγμιότυπο οθόνης που δείχνει πώς μπορείτε να πλοηγηθείτε σε νέα επιλογή διοχέτευσης μέσα από το περιβάλλον εργασίας χρήστη.

  2. Στη γραμμή εντολών Νέα διοχέτευση , πληκτρολογήστε ένα όνομα για τη νέα διοχέτευση και, στη συνέχεια, επιλέξτε Δημιουργία.

  3. Για αυτήν την άσκηση, επιλέξτε το δείγμα δεδομένων NYC Taxi - Green ως πηγή δεδομένων.

    Στιγμιότυπο οθόνης που δείχνει πώς μπορείτε να επιλέξετε δείγμα σημασιολογικού μοντέλου NYC.

  4. Στην οθόνη προεπισκόπησης, επιλέξτε Επόμενο.

  5. Για προορισμό δεδομένων, επιλέξτε το όνομα της λίμνης που θέλετε να χρησιμοποιήσετε για την αποθήκευση των δεδομένων του πίνακα OneLake Delta. Μπορείτε να επιλέξετε ένα υπάρχον lakehouse ή να δημιουργήσετε ένα νέο.

    Στιγμιότυπο οθόνης που δείχνει πώς μπορείτε να επιλέξετε ένα lakehouse προορισμού.

  6. Επιλέξτε το σημείο όπου θέλετε να αποθηκεύσετε το αποτέλεσμα. Επιλέξτε "Πίνακες" ως φάκελο "Ρίζα". Πληκτρολογήστε "nycsample" ως όνομα πίνακα και επιλέξτε Επόμενο.

  7. Στην οθόνη Αναθεώρηση + Αποθήκευση, επιλέξτε Άμεση έναρξη μεταφοράς δεδομένων και, στη συνέχεια, επιλέξτε Αποθήκευση + Εκτέλεση.

    Στιγμιότυπο οθόνης που εμφανίζει τον τρόπο εισαγωγής ονόματος πίνακα.

  8. Όταν ολοκληρωθεί η εργασία, μεταβείτε στο lakehouse σας και προβάλετε τον πίνακα Delta που παρατίθεται στον φάκελο /Tables.

  9. Κάντε δεξί κλικ στο όνομα του πίνακα που δημιουργήθηκε, επιλέξτε Ιδιότητες και αντιγράψτε τη διαδρομή Σύστημα αρχείων αντικειμένων blob Azure (ABFS).

  10. Ανοίξτε το σημειωματάριό σας Azure Databricks. Διαβάστε τον πίνακα Δέλτα στο OneLake.

    olsPath = "abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample" 
df=spark.read.format('delta').option("inferSchema","true").load(olsPath)
df.show(5)

  11. Ενημερώστε τα δεδομένα του πίνακα Delta αλλάζοντας μια τιμή πεδίου.

    %sql
update delta.`abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample` set vendorID = 99999 where vendorID = 1;

Σχετικό περιεχόμενο

  • Last updated on