Τεκμηρίωση μηχανικής δεδομένων Fabric

Το Fabric Data Engineering επιτρέπει στους χρήστες να σχεδιάζουν, να δημιουργούν και να συντηρούν υποδομές και συστήματα που επιτρέπουν στους οργανισμούς τους να συλλέγουν, να αποθηκεύουν, να επεξεργάζονται και να αναλύουν μεγάλους όγκους δεδομένων.

Πληροφορίες για τη διαχείριση δεδομένων

Επισκόπηση

• Τι είναι η διαχείριση δεδομένων;
• Τι είναι ένα lakehouse;

Έννοια

• Πίνακες Lakehouse και Delta
• Ρόλοι και δικαιώματα χώρου εργασίας
• Επιλογή χώρου αποθήκευσης δεδομένων

Οδηγός διαδικασίας

• Βελτιστοποίηση Delta και V-Order
• Φόρτωση σε πίνακες

Γρήγορα αποτελέσματα με το lakehouse

Γρήγορα αποτελέσματα

• Δημιουργία lakehouse
• Περιήγηση στην εξερεύνηση lakehouse

Οδηγός διαδικασίας

• Λήψη δεδομένων στο Lakehouse με χρήση σημειωματάριου

Πρόγραμμα εκμάθησης

• Βήμα 1 - Δημιουργία χώρου εργασίας
• Βήμα 2 - Δημιουργία ενός lakehouse
• Βήμα 3 - Πρόσληψη δεδομένων σε lakehouse
• Βήμα 4 - Μετασχηματισμός δεδομένων σε πίνακες δέλτα
• Βήμα 5 - Δημιουργήστε ένα σημασιολογικό μοντέλο και δημιουργήστε μια αναφορά
• Βήμα 6 - Εκκαθάριση πόρων

Γρήγορα αποτελέσματα με σημειωματάρια

Γρήγορα αποτελέσματα

• Δημιουργία και χρήση σημειωματάριων

Οδηγός διαδικασίας

• Ανάπτυξη και εκτέλεση σημειωματάριων
• Εξερεύνηση δεδομένων lakehouse με ένα σημειωματάριο
• Απεικόνιση σημειωματάριων
• Στοιχείο ελέγχου και ανάπτυξη προέλευσης σημειωματάριων
• Σύνταξη και εκτέλεση σημειωματάριων T-SQL

Ερώτημα με API για GraphQL

Επισκόπηση

• Τι είναι το API Fabric για GraphQL;

Γρήγορα αποτελέσματα

• Δημιουργήστε ένα API για GraphQL και προσθέστε δεδομένα

Οδηγός διαδικασίας

• Διαχείριση σχέσεων
• Σύνδεση σε εφαρμογές
• Υποβολή ερωτήματος σε πολλές προελεύσεις δεδομένων
• Στοιχείο ελέγχου προέλευσης GraphQL και διοχετεύσεις ανάπτυξης
• Παρακολούθηση πίνακα εργαλείων και καταγραφής (προεπισκόπηση)

Ενοποίηση VS Code

Έννοια

• Τι είναι η επέκταση VS Code της μηχανικής δεδομένων;

Οδηγός διαδικασίας

• Χρήση σημειωματάριων από κώδικα VS
• Χρήση εικόνας κοντέινερ από κώδικα VS
• Χρήση ορισμών εργασίας Spark από κώδικα VS
• Εξερεύνηση λίμνης από κώδικα VS
• Ανάπτυξη σημειωματάριου από την εμπειρία web του VS Code

Apache Spark για τη διαχείριση δεδομένων

Έννοια

• Ορισμός εργασίας Apache Spark
• Τι είναι ο σύμβουλος Apache Spark;

Γρήγορα αποτελέσματα

• Δημιουργία ορισμού εργασίας Spark
• Δημιουργήστε έναν ορισμό εργασίας Spark με ένα API Fabric
• Ενοποίηση Git ορισμού εργασίας Spark

Οδηγός διαδικασίας

• Προγραμματισμός και εκτέλεση ορισμού εργασίας Spark
• Διαχείριση βιβλιοθηκών Apache Spark
• Τρόπος χρήσης του Fabric MSSparkUtils

Γρήγορα αποτελέσματα με το περιβάλλον

Γρήγορα αποτελέσματα

• Περιβάλλοντα Fabric

Οδηγός διαδικασίας

• Διαχείριση υπολογιστικού Spark σε περιβάλλοντα
• Διαχείριση βιβλιοθηκών σε περιβάλλοντα
• Ενοποίηση περιβάλλοντος Git και διοχέτευση ανάπτυξης
• Διαχείριση του περιβάλλοντος μέσω δημόσιων API
• Διαχείριση βιβλιοθηκών με περιορισμένη πρόσβαση δικτύου στο Fabric

Fabric Livy API

Επισκόπηση

• Τι είναι το Livy API;

Γρήγορα αποτελέσματα

• Δημιουργία και εκτέλεση εργασιών Spark με χρήση του Livy API
• Υποβολή εργασιών περιόδου λειτουργίας API Livy
• Υποβολή εργασιών δέσμης API Livy

Βελτιστοποιήστε με υλοποιημένη θέα στη λίμνη

Επισκόπηση

• Τι υλοποιείται θέα στη λίμνη;

Γρήγορα αποτελέσματα

• Γρήγορα αποτελέσματα με υλοποιημένες προβολές λίμνης
• Υλοποίηση αρχιτεκτονικής μεταλλίων με υλοποιημένη θέα στη λίμνη
• Διαχείριση υλοποιημένων προβολών λίμνης