Πίνακες Lakehouse και Delta Lake

Ένα lakehouse στο Fabric χρησιμοποιεί το Delta Lake ως την προεπιλεγμένη μορφή πίνακα για αξιόπιστη αποθήκευση και επεξεργασία δεδομένων υψηλής απόδοσης. Ενώ υποστηρίζονται άλλες μορφές, το Delta Lake παρέχει την καλύτερη ενοποίηση σε όλες τις υπηρεσίες Fabric.

Τι είναι οι πίνακες Delta Lake;

Όταν αποθηκεύετε δεδομένα σε ένα Fabric Lakehouse, τα δεδομένα αποθηκεύονται ως Delta Lake από προεπιλογή. Το Delta Lake προσθέτει δυνατότητες που βελτιώνουν τόσο την απόδοση όσο και την αξιοπιστία:

  • Καλύτερη απόδοση: Ταχύτερα ερωτήματα και επεξεργασία δεδομένων.
  • Αξιοπιστία δεδομένων: Έλεγχοι συνέπειας και ακεραιότητας συναλλαγών.
  • Ευελιξία: Λειτουργεί τόσο με δομημένα δεδομένα (για παράδειγμα, πίνακες) όσο και με ημιδομημένα δεδομένα (για παράδειγμα, JSON).

Γιατί έχει σημασία αυτό;

Το Delta Lake είναι η τυπική μορφή πίνακα για όλα τα δεδομένα σε lakehouses στο Fabric. Αυτό σημαίνει:

  • Συνέπεια: Όλα τα δεδομένα χρησιμοποιούν την ίδια μορφή πίνακα.
  • Συμβατότητα: Τα δεδομένα λειτουργούν σε εργαλεία Fabric, όπως το Power BI, σημειωματάρια και pipelines.
  • Χωρίς επιπλέον ρύθμιση: Όταν φορτώνετε δεδομένα σε πίνακες ή χρησιμοποιείτε άλλες μεθόδους φόρτωσης δεδομένων, η μορφή Delta εφαρμόζεται αυτόματα.

Το Fabric χειρίζεται τη μορφοποίηση Delta στα παρασκήνια, ώστε να μπορείτε να εστιάσετε στη μοντελοποίηση και την ανάλυση.

Μηχανή Apache Spark και μορφές δεδομένων

Τα Lakehouses υποστηρίζονται από το Apache Spark Runtime, το οποίο μοιράζεται θεμέλια με το Azure Synapse Analytics Runtime για το Apache Spark. Το Fabric εφαρμόζει επίσης διαφορετικές προεπιλογές και βελτιστοποιήσεις για καλύτερες έτοιμες επιδόσεις σε όλους τους φόρτους εργασίας Fabric.

Υποστηριζόμενες μορφές δεδομένων:

  • Delta Lake: Προτιμώμενη μορφή με αυτόματη βελτιστοποίηση.
  • CSV: Οριοθετημένα δεδομένα κειμένου.
  • JSON: Ημιδομημένα δεδομένα εφαρμογών και ιστού.
  • Parquet: Συμπιεσμένα αρχεία στηλών.
  • Άλλες μορφές: AVRO και παλαιού τύπου μορφές πίνακα Hive.

Βασικά πλεονεκτήματα των προεπιλογών Fabric Spark:

  • Βελτιστοποιημένο από προεπιλογή: Οι λειτουργίες απόδοσης ενεργοποιούνται αυτόματα για καλύτερη ταχύτητα
  • Υποστηρίζονται πολλαπλές μορφές: Μπορείτε να διαβάσετε από υπάρχοντα αρχεία σε διάφορες μορφές
  • Αυτόματη μετατροπή: Όταν φορτώνετε δεδομένα σε πίνακες, βελτιστοποιούνται αυτόματα με χρήση της μορφής Delta Lake

Σημείωμα

Ενώ μπορείτε να εργαστείτε με διαφορετικές μορφές αρχείων, οι πίνακες που εμφανίζονται στην εξερεύνηση Lakehouse είναι βελτιστοποιημένοι πίνακες Delta Lake για την καλύτερη απόδοση και αξιοπιστία.

Διαφορές από το Azure Synapse Analytics

Εάν κάνετε μετεγκατάσταση από το Azure Synapse Analytics, ακολουθούν οι βασικές διαφορές ρύθμισης παραμέτρων στον χρόνο εκτέλεσης του Apache Spark του Fabric:

Για μια ευρύτερη σύγκριση μεταξύ των χώρων συγκέντρωσης Spark, των ρυθμίσεων παραμέτρων, των βιβλιοθηκών, των σημειωματαρίων και των ορισμών εργασιών Spark, ανατρέξτε στο θέμα Σύγκριση Fabric Data Engineering και Azure Synapse Spark.

Ρύθμιση παραμέτρων Apache Spark Fabric αξία Τιμή Azure Synapse Analytics Σημειώσεις
spark.sql.sources.default δέλτα παρκέ Προεπιλεγμένη μορφή πίνακα
spark.sql.parquet.vorder.default ψευδής* ΔΙ Συγγραφέας V-order
spark.sql.parquet.vorder.dictionaryPageSize 2 ΜΒ ΔΙ Όριο μεγέθους σελίδας λεξικού για σειρά V
spark.databricks.delta.optimizeWrite.enabled Unset (false)* κατάργηση συνόλου (false) Βελτιστοποίηση εγγραφής

* Οι χώροι εργασίας Fabric που δημιουργήθηκαν πριν από τον Απρίλιο του 2025 έχουν ενεργοποιημένη την εγγραφή V-order και τη Βελτιστοποίηση εγγραφής από προεπιλογή. Οι νεότεροι χώροι εργασίας έχουν απενεργοποιημένες τις δυνατότητες στο χρόνο εκτέλεσης 1.3 του Fabric Spark. Στο χρόνο εκτέλεσης 2.0 το Optimize Write είναι UNSET από προεπιλογή.

Αυτές οι βελτιστοποιήσεις έχουν σχεδιαστεί για να παρέχουν καλύτερες επιδόσεις από την πρώτη στιγμή στο Fabric. Οι προχωρημένοι χρήστες μπορούν να τροποποιήσουν αυτές τις διαμορφώσεις εάν χρειάζεται για συγκεκριμένα σενάρια.

Πώς το Fabric εντοπίζει αυτόματα τους πίνακές σας

Όταν ανοίγετε το lakehouse σας, το Fabric σαρώνει αυτόματα τα δεδομένα σας και εμφανίζει τυχόν πίνακες που βρίσκει στην ενότητα Πίνακες του εξερευνητή. Αυτό σημαίνει:

  • Δεν απαιτείται μη αυτόματη ρύθμιση - Το Fabric εντοπίζει αυτόματα υπάρχοντες πίνακες
  • Οργανωμένη προβολή - Οι πίνακες εμφανίζονται σε δομή δέντρου για εύκολη περιήγηση
  • Λειτουργεί με συντομεύσεις - Οι πίνακες που συνδέονται από άλλες θέσεις εντοπίζονται επίσης αυτόματα

Αυτή η αυτόματη ανακάλυψη διευκολύνει την προβολή όλων των διαθέσιμων δεδομένων σας με μια ματιά.

Χρήση συντομεύσεων με πίνακες και αρχεία

Οι συντομεύσεις OneLake μπορούν να παραπέμπουν σε πίνακες Delta ή διαδρομές αρχείων και φακέλων, ώστε να μπορείτε να αναφέρετε εξωτερικά δεδομένα χωρίς να τα μετακινήσετε. Ο παρακάτω πίνακας συνοψίζει τα προτεινόμενα μοτίβα με βάση τον τύπο δεδομένων προορισμού.

Τύπος δεδομένων στον προορισμό συντόμευσης Πού μπορείτε να δημιουργήσετε τη συντόμευση Βέλτιστες πρακτικές
Πίνακας Delta Lake Tables τμήμα Εάν υπάρχουν πολλοί πίνακες στον προορισμό, δημιουργήστε μία συντόμευση ανά πίνακα.
Φάκελοι με αρχεία Files τμήμα Χρησιμοποιήστε το Apache Spark με σχετικές διαδρομές για ανάγνωση απευθείας από τον προορισμό συντόμευσης. Φορτώστε σε πίνακες Delta που είναι εγγενείς στο lakehouse για μέγιστη απόδοση.
Πίνακες Apache Hive παλαιού τύπου Files τμήμα Χρησιμοποιήστε το Apache Spark με σχετικές διαδρομές ή δημιουργήστε μια αναφορά καταλόγου μετα-δεδομένων χρησιμοποιώντας CREATE EXTERNAL TABLEτο . Φορτώστε σε πίνακες Delta που είναι εγγενείς στο lakehouse για μέγιστη απόδοση.

Φόρτωση σε πίνακες

Τα Lakehouses παρέχουν μια οπτική εμπειρία για τη φόρτωση κοινών μορφών αρχείων σε πίνακες Delta. Για να μάθετε περισσότερα, ανατρέξτε στο θέμα Φόρτωση σε πίνακες Delta Lake.

Διατηρώντας τα τραπέζια σας γρήγορα και αποτελεσματικά

Το Fabric βελτιστοποιεί αυτόματα τους πίνακες Delta Lake για καλύτερη απόδοση, αλλά μερικές φορές μπορεί να θέλετε πρόσθετο έλεγχο:

Τι κάνει αυτόματα το Fabric:

  • Συνδυάζει μικρά αρχεία σε μεγαλύτερα, πιο αποτελεσματικά αρχεία
  • Βελτιστοποιεί τη διάταξη δεδομένων για ταχύτερα ερωτήματα
  • Διαχειρίζεται το storage για να μειώσει το κόστος

Πότε μπορεί να χρειαστείτε μη αυτόματη βελτιστοποίηση:

  • Πολύ μεγάλα σύνολα δεδομένων με συγκεκριμένες απαιτήσεις απόδοσης
  • Ανάγκες οργάνωσης προσαρμοσμένων δεδομένων
  • Σενάρια σύνθετης ανάλυσης

Για λεπτομερείς οδηγίες σχετικά με τη βελτιστοποίηση πίνακα, ανατρέξτε στο θέμα Βελτιστοποίηση πίνακα Delta Lake και V-order.