Μετατροπή δομημένων αρχείων σε πίνακες Delta

Χρησιμοποιήστε μετασχηματισμούς συντομεύσεων για να μετατρέψετε δομημένα αρχεία σε πίνακες Delta με δυνατότητα αναζήτησης. Εάν τα δεδομένα προέλευσής σας είναι ήδη σε μορφή πίνακα, όπως CSV, Parquet, JSON ή Excel, οι μετασχηματισμοί αρχείων αντιγράφουν αυτόματα και μετατρέπουν αυτά τα δεδομένα σε μορφή Delta Lake, ώστε να μπορείτε να υποβάλετε ερωτήματα χρησιμοποιώντας SQL, Spark ή Power BI χωρίς να δημιουργήσετε διοχετεύσεις ETL.

Για μη δομημένα αρχεία κειμένου που χρειάζονται επεξεργασία AI, όπως σύνοψη, μετάφραση ή ανάλυση συναισθήματος, δείτε την ενότητα Μετασχηματισμοί συντομεύσεων (με τεχνητή νοημοσύνη).

Οι μετασχηματισμοί συντομεύσεων παραμένουν πάντα συγχρονισμένοι με τα δεδομένα προέλευσης. Το Fabric Spark compute εκτελεί τον μετασχηματισμό και αντιγράφει τα δεδομένα που αναφέρονται από μια συντόμευση OneLake σε έναν διαχειριζόμενο πίνακα Delta. Με τον αυτόματο χειρισμό σχήματος, τις δυνατότητες βαθιάς ισοπέδωσης και την υποστήριξη πολλαπλών μορφών συμπίεσης, οι μετασχηματισμοί συντομεύσεων εξαλείφουν την πολυπλοκότητα της δημιουργίας και της συντήρησης ETL pipelines.

Γιατί να χρησιμοποιήσετε μετασχηματισμούς συντόμευσης;

  • Αυτόματη μετατροπή – Το Fabric αντιγράφει και μετατρέπει τα αρχεία προέλευσης σε μορφή Delta χωρίς μη αυτόματη ενορχήστρωση διοχέτευσης.
  • Συχνός συγχρονισμός – Το Fabric ανιχνεύει τη συντόμευση κάθε δύο λεπτά και συγχρονίζει τις αλλαγές.
  • Αναδρομικός εντοπισμός φακέλων – Το Fabric διασχίζει αυτόματα υποφακέλους για να εντοπίσει και να μετασχηματίσει αρχεία σε ολόκληρη την ιεραρχία καταλόγου.
  • Έξοδος Delta Lake – Ο πίνακας που προκύπτει είναι συμβατός με οποιαδήποτε μηχανή Apache Spark.
  • Μεταβιβασμένη διακυβέρνηση – Η συντόμευση κληρονομεί τη γενεαλογία, τα δικαιώματα και τις πολιτικές Microsoft Purview OneLake.

Προϋποθέσεις

Απαίτηση Λεπτομέρειες
SKU υφασμάτων Εκχωρημένοι πόροι ή δοκιμαστική έκδοση που υποστηρίζουν φόρτους εργασίας Lakehouse .
Πηγή δεδομένων Ένας φάκελος που περιέχει ομοιογενή αρχεία CSV, Parquet, JSON ή Excel.
Ρόλος χώρου εργασίας Συνεισφέρων ή υψηλότερος.

Υποστηριζόμενες μορφές αρχείων

Οι μετασχηματισμοί συντομεύσεων λειτουργούν με φακέλους από οποιαδήποτε προέλευση δεδομένων που υποστηρίζεται από συντομεύσεις στο OneLake.

Μορφή αρχείου προέλευσης Υποστηριζόμενες επεκτάσεις Υποστηριζόμενοι τύποι συμπίεσης Υποστηριζόμενος τύπος συντόμευσης Σημειώσεις
CSV (UTF-8, UTF-16) .csv, .txt (οριοθέτης), .tsv (διαχωρισμένος με καρτέλα), .psv (διαχωρισμένος με σωλήνα) .csv.gz, .csv.bz2 Συντόμευση πίνακα .csv.zip και .csv.snappy δεν υποστηρίζονται.
Parquet .parquet .parquet.snappy, .parquet.gzip, .parquet.lz4, , .parquet.brotli.parquet.zstd Συντόμευση πίνακα Κανένας.
JSON .json, .jsonl, .ndjson .json.gz, .json.bz2, .jsonl.gz, , .ndjson.gz, .jsonl.bz2.ndjson.bz2 Συντόμευση πίνακα .json.zip και .json.snappy δεν υποστηρίζονται.
Excel .xlsx, .xls Δεν ισχύει Συντόμευση πίνακα ή συντόμευση σχήματος Οι συντομεύσεις πίνακα συνδυάζουν φύλλα σε έναν πίνακα Delta. Οι συντομεύσεις σχήματος δημιουργούν έναν πίνακα Delta ανά φύλλο. .xls (δυαδική μορφή παλαιού τύπου) υποστηρίζεται με τη μέγιστη δυνατή προσπάθεια. .xlsx είναι η προτεινόμενη μορφή.

Σημείωμα

Οι μετασχηματισμοί αρχείων Excel βρίσκονται αυτήν τη στιγμή σε προεπισκόπηση. Οι μετασχηματισμοί CSV, Parquet και JSON είναι γενικά διαθέσιμοι.

Δημιουργία συντόμευσης πίνακα με μετασχηματισμό δεδομένων

Μια συντόμευση πίνακα δημιουργεί έναν πίνακα Delta στο φάκελο Tables ενός lakehouse. Χρησιμοποιήστε το για να μετατρέψετε αρχεία CSV, Parquet, JSON ή Excel.

Για αρχεία Excel με πολλά φύλλα, μια συντόμευση πίνακα συνδυάζει τα επιλεγμένα φύλλα σε έναν πίνακα Delta. Εάν χρειάζεστε έναν πίνακα Delta ανά φύλλο, δημιουργήστε μια συντόμευση σχήματος .

  1. Στη λίμνη σας, κάντε δεξί κλικ σε ένα σχήμα κάτω από το φάκελο Πίνακες και, στη συνέχεια, επιλέξτε Συντόμευση νέου πίνακα. Επιλέξτε την προέλευση συντόμευσης, όπως Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint ή OneDrive.

    Στιγμιότυπο οθόνης που δείχνει τη δημιουργία «συντόμευσης πίνακα».

  2. Επιλέξτε το φάκελο με τα αρχεία CSV, Parquet ή JSON ή επιλέξτε το φάκελο που περιέχει τα αρχεία .xlsx σας.

  3. Στο βήμα Μετασχηματισμός , διαμορφώστε τις ρυθμίσεις για τη μετατροπή Delta:

    • Αρχεία CSV:

      • Οριοθέτης – Επιλέξτε το χαρακτήρα που χρησιμοποιείται για το διαχωρισμό στηλών, όπως κόμμα, ερωτηματικό, σωλήνας, στηλοθέτης, εμπορικό και ή διάστημα.
      • Πρώτη γραμμή ως κεφαλίδες – Υποδείξτε εάν η πρώτη γραμμή περιέχει ονόματα στηλών.

    • Αρχεία Excel:

      • Πρώτη γραμμή ως κεφαλίδες – Υποδείξτε εάν η πρώτη γραμμή περιέχει ονόματα στηλών.
      • Φύλλα προς συμπερίληψη – Επιλέξτε όλα τα φύλλα ή μόνο ένα υποσύνολο φύλλων. Μπορείτε να επιλέξετε φύλλα με βάση το όνομα, το ευρετήριο ή τη χρήση μοτίβων μπαλαντέρ (για παράδειγμα, Sales_* αντιστοιχίσεις φύλλων όπως Sales_Q1 και Sales_2026). Η αντιστοίχιση χαρακτήρων μπαλαντέρ δεν κάνει διάκριση πεζών-κεφαλαίων.

  4. Ελέγξτε τη ρύθμιση παραμέτρων της συντόμευσης. Στο βήμα Συντομεύσεις προεπισκόπησης , μπορείτε επίσης να ρυθμίσετε τις παραμέτρους αυτών των ρυθμίσεων πριν επιλέξετε Δημιουργία:

    • Όνομα συντόμευσης – Επιλέξτε το εικονίδιο μολυβιού για να επεξεργαστείτε το όνομα της συντόμευσης.
    • Συμπερίληψη υποφακέλων – Ενεργοποιήστε την αναδρομική επεξεργασία αρχείων σε ένθετους υποκαταλόγους. Αυτή η επιλογή είναι ενεργοποιημένη από προεπιλογή για νέους μετασχηματισμούς. Καταργήστε την επιλογή του πλαισίου ελέγχου εάν θέλετε να επεξεργαστείτε μόνο τον φάκελο ανώτατου επιπέδου.

  5. Παρακολουθήστε ανανεώσεις και προβάλετε αρχεία καταγραφής στο Διαχείριση κέντρου παρακολούθησης συντομεύσεων.

Το Fabric Spark compute δημιουργεί τον πίνακα Delta και εμφανίζει την πρόοδο στο τμήμα παραθύρου Διαχείριση συντόμευσης .

Για αρχεία Excel, ο πίνακας Delta που προκύπτει περιλαμβάνει __filepath__ και __sheetname__ στήλες μετα-δεδομένων, ώστε να μπορείτε να εντοπίσετε κάθε γραμμή πίσω στο αρχείο προέλευσης και το φύλλο της.

Δημιουργία συντόμευσης σχήματος με μετασχηματισμό δεδομένων

Μια συντόμευση σχήματος δημιουργεί πολλούς πίνακες Delta που εμφανίζονται κάτω από ένα νέο σχήμα στον φάκελο Tables ενός lakehouse. Χρησιμοποιήστε το όταν ένα βιβλίο εργασίας του Excel έχει πολλά φύλλα και θέλετε έναν πίνακα Delta ανά φύλλο.

Οι συντομεύσεις σχήματος με μετασχηματισμό δεδομένων είναι προς το παρόν διαθέσιμες μόνο για αρχεία Excel (.xlsx). Απαιτούν επίσης ένα lakehouse με ενεργοποιημένα σχήματα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Σχήματα Lakehouse.

  1. Στο lakehouse σας, κάντε δεξί κλικ στο φάκελο Tables και, στη συνέχεια, επιλέξτε Νέα συντόμευση σχήματος.

    Στιγμιότυπο οθόνης που δείχνει τη δημιουργία «συντόμευσης σχήματος».

  2. Επιλέξτε την προέλευση δεδομένων για αυτήν τη συντόμευση και μεταβείτε στο φάκελο που περιέχει τα αρχεία σας .xlsx .

  3. Στο βήμα Μετασχηματισμός , διαμορφώστε τις ρυθμίσεις για τη μετατροπή Delta:

    • Πρώτη γραμμή ως κεφαλίδες – Υποδείξτε εάν η πρώτη γραμμή περιέχει ονόματα στηλών.
    • Φύλλα προς συμπερίληψη – Επιλέξτε όλα τα φύλλα ή μόνο ένα υποσύνολο φύλλων. Μπορείτε να επιλέξετε φύλλα με βάση το όνομα, το ευρετήριο ή χρησιμοποιώντας μοτίβα χαρακτήρων μπαλαντέρ.

    Στιγμιότυπο οθόνης που εμφανίζει επιλογές μετασχηματισμού για μια συντόμευση σχήματος.

  4. Ελέγξτε τη ρύθμιση παραμέτρων της συντόμευσης. Στο βήμα Συντομεύσεις προεπισκόπησης , μπορείτε επίσης να ρυθμίσετε τις παραμέτρους αυτών των ρυθμίσεων πριν επιλέξετε Δημιουργία:

    • Όνομα συντόμευσης – Επιλέξτε το εικονίδιο μολυβιού για να επεξεργαστείτε το όνομα της συντόμευσης.
    • Συμπερίληψη υποφακέλων – Ενεργοποιήστε την αναδρομική επεξεργασία αρχείων σε ένθετους υποκαταλόγους. Αυτή η επιλογή είναι ενεργοποιημένη από προεπιλογή για νέους μετασχηματισμούς. Καταργήστε την επιλογή του πλαισίου ελέγχου εάν θέλετε να επεξεργαστείτε μόνο τον φάκελο ανώτατου επιπέδου.

  5. Παρακολουθήστε ανανεώσεις και προβάλετε αρχεία καταγραφής στο Διαχείριση κέντρου παρακολούθησης συντομεύσεων.

Το Fabric Spark compute δημιουργεί ξεχωριστούς πίνακες Delta για τα επιλεγμένα φύλλα και τα διατηρεί συγχρονισμένα με τα αρχεία προέλευσης. Τα ονόματα των φύλλων απολυμαίνονται αυτόματα σε έγκυρα ονόματα πινάκων. Για παράδειγμα, ένα φύλλο με το όνομα Sales Data (Q1) γίνεται Sales_Data_Q1.

Πώς λειτουργεί ο συγχρονισμός

Μετά την αρχική φόρτωση, το Fabric Spark υπολογίζει:

  • Δημοσκοπεί τον στόχο συντόμευσης κάθε δύο λεπτά.
  • Εντοπίζει νέα ή τροποποιημένα αρχεία και προσαρτά ή αντικαθιστά αντίστοιχα τις γραμμές.
  • Εντοπίζει τα διαγραμμένα αρχεία και καταργεί τις αντίστοιχες σειρές.

Όταν είναι ενεργοποιημένη η υποστήριξη υποφακέλων, το σύστημα εντοπίζει και επεξεργάζεται αναδρομικά αρχεία σε όλους τους ένθετους υποκαταλόγους εντός του φακέλου προορισμού.

Παρακολούθηση και αντιμετώπιση προβλημάτων

Οι μετασχηματισμοί συντομεύσεων περιλαμβάνουν παρακολούθηση και χειρισμό σφαλμάτων για να σας βοηθήσουν να παρακολουθείτε την κατάσταση πρόσληψης και να διαγνώσετε προβλήματα.

  1. Ανοίξτε το lakehouse και κάντε δεξί κλικ στη συντόμευση που τροφοδοτεί τον μετασχηματισμό σας.

  2. Επιλέξτε Διαχείριση συντόμευσης.

  3. Στο παράθυρο λεπτομερειών, μπορείτε να προβάλετε:

    • Κατάσταση – Αποτέλεσμα τελευταίας σάρωσης και τρέχουσα κατάσταση συγχρονισμού.

    • Ιστορικό ανανέωσης – Χρονολογική λίστα λειτουργιών συγχρονισμού με πλήθος σειρών και τυχόν λεπτομέρειες σφάλματος.

    • Συμπερίληψη υποφακέλων – Υποδεικνύει εάν ο μετασχηματισμός υποφακέλων είναι ενεργοποιημένος (Ναι ή Όχι).

      Στιγμιότυπο οθόνης που εμφανίζει το

  4. Δείτε περισσότερες λεπτομέρειες στα αρχεία καταγραφής για την αντιμετώπιση προβλημάτων.

    Στιγμιότυπο οθόνης που δείχνει πώς να access το

Περιορισμοί

Οι ακόλουθοι περιορισμοί ισχύουν επί του παρόντος για μετασχηματισμούς συντομεύσεων.

Γενικοί περιορισμοί

  • Μορφή πηγής: Υποστηρίζονται αρχεία CSV, JSON, Parquet και Excel.
  • Συνέπεια σχήματος αρχείου: Τα αρχεία πρέπει να μοιράζονται ένα πανομοιότυπο σχήμα.
  • Διαθεσιμότητα χώρου εργασίας: Διατίθεται μόνο σε στοιχεία Lakehouse (όχι σε αποθήκες δεδομένων ή βάσεις δεδομένων KQL).
  • Λειτουργίες εγγραφής: Οι μετασχηματισμοί είναι βελτιστοποιημένοι για ανάγνωση. Οι προτάσεις Direct MERGE INTO ή DELETE στον πίνακα προορισμού μετασχηματισμού δεν υποστηρίζονται.
  • Διαθεσιμότητα συντόμευσης σχήματος: Οι συντομεύσεις σχήματος για μετασχηματισμούς αρχείων υποστηρίζουν μόνο αρχεία Excel.

Περιορισμοί CSV

  • Μη υποστηριζόμενοι τύποι δεδομένων: Μιγαδικοί λογικοί τύποι - MAP/LIST/STRUCT, Raw binary.

Περιορισμοί JSON

  • Ισοπέδωση τύπου δεδομένων πίνακα: Ο τύπος δεδομένων πίνακα διατηρείται στον πίνακα Delta και είναι προσβάσιμος με το Spark SQL και το PySpark. Για περαιτέρω μετασχηματισμούς, χρησιμοποιήστε το Fabric Materialized Lake Views για το ασημί στρώμα.
  • Βάθος ισοπέδωσης: Οι ένθετες κατασκευές ισοπεδώνονται σε βάθος έως και πέντε επιπέδων. Η βαθύτερη ένθεση απαιτεί προεπεξεργασία.

Περιορισμοί του Excel

  • Εύρος κυττάρων: Τα δεδομένα διαβάζονται πάντα ξεκινώντας από το κελί A1. Δεν είναι δυνατή η στόχευση βιβλίων εργασίας όπου τα δεδομένα ξεκινούν από διαφορετικό κελί ή χρησιμοποιούν επώνυμους πίνακες ή περιοχές.
  • Παράλειψη σειρών: Δεν είναι δυνατή η εξαίρεση των banner τίτλων, των προοιμίων μετα-δεδομένων και των περιλήψεων υποσέλιδου πάνω ή κάτω από τα πραγματικά δεδομένα. Προσλαμβάνονται ως γραμμές δεδομένων.
  • Συμπέρασμα σχήματος: Η εξαγωγή συμπερασμάτων σχήματος είναι πάντα ενεργοποιημένη για αρχεία Excel. Τα αναγνωριστικά με μηδενικά στην αρχή (για παράδειγμα, ταχυδρομικοί κώδικες όπως 02134 ή αναγνωριστικά υπαλλήλων όπως 001245) μετατρέπονται σε ακέραιους αριθμούς, γεγονός που καταργεί τα μηδενικά στην αρχή.
  • Κρυφά φύλλα: Όλα τα φύλλα, συμπεριλαμβανομένων των κρυφών φύλλων και των φύλλων συστήματος, υποβάλλονται σε επεξεργασία, εκτός εάν φιλτράρονται ρητά με βάση το όνομα ή το ευρετήριο.
  • Μορφοποίηση νομίσματος: Τα κελιά με μορφοποίηση νομισματικής μονάδας (για παράδειγμα, $1,234.56) μετατρέπονται σε απλές αριθμητικές τιμές. Το σύμβολο του νομίσματος αφαιρείται.
  • Ετικέτες ευαισθησίας: Δεν είναι δυνατή η επεξεργασία βιβλίων εργασίας με ετικέτες ευαισθησίας Microsoft Purview.
  • Κατεστραμμένες σειρές: Το πρόγραμμα ανάγνωσης του Excel δεν υποστηρίζει απομόνωση κατεστραμμένων εγγραφών. Οι κατεστραμμένες γραμμές ή οι γραμμές που δεν ταιριάζουν με τον τύπο σε ένα φύλλο δεν μπορούν να απομονωθούν και να καταγραφούν ξεχωριστά.
  • Όριο φύλλων: Τα αρχεία με περισσότερα από 25 φύλλα παραλείπονται.
  • Μορφή παλαιού τύπου:.xls (παλαιού τύπου δυαδική μορφή) υποστηρίζεται με βάση την καλύτερη δυνατή προσπάθεια και ενδέχεται να έχει μειωμένη πιστότητα για πολύπλοκη μορφοποίηση. .xlsx είναι η προτεινόμενη μορφή.
  • Αξιολόγηση φόρμουλας: Το Spark διαβάζει την αποθηκευμένη τιμή των κελιών τύπου. Εάν το βιβλίο εργασίας δεν αποθηκεύτηκε με υπολογισμένες τιμές, τα κελιά τύπου ενδέχεται να εμφανίζονται κενά ή παλιά.

Περιορισμοί υποφακέλων

  • Διαθέσιμο μόνο για νέους μετασχηματισμούς. Οι υπάρχοντες μετασχηματισμοί δεν μπορούν να ενεργοποιήσουν την υποστήριξη υποφακέλων.
  • Μόλις ενεργοποιηθεί η υποστήριξη υποφακέλων, δεν μπορεί να απενεργοποιηθεί.
  • Οι συντομεύσεις που είναι ένθετες μέσα στο φάκελο προορισμού δεν ακολουθούνται. Γίνεται επεξεργασία μόνο φυσικών φακέλων και αρχείων.
  • Η επιλεκτική συμπερίληψη ή εξαίρεση συγκεκριμένων υποφακέλων δεν υποστηρίζεται.
  • Οι ένθετοι φάκελοι δεν λειτουργούν με συντομεύσεις του SharePoint.

Χρησιμοποιήστε το ιστολόγιο Χάρτης Fabric και Ενημερώσεις Fabric για να μάθετε σχετικά με νέες δυνατότητες και εκδόσεις.

Εκκαθάριση

Για να διακόψετε τον συγχρονισμό, διαγράψτε τον μετασχηματισμό συντόμευσης από την Εξερεύνηση Lakehouse.

Η διαγραφή του μετασχηματισμού δεν καταργεί τα υποκείμενα αρχεία.

  • Last updated on