Μετασχηματισμοί αρχείων συντομεύσεων

Οι μετασχηματισμοί συντομεύσεων μετατρέπουν τα μη επεξεργασμένα αρχεία (CSV, Parquet και JSON) σε πίνακες Delta που παραμένουν πάντα συγχρονισμένοι με τα δεδομένα προέλευσης. Ο μετασχηματισμός εκτελείται από το Fabric Spark compute, το οποίο αντιγράφει τα δεδομένα που αναφέρονται από μια συντόμευση OneLake σε έναν διαχειριζόμενο πίνακα Delta, ώστε να μην χρειάζεται να δημιουργήσετε και να ενορχηστρώσετε μόνοι σας παραδοσιακές διοχετεύσεις εξαγωγής, μετασχηματισμού, φόρτωσης (ETL). Με τον αυτόματο χειρισμό σχήματος, τις δυνατότητες βαθιάς ισοπέδωσης και την υποστήριξη πολλαπλών μορφών συμπίεσης, οι μετασχηματισμοί συντομεύσεων εξαλείφουν την πολυπλοκότητα της δημιουργίας και της συντήρησης αγωγών ETL.

Note

Οι μετασχηματισμοί συντομεύσεων βρίσκονται αυτήν τη στιγμή σε δημόσια προεπισκόπηση και υπόκεινται σε αλλαγές.

Γιατί να χρησιμοποιήσετε μετασχηματισμούς συντόμευσης;

• Δεν υπάρχουν μη αυτόματες διοχετεύσεις – Το Fabric αντιγράφει αυτόματα και μετατρέπει τα αρχεία προέλευσης σε μορφή Delta. δεν χρειάζεται να ενορχηστρώνετε επαυξητικές φορτώσεις.
• Συχνή ανανέωση – Το Fabric ελέγχει τη συντόμευση κάθε 2 λεπτά και συγχρονίζει τυχόν αλλαγές σχεδόν αμέσως.
• Open & analytics-ready – Η έξοδος είναι ένας πίνακας Delta Lake στον οποίο μπορεί να υποβάλει ερώτημα κάθε μηχανισμός συμβατός με Apache Spark.
• Ενοποιημένη διαχείριση – Η συντόμευση κληρονομεί τη γενεαλογία, τα δικαιώματα και τις πολιτικές του Microsoft Purview OneLake.
• Βασισμένο σε σπινθήρα – Μετασχηματίζει τη δημιουργία για κλίμακα.

Prerequisites

Requirement	Details
Microsoft Fabric SKU	Εκχωρημένοι πόροι ή δοκιμαστική έκδοση που υποστηρίζει φόρτους εργασίας Lakehouse .
Πηγή δεδομένων	Ένας φάκελος που περιέχει ομοιογενή αρχεία CSV, Parquet ή JSON.
Ρόλος χώρου εργασίας	Συνεισφέρων ή υψηλότερος.

Υποστηριζόμενες πηγές, μορφές και προορισμοί

Υποστηρίζονται όλες οι προελεύσεις δεδομένων που υποστηρίζονται στο OneLake.

Μορφή αρχείου προέλευσης	Προορισμός	Υποστηριζόμενες επεκτάσεις	Υποστηριζόμενοι τύποι συμπίεσης	Σημειώσεις
CSV (UTF-8, UTF-16)	Πίνακας Delta Lake στο φάκελο Lakehouse / Tables	.csv,.txt(οριοθέτης),.tsv (διαχωρισμένο με καρτέλες),.psv (διαχωρισμένο με σωλήνα),	.csv.gz,.csv.bz2	.csv.zip,.csv.snappy δεν υποστηρίζονται μέχρι σήμερα
Parquet	Πίνακας Delta Lake στο φάκελο Lakehouse / Tables	.παρκέ	.parquet.snappy,.parquet.gzip,.parquet.lz4,.parquet.brotli,.parquet.zstd
JSON	Πίνακας Delta Lake στο φάκελο Lakehouse / Tables	.json,.jsonl,.ndjson	.json.gz,.json.bz2,.jsonl.gz,.ndjson.gz,.jsonl.bz2,.ndjson.bz2	.json.zip, .json.snappy δεν υποστηρίζονται μέχρι σήμερα

• Η υποστήριξη αρχείων Excel είναι μέρος του οδικού χάρτη
• Οι μετασχηματισμοί AI είναι διαθέσιμοι για την υποστήριξη μη δομημένων μορφών αρχείων (.txt, .doc .docx) με περίπτωση χρήσης Text Analytics ζωντανά με περισσότερες βελτιώσεις στο μέλλον

Ρύθμιση μετασχηματισμού συντόμευσης

1. Στο lakehouse σας, επιλέξτε Νέα συντόμευση πίνακα στην ενότητα Πίνακες που είναι Μετασχηματισμός συντόμευσης (έκδοση προεπισκόπησης) και επιλέξτε την προέλευσή σας (για παράδειγμα, Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint, OneDrive κ.λπ.).

   

2. Επιλογή αρχείου, Διαμόρφωση μετασχηματισμού & δημιουργία συντόμευσης – Περιηγηθείτε σε μια υπάρχουσα συντόμευση OneLake που οδηγεί στον φάκελο με τα αρχεία CSV σας, διαμορφώστε τις παραμέτρους και ξεκινήστε τη δημιουργία.

   • Οριοθέτης σε αρχεία CSV – Επιλέξτε τον χαρακτήρα που χρησιμοποιείται για τον διαχωρισμό στηλών (κόμμα, ερωτηματικό, σωλήνας, στηλοθέτης, συμπλεκτικό σύμβολο, διάστημα).
   • Πρώτη γραμμή ως κεφαλίδες – Υποδείξτε εάν η πρώτη γραμμή περιέχει ονόματα στηλών.
   • Όνομα συντόμευσης πίνακα – Δώστε ένα φιλικό όνομα. Το ύφασμα το δημιουργεί κάτω από το /Tables.

3. Παρακολουθήστε ανανεώσεις και προβάλετε αρχεία καταγραφής για διαφάνεια στο κέντρο παρακολούθησης Διαχείριση συντομεύσεων.

Το Fabric Spark compute αντιγράφει τα δεδομένα σε έναν πίνακα Delta και εμφανίζει την πρόοδο στο τμήμα παραθύρου Διαχείριση συντομεύσεων . Οι μετασχηματισμοί συντομεύσεων είναι διαθέσιμοι σε στοιχεία Lakehouse. Δημιουργούν πίνακες Delta Lake στο φάκελο Lakehouse / Tables .

Πώς λειτουργεί ο συγχρονισμός

Μετά την αρχική φόρτωση, το Fabric Spark υπολογίζει:

• Οι μετρήσεις της συντόμευσης στοχεύουν κάθε 2 λεπτά.
• Εντοπίζει νέα ή τροποποιημένα αρχεία και προσαρτά ή αντικαθιστά αντίστοιχα τις γραμμές.
• Εντοπίζει τα διαγραμμένα αρχεία και καταργεί τις αντίστοιχες σειρές.

Παρακολούθηση και αντιμετώπιση προβλημάτων

Οι μετασχηματισμοί συντομεύσεων περιλαμβάνουν παρακολούθηση και χειρισμό σφαλμάτων για να σας βοηθήσουν να παρακολουθείτε την κατάσταση πρόσληψης και να διαγνώσετε προβλήματα.

1. Ανοίξτε το lakehouse και κάντε δεξί κλικ στη συντόμευση που τροφοδοτεί τον μετασχηματισμό σας.
2. Επιλέξτε Διαχείριση συντόμευσης.
3. Στο παράθυρο λεπτομερειών, μπορείτε να προβάλετε:
   • Κατάσταση – Αποτέλεσμα τελευταίας σάρωσης και τρέχουσα κατάσταση συγχρονισμού.
   • Ιστορικό ανανέωσης – Χρονολογική λίστα λειτουργιών συγχρονισμού με πλήθος σειρών και τυχόν λεπτομέρειες σφάλματος.
4. Δείτε περισσότερες λεπτομέρειες στα αρχεία καταγραφής για την αντιμετώπιση προβλημάτων

Note

Η παύση ή η διαγραφή του μετασχηματισμού από αυτήν την καρτέλα είναι μια επερχόμενη δυνατότητα που αποτελεί μέρος του οδικού χάρτη

Limitations

Τρέχοντες περιορισμοί των μετασχηματισμών συντομεύσεων:

• Υποστηρίζονται μόνο μορφές αρχείων CSV, Parquet, JSON .
• Τα αρχεία πρέπει να μοιράζονται ένα πανομοιότυπο σχήμα. Η μετατόπιση σχήματος δεν υποστηρίζεται ακόμα.
• Οι μετασχηματισμοί είναι βελτιστοποιημένοι για ανάγνωση. Οι δηλώσεις MERGE INTO ή DELETE απευθείας στον πίνακα αποκλείονται.
• Διατίθεται μόνο σε στοιχεία Lakehouse (όχι σε αποθήκες ή βάσεις δεδομένων KQL).
• Μη υποστηριζόμενοι τύποι δεδομένων για CSV: Μεικτές στήλες τύπων δεδομένων, Timestamp_Nanos, Σύνθετοι λογικοί τύποι - MAP/LIST/STRUCT, Ακατέργαστο δυαδικό αρχείο
• Μη υποστηριζόμενος τύπος δεδομένων για το Parquet: Timestamp_nanos, Δεκαδικός με INT32/INT64, INT96, Μη εκχωρημένοι ακέραιοι τύποι - UINT_8/UINT_16/UINT_64, Μιγαδικοί λογικοί τύποι - MAP/LIST/STRUCT)
• Μη υποστηριζόμενοι τύποι δεδομένων για JSON: Μεικτοί τύποι δεδομένων σε έναν πίνακα, ακατέργαστα δυαδικά blob μέσα στο JSON Timestamp_Nanos
• Ισοπέδωση τύπου δεδομένων πίνακα σε JSON: Ο τύπος δεδομένων πίνακα θα διατηρηθεί στον πίνακα δέλτα και τα δεδομένα θα είναι προσβάσιμα με το Spark SQL & Pyspark, όπου για περαιτέρω μετασχηματισμούς θα μπορούσαν να χρησιμοποιηθούν Fabric Materialized Lake Views για ασημί στρώμα
• Μορφή πηγής: Μόνο αρχεία CSV, JSON και Parquet υποστηρίζονται μέχρι σήμερα.
• Βάθος ισοπέδωσης σε JSON: Οι ένθετες δομές ισοπεδώνονται σε βάθος έως και πέντε επιπέδων. Η βαθύτερη ένθεση απαιτεί προεπεξεργασία.
• Λειτουργίες εγγραφής: Οι μετασχηματισμοί είναι βελτιστοποιημένοι για ανάγνωση. Οι άμεσες προτάσεις MERGE INTO ή DELETE στον πίνακα προορισμού μετασχηματισμού δεν υποστηρίζονται.
• Διαθεσιμότητα χώρου εργασίας: Διατίθεται μόνο σε στοιχεία Lakehouse (όχι σε αποθήκες δεδομένων ή βάσεις δεδομένων KQL).
• Συνέπεια σχήματος αρχείου: Τα αρχεία πρέπει να μοιράζονται ένα πανομοιότυπο σχήμα.

Note

Η προσθήκη υποστήριξης για ορισμένα από τα παραπάνω και η μείωση των περιορισμών είναι μέρος του οδικού μας χάρτη. Παρακολουθήστε τις επικοινωνίες έκδοσης για περαιτέρω ενημερώσεις.

Εκκαθάριση

Για να διακόψετε το συγχρονισμό, διαγράψτε τον μετασχηματισμό συντόμευσης από το περιβάλλον εργασίας χρήστη της λίμνης.
Η διαγραφή του μετασχηματισμού δεν καταργεί τα υποκείμενα αρχεία.