Przekształcanie plików strukturalnych w tabele delty

Przekształcanie skrótów umożliwia konwertowanie plików strukturalnych na tabele delty z możliwością wykonywania zapytań. Jeśli dane źródłowe są już w formacie tabelarycznym, takim jak CSV, Parquet, JSON lub Excel, przekształcenia plików są automatycznie kopiowane i konwertowane na format usługi Delta Lake, aby można było wykonywać zapytania za pomocą języka SQL, Spark lub Power BI bez tworzenia potoków ETL.

W przypadku nieustrukturyzowanych plików tekstowych, które wymagają przetwarzania przez sztuczną inteligencję, takich jak podsumowywanie, tłumaczenie lub analiza tonacji, zobacz Przekształcenia szybkie (oparte na sztucznej inteligencji).

Przekształcenia skrótów pozostają zawsze zsynchronizowane z danymi źródłowymi. Obliczenia Fabric Spark wykonują transformację i kopiują dane wskazywane przez skrót OneLake do zarządzanej tabeli Delta. Dzięki automatycznemu zarządzaniu schematami, zaawansowanym możliwościom głębokiego spłaszczania oraz obsłudze wielu formatów kompresji, uproszczone transformacje eliminują złożoność tworzenia i utrzymania pipelines ETL.

Dlaczego warto używać skrótów przekształceń?

Konwersja automatyczna — platforma kopiuje i konwertuje pliki źródłowe na format Delta bez ręcznej aranżacji potoku.
Częsta synchronizacja — Fabric sprawdza skrót co dwie minuty i synchronizuje zmiany.
Rekursywne odkrywanie folderów — Fabric automatycznie przechodzi przez podfoldery w celu wykrywania i przekształcania plików w całej hierarchii katalogów.
Dane wyjściowe Delta Lake — wynikowa tabela jest zgodna z dowolnym silnikiem Apache Spark.
Dziedziczone zarządzanie — skrót dziedziczy rodowód OneLake, uprawnienia i zasady Microsoft Purview.

Wymagania wstępne

Wymaganie	Szczegóły
Jednostka SKU dla tkaniny	Pojemność lub wersja próbna, która obsługuje obciążenia Lakehouse.
Dane źródłowe	Folder zawierający jednorodne pliki CSV, Parquet, JSON lub Excel.
Rola obszaru roboczego	Współautor lub wyższy.

Obsługiwane formaty plików

Przekształcenia skrótów działają z folderami z dowolnego źródła danych obsługiwanego przez skróty w usłudze OneLake.

Format pliku źródłowego	Obsługiwane rozszerzenia	Obsługiwane typy kompresji	Obsługiwany typ skrótu	Notatki
CSV (UTF-8, UTF-16)	`.csv`, `.txt` (ogranicznik), `.tsv` (rozdzielony tabulatorami), `.psv` (rozdzielony pionowymi kreskami)	`.csv.gz`, `.csv.bz2`	Skrót do tabeli	`.csv.zip` i `.csv.snappy` nie są obsługiwane.
Parquet	`.parquet`	`.parquet.snappy`, , `.parquet.gzip`, `.parquet.lz4`, , `.parquet.brotli.parquet.zstd`	Skrót do tabeli	Żaden.
JSON	`.json`, `.jsonl`, `.ndjson`	`.json.gz`, , `.json.bz2`, `.jsonl.gz`, `.ndjson.gz`, , `.jsonl.bz2.ndjson.bz2`	Skrót do tabeli	`.json.zip` i `.json.snappy` nie są obsługiwane.
Excel	`.xlsx`, `.xls`	Nie dotyczy	Skrót do tabeli lub skrót schematu	Skróty tabel łączą arkusze w jedną tabelę delty. Skróty do schematów tworzą jedną tabelę Delta na każdy arkusz. `.xls` (starszy format binarny) jest obsługiwany w oparciu o najlepsze wysiłki; `.xlsx` jest zalecanym formatem.

Uwaga / Notatka

Przekształcenia plików programu Excel są obecnie dostępne w wersji zapoznawczej. Przekształcenia CSV, Parquet i JSON są ogólnie dostępne.

Tworzenie skrótu do tabeli za pomocą przekształcania danych

Skrót do tabeli tworzy jedną tabelę Delta w folderze Tables w lakehouse. Służy do przekształcania plików CSV, Parquet, JSON lub Excel.

W przypadku plików programu Excel z wieloma arkuszami, narzędzie do tabeli Delta łączy wybrane arkusze w jedną tabelę Delta. Jeśli potrzebujesz jednej tabeli delty na arkusz, utwórz skrót schematu .

W usłudze Lakehouse kliknij prawym przyciskiem myszy schemat w folderze Tables , a następnie wybierz pozycję Nowy skrót do tabeli. Wybierz źródło skrótów, takie jak Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint lub OneDrive.
Wybierz folder z plikami CSV, Parquet lub JSON albo wybierz folder zawierający pliki .xlsx.
W kroku Przekształć skonfiguruj ustawienia konwersji różnicowej:
- Pliki CSV:
  - Ogranicznik — wybierz znak używany do oddzielania kolumn, takich jak przecinek, średnik, pionowa kreska, tabulator, znak ampersand lub spacja.
  - Pierwszy wiersz jako nagłówki — wskazuje, czy pierwszy wiersz zawiera nazwy kolumn.
- Pliki programu Excel:
  - Pierwszy wiersz jako nagłówki — wskazuje, czy pierwszy wiersz zawiera nazwy kolumn.
  - Arkusze do uwzględnienia — zaznacz wszystkie arkusze lub tylko podzestaw arkuszy. Możesz wybrać arkusze według nazwy, indeksu lub za pomocą wzorców wieloznacznych (na przykład Sales_* dopasowuje arkusze, takie jak Sales_Q1 oraz Sales_2026). Dopasowywanie symboli wieloznacznych jest bez uwzględniania wielkości liter.
Przejrzyj konfigurację skrótów. W kroku Skróty podglądu można również skonfigurować te ustawienia przed wybraniem pozycji Utwórz:
- Nazwa skrótu — wybierz ikonę ołówka, aby edytować nazwę skrótu.
- Uwzględnij podfoldery — umożliwia rekurencyjne przetwarzanie plików w zagnieżdżonych podkatalogach. Ta opcja jest domyślnie wybierana dla nowych przekształceń. Wyczyść pole wyboru, jeśli chcesz przetworzyć tylko folder najwyższego poziomu.
Śledzenie odświeżeń i wyświetlanie dzienników w centrum zarządzania monitorowaniem skrótów.

Obliczenia Spark w Fabric tworzą Tabelę Delta i pokazują postęp w okienku zarządzania skrótami.

W przypadku plików programu Excel wynikowa tabela Delta zawiera kolumny __filepath__ i metadane __sheetname__, co umożliwia śledzenie każdego wiersza z powrotem do pliku źródłowego i arkusza.

Tworzenie skrótu schematu z przekształcaniem danych

Skrót schematu tworzy wiele tabel Delta, które pojawiają się pod nowym schematem w folderze Tables w lakehouse. Użyj tej opcji, gdy skoroszyt Excel ma wiele arkuszy i chcesz mieć jedną tabelę Delta na każdy arkusz.

Skróty schematu z przekształcaniem danych są obecnie dostępne tylko dla plików programu Excel (.xlsx). Wymagają również lakehouse'a z włączonymi schematami. Aby uzyskać więcej informacji, zobacz Schematy Lakehouse.

W usłudze Lakehouse kliknij prawym przyciskiem myszy folder Tables, a następnie wybierz pozycję Nowy skrót schematu.
Wybierz źródło danych dla tego skrótu i przejdź do folderu zawierającego .xlsx pliki.
W kroku Przekształć skonfiguruj ustawienia konwersji różnicowej:
- Pierwszy wiersz jako nagłówki — wskazuje, czy pierwszy wiersz zawiera nazwy kolumn.
- Arkusze do uwzględnienia — zaznacz wszystkie arkusze lub tylko podzestaw arkuszy. Możesz wybrać arkusze według nazwy, indeksu lub przy użyciu wzorców wieloznacznych.
Przejrzyj konfigurację skrótów. W kroku Skróty podglądu można również skonfigurować te ustawienia przed wybraniem pozycji Utwórz:
- Nazwa skrótu — wybierz ikonę ołówka, aby edytować nazwę skrótu.
- Uwzględnij podfoldery — umożliwia rekurencyjne przetwarzanie plików w zagnieżdżonych podkatalogach. Ta opcja jest domyślnie wybierana dla nowych przekształceń. Wyczyść pole wyboru, jeśli chcesz przetworzyć tylko folder najwyższego poziomu.
Śledzenie odświeżeń i wyświetlanie dzienników w centrum zarządzania monitorowaniem skrótów.

Funkcje obliczeniowe platformy Fabric Spark tworzą oddzielne tabele Delta dla wybranych arkuszy i synchronizują je z plikami źródłowymi. Nazwy arkuszy są automatycznie przekształcane na prawidłowe nazwy tabel. Na przykład arkusz o nazwie Sales Data (Q1) staje się .Sales_Data_Q1

Jak działa synchronizacja

Po początkowym ładowaniu, obliczenia Fabric Spark:

Sonduje docelowy skrót co dwie minuty.
Wykrywa nowe lub zmodyfikowane pliki oraz odpowiednio dołącza lub zastępuje wiersze.
Wykrywa usunięte pliki i usuwa odpowiednie wiersze.

Gdy obsługa podfolderów jest włączona, system rekursywnie odnajduje i przetwarza pliki we wszystkich zagnieżdżonych podkatalogach w folderze docelowym.

Monitorowanie i rozwiązywanie problemów

Przekształcenia skrótów obejmują monitorowanie i obsługę błędów, aby ułatwić śledzenie stanu pozyskiwania i diagnozowanie problemów.

Otwórz Lakehouse i kliknij prawym przyciskiem myszy skrót, który zasila twoją transformację.
Wybierz pozycję Zarządzaj skrótem.
W okienku szczegółów można wyświetlić:
- Stan — ostatni wynik skanowania i bieżący stan synchronizacji.
- Historia odświeżania — chronologiczna lista operacji synchronizacji z liczbami wierszy i wszelkimi szczegółami błędów.
- Uwzględnij podfoldery — wskazuje, czy transformacja podfolderu jest włączona (Tak lub Nie).
Wyświetl więcej szczegółów w dziennikach, aby rozwiązać problemy.

Ograniczenia

Następujące ograniczenia mają obecnie zastosowanie do przekształceń skrótów.

Ogólne ograniczenia

Format źródła: Obsługiwane są pliki CSV, JSON, Parquet i Excel.
Spójność schematu pliku: Pliki muszą współużytkować identyczny schemat.
Dostępność obszaru roboczego: Dostępne tylko w elementach Lakehouse (nie w magazynach danych lub bazach danych KQL).
Operacje zapisu: Przekształcenia są zoptymalizowane pod kątem odczytu. Instrukcje DIRECT MERGE INTO lub DELETE w tabeli docelowej przekształcenia nie są obsługiwane.
Dostępność skrótów schematu: Skróty schematu dla przekształceń plików obsługują tylko pliki programu Excel.

Ograniczenia plików CSV

Nieobsługiwane typy danych: Złożone typy logiczne — MAP/LIST/STRUCT, nieprzetworzone dane binarne.

Ograniczenia kodu JSON

Spłaszczanie typu danych tablicy: Typ danych tablicy jest zachowywany w tabeli delty i jest dostępny z usługami Spark SQL i PySpark. Aby uzyskać dalsze przekształcenia, użyj Fabric Materialized Lake Views dla warstwy Silver.
Głębokość spłaszczania: Zagnieżdżone struktury są spłaszczone do pięciu poziomów głębokości. Głębsze zagnieżdżanie wymaga wstępnego przetwarzania.

Ograniczenia programu Excel

Zakres komórek: Dane są zawsze odczytywane począwszy od komórki A1. Skoroszyty, w których dane zaczynają się w innej komórce lub używają nazwanych tabel lub zakresów, nie mogą być docelowe.
Pomiń wiersze: Banery tytułowe, wstępy metadanych i podsumowania stopki, które znajdują się nad lub pod rzeczywistymi danymi, nie mogą być pominięte. Są one przyjmowane jako wiersze danych.
Wnioskowanie schematu: Wnioskowanie schematu jest zawsze włączone dla plików programu Excel. Identyfikatory z wiodącymi zerami (na przykład kody pocztowe, takie jak 02134 lub identyfikatory pracowników, takie jak 001245) są przekształcane na liczby całkowite, co usuwa zera wiodące.
Ukryte arkusze: Wszystkie arkusze, w tym arkusze ukryte i systemowe, są przetwarzane, chyba że jawnie filtrowane według nazwy lub indeksu.
Formatowanie waluty: Komórki sformatowane w walucie (na przykład $1,234.56) są konwertowane na zwykłe wartości liczbowe. Symbol waluty jest usuwany.
Etykiety poufności: Skoroszytów z etykietami poufności Microsoft Purview nie można przetworzyć.
Uszkodzone wiersze: Czytnik programu Excel nie obsługuje uszkodzonej izolacji rekordów. Uszkodzone lub niedopasowane wiersze w arkuszu nie mogą być izolowane i rejestrowane oddzielnie.
Limit arkusza: Pominięto pliki z ponad 25 arkuszami.
Starszy format:.xls (starszy format binarny) jest obsługiwany na podstawie najlepszych wysiłków i może mieć zmniejszoną wierność w przypadku złożonego formatowania. .xlsx jest zalecanym formatem.
Ocena formuły: Platforma Spark odczytuje buforowane wartości komórek formuły. Jeśli skoroszyt nie został zapisany przy użyciu wartości obliczeniowych, komórki formuły mogą być puste lub nieaktualne.

Ograniczenia podfolderu

Dostępne tylko dla nowych przekształceń. Istniejące przekształcenia nie pozwalają na obsługę podfolderów.
Po włączeniu obsługi podfolderów nie można go wyłączyć.
Skróty zagnieżdżone wewnątrz folderu docelowego nie są śledzone. Przetwarzane są tylko foldery fizyczne i pliki.
Selektywne dołączanie lub wykluczanie określonych podfolderów nie jest obsługiwane.
Zagnieżdżone foldery nie działają ze skrótami programu SharePoint.

Aby dowiedzieć się więcej o nowych funkcjach i wydaniach, skorzystaj z Harmonogramu Fabric oraz Bloga Aktualizacji Fabric.

Czyszczenie

Aby zatrzymać synchronizację, usuń transformację skrótu w Eksploratorze usługi Lakehouse.

Usunięcie przekształcenia nie powoduje usunięcia plików bazowych.

Opinia

Czy ta strona była pomocna?

Last updated on 2026-06-03