Ładowanie do tabeli usługi Delta Lake
Usługa Lakehouse w usłudze Microsoft Fabric udostępnia funkcję umożliwiającą wydajne ładowanie typowych typów plików do zoptymalizowanej tabeli delty gotowej do analizy. Funkcja Załaduj do tabeli umożliwia użytkownikom ładowanie pojedynczego pliku lub folderu plików do tabeli. Ta funkcja zwiększa produktywność inżynierów danych, umożliwiając im szybkie użycie akcji kliknięcia prawym przyciskiem myszy w celu włączenia ładowania tabel w plikach i folderach. Ładowanie do tabeli to również środowisko bez kodu, które obniża pasek wejścia dla wszystkich osób.
Omówienie możliwości ładowania do tabeli
Oto lista funkcji, które włączyliśmy w zintegrowanym obciążeniu do tabeli, aby zapewnić użytkownikom elastyczność przy jednoczesnym zwiększeniu produktywności:
Obsługiwane typy plików: ta funkcja obsługuje obecnie tylko ładowanie typów plików PARQUET lub CSV. Przypadek rozszerzenia pliku nie ma znaczenia.
Ładowanie pojedynczego pliku: użytkownicy mogą załadować jeden plik w jednym z obsługiwanych formatów, wybierając pozycję "Załaduj do tabeli delty" w akcji menu kontekstowego pliku.
Ładowanie na poziomie folderu: wszystkie pliki w folderze i jego podfolderach można załadować jednocześnie, wybierając pozycję "Załaduj do tabeli delty" po kliknięciu folderu. Ta funkcja automatycznie przechodzi przez wszystkie pliki i ładuje je do tabeli delty. Należy pamiętać, że tylko pliki tego samego typu mogą być ładowane jednocześnie do tabeli.
Załaduj do nowej i istniejącej tabeli: użytkownik może załadować pliki i foldery do nowej tabeli lub wybranej istniejącej tabeli. Jeśli zdecydują się załadować do istniejącej tabeli, mogą dołączać lub zastępować dane w tabeli.
Opcja pliku źródłowego CSV: w przypadku plików CSV zezwalamy użytkownikowi na określenie, czy jego plik źródłowy zawiera nagłówki, które mają być używane jako nazwy kolumn. Użytkownicy mogą również określić separator wyboru, aby zastąpić domyślny separator przecinka.
Ładowane jako tabele delty: tabele są zawsze ładowane przy użyciu formatu tabeli usługi Delta Lake z włączoną optymalizacją kolejności V.
Uwaga
Obecnie nie można określić schematu tabeli za pomocą interfejsu użytkownika usługi Lakehouse; w tym celu należy użyć notesu.
Wytyczne i reguły dotyczące walidacji
Następujący standard dotyczy środowiska ładowanie do tabeli:
Nazwy tabel mogą zawierać tylko znaki alfanumeryczne i podkreślenia. Umożliwia również dowolną cyfrę angielską, wielkie lub małe litery i podkreślenie (
_) z maksymalną długością 256 znaków. Nie są dozwolone żadne kreski (-) ani znaki spacji.Pliki tekstowe bez nagłówków kolumn są zastępowane notacją standardową
col#jako nazwy kolumn tabeli.Nazwy kolumn umożliwiają dowolną cyfrę angielską, wielkie lub małe litery, podkreślenie (
_) i znaki w innym języku, takim jak chiński w formacie UTF, długość do 128 znaków. Nazwy kolumn są weryfikowane podczas akcji ładowania. Algorytm ładowania do delty zastępuje niedozwolone wartości za pomocą paska underbar (_). Jeśli podczas walidacji nie zostanie osiągnięta żadna prawidłowa nazwa kolumny, akcja ładowania zakończy się niepowodzeniem.W przypadku plików CSV separator nie może być pusty, nie może być dłuższy niż 8 znaków ani używać żadnego z następujących znaków:
(, , ,[),],{}pojedynczy cudzysłów (), podwójnego cudzysłowu ('") i odstępu.