Praca z danymi bez struktury

Przechowuj, zarządzaj i przetwarzaj pliki nieustrukturyzowane, takie jak dokumenty, obrazy, audio i wideo, obok danych strukturalnych w Unity Catalog.

Wprowadzenie

Spróbuj przykładu od początku do końca, żeby zobaczyć, jak elementy do siebie pasują.

Przewodnik	Opis
Krótkie wprowadzenie do funkcji FILE	Stwórz tabelę z kolumną FILE i pracuj z plikami za pomocą FILE funkcji.
Samouczek dotyczący danych niestrukturalnych	Przechowuj, zapytuj, przetwarzaj i udostępniaj nieustrukturyzowane pliki za pomocą woluminów katalogu Unity.

Przechowywać pliki i odwoływać się do nich

Wybierz sposób przechowywania i odwoływania się do plików na podstawie tego, czy uzyskujesz do nich dostęp według ścieżki, czy jako wartości w tabeli.

Approach	Opis
Woluminy wykazu aparatu Unity	Zarządzanie przechowywaniem plików nietabularycznych. Przesyłaj, organizuj i uzyskuj dostęp do plików w woluminie za pomocą ścieżki.
Typ pliku	Pliki referencyjne i ich metadane jako pełnoprawne wartości w tabeli, kontrolowane przez dostęp do wierszy, które się do nich odwołują. Definicję typu można znaleźć w odniesieniu do typu FILE.
Źródło danych binarnych	Przechowuj surowe bajty pliku w kolumnie BINARY .
Źródło danych obrazowych	Wczytywanie plików obrazów do obiektu DataFrame.

Przetwarzanie plików

Po zapisaniu plików w Unity Catalog, wyodrębnij zawartość, uruchom własny kod i zbuduj pipeline'y.

Zadanie	Opis
Analizuj dokumenty	Wyodrębniaj ustrukturyzowane treści z dokumentów za pomocą ai_parse_document i innych funkcji AI.
Pliki procesowe z UDF-ami	Czytaj metadane i bajty plików oraz generuj nowe pliki, używając własnego kodu w UDF-ach.
Importowanie plików jako odwołań FILE	Ładuj pliki do tabel w postaci odwołań FILE.
Utwórz potok plików	Przetwarzaj pliki od początku do końca w ramach potoku.
Wyszukaj pliki w woluminie	Indeksuj pliki w woluminie, aby użytkownicy i agenci mogli je przeszukiwać.

Zarządzaj plikami

Kontroluj, kto może uzyskać dostęp do plików i zarządzaj ich cyklem życia za pomocą Unity Catalog.

Capability	Opis
Kontrola dostępu do głośności	Przyznaj uprawnienia do woluminów, aby kontrolować, kto może odczytywać i zapisywać pliki według ścieżki.
Cykl życia FILE MANAGED	Pozwól Azure Databricks zarządzać przechowywaniem i cyklem życia plików, do których odwołuje się tabela.
Filtry wierszowe w kolumnach FILE	Ogranicz dostęp do plików, stosując filtry wierszowe do wierszy, które się do nich odwołują.