Работа с неструктурированными данными

Хранить, управлять и обрабатывать неструктурированные файлы, такие как документы, изображения, аудио и видео, а также структурированные данные в Unity Catalog.

Get started

Попробуйте пример от начала до конца, чтобы понять, как всё складывается друг с другом.

Guide	Описание
Функции FILE для быстрого запуска	Создайте таблицу со FILE столбцем и работайте с файлами с помощью FILE функций.
Учебник по неструктурированным данным	Хранить, отправлять запросы, обрабатывать и делиться неструктурированными файлами с использованием томов Unity Catalog.

Архив и справочные файлы

Выбирайте, как хранить и ссылаться на файлы, исходя из того, обращаетесь ли вы к ним по пути или в виде значений в таблице.

Approach	Описание
Тома каталога Unity	Регулируйте хранение для нетабличных файлов. Загружайте, упорядочивайте и получайте доступ к файлам в томе по пути.
Тип файла	Файлы-ссылки и их метаданные как полноправные значения в таблице, доступ к которым определяется доступом к строкам, которые на них ссылаются. Для определения типа см. ссылку на тип FILE.
Бинарный источник данных	Храните необработанные байты файла в столбце BINARY .
Источник данных изображения	Читайте файлы изображений в DataFrame.

Файлы процесса

После хранения файлов в Unity Catalog извлекайте содержимое, запускайте пользовательский код и строите конвейеры.

задачи	Описание
Документы для разбора	Извлекайте структурированный контент из документов с и другими ai_parse_document.
Обработка файлов с помощью UDF	Читайте метаданные файлов и байты, а также генерируйте новые файлы, используя свой собственный код в UDF.
Загружайте файлы в виде ссылок FILE	Загружайте файлы в таблицы в виде ссылок FILE.
Постройте файловый конвейер	Обрабатывайте файлы от начала до конца в конвейере.
Поиск файлов в томе	Индексируйте файлы в томе, чтобы пользователи и агенты могли их искать.

Управление файлами

Контролируйте, кто может получать доступ к файлам, и управлять их жизненным циклом с помощью Unity Catalog.

Capability	Описание
Контроль доступа громкости	Предоставьте права доступа к томам, чтобы управлять тем, кто может читать и записывать файлы по указанному пути.
УПРАВЛЯЕМЫЙ ЖИЗНЕННЫЙ ЦИКЛ ФАЙЛА	Пусть Azure Databricks управляет хранением и жизненным циклом файлов, на которые ссылается таблица.
Фильтры строк в столбцах FILE	Ограничьте доступ к файлам, применяя фильтры строк к строкам, которые к ним ссылаются.