Arbeiten mit unstrukturierten Daten

Speichern, verwalten und verarbeiten unstrukturierte Dateien wie Dokumente, Bilder, Audio und Video zusammen mit strukturierten Daten in Unity Catalog.

Get started

Versuche ein Ende-zu-Ende-Beispiel, um zu sehen, wie die Teile zusammenpassen.

Guide	Beschreibung
Schnellstart für FILE-Funktionen	Erstelle eine Tabelle mit einer Spalte FILE und arbeite mit Dateien mit Funktionen FILE .
Tutorial zu unstrukturierten Daten	Speichern, Abfragen, Verarbeiten und Teilen unstrukturierter Dateien mit Unity-Catalog-Volumes.

Speicher- und Referenzdateien

Wählen Sie, wie Sie Dateien speichern und referenzieren, basierend darauf, ob Sie sie per Pfad oder als Werte in einer Tabelle aufrufen.

Approach	Beschreibung
Unity Catalog-Volumes	Verwalten Sie den Speicher für nicht-tabellarische Dateien. Laden Sie Dateien in einem Volumen per Pfad hoch, organisieren Sie sie und greifen Sie darauf zu.
FILE-Typ	Referenzdateien und deren Metadaten als First-Class-Werte in einer Tabelle, die durch den Zugriff auf die Zeilen geregelt wird, die sie referenzieren. Für die Typdefinition siehe die FILE-Typreferenz.
Binäre Datenquelle	Speichere die Rohbytes einer Datei in einer Spalte BINARY .
Bilddatenquelle	Lesen Sie Bilddateien in einen DataFrame.

Prozessdateien

Nachdem du deine Dateien im Unity-Katalog gespeichert hast, extrahiere Inhalte, führe benutzerdefinierten Code aus und baue Pipelines.

Aufgabe	Beschreibung
Dokumente parsen	Extrahiere strukturierte Inhalte aus Dokumenten mit ai_parse_document und anderen KI-Funktionen.
Dateien mit UDFs bearbeiten	Lies Dateimetadaten und Bytes und generiere neue Dateien, wobei du deinen eigenen Code in UDFs nutzt.
Dateien als FILE-Referenzen eintragen	Laden Sie Dateien als FILE-Verweise in Tabellen.
Erstellen Sie eine Dateipipeline	Dateien in einer Pipeline durchgängig verarbeiten.
Durchsuche Dateien in einem Band	Indexiere die Dateien in einem Volumen, damit Nutzer und Agenten sie durchsuchen können.

Dateien verwalten

Kontrollieren Sie, wer auf Dateien zugreifen und deren Lebenszyklus mit Unity Catalog verwalten kann.

Fähigkeit	Beschreibung
Lautstärkezugriffskontrolle	Gewähre Rechte auf Volumes, um zu kontrollieren, wer Dateien per Pfad lesen und schreiben darf.
Dateiverwalteter Lebenszyklus	Lassen Sie Azure Databricks den Speicher und Lebenszyklus der Dateien verwalten, auf die eine Tabelle referenziert.
Zeilenfilter auf FILE-Spalten	Beschränken Sie den Zugriff auf Dateien, indem Sie Zeilenfilter auf die Zeilen anwenden, die auf sie verweisen.