Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Die Dokumentanalyse verwendet modernste Forschungstechniken, um strukturierte Daten aus einer Vielzahl von Dokumenttypen zu extrahieren und zu visualisieren, einschließlich, aber nicht beschränkt auf PDFs, Bilder, Word-Dokumente (DOC/DOCX) und PowerPoint-Dateien (PPT/PPTX). Es wurde entwickelt, um komplexe Layouts wie Tabellen, Diagramme und gemischten Textbildinhalt zu behandeln.
Dokumentparsing ist über die Agent Bricks UI, in SQL, mit der REST-API und mit der asynchronen API (Beta) verfügbar.
Erstellen Sie einen Dokument-Parsing-Agent in der Benutzeroberfläche
Anforderungen
- Ein Arbeitsbereich, der Folgendes umfasst:
- Serverloses Rechnen aktiviert Siehe Serverlose Computeanforderungen.
- Unity-Katalog aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.
- Zugriff auf eine serverlose Nutzungsrichtlinie mit einem Budget größer als null.
- Diese Funktion ist nur in einigen Regionen verfügbar, siehe Verfügbarkeit der KI-Funktion.
- Die
ai_parse_documentFunktion ist auch für Arbeitsbereiche mit dem Add-On "Erweiterte Sicherheit und Compliance" verfügbar.
- Die
Verwenden Sie die Dokumentanalyse, um Ihre Dokumente zu analysieren und ihre Struktur zu visualisieren.
- Wechseln Sie zum
Agents im linken Navigationsbereich Ihres Arbeitsbereichs.
- Klicken Sie auf Create Agent>Document Parsing.
- Wählen Sie Ihr Quelldokument aus. Sie können eine Datei hochladen oder eine datei aus einem vorhandenen Unity-Katalog auswählen. Unterstützte Formate sind: PDF, Bilder, DOC/DOCX und PPT/PPTX.
- Klicken Sie auf "Dokument analysieren".
Das Analysieren ihres Dokuments kann einige Minuten dauern. Nach Abschluss der Dokumentanalyse wird das Quelldokument auf der linken Seite und das analysierte Dokument auf der rechten Seite angezeigt. Sie können das analysierte Dokument als formatierten Text oder JSON-Rohformat anzeigen.
Prozess- und Abfrageergebnisse
Wenn Sie die ai_parse_document Abfrage anzeigen und auf weiteren Dokumenten ausführen möchten, klicken Sie auf "Agent verwenden ", und wählen Sie entweder die Abfrage aus dem SQL-Editor oder -Notizbuch aus. Sie können die Abfrage bearbeiten, um auf das Volume oder die Tabelle zu verweisen, in denen Ihre Dokumente aufbewahrt werden.
Um die analysierte Ausgabe für den Abruf (RAG) vorzubereiten, verwenden Sie ai_prep_search (Beta) downstream.
Parse-Dokumente in SQL
Rufen Sie ai_parse_document in SQL auf, um Dokumente in großem Maßstab zu parsen:
SELECT
ai_parse_document(
content,
map('version', '2.0')
) AS parsed
FROM READ_FILES('/Volumes/my_catalog/my_schema/my_documents', format => 'binaryFile');
Siehe die ai_parse_document SQL-Referenz.
Parse Dokumente mit der REST-API
Nutzen Sie die REST-API, um Dokumente aus Anwendungen, Diensten und Automatisierungsworkflows zu analysieren. Siehe die REST API-Dokumentation als Referenz.
ai_parse_document REST-API-Anfragen sind auf 100 Seiten pro Dokument begrenzt.
Das Standard-Rate-Limit für ai_parse_document REST-API-Anfragen beträgt 250 Anfragen pro Minute pro Arbeitsbereich. Kontaktieren Sie Ihr Databricks-Kontoteam, um ein höheres Limit zu beantragen.
ai_parse_document liest seine Eingabe aus einem Unity-Katalog-Volume. Das folgende Beispiel lädt ein lokales PDF mit der Datei-API auf ein Volume hoch und parst es dann.
Laden Sie zuerst das Dokument in ein Volume hoch:
curl -X PUT "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/invoice.pdf?overwrite=true" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/octet-stream" \
--data-binary @invoice.pdf
Dann parsiere das hochgeladene Dokument, indem du seinen Volumenpfad als contentübergibst:
curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-parse-document" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"content": "/Volumes/my_catalog/my_schema/my_volume/invoice.pdf"
}'
Dokumente mit der asynchronen API (Beta) parsen
Für die Batchverarbeitung empfiehlt Databricks AI Function tasks in Lakeflow-Jobs. Um Dokumente in einem Job zu parsen, verwenden Sie eine ai_parse_document Aufgabe, die Folgendes ausführt:
- Führt die Verarbeitung im Hintergrund aus und schreibt die Ergebnisse in eine Unity-Katalogtabelle, sodass Sie keine Batches einreichen, deren Status prüfen oder Ausgabedateien herunterladen.
- Verarbeitet nur die Dokumente, die neu oder geändert seit dem vorherigen Durchlauf sind.
- Zeigt den Fortschritt jedes Durchlaufs sowie wie viele Eingaben erfolgreich waren und wie viele gescheitert sind.
Verwenden Sie stattdessen die AI Functions Asynchronous API (Beta), wenn Sie die Verarbeitung in eine bestehende Anwendung oder einen externen Orchestrator integrieren möchten, und verwalten Sie die Einreichungen und Ergebnisse selbst.
Important
Dieses Feature befindet sich in der Betaversion. Um sie zu nutzen, muss ein Workspace-Administrator die AI Functions Asynchronous API auf der Previews-Seite aktivieren. Siehe Manage Azure Databricks Previews.
Für die Anfrage- und Antwortfelder sowie für die Anfragen zum Abbrechen und Auflisten von Chargen siehe die Asynchrone API-Referenz.
Eingabeverzeichnis oder -datei
Die Eingabe eines ai_parse_document Batches ist eines der folgenden:
- Ein Verzeichnis in einem Unity-Katalog-Volume. Der Batch parst jede Datei im Verzeichnis und in seinen Unterverzeichnissen, also legt man dort nur die Dokumente zum Parsen ein. Die API stellt für jede Datei eine Anfrage, wobei der Pfad der Datei als
custom_idverwendet wird. - Eine JSONL-Eingabedatei in einem Volume, die die zu parsenden Dokumente auflistet. Verwenden Sie eine Eingabedatei, um nur einige Dokumente in einem Verzeichnis zu parsen oder jedem Dokument Ihr eigenes
custom_idzu geben.
Jede Zeile einer Eingabedatei ist eine Anfrage, ein JSON-Objekt mit genau den folgenden Feldern:
| Feld | Description |
|---|---|
custom_id |
Eine Zeichenfolge, die die Anfrage identifiziert. Jede Zeile der Ausgabedatei enthält die custom_id ihrer Anfrage; verwenden Sie daher einen Wert, mit dem Sie die Ergebnisse abgleichen können. |
body |
Das zu parsen Dokument in der Form {"path": "/Volumes/..."}, wobei path der Volumenpfad des Dokuments ist. |
Die folgende Eingabedatei enthält zwei Anfragen:
{"custom_id": "invoice-001", "body": {"path": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-001.pdf"}}
{"custom_id": "invoice-002", "body": {"path": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-002.pdf"}}
ai_parse_document benötigt keine anderen Parameter als das Dokument. Um Funktionsoptionen wie version oder pageRange festzulegen, geben Sie sie beim Erstellen des Batches in options in "params": {"options": {"version": "2.0"}} ein, zum Beispiel params. Schreiben Sie zum Beispiel imageOutputPath jeden Optionsnamen in camelCase statt image_output_path. Die Optionen gelten für jedes Dokument im Batch. Was die einzelnen Optionen bewirken, finden Sie in der AI Parse Document-REST-API-Referenz.
Wenn Sie einen Batch erstellen, überprüft die API zuerst die Eingabe und params Wenn die Eingabe eine der folgenden Regeln verletzt oder params verletzt, schlägt die Anfrage mit HTTP 400 fehl und es wird kein Batch erstellt:
- Ein Verzeichnis hat zwischen 1 und 50.000 Dateien.
- Um weitere Dokumente zu verarbeiten, teilen Sie sie in mehrere Verzeichnisse oder Eingabedateien auf und erstellen Sie für jedes einen Batch.
- Eine Eingabedatei ist UTF-8-kodiert, und jede Zeile ist ein JSON-Objekt mit genau den Feldern
custom_idundbody. Die Datei hat keine leeren Zeilen. - Jede
custom_idist eine nicht-leere Zeichenkette, und keine zwei Zeilen haben die gleichecustom_id. - Jedes
bodyhat genau einen Schlüssel,path.- Wenn ein
pathWert keine Zeichenfolge ist, wird der Batch trotzdem erstellt, und diese Anfrage schlägt mit dem Fehlertypinvalid_requestfehl.
- Wenn ein
- Eine Eingangsdatei umfasst zwischen 1 und 50.000 Zeilen und ist höchstens 200 MiB groß.
-
paramshat keine Parameter, dieai_parse_documentnicht annimmt.
Für ein Problem in einer Zeile der Eingabedatei gibt die Fehlermeldung zum Beispiel Batch input line 3 custom_id must be uniquedie Zeilennummer und die Regel an. Wenn Sie die Eingabe oder ein Volume, das in path genannt ist, nicht lesen können oder nicht nach output_ref schreiben können, schlägt die Anfrage mit HTTP 403 fehl.
Die API listet das Verzeichnis auf oder kopiert die Eingabedatei, wenn sie den Batch erstellt. Dateien, die Sie danach dem Verzeichnis hinzufügen, sind nicht Teil des Batches.
Einen Batch ausführen
Um Dokumente mit der asynchronen API zu parsen:
Laden Sie die Dokumente in ein Verzeichnis in einem Unity-Katalog-Volume hoch. Um nur einige davon zu parsen, erstellen Sie außerdem eine Eingabedatei , die sie auflistet, und laden Sie sie auf ein Volume hoch.
Erstellen Sie eine Batch-Datei, die
ai_parse_documentausführt. Setzen Sieoutput_refauf das Verzeichnis oder die Eingabedatei und auf ein Volumeverzeichnis oder einen neuen Dateipfad für dieinput_ref. Das folgende Beispiel parst ein Verzeichnis:curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \ -H "Authorization: Bearer $DATABRICKS_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "endpoint": "ai_parse_document", "input_ref": "/Volumes/my_catalog/my_schema/my_volume/invoices/", "output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/" }'Die Antwort enthält den Batch
name. Verwenden Sie es anstelle von<batch-name>in den nächsten Schritten. Standardmäßig kann ein Arbeitsbereich bis zu 20 unfertige Batches gleichzeitig über alle Benutzer hinweg enthalten. Wenn es am Limit ist, schlägt die Anfrage mit HTTP 409 fehl. Erstellen Sie den Batch erneut, nachdem ein anderer Batch abgeschlossen ist oder abgebrochen wurde.Überprüfen Sie den Status der Charge. Der Batch wird abgeschlossen, wenn
statusden WertCOMPLETED,CANCELLEDoderFAILEDannimmt:curl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \ -H "Authorization: Bearer $DATABRICKS_TOKEN"Wenn die Ausgabedatei bereit ist, enthält
output_refin der Antwort ihren Pfad.Laden Sie die Ausgabedatei mit der Files API herunter:
curl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \ -H "Authorization: Bearer $DATABRICKS_TOKEN" \ -o output.jsonl
Ausgabedatei
Die asynchrone API schreibt die Ausgabedatei eines ai_parse_document Batchs an den Speicherort in output_ref:
- Wenn
output_refmit/endet oder ein bestehendes Verzeichnis bezeichnet, schreibt die API die Ausgabedatei in<batch-name>_output.jsonldieses Verzeichnisses. Mehrere Batches können sich ein einziges Ausgabeverzeichnis teilen. - Andernfalls ist
output_refder Pfad der Ausgabedatei. Die Datei darf beim Erstellen des Batches nicht existieren.
Die Ausgabedatei hat für jedes Dokument eine Zeile. Jede Zeile enthält die custom_id der jeweiligen Anfrage sowie eines der folgenden Felder:
-
response: Das Ergebnis der Anfrage. Sie hat die gleichen Felder wie die AI-Parse Document REST API-Antwort. -
error: Dietypeundmessagedes Fehlers, falls die Anfrage fehlgeschlagen ist. Wenn der Batch abgebrochen wurde, bevor die Anfrage ausgeführt wurde, ist der Typcancelled.
Für eine Eingabedatei sind die Zeilen in derselben Reihenfolge wie die Eingabedatei. Für ein Verzeichnis ist das custom_id jeder Zeile der Pfad des Dokuments, und die Zeilen können in beliebiger Reihenfolge sein:
{"custom_id": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-001.pdf", "response": {...}}
{"custom_id": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-002.pdf", "error": {"type": "request_failed", "message": "..."}}