Dokumentanalyse

Die Dokumentanalyse verwendet modernste Forschungstechniken, um strukturierte Daten aus einer Vielzahl von Dokumenttypen zu extrahieren und zu visualisieren, einschließlich, aber nicht beschränkt auf PDFs, Bilder, Word-Dokumente (DOC/DOCX) und PowerPoint-Dateien (PPT/PPTX). Es wurde entwickelt, um komplexe Layouts wie Tabellen, Diagramme und gemischten Textbildinhalt zu behandeln.

Dokumentparsing ist über die Agent Bricks UI, in SQL, mit der REST-API und mit der asynchronen API (Beta) verfügbar.

Erstellen Sie einen Dokument-Parsing-Agent in der Benutzeroberfläche

Anforderungen

Verwenden Sie die Dokumentanalyse, um Ihre Dokumente zu analysieren und ihre Struktur zu visualisieren.

  1. Wechseln Sie zum Symbol Agents im linken Navigationsbereich Ihres Arbeitsbereichs.
  2. Klicken Sie auf Create Agent>Document Parsing.
  3. Wählen Sie Ihr Quelldokument aus. Sie können eine Datei hochladen oder eine datei aus einem vorhandenen Unity-Katalog auswählen. Unterstützte Formate sind: PDF, Bilder, DOC/DOCX und PPT/PPTX.
  4. Klicken Sie auf "Dokument analysieren".

Das Analysieren ihres Dokuments kann einige Minuten dauern. Nach Abschluss der Dokumentanalyse wird das Quelldokument auf der linken Seite und das analysierte Dokument auf der rechten Seite angezeigt. Sie können das analysierte Dokument als formatierten Text oder JSON-Rohformat anzeigen.

Dokument-Parsing-UI, die Quellcode und geparsttes Dokument nebeneinander zeigt

Prozess- und Abfrageergebnisse

Wenn Sie die ai_parse_document Abfrage anzeigen und auf weiteren Dokumenten ausführen möchten, klicken Sie auf "Agent verwenden ", und wählen Sie entweder die Abfrage aus dem SQL-Editor oder -Notizbuch aus. Sie können die Abfrage bearbeiten, um auf das Volume oder die Tabelle zu verweisen, in denen Ihre Dokumente aufbewahrt werden.

Um die analysierte Ausgabe für den Abruf (RAG) vorzubereiten, verwenden Sie ai_prep_search (Beta) downstream.

Parse-Dokumente in SQL

Rufen Sie ai_parse_document in SQL auf, um Dokumente in großem Maßstab zu parsen:

SELECT
  ai_parse_document(
    content,
    map('version', '2.0')
  ) AS parsed
FROM READ_FILES('/Volumes/my_catalog/my_schema/my_documents', format => 'binaryFile');

Siehe die ai_parse_document SQL-Referenz.

Parse Dokumente mit der REST-API

Nutzen Sie die REST-API, um Dokumente aus Anwendungen, Diensten und Automatisierungsworkflows zu analysieren. Siehe die REST API-Dokumentation als Referenz.

ai_parse_document REST-API-Anfragen sind auf 100 Seiten pro Dokument begrenzt.

Das Standard-Rate-Limit für ai_parse_document REST-API-Anfragen beträgt 250 Anfragen pro Minute pro Arbeitsbereich. Kontaktieren Sie Ihr Databricks-Kontoteam, um ein höheres Limit zu beantragen.

ai_parse_document liest seine Eingabe aus einem Unity-Katalog-Volume. Das folgende Beispiel lädt ein lokales PDF mit der Datei-API auf ein Volume hoch und parst es dann.

Laden Sie zuerst das Dokument in ein Volume hoch:

curl -X PUT "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/invoice.pdf?overwrite=true" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/octet-stream" \
     --data-binary @invoice.pdf

Dann parsiere das hochgeladene Dokument, indem du seinen Volumenpfad als contentübergibst:

curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-parse-document" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/json" \
     -d '{
  "content": "/Volumes/my_catalog/my_schema/my_volume/invoice.pdf"
}'

Dokumente mit der asynchronen API (Beta) parsen

Für die Batchverarbeitung empfiehlt Databricks AI Function tasks in Lakeflow-Jobs. Um Dokumente in einem Job zu parsen, verwenden Sie eine ai_parse_document Aufgabe, die Folgendes ausführt:

  • Führt die Verarbeitung im Hintergrund aus und schreibt die Ergebnisse in eine Unity-Katalogtabelle, sodass Sie keine Batches einreichen, deren Status prüfen oder Ausgabedateien herunterladen.
  • Verarbeitet nur die Dokumente, die neu oder geändert seit dem vorherigen Durchlauf sind.
  • Zeigt den Fortschritt jedes Durchlaufs sowie wie viele Eingaben erfolgreich waren und wie viele gescheitert sind.

Verwenden Sie stattdessen die AI Functions Asynchronous API (Beta), wenn Sie die Verarbeitung in eine bestehende Anwendung oder einen externen Orchestrator integrieren möchten, und verwalten Sie die Einreichungen und Ergebnisse selbst.

Important

Dieses Feature befindet sich in der Betaversion. Um sie zu nutzen, muss ein Workspace-Administrator die AI Functions Asynchronous API auf der Previews-Seite aktivieren. Siehe Manage Azure Databricks Previews.

Für die Anfrage- und Antwortfelder sowie für die Anfragen zum Abbrechen und Auflisten von Chargen siehe die Asynchrone API-Referenz.

Eingabeverzeichnis oder -datei

Die Eingabe eines ai_parse_document Batches ist eines der folgenden:

  • Ein Verzeichnis in einem Unity-Katalog-Volume. Der Batch parst jede Datei im Verzeichnis und in seinen Unterverzeichnissen, also legt man dort nur die Dokumente zum Parsen ein. Die API stellt für jede Datei eine Anfrage, wobei der Pfad der Datei als custom_id verwendet wird.
  • Eine JSONL-Eingabedatei in einem Volume, die die zu parsenden Dokumente auflistet. Verwenden Sie eine Eingabedatei, um nur einige Dokumente in einem Verzeichnis zu parsen oder jedem Dokument Ihr eigenes custom_idzu geben.

Jede Zeile einer Eingabedatei ist eine Anfrage, ein JSON-Objekt mit genau den folgenden Feldern:

Feld Description
custom_id Eine Zeichenfolge, die die Anfrage identifiziert. Jede Zeile der Ausgabedatei enthält die custom_id ihrer Anfrage; verwenden Sie daher einen Wert, mit dem Sie die Ergebnisse abgleichen können.
body Das zu parsen Dokument in der Form {"path": "/Volumes/..."}, wobei path der Volumenpfad des Dokuments ist.

Die folgende Eingabedatei enthält zwei Anfragen:

{"custom_id": "invoice-001", "body": {"path": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-001.pdf"}}
{"custom_id": "invoice-002", "body": {"path": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-002.pdf"}}

ai_parse_document benötigt keine anderen Parameter als das Dokument. Um Funktionsoptionen wie version oder pageRange festzulegen, geben Sie sie beim Erstellen des Batches in options in "params": {"options": {"version": "2.0"}} ein, zum Beispiel params. Schreiben Sie zum Beispiel imageOutputPath jeden Optionsnamen in camelCase statt image_output_path. Die Optionen gelten für jedes Dokument im Batch. Was die einzelnen Optionen bewirken, finden Sie in der AI Parse Document-REST-API-Referenz.

Wenn Sie einen Batch erstellen, überprüft die API zuerst die Eingabe und params Wenn die Eingabe eine der folgenden Regeln verletzt oder params verletzt, schlägt die Anfrage mit HTTP 400 fehl und es wird kein Batch erstellt:

  • Ein Verzeichnis hat zwischen 1 und 50.000 Dateien.
    • Um weitere Dokumente zu verarbeiten, teilen Sie sie in mehrere Verzeichnisse oder Eingabedateien auf und erstellen Sie für jedes einen Batch.
  • Eine Eingabedatei ist UTF-8-kodiert, und jede Zeile ist ein JSON-Objekt mit genau den Feldern custom_id und body. Die Datei hat keine leeren Zeilen.
  • Jede custom_id ist eine nicht-leere Zeichenkette, und keine zwei Zeilen haben die gleiche custom_id.
  • Jedes body hat genau einen Schlüssel, path.
    • Wenn ein path Wert keine Zeichenfolge ist, wird der Batch trotzdem erstellt, und diese Anfrage schlägt mit dem Fehlertyp invalid_requestfehl.
  • Eine Eingangsdatei umfasst zwischen 1 und 50.000 Zeilen und ist höchstens 200 MiB groß.
  • params hat keine Parameter, die ai_parse_document nicht annimmt.

Für ein Problem in einer Zeile der Eingabedatei gibt die Fehlermeldung zum Beispiel Batch input line 3 custom_id must be uniquedie Zeilennummer und die Regel an. Wenn Sie die Eingabe oder ein Volume, das in path genannt ist, nicht lesen können oder nicht nach output_ref schreiben können, schlägt die Anfrage mit HTTP 403 fehl.

Die API listet das Verzeichnis auf oder kopiert die Eingabedatei, wenn sie den Batch erstellt. Dateien, die Sie danach dem Verzeichnis hinzufügen, sind nicht Teil des Batches.

Einen Batch ausführen

Um Dokumente mit der asynchronen API zu parsen:

  1. Laden Sie die Dokumente in ein Verzeichnis in einem Unity-Katalog-Volume hoch. Um nur einige davon zu parsen, erstellen Sie außerdem eine Eingabedatei , die sie auflistet, und laden Sie sie auf ein Volume hoch.

  2. Erstellen Sie eine Batch-Datei, die ai_parse_document ausführt. Setzen Sie output_ref auf das Verzeichnis oder die Eingabedatei und auf ein Volumeverzeichnis oder einen neuen Dateipfad für die input_ref. Das folgende Beispiel parst ein Verzeichnis:

    curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \
         -H "Authorization: Bearer $DATABRICKS_TOKEN" \
         -H "Content-Type: application/json" \
         -d '{
      "endpoint": "ai_parse_document",
      "input_ref": "/Volumes/my_catalog/my_schema/my_volume/invoices/",
      "output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/"
    }'
    

    Die Antwort enthält den Batch name. Verwenden Sie es anstelle von <batch-name> in den nächsten Schritten. Standardmäßig kann ein Arbeitsbereich bis zu 20 unfertige Batches gleichzeitig über alle Benutzer hinweg enthalten. Wenn es am Limit ist, schlägt die Anfrage mit HTTP 409 fehl. Erstellen Sie den Batch erneut, nachdem ein anderer Batch abgeschlossen ist oder abgebrochen wurde.

  3. Überprüfen Sie den Status der Charge. Der Batch wird abgeschlossen, wenn status den Wert COMPLETED, CANCELLED oder FAILED annimmt:

    curl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \
         -H "Authorization: Bearer $DATABRICKS_TOKEN"
    

    Wenn die Ausgabedatei bereit ist, enthält output_ref in der Antwort ihren Pfad.

  4. Laden Sie die Ausgabedatei mit der Files API herunter:

    curl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \
         -H "Authorization: Bearer $DATABRICKS_TOKEN" \
         -o output.jsonl
    

Ausgabedatei

Die asynchrone API schreibt die Ausgabedatei eines ai_parse_document Batchs an den Speicherort in output_ref:

  • Wenn output_ref mit / endet oder ein bestehendes Verzeichnis bezeichnet, schreibt die API die Ausgabedatei in <batch-name>_output.jsonl dieses Verzeichnisses. Mehrere Batches können sich ein einziges Ausgabeverzeichnis teilen.
  • Andernfalls ist output_ref der Pfad der Ausgabedatei. Die Datei darf beim Erstellen des Batches nicht existieren.

Die Ausgabedatei hat für jedes Dokument eine Zeile. Jede Zeile enthält die custom_id der jeweiligen Anfrage sowie eines der folgenden Felder:

  • response: Das Ergebnis der Anfrage. Sie hat die gleichen Felder wie die AI-Parse Document REST API-Antwort.
  • error: Die type und message des Fehlers, falls die Anfrage fehlgeschlagen ist. Wenn der Batch abgebrochen wurde, bevor die Anfrage ausgeführt wurde, ist der Typ cancelled.

Für eine Eingabedatei sind die Zeilen in derselben Reihenfolge wie die Eingabedatei. Für ein Verzeichnis ist das custom_id jeder Zeile der Pfad des Dokuments, und die Zeilen können in beliebiger Reihenfolge sein:

{"custom_id": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-001.pdf", "response": {...}}
{"custom_id": "/Volumes/my_catalog/my_schema/my_volume/invoices/invoice-002.pdf", "error": {"type": "request_failed", "message": "..."}}

Einschränkungen

Siehe ai_parse_document Einschränkungen.