FILE funkciók gyorsindítása

Important

Ez a funkció bétaverzióban érhető el. A munkaterület rendszergazdái az Előnézetek lapon szabályozhatják a funkcióhoz való hozzáférést. Lásd: Az Azure Databricks előzetes verziójának kezelése.

A FILE típus strukturálatlan fájlokat, például dokumentumokat, képeket és hangokat képvisel. Beépített SQL függvények fájlokat hoznak létre, másolnak és olvasnak referenciaként FILE .

Ez az oldal összefoglalja ezeket a függvényeket referenciapéldákkal a gyakori műveletekhez, például:

  • Fájlok felsorolása egy Unity Catalog kötetben hivatkozásként FILE .list_files
  • Fájl metaadatok, például size és checksum (a fájlverzió azonosítására használják).
  • Fájlok szűrése a metaadatok alapján.
  • Dokumentum tartalmának elemzése .ai_parse_document

A típusreferenciáért lásd: FILE típus.

A koncepcionális áttekintésért lásd: FILE típus és strukturálatlan adatok.

Requirements

  • Ezek a példák az samples.sec.contracts adatkészletet használják, amely az SEC által benyújtott szerződéses PDF-ek gyűjteménye, amelyek alapértelmezés szerint minden munkaterületen elérhetők. Saját fájljaid használatához irányítsd az útvonalat egy Unity Catalog kötetre, amely tartalmazza őket.

Examples

Fájlok listázása és hivatkozások rögzítése

A fájlok felsorolásához egy úton és a hivatkozások táblázatba mentéséhez FILE táblázatértékű függvényt használjunklist_files:

CREATE TABLE documents AS
  SELECT path, size, modification_time, file
  FROM list_files('/Volumes/samples/sec/contracts/');

Fájl metaadatok olvasása

Az érték , uri, , és size mezői content_type olvasásához checksumhasználjunk FILEpontjelölést:

SELECT file.uri, file.size, file.content_type, file.checksum
  FROM documents;

Fájlok szűrése metaadatok szerint

A sorok szűrése fájlmetaadat, például út és méret alapján:

SELECT file.uri
  FROM documents
  WHERE file.uri ILIKE '%.pdf'
    AND file.size > 100000;

A dokumentum tartalmának elemzése

A dokumentumból strukturált tartalom kinyeréséhez adjunk egy FILE értéket aai_parse_document függvénynek:

SELECT file.uri, ai_parse_document(file) AS parsed
  FROM documents
  WHERE file.uri ILIKE '%.pdf';

Példajegyzetfüzet

A következő jegyzetfüzet az összes korábbi példát futtatja az adathalmazon samples.sec.contracts :

FILE funkciók gyorsindítás notebook

Jegyzetfüzet szerezz

Következő lépések

  • Last updated on