Funções FILE quickstart

Importante

Esse recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

O FILE tipo representa arquivos não estruturados, como documentos, imagens e áudio. Funções SQL embutidas criam, copiam e leem arquivos como FILE referências.

Esta página resume essas funções com exemplos de referência para operações comuns, tais como:

  • Listar arquivos em um volume do Unity Catalog como FILE referências com list_files.
  • Leitura de metadados de arquivos, como size e checksum (usados para identificar a versão do arquivo).
  • Filtrando arquivos pelos metadados.
  • Analisando o conteúdo do documento com ai_parse_document.

Para a referência tipográfica, veja FILE tipo.

Para uma visão conceitual, veja Tipo de ARQUIVO e dados não estruturados.

Requirements

  • Esses exemplos usam o samples.sec.contracts conjunto de dados, uma coleção de PDFs de contratos arquivados pela SEC disponíveis por padrão em todos os espaços de trabalho. Para usar seus próprios arquivos, aponte o caminho para um volume do Unity Catalog que os contenha.

Examples

Arquivos de lista e referências de captura

Para listar os arquivos em um caminho e salvar as FILE referências em uma tabela, use list_files a função de valor de tabela:

CREATE TABLE documents AS
  SELECT path, size, modification_time, file
  FROM list_files('/Volumes/samples/sec/contracts/');

Metadados de leitura de arquivos

Para ler os uri, size, content_type, e checksum os campos de um FILE valor, use a notação pontográfica:

SELECT file.uri, file.size, file.content_type, file.checksum
  FROM documents;

Filtrar arquivos por metadados

Para filtrar linhas usando metadados de arquivo, como caminho e tamanho:

SELECT file.uri
  FROM documents
  WHERE file.uri ILIKE '%.pdf'
    AND file.size > 100000;

Análise do conteúdo do documento

Para extrair conteúdo estruturado de um documento, passe um FILE valor para aai_parse_document função:

SELECT file.uri, ai_parse_document(file) AS parsed
  FROM documents
  WHERE file.uri ILIKE '%.pdf';

Notebook de exemplo

O seguinte caderno executa todos os exemplos anteriores contra o samples.sec.contracts conjunto de dados:

Funções FILE, bloco de notas rápidas

Obter laptop

Próximas Etapas 

  • Last updated on