Interagir programaticamente com arquivos de espaço de trabalho

Você pode interagir com arquivos de espaço de trabalho armazenados no Azure Databricks programaticamente. Isso permite tarefas como:

• Armazenamento de pequenos arquivos de dados ao lado de blocos de anotações e código.
• Gravando arquivos de log em diretórios sincronizados com o Git.
• Importação de módulos usando caminhos relativos.
• Criação ou modificação de um arquivo de especificação de ambiente.
• Saída de escrita a partir de blocos de notas.
• Saída de escrita da execução de bibliotecas como Tensorboard.

Você pode programaticamente criar, editar, renomear e excluir arquivos de espaço de trabalho no Databricks Runtime 11.3 LTS e superior. Essa funcionalidade é suportada para notebooks no Databricks Runtime 16.2 e superior, e ambiente sem servidor 2 e superior.

Observação

Para desativar a gravação em arquivos de espaço de trabalho, defina a variável de ambiente de cluster WSFS_ENABLE_WRITE_SUPPORT=false. Para obter mais informações, consulte variáveis de ambiente.

Observação

No Databricks Runtime 14.0 e superior, o diretório de trabalho atual padrão (CWD) para código executado localmente é o diretório que contém o bloco de anotações ou script que está sendo executado. Esta é uma mudança no comportamento do Databricks Runtime 13.3 LTS e inferior. Consulte Qual é o diretório de trabalho atual padrão?.

Ler as localizações dos ficheiros

Use comandos shell para ler os locais dos arquivos, por exemplo, em um repositório ou no sistema de arquivos local.

Para determinar a localização dos ficheiros, introduza o seguinte:

%sh ls

• Os arquivos não estão em um repositório: O comando retorna o sistema /databricks/driverde arquivos .
• Arquivos estão em um repositório: O comando retorna um repositório virtualizado, como /Workspace/Repos/name@domain.com/public_repo_2/repos_file_system.

Ler arquivos de espaço de trabalho de dados

Você pode ler automaticamente pequenos arquivos de dados, como arquivos .csv ou .json, em código nos seus notebooks. O exemplo a seguir usa Pandas para consultar arquivos armazenados em um diretório /data relativo à raiz do repositório do projeto:

import pandas as pd
df = pd.read_csv("./data/winequality-red.csv")
df

Você pode usar o Spark para ler arquivos de dados. Você deve fornecer à Spark o caminho totalmente qualificado.

• Os arquivos de espaço de trabalho nas pastas do Git usam o caminho file:/Workspace/Repos/<user-folder>/<repo-name>/path/to/file.
• Os arquivos de espaço de trabalho em seu diretório pessoal usam o caminho: file:/Workspace/Users/<user-folder>/path/to/file.

Você pode copiar o caminho absoluto ou relativo para um arquivo no menu suspenso ao lado do arquivo:

O exemplo abaixo mostra o uso de {os.getcwd()} para obter o caminho completo.

import os
spark.read.format("csv").load(f"file:{os.getcwd()}/my_data.csv")

Observação

Em espaços de trabalho onde a raiz e as montagens do DBFS estão desabilitadas, você também pode usar dbfs:/Workspace para acessar arquivos de espaço de trabalho com utilitários Databricks. Isso requer o Databricks Runtime 13.3 LTS ou superior. Consulte Desabilitar o acesso à raiz e montagens do DBFS em seu espaço de trabalho existente do Azure Databricks.

Para saber mais sobre arquivos no Azure Databricks, consulte Trabalhar com arquivos no Azure Databricks.

Criar, atualizar e excluir arquivos e diretórios programaticamente

Você pode manipular programaticamente arquivos de espaço de trabalho no Azure Databricks, semelhante a como você trabalha com arquivos em qualquer sistema de arquivos padrão.

Observação

No Databricks Runtime 16.2 e superior, e no ambiente sem servidor 2 e superior, todas as interações programáticas com arquivos também estão disponíveis para notebooks. Para obter informações sobre como converter um arquivo em um caderno, consulte Converter um arquivo em um caderno.

Os exemplos a seguir usam pacotes e funcionalidades padrão do Python para criar e manipular arquivos e diretórios.

import os

# Create a new directory

os.mkdir('dir1')

# Create a new file and write to it

with open('dir1/new_file.txt', "w") as f:
    f.write("new content")

# Append to a file

with open('dir1/new_file.txt', "a") as f:
    f.write(" continued")

# Delete a file

os.remove('dir1/new_file.txt')

# Delete a directory

os.rmdir('dir1')

import shutil

# Copy a dashboard

shutil.copy("my-dashboard.lvdash.json", "my-dashboard-copy.lvdash.json")

# Move a query to a shared folder

shutil.move("test-query.dbquery","shared-queries/")