Aracılığıyla paylaş

Çalışma alanı dosyalarıyla program aracılığıyla etkileşim kurma

  • Makale

Azure Databricks'te depolanan çalışma alanı dosyalarıyla program aracılığıyla etkileşim kurabilirsiniz. Bu, aşağıdaki gibi görevleri etkinleştirir:

  • Not defterleri ve kodlarla birlikte küçük veri dosyalarını depolama.
  • Git ile eşitlenen dizinlere günlük dosyaları yazma.
  • Göreli yolları kullanarak modülleri içeri aktarma.
  • Ortam belirtimi dosyası oluşturma veya değiştirme.
  • Not defterlerinden çıkış yazılıyor.
  • Tensorboard gibi kitaplıkların yürütülmesinden çıkış yazılıyor.

Databricks Runtime 11.3 LTS ve üzerinde program aracılığıyla çalışma alanı dosyaları oluşturabilir, düzenleyebilir ve silebilirsiniz.

Not

Çalışma alanı dosyalarına yazmayı devre dışı bırakmak için küme ortam değişkenini WSFS_ENABLE_WRITE_SUPPORT=falseayarlayın. Daha fazla bilgi için bkz . Ortam değişkenleri.

Not

Databricks Runtime 14.0 ve üzerinde, yerel olarak yürütülen kod için varsayılan geçerli çalışma dizini (CWD), çalıştırılmakta olan not defterini veya betiği içeren dizindir. Bu, Databricks Runtime 13.3 LTS ve altındaki davranışlarda bir değişikliktir. Bkz. Varsayılan geçerli çalışma dizini nedir?.

Dosyaların konumlarını okuma

Bir depoda veya yerel dosya sisteminde dosyaların konumlarını okumak için kabuk komutlarını kullanın.

Dosyaların konumunu belirlemek için aşağıdakileri girin:

%sh ls
  • Dosyalar bir depoda değil: komutu dosya sistemini /databricks/driverdöndürür.
  • Dosyalar bir depoda: komutu gibi /Workspace/Repos/name@domain.com/public_repo_2/repos_file_systemsanallaştırılmış bir depo döndürür.

Veri çalışma alanı dosyalarını okuma

Veya gibi .csv .json küçük veri dosyalarını program aracılığıyla not defterlerinizdeki koddan okuyabilirsiniz. Aşağıdaki örnek, proje deposunun köküne göre bir /data dizinde depolanan dosyaları sorgulamak için Pandas'ı kullanır:

import pandas as pd
df = pd.read_csv("./data/winequality-red.csv")
df

Veri dosyalarını okumak için Spark'ı kullanabilirsiniz. Spark'a tam yolu sağlamanız gerekir.

  • Git klasörlerindeki çalışma alanı dosyaları yolunu file:/Workspace/Repos/<user-folder>/<repo-name>/path/to/filekullanır.
  • Kişisel dizininizdeki çalışma alanı dosyaları şu yolu kullanır: file:/Workspace/Users/<user-folder>/path/to/file.

Mutlak veya göreli yolu dosyanın yanındaki açılan menüden bir dosyaya kopyalayabilirsiniz:

dosya açılan menüsü

Aşağıdaki örnekte, tam yolu almak için öğesinin kullanımı {os.getcwd()} gösterilmektedir.

import os
spark.read.format("csv").load(f"file:{os.getcwd()}/my_data.csv")

Azure Databricks'te dosyalar hakkında daha fazla bilgi edinmek için bkz . Azure Databricks'te dosyalarla çalışma.

Program aracılığıyla dosya ve dizin oluşturma, güncelleştirme ve silme

Databricks Runtime 11.3 LTS ve üzerinde Azure Databricks'teki çalışma alanı dosyalarını doğrudan işleyebilirsiniz. Aşağıdaki örneklerde, dosya ve dizin oluşturmak ve bunları işlemek için standart Python paketleri ve işlevleri kullanılır.

# Create a new directory

os.mkdir('dir1')

# Create a new file and write to it

with open('dir1/new_file.txt', "w") as f:
    f.write("new content")

# Append to a file

with open('dir1/new_file.txt', "a") as f:
    f.write(" continued")

# Delete a file

os.remove('dir1/new_file.txt')

# Delete a directory

os.rmdir('dir1')