Aracılığıyla paylaş

DBFS CLI (eski)

  • Makale

Önemli

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir.

Bu bilgiler eski Databricks CLI 0.18 ve altındaki sürümler için geçerlidir. Databricks, bunun yerine daha yeni Databricks CLI sürüm 0.205 veya üzerini kullanmanızı önerir. Bkz . Databricks CLI nedir?. Databricks CLI sürümünüzü bulmak için komutunu çalıştırın databricks -v.

Databricks CLI sürüm 0.18 veya altından Databricks CLI sürüm 0.205 veya üzeri sürüme geçiş yapmak için bkz . Databricks CLI geçişi.

Databricks DBFS CLI alt komutlarını, tüm databricks fs DBFS yollarının ön ekini olarak dbfs:/(veya diğer adınadbfs) ekleyerek çalıştırırsınız. Bu alt komutlar DBFS API'sini çağırır.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

10 binden fazla dosyayı listeleyen, taşıyabilen veya silecek işlemler için DBFS CLI'yı kullanmayı kesinlikle önerilmez.

  • İşlem list (databricks fs ls) yaklaşık 60'lardan sonra zaman aşımına uğradı.
  • İşlem move (databricks fs mv) yaklaşık 60'lardan sonra zaman aşımına uğradıktan sonra kısmen taşınan verilere neden olur.
  • İşlem delete (databricks fs rm), dosya toplu işlemlerini artımlı olarak siler.

Dosya sistemi yardımcı programını (dbutils.fs) kullanarak bu tür işlemleri küme bağlamında gerçekleştirmenizi öneririz. dbutils.fs DBFS REST API'sinin işlevsel kapsamını kapsar, ancak not defterlerinden. Not defterlerini kullanarak bu tür işlemleri çalıştırmak, seçmeli silmeler, yönetilebilirlik ve düzenli işleri otomatikleştirme olanağı gibi daha iyi denetim sağlar.

Sınırlamalar

Databricks DBFS CLI'sinin güvenlik duvarı etkinleştirilmiş depolama kapsayıcılarıyla kullanılması desteklenmez. Databricks, Databricks Connect veya az storage kullanmanızı önerir.

Dosyanın içeriğini listeleme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks fs cat --help.

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Bir dosyayı kopyalama

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks fs cp --help.

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

Başarılı olduğunda, bu komut hiçbir şey görüntülemez.

Dosyalar ve dizinler hakkındaki bilgileri listeleme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks fs ls --help.

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Dizin oluşturma

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks fs mkdirs --help.

databricks fs mkdirs dbfs:/tmp/new-dir

Başarılı olduğunda, bu komut hiçbir şey görüntülemez.

Dosyayı taşıma

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks fs mv --help.

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

Başarılı olduğunda, bu komut hiçbir şey görüntülemez.

Dosya silme

Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks fs rm --help.

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.