Dela via

DBFS CLI (äldre)

  • Artikel

Viktigt!

Den här dokumentationen har dragits tillbaka och kanske inte uppdateras.

Den här informationen gäller för äldre Databricks CLI-versioner 0.18 och senare. Databricks rekommenderar att du använder nyare Databricks CLI version 0.205 eller senare i stället. Se Vad är Databricks CLI?. Kör för att hitta din version av Databricks CLI databricks -v.

Information om hur du migrerar från Databricks CLI version 0.18 eller senare till Databricks CLI version 0.205 eller senare finns i Databricks CLI-migrering.

Du kör Databricks DBFS CLI-underkommandon som lägger till dem i databricks fs (eller aliaset dbfs) och prefixar alla DBFS-sökvägar med dbfs:/. Dessa underkommandon anropar DBFS-API:et.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

För åtgärder som visar, flyttar eller tar bort fler än 10 000 filer rekommenderar vi starkt att du använder DBFS CLI.

  • Åtgärden list (databricks fs ls) överskrider tidsgränsen efter cirka 60-talet.
  • Åtgärden move (databricks fs mv) överskrider tidsgränsen efter cirka 60-talet, vilket kan resultera i delvis flyttade data.
  • Åtgärden delete (databricks fs rm) tar stegvis bort batchar med filer.

Vi rekommenderar att du utför sådana åtgärder i kontexten för ett kluster med hjälp av filsystemverktyget (dbutils.fs). dbutils.fs omfattar det funktionella omfånget för DBFS REST API, men från notebook-filer. Om du kör sådana åtgärder med notebook-filer får du bättre kontroll, till exempel selektiva borttagningar, hanterbarhet och möjlighet att automatisera periodiska jobb.

Begränsningar

Det går inte att använda Databricks DBFS CLI med brandväggsaktiverade lagringscontainrar. Databricks rekommenderar att du använder Databricks Connect eller az storage.

Visa en lista över innehållet i en fil

Om du vill visa användningsdokumentationen kör du databricks fs cat --help.

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Kopiera en fil

Om du vill visa användningsdokumentationen kör du databricks fs cp --help.

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

Vid lyckat resultat visar det här kommandot ingenting.

Visa information om filer och kataloger

Om du vill visa användningsdokumentationen kör du databricks fs ls --help.

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Skapa en katalog

Om du vill visa användningsdokumentationen kör du databricks fs mkdirs --help.

databricks fs mkdirs dbfs:/tmp/new-dir

Vid lyckat resultat visar det här kommandot ingenting.

Flytta en fil

Om du vill visa användningsdokumentationen kör du databricks fs mv --help.

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

Vid lyckat resultat visar det här kommandot ingenting.

Ta bort en fil

Om du vill visa användningsdokumentationen kör du databricks fs rm --help.

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.