DBFS CLI (starší verze)

  • Článek

Důležité

Tato dokumentace byla vyřazena a nemusí být aktualizována.

Tyto informace platí pro starší verzi Rozhraní příkazového řádku Databricks verze 0.18 a novější. Databricks doporučuje místo toho použít novější rozhraní příkazového řádku Databricks verze 0.205 nebo vyšší. Podívejte se, co je rozhraní příkazového řádku Databricks? Pokud chcete zjistit svou verzi rozhraní příkazového řádku Databricks, spusťte databricks -vpříkaz .

Pokud chcete migrovat z Rozhraní příkazového řádku Databricks verze 0.18 nebo novější na Databricks CLI verze 0.205 nebo novější, přečtěte si téma Migrace rozhraní příkazového řádku Databricks.

Spustíte podpříkazy rozhraní příkazového řádku DBFS Databricks, které je připojí k databricks fs (nebo aliasu dbfs), předponou všech cest DBFS pomocí dbfs:/. Tyto dílčí příkazy volají rozhraní DBFS API.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

U operací, které vypisují, přesunují nebo odstraňují více než 10 tisíc souborů, důrazně nedoporučujeme používat rozhraní příkazového řádku DBFS.

  • Operace list (databricks fs ls) vyprší po přibližně 60s.
  • Operace move (databricks fs mv) vyprší po přibližně 60 sekundách, což může mít za následek částečně přesunutá data.
  • Operace delete (databricks fs rm) postupně odstraní dávky souborů.

Tyto operace doporučujeme provádět v kontextu clusteru pomocí nástroje systému souborů (dbutils.fs). dbutils.fs pokrývá funkční rozsah rozhraní REST API DBFS, ale z poznámkových bloků. Spouštění takových operací pomocí poznámkových bloků poskytuje lepší kontrolu, jako jsou selektivní odstranění, možnosti správy a možnost automatizovat pravidelné úlohy.

Omezení

Použití rozhraní příkazového řádku DBFS Databricks s kontejnery úložiště s podporou brány firewall se nepodporuje. Služba Databricks doporučuje použít Databricks Connect nebo az storage.

Výpis obsahu souboru

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks fs cat --helppříkaz .

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Kopírování souboru

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks fs cp --helppříkaz .

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

Při úspěchu tento příkaz nezobrazí nic.

Výpis informací o souborech a adresářích

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks fs ls --helppříkaz .

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Vytvoření adresáře

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks fs mkdirs --helppříkaz .

databricks fs mkdirs dbfs:/tmp/new-dir

Při úspěchu tento příkaz nezobrazí nic.

Přesunutí souboru

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks fs mv --helppříkaz .

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

Při úspěchu tento příkaz nezobrazí nic.

Odstranění souboru

Pokud chcete zobrazit dokumentaci k použití, spusťte databricks fs rm --helppříkaz .

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.