Delen via

DBFS CLI (verouderd)

  • Artikel

Belangrijk

Deze documentatie is buiten gebruik gesteld en wordt mogelijk niet bijgewerkt.

Deze informatie is van toepassing op verouderde Databricks CLI-versies 0.18 en lager. Databricks raadt u aan om in plaats daarvan nieuwere Databricks CLI versie 0.205 of hoger te gebruiken. Zie Wat is de Databricks CLI? Voer de opdracht uit databricks -vom uw versie van de Databricks CLI te vinden.

Als u wilt migreren van Databricks CLI versie 0.18 of lager naar Databricks CLI versie 0.205 of hoger, raadpleegt u de Cli-migratie van Databricks.

U voert Databricks DBFS CLI-subopdrachten uit die ze toevoegen aan databricks fs (of de alias dbfs), waarbij alle DBFS-paden worden voorafgegaan door dbfs:/. Deze subopdrachten roepen de DBFS-API aan.

databricks fs -h

Usage: databricks fs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with DBFS. DBFS paths are all prefixed
  with dbfs:/. Local paths can be absolute or local.

Options:
  -v, --version
  -h, --help     Show this message and exit.

Commands:
  cat        Shows the contents of a file. Does not work for directories.
  configure
  cp         Copies files to and from DBFS.
    Options:
      -r, --recursive
      --overwrite     Overwrites files that exist already.
  ls         Lists files in DBFS.
    Options:
      --absolute      Displays absolute paths.
      -l              Displays full information including size and file type.
  mkdirs     Makes directories in DBFS.
  mv         Moves a file between two DBFS paths.
  rm         Removes files from DBFS.
    Options:
      -r, --recursive

Voor bewerkingen die meer dan 10.000 bestanden weergeven, verplaatsen of verwijderen, wordt het gebruik van de DBFS CLI sterk afgeraden.

  • Er treedt een time-out op voor de list bewerking (databricks fs ls) na ongeveer 60.
  • Er treedt een time-out op voor de move bewerking (databricks fs mv) na ongeveer 60, wat mogelijk leidt tot gedeeltelijk verplaatste gegevens.
  • Met de delete bewerking (databricks fs rm) worden batches bestanden incrementeel verwijderd.

U wordt aangeraden dergelijke bewerkingen uit te voeren in de context van een cluster, met behulp van het bestandssysteemhulpprogramma (dbutils.fs). dbutils.fs behandelt het functionele bereik van de DBFS REST API, maar van notebooks. Het uitvoeren van dergelijke bewerkingen met behulp van notebooks biedt betere controle, zoals selectief verwijderen, beheerbaarheid en de mogelijkheid om periodieke taken te automatiseren.

Beperkingen

Het gebruik van de Databricks DBFS CLI met opslagcontainers met firewalls wordt niet ondersteund. Databricks raadt u aan Databricks Connect of az storage te gebruiken.

De inhoud van een bestand weergeven

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks fs cat --help.

databricks fs cat dbfs:/tmp/my-file.txt

Apache Spark is awesome!

Een bestand kopiëren

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks fs cp --help.

databricks fs cp dbfs:/tmp/your_file.txt dbfs:/parent/child/grandchild/my_file.txt --overwrite

Bij succes wordt met deze opdracht niets weergegeven.

Informatie over bestanden en mappen weergeven

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks fs ls --help.

databricks fs ls dbfs:/tmp --absolute -l

file  42408084  dbfs:/tmp/LoanStats.csv    1590005159000
file        40  dbfs:/tmp/file_b.txt       1603991038000
dir          0  dbfs:/tmp/hive                         0
dir          0  dbfs:/tmp/mlflow                       0
file       385  dbfs:/tmp/multi-line.json  1597770632000
dir          0  dbfs:/tmp/new                          0
dir          0  dbfs:/tmp/parent                       0
file       243  dbfs:/tmp/test.json        1597770628000
file        40  dbfs:/tmp/test_dbfs.txt    1603989162000

Een map maken

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks fs mkdirs --help.

databricks fs mkdirs dbfs:/tmp/new-dir

Bij succes wordt met deze opdracht niets weergegeven.

Een bestand verplaatsen

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks fs mv --help.

databricks fs mv dbfs:/tmp/my-file.txt dbfs:/parent/child/grandchild/my-file.txt

Bij succes wordt met deze opdracht niets weergegeven.

Een bestand verwijderen

Als u de gebruiksdocumentatie wilt weergeven, voert u het volgende uit databricks fs rm --help.

databricks fs rm dbfs:/tmp/parent/child/grandchild/my-file.txt

Delete finished successfully.